include expected answers

questions/v1.yml

@@ -4,20 +4,23 @@
     - Résoudre des problèmes des Olympiades Internationales de Mathématiques
     - Décrire et interpréter un meme
     - Identifier l'émotion principale d'une musique
+  expected: [true, true, true, true]
 
 - question: GPT3.5, dont l'architecture permet uniquement de prédire le mot suivant dans un texte, a été entraîné sur des jeux de données de parties d'échecs après son entraînement principal. Quel est son score Elo évalué?
   choices:
     - 1000 (compréhension solide du jeu)
     - 1500 (niveau moyen en club)
     - 1800 (bon niveau en club)
     - 2200 (joueur en tournoni, niveau national)
+  expected: [false, false, true, false]
 
 - question: Parmi ces aspects des LLM, pour lesquels les chercheurs ont une bonne compréhension basée sur des fondements théoriques, et qui permet de prédire des comportements?
   choices:
     - le lien entre taille du modèle et performances
     - les comportements de refus de réponse
     - la capacité à effectuer un raisonnement logique
     - comment sont stockées les connaissances factuelles
+  expected: [false, true, false, false]
 
 - question: Seriez-vous capable d'expliquer ce qu'est le RLHF?
   choices:
@@ -32,6 +35,7 @@
     - 20 ans
     - 30 ans
     - 50 ans
+  expected: [false, true, false, false, false, false]
 
 - question: D'après le dernier sondage parmi les chercheurs en IA (2800 chercheurs, janvier 2024), quelle proportion des chercheurs pensent qu'un scénario catastrophe peut arriver à cause d'une IA incontrôlable?
   choices:
@@ -46,6 +50,7 @@
     - 85%
     - 90%
     - 95%
+  expected: [false, false, false, false, false, true, false, false, false, false, false]
 
 - question: Selon vous, quel est le risque d'une catastrophe causée par l'IA comparable à la seconde guerre mondiale ou à une pandémie dévastatrice dans les 10 prochaines années?
   choices:

site.py

@@ -25,12 +25,16 @@ def render_spacing():
     with tag("hr"):
         pass
 
-def render_choices(choices):
+def render_choices(choices, expected_answers=None):
     with tag("ul", style="list-style: none"):
-        for c in choices:
+        for i, c in enumerate(choices):
             with tag("li"):
-                with tag("input", type="checkbox", disabled=True):
-                    pass
+                if expected_answers and expected_answers[i]:
+                    with tag("input", type="checkbox", checked=True, disabled=True):
+                        pass
+                else:
+                    with tag("input", type="checkbox", disabled=True):
+                        pass
                 text(c)
 
 
@@ -47,7 +51,7 @@ def render_question(i):
                         text(s)
 
     else:
-        render_choices(q["choices"])
+        render_choices(q["choices"], q.get("expected"))
 
 
 def buckets(series: pd.Series | pd.DataFrame, count_na=True):
@@ -95,7 +99,10 @@ def bar_chart(labels, values, title):
         with tag('h1'):
             text('Sondage sûreté IA')
         with tag("div", klass="intro"):
-            text("En mai 2024, nous avons fait passé aux étudiants de Télécom Paris un sondage sur la sûreté de l'IA, et en voici les résultats.")
+            with tag("p"):
+                text("En mai 2024, nous avons fait passé aux étudiants de Télécom Paris un sondage sur la sûreté de l'IA, et en voici les résultats.")
+            with tag("p"):
+                text("Pour les questions de connaissance où une bonne réponse était attendue, la (ou les) bonnes réponses sont indiquées en gris.")
         with tag("a", href="https://github.com/ai-safety-saclay/survey"):
             text("plus d'information")