Par Romain Meunier (de Evidence Based Bonne Humeur)
avec la précieuse collaboration d’Élodie (de l’ASTEC)
et les interventions pénibles de Matthieu (du Biostatisticien)

——————————————————————————————————————————

Sommaire

1. Introduction : genèse de l’étude
   • La sagesse des foules
   • Scepticisme scientifique
   • The croquettes experience
2. Résultats des votes
   • Moustaches et évaluation IRL par le public du REC
   • L’expérience “En ligne”
   • Hey, honnêtement…
3. Les Experts Croquettes
4. MAIS TU VAS NOUS LE DONNER, CE RÉSULTAT, OUI OU MERDE ???
5. Bilan de l’expérience
   • Un biais collectif ?
   • La conscience de la foule
   • Surprisingly popular
   • Pour bien voter, revotez !
   • L’expérience de l’ASTEC au Bordeaux Geek Festival (BGF)
   • Conclusion : la sagesse des foules a-t-elle fonctionné ici ?
6. Les sous-groupes rigolos
   • Kestuvafair?
   • Croire en Dieu ou boire son pipi le matin (ou les deux, mon capitaine)
7. Et mon questionnaire ? Tu l’aimes, mon questionnaire ?

Annexe 1 : où vous aviez le champ libre…
Annexe 2 : toutes vos histoires « drôles » (?)

——————————————————————————————————————————

1. Introduction : genèse de l’étude

Au commencement était le livre.

Le mien, précisa-t-il humblement. Vous savez, “Un sceptique bien entouré”, ce magnifique ouvrage (aux éditions Book-e-Book) présentant 38 planches d’Evidence Based Bonne Humeur (auteur décapillarisé du XXIème siècle), accompagnées chacune du texte d’un(e) intervenant(e) spécialiste du thème abordé. Bon, ben, en l’occurrence, on était sur l’épisode intitulé “La sagesse des foules”, que devait accompagner un court texte de Mehdi Moussaïd, alias Fouloscopie sur Youtube, qui, ben… qui connaît bien le sujet, quoi. Il a donc présenté plus en détail le concept de “sagesse des foules” illustré dans l’épisode.

Je vous laisse commander le livre, lire la planche puis le texte de Mehdi, pour bien comprendre de quoi on parle. On se retrouve après.

La sagesse des foules

Ça y est ? Ah, on me glisse dans l’oreillette que certain(e)s d’entre vous ne l’ont peut-être pas encore reçu. Bon ben pour ceux-là, voilà comment je présentais les choses au REC : 

Et ce qu’en dit Wikipédia (Mais Fouloscopie l’explique beaucoup mieux)

Bref, en quelques mots : pour estimer une grandeur physique (poids du machin, nombre de bidules, mesure d’un truc, …), l’évaluation moyenne (ou médiane !) d’une foule (diverse et dont les opinions sont formées indépendamment) serait meilleure que celle des individus, voire, est-il affirmé, que celle d’un expert en machins, bidules, ou trucs.

——————————————————————————————————————————
——————————————— PRÉCISION DE MATTHIEU ———————————————
——————————————————————————————————————————

Ok, Matthieu, on leur dira. Mais là, ça casse un peu le rythme.——————————————————————————————————————————
——————————————————————————————————————————

Scepticisme scientifique

… Et là, le comité éditorial du livre a toussé. Enfin, il y a surtout UN membre en particulier, que je ne nommerai évidemment pas (mais il était alors président de l’Afis [Association Française pour l’Information Scientifique]) qui a immédiatement – et très directement – signifié à tout le monde son scepticisme (oui, il est comme ça, François-Marie Bréon !). Short story : il assimilait plus ou moins cette approche à de la pseudo-science, compte tenu des incertitudes et de la dimension un peu circulaire de la “bonne” foule, dont on ne peut vraiment dire qu’a posteriori qu’elle remplit correctement les critères énoncés. Quant à faire mieux qu’un expert (Toujours ? Parfois ? Dans quels cas ?), l’affirmation lui semblait pour le moins douteuse. L’expertise, battue en brèche par une bande de fêtards alcoolisés, pour peu qu’ils soient assez nombreux et aient consommé des boissons suffisamment différentes ? Bon, je caricature, mais vous avez l’idée.

Car le principe, c’est que cet effet permet de compenser les erreurs aléatoires individuelles. Ok. C’est un peu comme la régression vers la moyenne : logique. Et ça marche certainement très bien si ces erreurs aléatoires sont les seules en jeu. Ça marche même… forcément, par définition, non ? …pour peu qu’on suppose que les erreurs sont réparties équitablement de chaque côté de la bonne valeur. Mais que se passe-t-il lorsqu’il y a un déséquilibre ? Un biais collectif ? Car la foule peut être simplement biaisée pour l’exercice proposé (pour des raisons diverses, sans qu’elle soit forcément sujette à une influence extérieure). Bref : peut-on vraiment compter sur le phénomène, au point de l’exploiter dans des applications concrètes ?

Fouloscopie a bien entendu bien entendu ces critiques (non, ça n’est pas une typo : il a bien entendu bien entendu les critiques). Il ne contestait pas le fait qu’il était compliqué d’envisager des applications directes au phénomène. Pour autant, cette “sagesse des foules” est à l’origine de beaucoup de travaux constructifs dans le cadre des recherches sur l’intelligence collective. Comme nous disait Mehdi : c’est un peu notre drosophile !
[La mouche drosophile est une référence en biologie pour l’étude de nombreux processus développementaux et physiologiques]

Bref, de longs échanges ont eu lieu, à coups de textes et d’études contradictoires, d’arguments et d’explications, et encore d’autres études recontradictoires par derrière. Fouloscopie a nuancé sa présentation pour insister plus fortement sur les limites du phénomène, et schtroumpf Bréon (je peux l’appeler comme ça : il n’est plus président de l’Afis, je risque rien !) a finalement jugé le texte suffisamment prudent, même s’il restait, toujours, très dubitatif sur ce qu’il y a à espérer d’une moyenne somme toute aléatoire des incompétences individuelles.

Pour ma part – et là, asseyez-vous bien parce que ça va fortement vous surprendre, si vous me connaissez un peu – j’étais mitigé. Je trouvais que les deux avaient de très bons arguments. La question du texte était donc réglée, mais… 

Et la sagesse des foules, alors ? Effet épatant, ou “concept friandise” ?   

The croquettes experience

C’est donc là que je me suis dit que « bon sang mais c’est bien sûr : enfile ta cape de zététicien, mon garçon, et teste-nous ça toi-même, en profitant de la foule présente aux Rencontres de l’Esprit Critique 2024 ! »

Avec quoi ? Eh bien puisque le thème trimestriel de l’ASTEC (je vous ai mis le lien vers le site, mais la chaîne Youtube est toute aussi importante) était alors “les chats”, des croquettes feraient très bien le job (les granules d’homéopathie ont été envisagées. Alors oui, mais non. Entre le prix du kilo de sucre et les 2 mois pour tout compter, j’ai passé mon tour). Dans la foulée, il a été décidé de confier la conduite de l’expérience au stand tenu par l’ASTEC lors des 2 jours du REC (merci encore, les gar(e)s !). Matthieu Mulot (le Biostatisticien) s’est proposé pour développer le logiciel de saisie des votes.

Nous avons ensuite choisi de profiter de ce grand bocal rempli de croquettes pour prolonger l’expérience en ligne. C’est pour cette raison que nous sommes maintenant en juillet août, et que les gens qui ont voté fin avril au REC ne savent toujours pas combien il contenait de croquettes. Mais bonne nouvelle : le suspense touche à sa faim !

(Enfin, bonne nouvelle pour vous. Pour le pauvre chat qui devait se nourrir des croquettes, en revanche, c’est trop tard. Et c’est bien triste… Eh, la science n’empêche pas l’empathie !).

Allez, nous allons commencer par voir ensemble (oui parce que si tu pars ou que je m’arrête là, ça va poser un problème) les résultats obtenus !

——————————————————————————————————————————

2. Résultats des votes

Avant de rentrer dans le vif du sujet, précisons qu’il est possible de considérer soit les valeurs moyennes, soit les valeurs médianes (qui présentent l’avantage d’être moins affectées par les votes extrêmes). Dans le doute, et pour éviter les regrets, j’ai fait comme mon grand père en 42 je n’ai pas choisi : les deux seront donc examinées.

Pour rappel : la médiane est, dans un ensemble de nombres, celui pour lequel il y a autant de valeurs supérieures et inférieures.

Moustaches et évaluation IRL par le public du REC

Visualisons donc la boîte à moustaches correspondante. Quoi, tu ne sais pas ce que c’est ? Pauv’truffe (Je ne connaissais pas non plus) ! Une boîte à moustaches, ou boxplot, est un diagramme qui permet de visualiser le profil de distribution des données, en montrant leur dispersion. Il facilite en outre l’identification d’un éventuel biais dans les estimations (par exemple, sur ou sous-estimation généralisée).

Le trait bleu vertical (la moustache) va de la valeur minimale (ici, 386) au à la valeur maximale (ici, 200000 : hors graphique !).  Le rectangle bleu (la boite) va du premier quartile (Q1. Ici, 2000 : 25% des données se trouvent en dessous) au troisième quartile (Q3. Ici, 8180.75), qui représente la valeur en dessous de laquelle se trouvent 75% des données.

Le trait rouge représente la médiane (Ou Q2. Ici, 4378. 50% des votes sont donc en dessous, et 50% au dessus).

——————————————————————————————————————————
———————————————— DÉCÈS DE MATTHIEU ————————————————

Là, notre biostatisticien bien-aimé s’est carrément étranglé. Soi-disant que le fait d’avoir tronqué le graph pour zoomer sur la boîte donnerait une vision “extrêmement trompeuse et même carrément fausse” des données (toujours dans la mesure, les stateux. On dirait j’ai normalisé sa mère). Moi je veux bien vous mettre l’intégralité de la moustache, hein…

Certes, là, on voit tout. Mais bon. Du coup, on voit rien… Ah, les stats…
On pourrait aussi représenter la répartition des votes (en %) de cette façon : 

——————————————————————————————————————————
——————————————————————————————————————————

L’expérience “En ligne”

Résultats bruts

Une conclusion s’impose : quelque chose ne va pas avec la moyenne, bien trop éloignée de la médiane. Bien plus que dans l’expérience conduite au REC, en tout cas. Et cette chose porte un nom, mes ami(e)s : les trolls en ligne. On trouve en effet des votes comme “12071964”, dont tout le monde conviendra qu’il s’agit d’une valeur totalement fantaisiste. Idem pour 1 et 4.

POURQUOI ? Parce que ah ça, ça fait le malin derrière son clavier, mais quand c’est aux Rencontres de l’Esprit Critique avec des dizaines de paires d’yeux braqués sur soi, là, ça répond sérieusement !

Tiens, au passage, vous connaissez le Watching Eye Effect ? Mais si, vous connaissez, puisque j’avais fait un épisode EBBH dessus…Son principe est que les gens se comportent de façon plus altruiste et moins antisociale en présence d’yeux, ou d’images représentant des yeux. (L’épisode En résumé #84 devait exploiter cet effet pour vous amener à me soutenir sur Tipeee. Bon, ça n’a hélas pas marché.)

Mais revenons en à nos croquettes. Il apparaît donc nécessaire de filtrer les valeurs, pour n’en garder que les “pertinentes”. Mais comment définir les réponses “pertinentes” ? Faut-il uniquement éliminer ce qui relève du troll manifeste, ou bien enlever également les votes irréalistes de personnes visiblement très aux fraises sur ce type d’exercice (que nous qualifierons de personnes atteintes de dyscroquettie plus ou moins sévère) ?

Le fonctionnement de la “sagesse des foules” suppose tout de même une capacité minimale de chacun des individus la composant à ne pas dire n’importe quoi. Il ne viendrait à l’idée de personne de constituer une foule pour évaluer une grandeur avec des vieillards séniles ou des mômes de 3 ans (avec tout le respect qu’on a pour les uns, et tout l’agacement qu’on ressent en présence des autres, surtout quand c’est pas les miens).

Première étape donc : éliminer les trolls. On (JE) considérera consensuel le fait d’éliminer “évidemment” tout vote inférieur à 10 ou supérieur à un million. On est d’accord, hein ? Oui.

Résultats sans trolls 

Là, on a une moyenne qui ressemble enfin à quelque chose. Et on n’a perdu que 5 vilains. 
1% du cheptel à peine, quoi. 

Cela ne règle hélas pas la question de la dyscroquettie. Une question bien plus arbitraire ! Personnellement, je dirais qu’un vote ne constitue pas une évaluation raisonnable s’il est inférieur à 200. Parce qu’à mes yeux, il devrait être évident qu’il ne peut y avoir aussi peu de croquettes (on en voit déjà plusieurs centaines sur la photo, qui ne montre que l’extérieur de la moitié du bocal !). Il ne me semble pas non plus raisonnable de juger qu’il y en aurait plus de 200 000 ! Pourquoi ? Ben parce que ENFIN VOYONS !!!

Résultats sans dyscroquettie 

Hop, 4 de moins. Pas grave, le troupeau reste conséquent. Hey, tavu comme la médiane n’a absolument pas bougé depuis le départ ? Allez, regardons donc du côté de la boîte à (demi) moustaches :

Bon, si j’avais fixé le seuil à 500, on en perdait tout de même 25 de plus ! Alors, pardon aux familles et tout, mais pour moi ça reste une sacrée dyscroquettie, là. MOINS DE 500 CROQUETTES ? Sérieux ??? Bon, après, qui suis-je pour dire à partir de combien de croquettes un vote contribuera plus à l’intelligence des foules qu’il n’en sabotera la pertinence ?

Eh bien, pour répondre à cette question, j’ai choisi de solliciter à nouveau la foule, en lui demandant cette fois de voter pour ce qu’elle estimait être des bornes inférieures et supérieures “raisonnables“. Et là, je sais ce que vous vous dites : “Oui, mais il y aura de nouveau des trolls, ainsi que… des gens atteints de dysbornie ?”. Oui, mais non. Et si je fais un questionnaire supplémentaire sans donner les résultats, on va me jeter des pierres.

Bon, allez, regardons les bornes adéquates selon la foule. Roulement de tambour… 

Oof. Grosses différences encore entre la médiane et la moyenne. Utilisons donc les deux, et reprenons les calculs avec ces limites d’acceptabilité choisies par le bon peuple.

Résultats selon les bornes moyennes

Résultats selon les bornes médianes

Selon les critères retenus (moyenne des croquettes entre les bornes moyennes OU médiane des croquettes entre les bornes médianes), on peut ainsi justifier un résultat de 5489 OU 2434 croquettes ! C’est très différent… Et très arbitraire…

Hey, honnêtement…

Il faut que je vous dise : au moment où j’ai fait ce sondage pour connaître les limites d’acceptabilité que VOUS proposeriez, je connaissais personnellement déjà le nombre réel de croquettes contenues dans le bocal. Et ça change tout. 

Comme m’a dit Matthieu : “C’est difficile de laisser les données être des données, hein ?”. Oui, en particulier quand il y plusieurs choix légitimes possibles, mais qu’on sait lequel nous rapprocherait du résultat attendu/espéré… 

Exemple : si j’avais plutôt choisi, dans le tableau précédent (bornes médianes), de prendre les valeurs inférieures ou égales à 10 000, la moyenne aurait été de 3420 (300 de plus). Eh oui, car 7 personnes ont voté 10 000 pile !
C’est encore un bon point pour la médiane, qui n’en aurait pas été affectée.

Oui, mais. Depuis le départ, nous avons de gros écarts entre la moyenne et la médiane. Et si c’était tout de même la moyenne, qui était le plus proche du vrai résultat ? Car, CERTES, la médiane est stable. Mais est-elle meilleure pour autant ? Bah moi, je sais. Et je vous le dis (musique d’Harmonica) : de la moyenne ou de la médiane, l’une des deux est de trop dans cette ville expérience. 

Mais nous y reviendrons quand je vous aurai ENFIN donné le vrai résultat. Car il est grand temps de se pencher sur le second volet de la sagesse des foules : sa comparaison avec les expertises individuelles.

——————————————————————————————————————————

3. Les experts Croquettes

Comment définir un ou une experte ici ? Les experts en nombre de croquettes n’existent (a priori) pas. J’ai donc considéré qu’une expertise consistait ici à savoir produire une évaluation par le calcul, en disposant d’informations métriques (on peut imaginer qu’un “expert croquettes”, si ça existait, aurait une capacité particulière à évaluer les dimensions). En bref : un expert est un agent en capacité de calculer les volumes  respectifs du bocal et d’une croquette, pour en déterminer le nombre.  Cinq experts (quatre humains et un ChatGPT) ont donc disposé d’informations (photos) donnant une idée assez précise (mais pas trop non plus) des dimensions.

Vous voulez jouer aussi ? Eh bien allez-y, vous avez ci-dessus tout ce qu’ont eu nos experts, dont nous allons maintenant découvrir les résultats.

[Rappel pour les nuls nos ami(e)s littéraires : le volume d’un cylindre s’obtient en multipliant sa base (l’aire du disque) par la hauteur du cylindre, soit : π x r² x h]

——————————————————————————————————————————

Expert Humain 1 (Micah) : 

Hypothèses de calcul

Bocal : haut. = 19 cm, diam. = 13 cm Croquettes : 1.2 x 0.8 x 0.4 cm

Empilement : les espaces entre croquettes sont comptés dans le rectangle englobant considéré

Calcul : 

• Volume bocal : 3.14* 6.5² * 19 = 2520.6 cm3
• Volume croquette : 1.2*0.8*0.4 = 0.384 cm3
• Nombre de croquettes : 2520.6/0.384 = 6564 

——————————————————————————————————————————

Expert Humain 2 (Sacha) : 

Hypothèses de calcul

Bocal : haut. = 18 cm, diam. = 14 cm Croquettes : 1.2 x 0.85 x 0.45 cm

Empilement : les espaces entre croquettes sont comptés dans le rectangle englobant considéré

Calcul : 

• Volume bocal : 3.14* 7² * 18 = 2769.5 cm3
• Volume croquette : 1.2*0.85*0.45 = 0.459 cm3
• Nombre de croquettes : 2769.5/0.384 = 6033 

——————————————————————————————————————————

Expert Humain 3 (Yannis) : 

Hypothèses de calcul

Bocal : haut. = 18 cm, diam. = 14 cm Croqu. : 1.1×0.9×0.5, 1.15×0.85×0.5, 1.15x1x0.45

Empilement : réduire le nombre obtenu de 5% après calcul final (“parce que” – Yannis)

Calcul : 

• Volume bocal : 3.1415* 7² * 18 = 2770.8 cm3
• Volume croquette : moyenne des trois mesures = 0.50042 cm3
• Nombre de croquettes : (0.50042/0.384)*0.95 = 5260

——————————————————————————————————————————

Expert Humain 4 (Klod) : 

Hypothèses de calcul

Bocal : haut. = 19 cm, diam. = 13 cm Croquettes : 1 x 0.7 x 0.4

Empilement : coefficient d’empilage estimé visuellement = 72% 

Calcul : 

• Volume bocal : 3.14* 6.5² * 19 = 2520.6 cm3
• Volume croquette : 1*0.7*0.4 = 0.28 cm3
• Nombre de croquettes : (2520.6/0.28)*0.72 = 6482

——————————————————————————————————————————

Expert ChatGPT (accompagné dans son raisonnement) : 

Je lui ai également fourni les dimensions moyenne d’une croquette, et voici sa réponse : 

Je lui ai fait remarquer qu’utiliser une densité “classique pour les matériaux granulaires” pouvait ne pas être approprié ici… mais qu’il lui était possible d’affiner ce calcul : 

Voici le calcul finalement fait : 

En bref : ((3.14* 7² * 20)*0.85)/(1.1*0.8*0.4) = 6813

Je sais pas vous, mais perso si on m’avait dit il y a une paire d’années (à peine) qu’on pourrait avoir ce type de dialogue avec une vulgaire chatbox, bon. Ok, c’est pas le sujet, mais quand même.

——————————————————————————————————————————

Finalement, nos valeureux experts ont estimé qu’il y avait respectivement 6564, 6033, 5260, 6482 et 6813 croquettes, soit une moyenne de 6230 (et une médiane de 6482).

——————————————————————————————————————————

4. MAIS TU VAS NOUS LE DONNER,
CE RÉSULTAT, OUI OU MERDE ???

Rhooo, hey, on se calme, hein. Tout vient à point à qui sait attendre, comme on dit ! Enfin, Clément Marot, plutôt. J’aime bien aussi la patience est l’art d’espérer, de Vauvenargues. 

Nan, mais je sais que ça peut sembler agaçant. Vous avez voté, puis revoté, et maintenant vous vous tapez le rapport, et avec tout ça vous ne savez toujours pas combien il y avait réellement de foutues croquettes dans ce foutu bocal, et vous en venez même à douter qu’elles aient été réellement comptées. Je comprends. Mais dites vous bien que “Si vous êtes patient un jour de colère, vous échapperez à cent jours de chagrin” (proverbe chinois). Et ça, c’est forcément vrai, puisque ça vient de loin (oui, car un proverbe qui a voyagé loin a certainement ménagé sa monture).

Mais si la patience est essentielle à l’esprit critique, c’est aussi le cas de la pensée réflexive. Je ne peux donc que me demander POURQUOI je prends un tel plaisir à vous faire attendre. Pourrait-il s’agir d’une forme d’angoisse ? Une aversion à la perte. Une escalade d’engagement ? Car cette information (capitale) que je détiens, c’est du POUVOIR. Quand je l’aurai partagée, il me faudra retourner à ma… bon allez stop, je pousse, là.

Allez, je vous laisse avec Élodie, qui a eu la gentillesse de réaliser et de présenter le décompte !

5. Bilan de l’expérience

Un biais collectif ?

Manifestement, oui. Tiens, revenons sur nos moustaches. Vous vous souvenez ? La boite, pour l’expérience au REC, montre un biais collectif de sous-estimation, avec une médiane à 4378. (contre 6509 en réalité, donc : la ligne verte en pointillés)

Et en ligne ? C’est bien pire ! La bonne réponse n’est même pas dans la boîte ! Probablement parce que sous forme d’image et de vidéo, percevoir le volume est encore plus difficile (ou alors, c’est parce que personne ne vous regardait ?). [La moyenne, en jaune, est cependant meilleure]

Ici, la valeur médiane n’est que de 2500 ! Cela signifie, on le rappelle, que pour plus de la moitié d’entre vous, il y avait moins de 2500 croquettes dans le bocal. Qui en contenait donc presque trois fois plus. Vous êtes nuls. De vraies truffes. Bouh.

La conscience de la foule

J’ai lancé un second questionnaire, en demandant cette fois aux répondants s’ils pensaient que la foule avait eu tendance à sous ou surestimer le résultat :

Et c’est très bien vu ! Plus de la moitié ont anticipé une sous-estimation du nombre de croquettes par la foule ! C’est un peu étonnant, la médiane étant, donc, bien trop basse.

Vous vous rappelez que j’en avais profité pour prendre votre avis sur cette histoire de bornes acceptables ? Eh bien évidemment, vous aviez là aussi sauté à pieds joints dans ce biais collectif !

Tenez-vous bien (tenez-vous mieux, on voit tout, là), 25 % des répondants ont donné une borne haute acceptable qui est… INFÉRIEURE à la valeur réelle du nombre de croquettes (6509). 

Ce qui signifie qu’en écoutant ce quart des votants, on aurait tout simplement exclu la possibilité même de donner la bonne réponse ! 

Je me demande si, avec ces histoires de bornes acceptables, on ne pourrait pas se hasarder à une petite métaphore de la tolérance. Vous savez, celle des idées… Des idées qu’on désapprouve, évidemment (sinon, ça n’est pas de la tolérance. Ça paraît con, mais visiblement le rappel n’est pas inutile). On le voit ici : la tolérance ne doit pas s’étendre au point d’inclure des propositions délétères pour le résultat collectif. Il est nécessaire d’éliminer les trolls ou les délirants/incompétents à l’excès. Pour autant, il serait dangereux de trop restreindre cette tolérance. Non seulement on perdrait la précieuse diversité indispensable (tout comme elle l’est – paraît-il – au bon fonctionnement de la sagesse des foules), mais en plus, on pourrait même finir par exclure le réel du champ des idées et représentations. En tout cas, tolérez au moins ce genre de digression un peu aléatoire et qui mériterait certainement une réflexion bien plus approfondie. Mais là, on n’a pas trop le temps : revenons-en plutôt à notre expérience. 

Surprisingly popular

Dans les techniques relatives au concept de sagesse des foules, il y a le surprisingly popular. Je ne vais pas réinventer la poutre, en voici donc la description Wikipédia : 

Auf Französisch : Afin d’explorer plus avant les moyens d’améliorer les résultats, une nouvelle technique appelée « étonnamment populaire » a été mise au point par des scientifiques du Sloan Neuroeconomics Lab du MIT, en collaboration avec l’université de Princeton. Pour une question donnée, les gens sont invités à donner deux réponses : ce qu’ils pensent être la bonne réponse et ce qu’ils pensent être l’opinion populaire. La différence moyenne entre les deux indique la bonne réponse. Il a été constaté que l’algorithme « étonnamment populaire » réduit les erreurs de 21,3 % par rapport aux votes à la majorité simple et de 24,2 % par rapport aux votes de base pondérés en fonction de la confiance, où les personnes expriment leur degré de confiance dans leurs réponses et où les réponses sont pondérées en fonction de la confiance qu’elles ont en elles.

Pour bien voter, revotez !

Je me suis donc dit “Ah ouais, on a le droit à ces bidouilles ? Bon ben c’est parti, alors !”, et j’ai lancé un troisième questionnaire, vous proposant de voter de nouveau pour le nombre de croquettes, mais en SACHANT cette fois que 56% avaient jugé que le nombre avait certainement été sous estimé, ainsi qu’en connaissant la moyenne des votes (4550, 10 >< 100k) : 

J’ai également demandé qui avait voté la fois précédente : il y a eu 37.3% de nouveaux votants, et 7.8% d’amnésiques. Plus intéressant, voici la répartition des attitudes des votants. On constate que 27% ont revu leur vote à la hausse, quand 20.1% n’y ont pas touché (bande d’ancré(e)s), et seulement 7.8% l’ont abaissé !

——————————————————————————————————————————
—————————  LA RÉSURRECTION DE MATTHIEU  (POUR S’INDIGNER)  ———————
——————————————————————————————————————————

Bon, à ce stade, le plus rapide est de céder :

——————————————————————————————————————————

——————————————————————————————————————————

Alors ? Objectif atteint, non ? Logiquement, ce processus nous aura rapproché du bon résultat, puisque la foule a compris qu’elle sous estimait le nombre réel de croquettes, et a massivement corrigé son vote précédent ! YEAAAAAH !

Hélas, non, ça n’est pas si simple. Car ceux qui ont revu leur vote à la hausse ont en moyenne ajouté 1151 croquettes, quand ceux qui l’ont réduit en ont enlevé… 3281, annulant ainsi, en moyenne, le bénéfice de cette “prise de conscience”. La moyenne, chez les anciens votants, passe donc de 4733 (notons au passage que ça correspond peu ou prout à la moyenne effectivement relevée au premier tour) à 4804. Soit 71 croquettes de plus : le gain est mince, comparé aux 1800 croquettes qu’il nous manquerait pour atteindre 6905.

En revanche, les 76 nouveaux votants (disposant donc directement des informations, mais sans l’ancrage mental de leur précédent vote) ont obtenu une moyenne nettement meilleure : 5471 !
Les anciens votants amnésiques (ils étaient 16) ont eux eu un vote moyen de 4916 croquettes.

Ah, et les médianes, elles, restent aux fraises, même si c’est mieux, avec 4000 au lieu de 3000. Mais on reste vraiment loin des 6509 !

L’expérience de l’ASTEC au Bordeaux Geek Festival (BGF)

Je n’étais pas au Bordeaux Geek Festival 2024. Mais ça n’a pas empêché l’équipe de l’ASTEC de reproduire l’expérience en douce. Comme c’est un peu, avouons le, des tordu(e)s tendance geek-rôlistes-coiffure-improbable, ils ont remplacé les croquettes pour chats des honnêtes gens par un liquide bleu (probablement illégal) de nom et de densité inconnus, et proposé au public d’estimer le poids de la bouteille de forme inhabituelle qui le contenait. Les votants osant s’approcher avaient le droit de soupeser l’élixir.

J’ai pu soudoyer le président de l’association pour qu’il me transmette les résultats obtenus (il a en revanche refusé de me dire de quel liquide il s’agissait). 

Alors bon, c’est pas mal. On pourrait même dire que ça a manifestement bien fonctionné. La médiane et le mode (valeur la plus votée) sont très proches du bon résultat. Et ici, c’est la moyenne qui est aux fraises, bien supérieure au poids réel de 1,25 Kg. Pourquoi ? Probablement parce qu’à une telle valeur, la probabilité de donner un nombre bien trop grand est plus importante que celle de donner un nombre bien trop petit. En clair : en dessous de 1250, il n’y a que 1249 entiers non nuls. Au-dessus, il y en a tout de suite… disons, beaucoup beaucoup plus. Bien sûr, on pourrait rétorquer qu’il en va de même pour les croquettes, comme pour n’importe quel nombre non nul : à la hausse, il y a TOUJOURS plus de marge, Simpson !

Certes, mais il faut prendre en compte le réalisme des valeurs. Ça n’est pas parce que personne ne les situe au même endroit, et que les biais les affectent également, qu’elles n’existent pas. PERSONNE ne peut prétendre honnêtement que ce flacon pourrait peser 100000 grammes (100 kg). Ne serait-ce que parce qu’il est possible de le porter. Ce phénomène était sans doute bien moins marqué avec les croquettes. De plus, le nombre de croquettes, 6509, était nettement plus élevé. Que se serait-il passé si nous avions proposé un récipient contenant 1250 croquettes ? Peut-être le biais collectif se serait-il inversé ?

Ou pas.

Car il y a d’autres différences entre ces deux expériences : évaluer un poids (ou une température) ne peut se faire que spontanément. Alors que s’agissant du nombre de croquettes, différentes stratégies étaient possibles. De l’impression spontanée au calcul approximatif d’un ordre de grandeur… jusqu’aux tentatives d’évaluation précises (la même approche que les experts… mais sans disposer des mesures !)

——————————————————————————————————————————
——————————————————————————————————————————

——————————————————————————————————————————
———————————— Ah oui, donc, le mec est chez lui, quoi. ————————————
——————————————————————————————————————————

Conclusion : la sagesse des foules a-t-elle fonctionné ici ?

Clairement, pas trop.

François-Marie Bréon avait donc raison.

Mais c’est rudement intéressant quand même : Fouloscopie n’avait donc vraiment pas tort !

On ne peut pas, à l’évidence, s’appuyer sur les résultats d’une expérience nouvelle, pour déterminer de manière fiable une grandeur grâce à la foule. Car on ne peut vraiment établir que ça fonctionne… qu’a posteriori. 

Peut-être une répétition en conditions contrôlées pourrait-elle fonctionner, mais comment savoir si les conditions seront réellement les mêmes ? Comme évoqué ci dessus, la tendance de la foule pourrait même s’inverser selon le nombre d’éléments à estimer !

Il reste également la question de l’usage de la médiane ou de la moyenne, ainsi que celle de l’acceptabilité des évaluations. Car, on l’a dit, on ne mettrait pas des enfants de trois ans dans un panel en lui demandant d’évaluer quelque chose qu’il ne maîtrise pas. Pourquoi le ferait on avec des adultes très incompétents ? Quels sont les profils appropriés ? Et ne convient il pas d’éliminer également ces gens (des tricheurs, osons le mot) qui ont tenté de calculer le nombre de croquettes ? 

Et concernant l’expertise, qui est censée être “potentiellement” concurrencée par la performance moyenne de la foule : comment la détermine-t-on ? Que fait-on des mauvais experts ?

Tiens, pour conclure (car ce qui va suivre est d’une assez faible valeur scientifique et informative, convenons en) et achever de vous convaincre que le phénomène est plus difficile à dompter qu’une fougueux cheval sauvage, voici une dernière donnée : la moyenne (en jaune) des votes au REC était… largement supérieure au bon résultat (pointillés verts) !

Après, bon, on peut toujours se dire qu’en prenant la moyenne entre la médiane et la moyenne, on tombait vraiment tout près ! 😀

Bref, c’est assez mou, cette sagesse des foules.

——————————————————————————————————————————

6. Les sous-groupes rigolos

Je vous rappelle que la bonne valeur est 6509.

Kestuvafair ? 

Une première conclusion s’impose, même si ça doit me valoir un croquettes cancel : les femmes ont fait sensiblement moins bien que les hommes. C’est comme ça.

Très clairement, cette différence trouve son origine dans les rôles distincts qu’ils se partageaient à l’époque des chasseurs cueilleurs. Durant cette période, les femmes, avec leurs petites mains, se limitaient à cueillir un nombre très restreint de baies, concentrant leur attention sur des quantités relativement petites. 

En revanche, les hommes, chargés de la chasse, devaient souvent évaluer de plus grands nombres, tels que la population des troupeaux de bisons, dont la taille, à l’époque, était évidemment considérable. 

Quoi ? Moi aussi, j’ai le droit de troller, y’a pas de raison. Nan, en vrai, aucune idée.

Croire en Dieu ou boire son pipi le matin (ou les deux, mon capitaine)

Les croyants qui boivent leur pipi au réveil s’avèrent très, très mauvais croquettomètres.

On pourrait un peu rapidement conclure que la religion constitue un handicap. Mais ça serait passer à côté du fait que les femmes croyantes qui boivent du café explosent le score ! 

(Bon, dans les deux cas, N=5, mais quand même)
[N=x, ça signifie que le groupe concerné est composé de x personnes])

Très curieusement, si elles sont athées, boivent du café, et ne possèdent pas de chat, leur résultat est une catastrophe (N = 15)

Il faut dire que les femmes buvant du thé plutôt que du café sont bien meilleures (N = 54 et 40).

Bref, les chiffres ne mentent pas : il faut boire du café (N = 303 et 117).

En tout cas, si on est un homme ou une femme croyante.

Au final, les pires en évaluation de croquettes sont: les non binaires qui commencent la journée par un verre d’urine (Mais N = 2).

Les meilleures : les jeunes femmes qui commencent la journée par un verre d’urine (N = 3).

BREF,
Retenez que les hommes
doivent boire du café,
et les femmes, leur pipi.
Si elles sont jeunes. Et athées.
Car dans le cas contraire,
elles doivent boire du café. 

Et qu’il faut vraiment se méfier des statistiques.

——————————————————————————————————————————

La suite est tout à fait superflue. Si vous êtes pressé(e)s, ne vous embêtez pas, c’est surtout pour rire.

——————————————————————————————————————————

7. Et mon questionnaire ? Tu l’aimes, mon questionnaire ?

Vous l’aurez peut-être noté, mes questionnaires sont un peu particuliers. Suffisamment pour qu’il soit intéressant de revenir sur les différentes questions posées, au-delà de la toute première, qui recueillait votre estimation du nombre de croquettes. Vous aurez également noté que les autres questions étaient facultatives. Une façon de signaler, en cas de réclamations, que vous n’aviez qu’à les ignorer, la direction déclinant toute responsabilité blabla.

Question 2 : L’âge du capitaine

Les gens comme il faut ont longtemps tenu la corde, mais ont hélas été rattrapés puis devancés par les jeunes au cours des derniers jours de vote. Heureusement, c’est tout de même resté correct, et il n’y a eu que peu de trop jeunes (Et, Dieu merci, quasi aucun môme).

Question 3 : Genre !

Bon, là ça se passe de commentaires. Les femmes n’aiment clairement pas aider la science.

Question 4 : Code CVC (les 3 chiffres au dos de votre carte bancaire)

Vous êtes 89 dont le code CVC est prétendument “666”. S’il fallait démontrer que le scepticisme est un mouvement sataniste…
Vous êtes environ 5 dont le code CVC est “Va te faire foutre”. Et vulgaires, en plus.
Et curieusement, un seul “Les mêmes que ta soeur”.
Notons également la présence de quelques sigles : LOL, NTM, DTC…

Question 5 : Possession de chat

4 sur 10 ont un chat, 1 mange des croquettes et les 5 autres ont donc répondu à ce questionnaire sans même savoir de quoi ils parlaient. Bravo…

Question 6 : Un sceptique bien entouré

52.8% ne l’ont pas, et n’ont manifestement aucune intention de résoudre ce problème. (Entre nous, ça ne m’étonne pas vraiment d’eux. Qu’attendre de gens qui ne souhaitent même pas acquérir ce magnifique ouvrage ?)
15.3% l’ont déjà. Et ça se voit : ce sont de belles personnes !
11% ont esquivé la question, en choisissant l’option faisant référence à Jean-Pierre Sauvage, prix Nobel de chimie 2016, dont la présence comme contributeur au livre est un grand honneur et mérite d’être soulignée. 
20% ont signifié leur intention de le commander. Je considère personnellement ça comme une promesse.

Bref, 100% ont bien remarqué cette promo sauvage, à la limite de l’éthique, glissée au beau milieu du questionnaire. Profitons-en donc pour examiner là aussi, scientifiquement, le résultat de cette ambitieuse campagne publicitaire, puisque nous disposons justement du stock d’ouvrages restant chez Book-e-Book en temps réel.

Eh bien… Je suis en mesure de vous révéler que le stock, avant la publication de ce formulaire, était de… 252 exemplaires ! Or, et c’est franchement étonnant, il n’est désormais plus que de…
Oh pis hey, on ne va pas tout faire nous-mêmes, non plus. Allez donc vérifier sur https://www.book-e-book.com/livres/217-un-sceptique-bien-entoure-nhc001.html 
Cliquez sur “détails du produit”. Puis sur “ajouter au panier”.

Question 7 : Comme la lune

88.1% des gens sont manifestement bourrés de certitudes. C’est moche.

Question 8 : Granules

Soyons sérieux 2mn : 4.6% (23 personnes) ont répondu qu’ils préféraient ne pas répondre, malgré la pression anti homéo manifeste (et assez désobligeante) de la question. On peut donc raisonnablement considérer qu’il s’agit d’utilisateurs et d’utilisatrices d’homéopathie. Et ils en ont bien le droit !

[Accessoirement, ça ne nous dit rien de la confiance qu’ils ont dans les théories sous-jacentes : peut-être est-ce un usage placebo assumé]

Mais peut-être les découvrirons-nous plus proches que les autres du nombre réel de croquettes ? Dans ce cas, nous aurons ENFIN démontré l’efficacité de cette approche ! (et le prix Nobel de médecine nous tend les bras !) [Edit : non. Tant pis !]

Question 9 : Wake-up!

Les résultats parlent d’eux-mêmes : 65.5% démarrent au café, 25.8% ingurgitent de l’eau colorée (croyant probablement, les sots, qu’elle contient moins de caféine), et 8.7% boivent leur pipi ou on trouvé le mot joli : dans les deux cas, je ne suis pas ici pour vous juger. 

Question 10 : Dermato

Vous aurez reconnu ici une variante de l’énigme du nénuphar. Sans surprise, moins de 10% s’y sont laissé prendre. Il faut dire que c’est plus simple qu’avec les nénufars (oui, j’alterne l’orthographe, on est dans un pays libre, non ? Et non, Klod, je n’accepterai pas ta demande de correction pour remettre nénuphar. Sale réac.), où l’on parle de 48 jours pour couvrir tout l’étang, et où la tentation est donc grande de répondre 24. Oui, mais voilà, dans un Google form, je ne pouvais que mettre des réponses allant de 0 à 5 maximum. Donc hein. Bon. De toute façon, je voulais juste en choper quelques un(e)s qui répondaient trop spontanément ET ne connaissaient pas encore cette énigme.

Question 11 : Et les Dieux, dans tout ça ?

On a ici environ une personne sur 10 qui s’est déclarée croyante. Celles et ceux qui ont répondu “5” sont très certainement des trolls. “3”, surement aussi, mais avec ces histoires de Trinité, tout est possible. Bref, 90% d’athées, à la louche.

ET ALORS ??? 

Bah rien, ça pose un problème à quelqu’un ? Non, tu vois. Bon. Alors. Allez, la suite.

Question 12 : Un ver, ça va…

60% ne connaissaient manifestement pas l’expression. 
110% m’ont détesté.

Mais comme disait Arthur : 

A pris sa, à la volette
A pris sa, à la volette
A pris sa volée

Mon petit oiseau…

Question 13 : “c’est le moment de me raconter ce que vous voulez.”

Oui alors là, je dois dire que c’est particulier. Quand on vous laisse de la liberté, vous en faites un drôle d’usage, je trouve. Je vous laisse aller consulter l’ensemble des commentaires anonymes laissés en Annexe 1. Ou aller consulter tout court, d’ailleurs.

Je vous laisse avec les meilleures histoires drôles (selon moi) qui m’ont été soumises dans les champs libres, en Annexe 2. Voici tout de même ma préférée : 

Dans un cirque, un lion est dans la même cage qu’une chèvre, parce qu’ils sont amis. Un badaud demande au dompteur comment il fait pour que le lion et la chèvre s’entendent aussi bien. « C’est facile, on remet une chèvre tous les matins ! »
 (1ère dauphine : C’est une blague littéraire. Tire sur mon doigt….Proust !)

——————————————————————
——————————————————————
Annexes : du temps à perdre ?
——————————————————————
——————————————————————

Annexe 1 : où vous aviez le champ libre…

Les commentaires libres, in extenso… (je vous ai graissé mes préférés)

——————————————————————————————————————————

Annexe 2 : toutes vos histoires « drôles » (?)

Toutes vos blaaaagues… (Je décline toute responsabilité. Et tout court, hélas.)

Quelqu’un qui est arrivé jusqu’ici est très certainement du genre à souhaiter me soutenir sur Tipeee. Je te remets donc le lien. Merci d’avance ! 🙂

https://fr.tipeee.com/evidence-based-bonne-humeur