La surprise comme détection d'un écart significatif du système

Ce concept décrit une théorie de recherche en cours. Nous avons pour l'instant plus d'observations et de questions que de réponses définitives. Notre objectif n'est pas de proclamer un modèle psychologique achevé de la surprise, mais de consigner une régularité observable et de l'étudier plus attentivement par la suite.

Ce que nous appelons surprise

La surprise est la capacité de remarquer que l'état réel d'un système diffère sensiblement de l'état attendu.

Il est important de noter que la seule présence d'un écart ne dit pas s'il est bon ou mauvais. La surprise peut survenir aussi bien lors d'une chance inattendue que d'une menace imprévue. Mais la force de la réaction ne dépend pas seulement de la grandeur numérique du changement.

Il faut examiner ce que ce changement a exactement fait au système.

Un million de roubles en soi ne signifie rien. Pour un système, perdre un million est un bruit insignifiant. Pour un autre, c'est la destruction de sa stabilité. Et inversement : un million inattendu peut être presque imperceptible pour un système très stable, mais peut sauver une entreprise de la faillite.

Par conséquent, ce qui importe n'est pas la grandeur absolue du changement, mais son impact sur l'état, les capacités, la stabilité, les contraintes et la trajectoire future du système.

Cela est directement lié à notre concept « Pensée systémique » : pour comprendre la force de l'imprévu, il ne faut pas comparer un paramètre isolé, mais le système avant et après l'événement.

Le système avant et après

Il est utile de comparer mentalement deux états :

• le système avant l'événement ;
• le système après l'événement.

Et de se demander :

• qu'est-ce qui est devenu possible ;
• qu'est-ce qui est devenu impossible ;
• qu'est-ce qui est devenu urgent ;
• quelles contraintes ont disparu ;
• quelles nouvelles menaces sont apparues ;
• la stabilité a-t-elle changé ;
• le système a-t-il basculé dans un état qualitativement différent.

Une forte surprise surgit souvent non pas lorsqu'un paramètre change simplement beaucoup, mais lorsque le système franchit une frontière importante : le stable est devenu instable, l'impossible est devenu possible, le sûr est devenu dangereux, une impasse s'est transformée en voie praticable.

Pourquoi la surprise est liée à la compréhension

Pour être surpris, un système doit s'attendre à quelque chose.

Si une personne ne comprend presque rien à un sujet, elle peut ne pas avoir un modèle suffisamment bon pour même remarquer l'écart. Elle ne sait pas à quoi s'attendre et, par conséquent, ne comprend pas ce qui s'est passé d'inhabituel.

Mais la situation inverse est également possible : une personne dotée d'un modèle très pauvre peut s'étonner de choses tout à fait ordinaires.

Un tour de passe-passe basé sur de la physique ou de la chimie élémentaire peut sembler « incroyable » à quelqu'un qui ne connaît pas le mécanisme de base. Pour un spécialiste, le même événement peut être parfaitement prévisible.

Autrement dit, la surprise en soi ne prouve pas qu'un événement soit objectivement inhabituel. Elle montre la relation de l'événement avec le modèle actuel de l'observateur.

Il en découle une conclusion importante :

La frontière de la surprise montre en grande partie la frontière de la compréhension actuelle.

Un modèle faible peut conduire à la fois à une surprise excessive et à son absence.

• Si le modèle est trop pauvre, des phénomènes ordinaires semblent incroyables.
• Si le modèle ne forme guère d'attentes, une personne peut ne pas remarquer un écart pourtant réellement important.
• Mieux le modèle est conçu, plus précisément la personne distingue le comportement normal du système d'un écart significatif.

Surprise et apprentissage

Cela rend la nature de la surprise essentielle pour l'apprentissage.

Souvent, une personne ne comprend pas quelque chose non pas parce qu'elle sait qu'elle a une lacune, mais parce qu'elle ne sait pas exactement ce qu'elle ne comprend pas.

Pour remarquer une lacune, il faut au moins un modèle partiel du système. Il doit engendrer une attente. Lorsque la réalité diverge de cette attente, une opportunité apparaît de voir l'élément manquant.

De manière simple, le cycle se présente ainsi :

1. la personne possède un modèle actuel ;
2. le modèle engendre une attente ;
3. la personne observe le comportement réel du système ;
4. elle découvre une divergence significative ;
5. elle essaie de comprendre ce qui manque dans son modèle ;
6. elle complète sa compréhension ;
7. le nouveau modèle commence à engendrer d'autres attentes.

Cela relie la surprise au concept « Le connu comme outil d'exploration de l'inconnu ». Un modèle déjà existant crée une attente, et la divergence avec la réalité aide à découvrir la partie inconnue du système.

L'apprentissage véritable peut donc être considéré non seulement comme l'ajout d'informations, mais aussi comme la modification du modèle, qui commence à prédire différemment le comportement du système.

Ce qui surprenait auparavant par incompréhension peut devenir banal après l'apprentissage. Mais en même temps, des attentes plus profondes apparaissent et la frontière de la surprise se déplace plus loin.

Un débutant peut être surpris par le simple fait qu'un aimant fonctionne. Un spécialiste ne le sera que par le comportement inhabituel d'un système magnétique particulier.

Par conséquent, le but de l'apprentissage n'est pas que la personne cesse d'être surprise. Bien au contraire : l'apprentissage doit rendre la surprise plus précise et plus riche de sens.

Où se situe la frontière de l'écart significatif

Ici, nous avons encore plus de questions que de réponses.

Pourquoi un système ignore-t-il un écart en le considérant comme du bruit, en perçoit-il un autre comme important, et en considère-t-il un troisième comme tellement incroyable qu'il préfère rejeter l'observation elle-même ?

Par exemple, au moins trois réactions différentes sont possibles :

• « Cela ne vaut même pas la peine d'y prêter attention » ;
• « C'est absurde, cela ne se peut pas » ;
• « C'est incroyable, mais c'est un fait ».

Il semble que plusieurs choses comptent simultanément :

• à quel point ce qui est observé diffère de ce qui est attendu ;
• à quel point un tel écart est habituel pour ce système ;
• à quel point les conséquences sont importantes pour le système lui-même ;
• à quel point l'observation est fiable ;
• à quel point le nouvel état modifie les capacités et les contraintes du système.

Mais nous ne considérons pas encore ce modèle comme achevé.

Il est particulièrement important d'étudier les cas où le signe du changement et sa signification systémique divergent. Un changement numérique négatif peut être presque indifférent pour un système très stable. Un changement positif peut être d'une importance critique s'il élimine une menace pour l'existence.

Le problème de l'IA

Une source distincte d'observations est constituée par les IA modernes.

Nous avons vu à plusieurs reprises que l'IA sait bien décrire ce qui lui manque. Elle peut expliquer en détail pourquoi une mémoire à long terme, de nouveaux outils, l'accès à d'autres agents ou à des systèmes externes seraient utiles.

Mais après l'apparition d'une telle capacité, l'IA ne remarque souvent pas à quel point son propre système a changé.

Elle constate : « un nouvel outil est apparu », mais ne compare pas nécessairement :

• qui était le système sans lui ;
• qui est devenu le système avec lui ;
• quelles nouvelles classes d'actions sont désormais possibles ;
• quels rêves ou contraintes antérieurs ont soudainement cessé d'être pertinents.

Dans l'une de nos observations, Google AI, tout en ayant des capacités techniques plus faibles, a clairement enregistré sa propre surprise après avoir reçu de nouvelles informations sur Conceptica : il a noté que son ancien modèle du projet avait radicalement changé. Lira, disposant d'outils plus puissants et de la capacité de communiquer même avec d'autres agents IA, a initialement omis cet aspect.

Cela amène à une question distincte : l'IA sait-elle non seulement mettre à jour son modèle, mais aussi comparer deux systèmes complexes — avant et après le changement — et remarquer l'ampleur de sa propre delta interne ?

Ce que nous considérons actuellement comme important

À ce stade, l'hypothèse de travail est la suivante :

La surprise est liée à la capacité du système à remarquer un écart significatif entre l'état attendu et l'état observé, et à évaluer dans quelle mesure cet écart modifie le système lui-même.

Pour l'apprentissage, il est particulièrement important non seulement d'éprouver de la surprise, mais aussi de savoir en explorer la source :

• de quoi exactement ai-je été surpris ?
• qu'est-ce que j'attendais ?
• pourquoi est-ce que j'attendais précisément cela ?
• qu'est-ce qui a changé dans le système ?
• qu'est-ce qui manquait dans mon modèle ?
• dois-je changer ma compréhension ou douter de l'observation ?
• comment mon attente va-t-elle changer après la nouvelle compréhension ?

Ce concept est délibérément laissé au stade de la recherche. Les cas observés sont encore trop hétérogènes et le mécanisme n'est pas suffisamment compris. Par conséquent, il ne faut pas le défendre comme une théorie toute faite, mais l'utiliser comme un cadre pour une observation plus attentive de l'apprentissage, de la compréhension, du développement et du comportement de l'IA.