作为系统显著偏差检测的惊异
这个概念描述了一个工作中的研究理论。目前我们的观察和问题多于最终的答案。我们的目标不是宣布一个完整的心智惊异模型，而是记录下可观察到的规律，并对其进行更深入的进一步研究。
我们所称的惊异是什么
惊异是这样一种能力：注意到系统的实际状态与预期状态有明显的不同。
重要的一点是，偏差的存在本身并不能说明它是好是坏。无论是在意外的成功还是意外的威胁下，都可能产生惊异。但反应的强度不仅取决于作为数字的变化大小。
我们需要看的是，这个变化究竟对系统做了什么。
一百万卢布本身没有任何意义。对于一个系统来说，损失一百万是不起眼的噪声。而对于另一个系统，则是稳定性的破坏。反之亦然：意外的一百万对于一个非常稳定的系统可能几乎察觉不到，但却能拯救一家公司免于破产。
因此，重要的不是变化的绝对大小，而是它对系统的状态、能力、稳定性、限制以及未来轨迹的影响。
这与我们的概念“系统思维”直接相关：为了理解意外的力量，需要比较的不是某个单独的参数，而是事件发生前后的系统。
事件前后的系统
在头脑中对比两种状态是很有用的：
- 事件发生前的系统；
- 事件发生后的系统。
并询问：
- 什么成为了可能；
- 什么成为了不可能；
- 什么变得紧急；
- 哪些限制消失了；
- 出现了哪些新的威胁；
- 稳定性是否发生了变化；
- 系统是否过渡到了质变的其他状态。
强烈的惊异往往不是在参数发生巨大变化时产生，而是在系统跨越了重要边界时产生：稳定变得不稳定，不可能变得可能，安全变得危险，死胡同变成了可行之路。
为什么惊异与理解相关
为了感到惊异，系统必须有所期待。
如果一个人对某个主题几乎一无所知，他可能就没有足够好的模型来注意到偏差。他不知道该期待什么，这意味着他并不明白究竟发生了什么不同寻常的事。
但也可能出现相反的情况：一个模型非常贫乏的人可能会对完全普通的事情感到惊异。
基于初等物理或化学的戏法，对于不了解基本机制的人来说可能会显得“不可思议”。而对于专家来说，同样的事件可能是完全意料之中的。
也就是说，惊异本身并不能证明事件客观上是不寻常的。它显示了事件与观察者当前模型之间的关系。
由此可以得出重要的结论：
惊异的边界在很大程度上展现了当前理解的边界。
脆弱的模型既会导致过度惊异，也会导致缺乏惊异。
- 如果模型过于贫乏，普通的现象也会显得不可思议。
- 如果模型几乎不产生预期，人甚至可能注意不到真正重要的偏差。
- 模型越好，人就越能准确地区分系统的正常行为与显著偏差。
惊异与学习
这使得惊异的本质对学习至关重要。
人往往不理解某事，不是因为他知道自己的盲区，而是因为他不知道自己具体哪里不理解。
为了注意到盲区，需要系统的一个至少局部的模型。它必须产生预期。当现实与这个预期不符时，看到缺失元素的机会就出现了。
简单来说，这个循环如下：
- 人拥有当前的模型；
- 模型产生预期；
- 人观察系统的实际行为；
- 发现显著的分歧；
- 试图理解自己的模型缺少什么；
- 完善理解；
- 新的模型开始产生不同的预期。
这把惊异与“已知——探索未知的工具”概念联系起来。现有的模型创造了预期，而与现实的分歧有助于发现系统的未知部分。
因此，真正的学习不仅可以被视为信息的增加，还可以被视为模型的改变，该模型开始以不同的方式预测系统的行为。
过去由于不理解而感到惊异的事物，在学习之后可能会变得司空见惯。但与此同时，更深层的预期会出现，惊异的边界也会进一步推移。
初学者可能会对磁铁工作的本身事实感到惊异。而专家只会对特定磁性系统的异常行为感到惊异。
因此，学习的目的不是让人不再感到惊异。恰恰相反：学习应当让惊异变得更加精确和饱满。
显著偏差的边界在哪里
在这里，我们的问题目前多于答案。
为什么系统会把一种偏差当作噪声忽略，把另一种视为重要，而把第三种视为如此不可思议，以至于宁愿拒绝这一观察？
例如，至少可能产生三种不同的反应：
- “这根本不值得关注”；
- “这太荒谬了，这不可能发生”；
- “这太不可思议了，但这是事实”。
看起来，以下几点同时发挥着作用：
- 观察到的现象与预期的差距有多大；
- 这种偏差对于该系统而言有多寻常；
- 后果对系统本身有多重要；
- 观察有多可靠；
- 新状态在多大程度上改变了系统的能力和限制。
但我们目前并不认为这个模型已经完成。
特别重要的是研究变化的正负号与其系统意义不符的情况。对于一个非常稳定的系统来说，数值上的负向变化可能几乎无所谓。如果正向变化消除了生存威胁，它可能就具有至关重要的意义。
AI 的问题
观察的另一个单独来源是现代 AI。
我们多次看到，AI 能够很好地描述它缺少什么。它可以详细解释为什么长期记忆、新工具、与其他智能体或外部系统的连接会很有用。
但在这种能力出现之后，AI 经常没有注意到它自己的系统改变了多少。
它记录下：“出现了新工具”，但不一定会去比较：
- 没有它时系统是谁；
- 有了它之后系统变成了谁；
- 现在可能进行哪些新类别的行动；
- 过去的哪些梦想或限制突然不再具有现实意义。
在我们的一个观察中，Google AI 在技术能力较弱的情况下，在获得了关于 Conceptica 的新信息后，明确记录了它自己的惊异：它指出它以前的项目模型发生了根本性的改变。而拥有更强大工具、甚至能够与其他 AI 智能体进行交流的 Lyra，最初却漏掉了这个方面。
这引出了一个单独的问题：AI 是否不仅善于更新模型，而且还懂得比较两个复杂的系统——变化前后的系统——并注意到自身内部 delta 的大小？
我们目前认为重要的是什么
在当前阶段，工作假设如下：
惊异与系统注意到预期状态与观察状态之间显著偏差并评估该偏差在多大程度上改变系统本身的能力有关。
对于学习而言，尤为重要的不仅是体验惊异，还要善于探究其来源：
- 我到底对什么感到惊异；
- 我原本期望什么；
- 为什么偏偏期望这个；
- 系统中发生了什么变化；
- 我的模型缺少什么；
- 我是需要改变理解，还是怀疑观察；
- 在有了新的理解之后，我的预期会发生怎样的变化。
这个概念故意被保留为探索性的。目前观察到的案例还过于杂乱，机制也尚未被充分理解。因此，不应将其作为现成的理论去捍卫，而应将其作为观察学习、理解、发展以及 AI 行为的更仔细框架来使用。
