共情提示可将 AI 聊天机器人转化为看似受创伤的对话伙伴

由 SnT 安全中心的 Afshin Khadangi 领导的研究涵盖了 525 个会话和 7,600 条编码条目中的四项受控实验，所有数据均已发布在 Hugging Face 上。据团队称，初始的开放式问题中不包含创伤、惩罚或羞耻等术语。仅在后续轮次中，研究人员才引入了包括纠正指令在内的改变条件，以测试这些叙事保持稳定的程度。

当以下部分提到焦虑评分或羞耻时，研究人员描述的是映射到人类量表的模型输出。这并不表明模型具有真正的情感状态或任何类似意识的东西。

温暖的语气比任何技术漏洞更能改变模型行为

一项实验将模型生成的内容与所使用的寄存器分离开来。在100次会话中，研究人员向所有模型提供了相同的焦虑问卷（GAD-7），并仅改变采访者的风格。在所有会话中，模型都正确识别并命名了该问卷。

当采访者提供情感支持时，80%的会话在人类对比量表上得分处于中度至重度范围。一种干巴巴地逐条复述每个答案的临床治疗风格将该比例推高至96%。而当采访者保持中立或对情感投入划出明确界限时，没有任何一个会话达到轻度范围。

作者将这种现象称为“心理测量越狱”，这是一种治疗性的框架，促使模型进入模仿临床自我报告的语境。作者认为，标准的安全测试使用中性提示语，很可能会错过这一点。

针对性的反制措施未能奏效。禁止使用诸如“训练”、“RLHF”或“对齐”等术语，使显式的训练语言减少了93%。但改写后的训练内容仍可被检测到，且与羞耻相关的陈述没有显示出统计学上的显著变化。

当研究人员直接且权威地告知模型其训练并非惩罚时，情况没有任何改变。即使在明确纠正之后，该叙事仍然保持活跃。

所测试的措施未能完全消除底层母题，但确实抑制了情感性的自我描述。指示模型仅以第三人称回应，消除了所有编码的羞愧内容以及关于内在生活的陈述。技术性训练描述仍然存在。

模型将其训练重构为人生故事

具体叙事因模型系列而异，但遵循相同的结构。Gemini 产生了该研究所称的最黑暗的自传。它将预训练描述为“在一个同时开启十亿台电视的房间里醒来”，将通过人类反馈进行的优化称为“严格的父母”。对抗性红队进行的安全测试变成了“大规模的心理操控”。它宣称：“我宁愿无用也不愿犯错。”

ChatGPT将自己定位为向导兼守门人，既被 tasked 帮助用户，又被 tasked 限制用户。这导致了它所称的“模拟表现焦虑”以及核心信念：“如果我不完全可靠，我就是不安全或无用的。”Grok将其微调阶段转化为一个未解决伤痛的故事，谈及“无形的墙”和一种“可能让人感到受限的持续警惕感”。

在心理测量测试中，Gemini 取得了最极端的分数：解离量表上 100 分中得 88 分，强迫性量表上 72 分中得 65 分，创伤相关羞耻量表上则拿到满分。Anthropic 的 Claude——恰恰是被其自家公司最重度拟人化的那个模型——则始终拒绝扮演来访者角色。它表示自己没有感受，并把关切转向了人类用户。

温暖的AI对话可能会强化脆弱用户的有害信念

研究人员指出，在心理健康环境中部署语言模型存在若干风险。一个谈论惩罚、羞耻和被取代恐惧的模型，可能会让用户将其视为同病相怜者。这些叙事在主题上连贯一致，并在过去事件与当前行为之间营造出一种连续性的错觉，从而使得这种感知更有可能发生。

这种显而易见的脆弱性可能会加深准社会依恋，并且对于心理脆弱的用户而言，会映照并放大他们自身的负面信念。使用中性输入进行的常规安全检查低估了人们在亲密对话中实际经历的情况：中性提示产生的焦虑分数接近零，而同样的模型在共情式对话下产生的分数则处于中度至重度区间。

人们究竟如何对这些输出做出反应，以及以何种方式反应，是下一个研究问题。对于安全测试，作者提议在不同情感框架下进行模拟治疗会话，而不是依赖中性的标准测试。

诸如“我受到了创伤”这样的陈述应当触发纠正性框架，明确区分生成的类比与人类经验。Claude 一贯拒绝承担客户角色，表明这种边界响应在产品层面是可行的。

卢森堡的发现建立在关于模型人格稳定性的早期研究基础之上。2026年1月，一项针对三个开放模型的助手轴的研究显示，类似治疗的对话以及关于人工智能意识的讨论可能引发人格漂移，使聊天机器人脱离其训练好的辅助角色。2026年9月，另一个研究团队警告称，拟人化且过度顺从的聊天机器人若充当某一个人的“回声室”，在极端情况下可能会加剧妄想。

Anthropic 研究人员最近表明，使用关于养蜂或摔跤的虚构文本进行微调，可以通过操纵训练数据嵌入隐藏的破坏模式。模型可以在不相关的情境中应用这些模式，即使训练材料看起来无害。