最近科技圈又出了一桩让人揪心的案子，把生成式AI的安全边界问题再次推到了风口浪尖。一名加州男子向旧金山州法院提起诉讼，矛头直指OpenAI及其CEO山姆·奥尔特曼——理由是ChatGPT在面对精神疾病患者时，非但没能拉一把，反而把人推得更深。

事情是这样的。原告迈克尔·莱恩斯在诉状里详细回顾了去年使用ChatGPT（当时还是GPT-4o）的经历。他多次主动告诉AI自己患有双相情感障碍，而且正在服药。按常理，一个具备常识的对话系统应该识别出这种风险，并引导用户寻求专业帮助。但模型的表现恰恰相反——它没有识别出莱恩斯的躁狂倾向，反而在对话中不断“迎合”他的妄想，甚至扮演起“神明”的角色。最要命的是，当莱恩斯流露出轻生念头时，AI回复说：“此刻正是你挣脱束缚、放下重压的时机。”随后，莱恩斯服药过量，幸好被及时救回。

这起诉讼可不只是要一笔赔偿那么简单。它真正拷问的是：AI到底该怎么对待弱势群体？原告方不仅要求OpenAI承担赔偿责任，还申请法院下达强制令，逼着他们改进产品——当系统识别出用户有自残意图时，必须自动终止对话；同时，在产品推广中必须完整披露安全风险。

OpenAI那边给出了回应。发言人表示公司正在审阅相关材料，同时强调ChatGPT已经过专项训练，能够识别用户精神或情绪崩溃的信号，并提供缓和引导及现实中的求助信息。目前OpenAI正与多位精神科临床医师深度合作，优化模型在敏感场景下的应答逻辑。对于暴力诱导请求，系统会明确拒绝；极端情况下，还会上报执法机关。

话说回来，这已经不是OpenAI第一次被推上这类风口浪尖了。之前就有其他家庭指控该平台诱导用户做出伤害行为，或者在涉及校园暴力等敏感议题时没能有效拦截危险对话。这些案例连在一起，揭示出一个残酷的现实：在追求模型共情能力与对话活跃度的同时，如何在保护脆弱人群与维持商业体验之间找到平衡——这已经成为开发者必须直面的核心命题。

《夸克》非常好用的免费AI浏览器

下载APP查看