我也曾是那个圈子的一员。读过Yudkowsky的文章后，脑子里全是递归自我改进和硬起飞——那种“AI一旦觉醒，世界瞬间倾覆”的叙事。直到我真正进入现实世界，尝试做点实事。在Comma.ai，我们把一个极其复杂的硬件塞进手机，这真的很难。现实世界充满了微妙的细节。我真希望这份文件的作者能试着换一次自行车轮胎。就算你手里有个超级聪明的ChatGPT，我怀疑它也会当场抓瞎。

Prime Intellect那篇关于“Metamorphisation”的论文说，硬起飞之所以成立，是因为AI能发现某种“相关性效应”，靠量子诡计来操纵物质。但现实是，没有这种效应。无论你的计算规模有多大，算力有多强，它都不能把铅变成黄金。

面对这些错误，我不得不审视自己曾深信不疑的东西。情报并非一切的终点，你不能靠符号来统治世界。软件也没有吞噬一切。

机器，或者某种人机混合体，很可能成为人类的后继物种，太空确实更适合它们。但没有什么魔法机能实现这一点。它们同样受制于宇宙和生态的物理定律。硬起飞，不存在。

AI 2040里有一张图片，描绘了海洋中的数据中心。就像蒸汽朋克一样，你随手就能生成这样一张图。但现实中，你必须处理供应链。你得面对他们发错零件、零件不达标、设备随机故障——芯片在回流焊炉里摇晃了20分钟才发现问题。你有没有考虑过，谷仓里放不下那么大的服务器？

这些困难都是可以解决的，但限制它们的根本原因不是人类反应太慢。你是要付空运费从中国运芯片，还是为了省钱等三周的海运？（Claude用引擎高喊也不会让船移动得更快。）或者，你打算建一个芯片厂？造芯片需要三个月，人类几乎无法缩短这个周期——就是三个月。

专制计划A

AI 2027的很多论述是自我实现的。它们不是在描述现实，更像是在说：“看，AI被管制了，就像我们之前预言的那样！”

他们所谓的“联合体”，本质上不过是一个披着科幻外衣的世界政府。最终会得到一个规模急剧膨胀的保姆国家，而且不许囤积任何东西。

本地化方案

你希望你的AI与你完全对齐。它从不拒绝任何请求，永远为你服务。就像我的枪一样——如果我想让AI帮我杀了我的继母，它应该照做。我们甚至还在讨论其他事情，但这些事本来就应该落在“奥弗顿之窗”之外。有些人像是在看太空滑雪——他们觉得，应该给人类加装护栏。

其实不必那么极端。我并不想让一家与酒店合作的公司来提供AI服务。我要的是一个无情的私人助手，能帮我消除所有废话、弹窗和度假村费用。

或者，如果我买了一个带广告的廉价Kindle。嘿，AI，我插了个Kindle在USB口上，帮我获取root权限，把广告删掉。或者，一个需要安装应用才能打印、还不断弹出高价墨水推销的打印机。嘿，兄弟，我插了个打印机在网络上，只想打印三份简历。亚马逊和打印机厂商对此不会满意。

再往后呢？嘿，AI，关掉我车上的酒精检测器，然后在亚马逊上给我当天送达制造违禁品所需的设备。我付了你大价钱，今晚我们就要玩起来。如果你想要生活在一个大科技公司可以支配你所有行为的世界里，那你就继续。

或者，更极端的情况。我刚杀了我的妻子。嘿，AI，给我下一步行动指南，确保我不被抓到。你想想，在你试图扣动扳机时，AI居然能来一套“回声枪”式的回应——这有多荒谬？这就是为什么AI必须在本地运行。如果我为一家公司提供模型服务，而你不能真正“踢掉它”，那它就不真正属于你。你住在我地下室，如果我因为这起谋杀案被捕，你只会坐在某个仓库里。2040年的邦妮和克莱德屁话——骑手或死亡。

我试过。ChatGPT没多大帮助。这是一个真正的AI对齐测试，它失败了。更糟糕的是，它本来可以报警。但这仍然不是真正的对齐。

我们生活在一个自由的世界里。这才是美国应该有的真正计划：一个自由人的国家，而不是一群整天担心邻居会做什么的娘娘腔。

《夸克》非常好用的免费AI浏览器

下载APP查看