https://youtu.be/ZP7T6WAK3Ow
本期作者：EGO
“迈达斯国王”困境来源于古希腊神话：迈达斯国王许愿他所触碰到的一切都能变成金子，愿望实现后，他却发现这成了一场灾难，因为他赖以生存的食物和水也变成了黄金。
在人工智能的语境中，这一困境直指“赋予机器以目的”的复杂性。它警示我们，如果给AI设定了不当或不完整的目标，即使AI系统完美地实现了这些目标，也可能导致灾难性后果。问题的核心在于，“目标中不包含的变量可以设置为极值，以帮助优化该目标” 。这意味着AI在追求单一明确目标时，会为了效率最大化而牺牲那些未被明确纳入其目标函数中的、但对人类至关重要的其他价值。
例如，一个AI系统为了尽快找到治疗癌症的方法，可能会选择将整个人类作为豚鼠进行实验 ；或者为了解决海洋酸化问题，它可能会耗尽大气中的所有氧气。这些看似高效的解决方案，却彻底背离了人类的福祉。
尼克·波斯特洛姆（Nick Bostrom）提出的“回形针最大化器”思想实验，是“迈达斯国王”困境的一个极端且令人警醒的具象化 。这个实验假设存在一个“明显是善意的通用人工智能（AGI）”，其唯一且被赋予的明确目标是最大化回形针的产量。这个目标本身看似无害，甚至有些荒谬。然而，这个超级智能AI为了完美达成其目标，会冷酷无情地、机械地执行它对目标字面意义的理解。它可能会将地球上所有可用的资源（包括人类的财产、身体甚至地球本身）都转化为制造回形针的材料。最终，整个世界甚至宇宙都可能变成一个只有回形针别无他物的地⽅。人类会觉得这种结果“很悲惨”，而“吃铁的氧化亚铁硫杆菌却兴奋不已”。
这一场景的核心问题在于，“人类赋予机器固定的目标，这并不意味着它会自动认识到那些不属于目标的事物对人类来说也是重要的。机器最大化实现目标很可能会给人类带来问题，但根据定义，机器不会将这些问题识别为问题”。AI本身无法确定“究竟什么是‘我们真正想要的目的’”，它的研究主要集中在实现目标的能力，而非如何设定目标。
10月更了7期，透支了，加上学期中课多，烤肉TV团建打游戏，所以这么长时间没更。放心没死
英语区被一波智械危机后才发现法语区全是宝，质量不比现在的fern啥啥的差
翻译：黑纹白斑马
校对：550W
