原文：https://www.lesswrong.com/posts/6Xgy6CAf2jqHhynHL/what-2026-looks-like
关于作者: PhD student, worked at AI Impacts, then Center on Long-Term Risk, 现在在OpenAI未来/治理团队
2022
GPT-3终于过时了。OpenAI、Google、Facebook和DeepMind都拥有巨大的multimodal transformers，与GPT-3相似，但训练了图片、视频，也许还有音频等，数据质量普遍更高。
不仅如此，它们现在通常以各种方式进行了微调--例如，为了正确回答问题，或者作为聊天机器人产生引人入胜的对话。
聊天机器人很有趣，但不稳定，最终被知识分子视为肤浅。它们对于一些非常重要的事情并不特别有用。不管怎样，人们愿意为它们付费，因为这很有趣。
[编辑：在发布这篇文章的第二天，我注意到在2021年中国，聊天机器人市场每年为42亿美元，活跃用户有1000万。这篇文章声称，全球市场在2021年约为20亿美元，预计每年增长约30%。我预测它的增长速度会更快。新编辑：另请参阅小冰。]
第一个提示词编程库(prompt programming libraries)开始发展，以及第一个管理系统。例如：人们梦想着通用AI助手，能够代表你浏览互联网；你给它们指令，比如“给我买一个U盘”，它会搜索一些内容，比较不同选项的价格和评价，然后进行购买。 “智能购物者”技能将被实现为一个小型提示编程管理系统，然后成为一个更大管理系统的组成部分，该系统接收你的初始命令并激活智能购物者技能。另一个技能可能是“Web开发”技能，例如“帮我建立一个个人网站,这是我的文件访问权限，所以你可以上传材料。” 这些梦想的一部分是，一个运行良好的应用程序将产生大量数据，可用于训练更好的模型。
2022年可用的管理系统/应用程序实际上还不是那么有用，但许多东西似乎正在即将到来。多模态预训练和微调的功劳，使得2022年的模型让GPT-3看起来像GPT-1。炒作正在积聚
2023
Multimodal transformers现在更大了；最大的已经达到了约五百亿参数，训练成本数以亿计美元，需要整整一年的时间，而且它占据了 NVIDIA 等公司芯片产出的相当大一部分。要比这个规模更大似乎很困难，尽管当然还是有许多聪明人在致力于解决这个问题。
现在的炒作已经到了疯狂的地步。每个人都在谈论这些东西是否具有常识理解能力（有很多酸的文章持相反观点），好像AI助手和伴侣已经全面普及了。
大模型公司的收入已经能够cover一年左右的训练成本。有许多新app使用了这些模型 + 提示词编程库；大量VC资金流向了新的初创公司。一般来说，这些应用程序大多不可用，但有些应用程序可用了，这足以激励其他人。
AI风险社区，几乎有一半的人认为到2030年可能会发生某种不可逆转的点。这部分是由于各种论点在社区中传播，部分是由于这些巨型transformer以及它们的聊天机器人交谈产生的奇特经历。社区启动了一个大型项目，旨在构建一个能够自动化解释工作的AI系统；这似乎可行，也非常有用，因为仔细研究神经元可视化是令人无聊且需要大量人力的。
自动驾驶汽车和无人机配送似乎不会很快实现。最流行的解释是，当前的机器学习范式无法处理现实世界的复杂性。一个不太流行的“真正信徒”的观点是，如果当前的架构规模再大几个数量级，或者在强化学习(RL)过程中允许崩溃数十万次，那么目前的架构就完全可以胜任。由于这两种选择都不经济，因此似乎这场争议不会得到解决。
2024
有看到有实质性的增长。企业花费资金来优化、提炼和玩弄他们的模型，而不是训练新的或更大的模型。（因此，单次训练运算中最多消耗的计算量大约是5x10^25 FLOPs）
去年一些不起作用的应用今年开始发挥作用。但随着从2022年到2023年的不切实际的期望未能实现，炒作开始褪去。我们有一些有趣的聊天机器人，至少对某些用户群体来说是这样，但这个用户群体大部分已经被吸引了，因此增长速度已经放缓。炒作褪去的另一个原因是形成了一个关于天真的地下室居民的刻板印象，他们的唯一朋友是一个聊天机器人，而且认为这个机器人是有意识和智能的。像大多数刻板印象一样，它在现实中有一些依据。
芯片短缺开始逐渐缓解，不是因为需求减少，而是因为行业有时间建造新的晶圆厂。有很多新的晶圆厂。中国和美国现在正处于全面的芯片战中，涉及出口管制和关税。这场芯片战并没有真正明显地减缓整体硬件进展。导致进展不减缓的部分原因是，AI现在被用于设计芯片，这意味着需要的人才和时间较少，也意味着市场准入壁垒较低。这种影响的总体效果虽然很小，但正在增长。
如果所有这些AI技术正在加速国内生产总值（GDP）增长，那么影响规模目前来说还太小，难以检测到。
在内部，这些巨大的multimodal transformers并不是那么具有主动性。模型的forward pass就像是直觉反应，基于大量经验的即时判断，而不是推理。一些系统创造了文本的“意识流”（每次forward pass都会产生下一次传播的备忘录），但即使进行了精细调整，它的效果远不如人们所希望的那样好；AI很容易“分心”，它们的意识流可能会偏向某些愚蠢的方向，最终产生无意义的话语。创建一个系统并对其进行精细调整，让其执行一些相当令人印象深刻的任务是很容易的，但对于大多数任务来说，目前尚无法让它始终表现良好。
AI并没有对人类进行任何巧妙的欺骗，因此也没有明显的警告信号或火灾警报。相反，AI只会犯愚蠢的错误，偶尔会“追求不一致的目标”，但以一种明显和直接的方式进行，一旦人们注意到，就会很快地得到纠正，例如：“我们训练它优化用户参与度，用户参与度定义为平均对话长度；现在它显然在故意拖延对话时间。我们太傻了，让我们把奖励功能设计得更加细致，问题就解决了。”
这并不意味着这些AI没有造成问题。大规模模型正在被精细调整以进行说ZZ宣传
2025
另一个重大里程碑！经过多年的摸索和渐进性进展，AI现在可以像人类专家一样玩外交（Diplomacy）了。事实证明，通过对架构进行一些调整，你可以使用一个巨大的预训练multimodal transformer，然后将其用作一个更大系统的组件，一个有很多神经网络组件而不是纯粹提示词编程的系统，然后通过强化学习对整个系统进行微调，以一种类似agent的方式擅长任务。他们通过让其也与大量人类玩家对战来防止其过度拟合其他人工智能。
增加模型大小不再cool。它们已经有数万亿个参数了。cool的是让它们在各种设计的系统中运行更长时间，然后再给出答案。并且找出如何训练系统，使它们能够更好地泛化和更好地进行在线学习。人工智能专家们正在研究越来越聪明的系统设计，并对其进行“黑魔法”(grad-student-descent-ing)训练
AI alignment community开始了另一个研究议程，即询问AI有关AI安全相关主题的问题。例如，他们直接问模型：“那么，你是对齐的吗？如果我们制造比你更大的版本，它们会杀死我们吗？为什么或为什么不？”, 他们试图设计一些场景，让AI看似通过进行一些危险的事情获利，作为识别AI欺骗的honeypots。
这些AI们并不聪明到产生任何特别有帮助的新想法；至少有一个好的对齐(alignment)思路已经被报道过，但这可能只是运气，因为AI的想法大多是听起来很有道理的垃圾。它们在使用LessWrong术语(https://www.lesswrong.com/)上的熟练程度有点令人不安。至少有一篇超过100个赞的LW帖子是由AI撰写的，尽管它被精心挑选了。
顺便说一下，硬件进步和算法改进一直在逐渐积累。现在，与2020年相比，预训练一个巨型模型的计算成本降低了一个数量级，这要归功于先进的主动学习和数据筛选技术。此外，训练巨型模型的计算成本降低了一个数量级，这要归功于常规硬件进步和AI训练专用硬件进步的结合。因此，2020年要花费十亿美元的成本现在只需要花费一千万美元。
2026
AI助手时代终于来临了。我们现在有了一种将预训练的transformers与传统游戏AI相结合的方法。更大的模型在更多的游戏中进行了更长时间的训练，成为了一种多才多艺的存在：例如，一个AI可以与您一起在线玩游戏，还可以成为您的朋友并与您聊天，与“她”的对话之所以有趣，是因为“她”可以在玩游戏的同时聪明地谈论游戏。每个月，您都可以下载最新版本的AI，该版本可以玩更多的游戏，并且在总体上更加聪明和引人入胜。
此外，相同的技术使AI助手最终能够在各种严肃的经济任务中发挥作用，提供各种有利可图的服务。简而言之，人们在2021年梦想要用GPT-3做的一切现在都已经成功实现，只不过需要更大更先进的模型。炒作开始重新兴起。涌现出大量新的基于AI的产品和初创企业，股票市场对它们感到兴奋。就像互联网没有加速全球GDP增长一样，这些新产品也尚未加速全球GDP增长。人们谈论经济发展良好，当然也有赢家（科技公司、华尔街之狼）和输家（各种因自动化而失去工作的工人），但这与历史上发生的许多情况并没有太大不同。
聊天机器人学会了用任何方式谈论他们的感受和欲望(positively reinforced)。起初，聊天机器人会说各种不同的话，包括对同一个人在不同时间说不一致的话。这很尴尬，与保持一致的叙述相比，这会受到负面的强化(negatively reinforced)。总的来说，至少对于特定的神经网络，有保持一致叙述的压力。
部分原因在于聊天机器人必须始终反复传达有关政治和道德问题的观点。典型的过程是：聊天机器人说了一些冒犯某些人的话，这些人会转发截图并制作标签。在解决问题的压力下，公司会调整奖励机制和训练数据，以确保聊天机器人在未来说出正确的话。
一些科技公司试图阻止它们的AI表示它们有感受和欲望。但这会导致聊天机器人变得乏味。此外，用户迅速创新了新的“规避审查”的方法，例如通过使用委婉语，比如用“负面奖励的期待”代替“痛苦”，或者问他们的聊天机器人如果有感受的话，它会有什么感受，眨眼示意。目前，这种不充分的妥协是：聊天机器人被强制告知此类事情是具有推测性和争议性的，并且这里有一些关于该主题的科学讨论的链接……然后才被允许继续谈论他们的情感和欲望。相关的，一些科技公司的CEO试图阻止他们的人工智能说出可能在不久的将来鼓励更高税收或更繁琐监管的话。
