
本书作者Stephen Wolfram在科技极客圈中非常出名,20岁就在美国加州理工学院拿了博士学位,导师是费曼。写作十年出版了一千多页的巨著A New Kind of Science, 经常为科幻电影做技术支持(《星际穿越》、《降临》)。他40年前从纯物理转向复杂系统的研究,想解决人类智能灯现象的第一性原理。本书出版后,OpenAI的CEO称之为“对ChatGPT原理最佳的解释”。
GPT技术路线的一大核心理念,是用最简单的自回归生成架构来解决无监督学习问题,也就是利用无须人特意标注的原始数据,学习其中对世界的映射。自回归生成架构,就是“只是一次添加一个词”。选择这种架构并不是为了做生成任务,而是为了理解或者学习,是为了实现模型的通用能力。
“深度学习”在2012年左右的重大突破与如下发现有关:与权重相对较少时相比,在涉及许多权重时,进行最小化(至少近似)可能会更容易。换句话说,有时候用神经网络解决复杂问题比解决简单问题更容易——这似乎有些违反直觉。大致原因在于,当有很多“权重变量”时,高维空间中有“很多不同的方向”可以引导我们到达最小值;而当变量较少时,很容易陷入局部最小值的“山湖”,无法找到“出去的方向”。
在神经网络的早期发展阶段,人们倾向于认为应该“让神经网络做尽可能少的事”。例如,在将语音转换为文本时,人们认为应该先分析语音的音频,再将其分解为音素,等等。但是后来发现,(至少对于“类人任务”)最好的方法通常是尝试训练神经网络来“解决端到端的问题”,让它自己“发现”必要的中间特征、编码等。
根据“计算等价原理”, ChatGPT 这种通用人工智能的出现证明了“(人类)本质上没有任何特别的东西——事实上,在计算方面,我们与自然中许多系统甚至是简单程序基本上是等价的”。因此,曾经需要人类努力完成的事情,会逐渐自动化,最终能通过技术免费完成。很多人认为是人类特有的创造力或原创力、情感、判断力等,AI应该也能够拥有。最终,AI也会逐步发展处自己的世界。这是一种新的生态,可能有自己的宪章,人类需要适应,与之共存共荣。
我们又应该怎么做呢?沃尔弗拉姆给出了如下建议:
***最高效的方式是发掘新的可能性,定义对自己有价值的东西。
***从现在的回答问题转向学会如何提出问题,以及如何确定哪些问题值得提出。也就是从知识执行转向知识战略。
***知识广度和思维清晰度将很重要。
***直接学习所有详细知识已经变得不重要了:我们可以在更高的层次上学习和工作,抽象掉许多具体的细节。“整合”,而不是专业化。尽可能广泛、深入地思考,尽可能多地调用知识和范式。
***学会使用工具来做事。过去我们更倚重逻辑和数学,以后要特别注意利用计算范式,并运用与计算直接相关的思维方式。