生成式AI的前景和风险？Sora进阶版“文生3D建模”即将诞生！游戏领域将首先迎来变革！警惕大模型武器化！

Sora将在哪些领域迎来应用和突破？又会给世界带来哪些风险和威胁？ 先回答第一个问题。除了最直观的影视广告行业，游戏业也将迎来跨越式发展，“”文生3D建模世界”大模型将会被推出；其次是涉及影像数据分析的各个垂直细分行业；再然后是以机器人为代表的“传统”AI产业。 再来回答第二个问题，深度伪造技术将带来社会信任成本的急剧上升，生成式AI将可能被用于文化战、舆论战等领域，大模型武器化将成为军事、政治、文化领域的重大威胁。 我们先来分析第一个问题。Sora将在哪些领域迎来应用和突破？这就需要先理解sora的本质，其本质就是在理解初步的世界基础规律的基础上根据人类语言生成2D图片及影像。GPT刚解决了人和机器的语言沟通问题，实现了初步的文字处理和创造生成。SORA立马就在此基础上初步解决了机器理解世界规律的问题，实现了一定程度的图片视频的理解和创造生成。这中间间隔的时间之短，令人震惊。这不禁让人对AI的跨越式发展抱有更大的信心。我认为，SORA的进阶版，文生3D世界的大模型，将会在三年内面世。 什么是文生3D世界？我们先来理解下：“SORA生成的是2D图像”。 周鸿祎说：“Sora工作原理像人做梦”，这个类比十分精妙，人类做梦的时候不正是读取记忆里的2D数据吗？大脑是不可能建立三维模型的，而是通过“看”的方式，记忆物体表面的二维图像。当我们在梦中梦到一个桌子的时候，读取的就是人类在现实中见到过的桌子的不同角度的二维照片，然后组合成一个桌子。梦里是存在一个视角的，如果我们在梦里想象桌子的背面，那一定是梦里自己的眼睛正在看桌子的背面。这和“视频一定存在一个视角”的逻辑一样。摄像机只能拍摄面对机器的这一面的2D图像。 而假如三维建模软件建模了一个桌子，桌子的各个面环绕展现在屏幕里，这也是存在一个视角的，但本质则和sora不同。因为在视角看不到的地方，桌子的背面也是存在的，也是耗费了计算资源的。sora生成一个桌子，仅仅渲染你想要看到的面，比如只运镜看桌子的正面和侧面，那么桌子的背面和底部，那些不展现在视角里的面，就不做渲染和计算。 三维建模特效的逐帧渲染，是3D转2D，因为屏幕只能展现2D，人的眼睛只能接收2D平面数据。而Sora的生成，是真2D仿假3D效果，是基于视觉理解世界规律，完全符合人类的视觉生成和接收逻辑。只渲染生成面向你的那一面。渲染的方法就是通过对过往视频数据的学习，来做相同数据的替换和扩散式生成。 这种生成模式比3D建模逐帧渲染的方式更节省算力。但是也存在遗憾，因为2D图像是无法像3D建模那样和人互动的，而且在一些空间计算问题上，可能还是会不如3D建模，比如生成的一群狼打闹的视频，挤到一块就出现了穿模现象。OpenAI曾警告称：“这项技术仍存在一些缺陷，包括一些空间问题。Sora可能制造错误信息和仇恨内容等。AI驱动的深度伪造已成为一种风险。”这句话里的空间问题，就是说存在一些物理规律的理解问题，比如空间规律。有一个办法可以同时解决图像无法互动和空间问题。那就是文生3D世界。 3D重建技术（如NeRF或者3DGS）技术和VR技术可以为SORA插上直上云霄的翅膀。3D重建技术能够根据输入的多视角图像视频生成对应的3D模型，VR技术能让我们体验虚拟现实。如果sora和3D重建技术和VR技术结合，就能实现人与“空想”世界的互动。sora一词来源于日语的天空的空，寓意天马行空般无限想象的能力。我们先空想一个梦寐以求的虚拟世界，用足够详实的语言去描述，然后用sora技术生成基于该空想的多维度视角的视频，再用3D重建技术将这些视频转换成3D模型。最后结合虚拟现实技术，让我们实现和空想生成的3D模型世界互动，与自己创造的游戏世界进行互动。当然了，随着AI的发展，sora可以和3D重建技术进行内嵌融合，也就是说，sora的进阶版是一键生成3D建模世界，从文生视频升格为文生3D世界。 比如我们用sora生成一个迷宫、一座城堡，甚至是一座城池的多角度视频，再生成一些自己喜欢的角色，用GPT的文字生产能力和记忆能力能力赋予NPC人格，然后结合迭代过的3D重建技术工具，把自己空想出来的一砖一瓦，一草一木，一人一狗，全部转换成3D模型，再利用VR技术进入到这个3D建模的世界，和里面的NPC进行生成式的互动对话，甚至与空想出来的怪物进行互动。 再进一步，如果技术迭代到终极，这个世界是可以实时生成的，是有生成式的剧情推进的，鸟兽会繁殖死亡，草木会枯荣，NPC 会生老病死。AI具备的自主生成能力，可以根据你设定的原则，自主进行空想世界的演化。这就是终极的sora，这就是AI创造能力的终极演化。每个人类都将拥有上帝造物的能力的翻版，创造终极的虚拟现实。文生文，文生图，文生视频，文生建模。这些能力诞生的时间间隔如此短暂，但是又过渡地如此平滑。以至于历史车轮悄然加速而乘客却对加速度毫无察觉。 奥特曼说：“未来世界上有两种很重要的资源，算力和能源，我们想要达成的理念以及实现这些理念的能力，比如运行计算所需的能力，这都需要能源，但我觉得我们仍然没有充分认识到这项技术的能源需求，好消息是，如果我们没有在能源方面取得突破，我们就不可能实现我们的目标，我们需要核聚变，或者成本极低的太阳能和储能技术，或者其他没人想到的大规模技术。”这段话说明，奥特曼认为世界需要巨大的能源供应来支撑算力和AI的发展。他本人也投资了核聚变产业。在他的眼中，AI的底座就是能源和算力。为什么要强调需要如此多的能源？因为终极的能源才能支撑终极的计算，终极的计算才能支撑终极的想象。 “空”鹏一日同风起，扶摇直上九万里。假令风歇时下来，犹能簸却沧溟水。 假如文生3D视频还很遥远呢？游戏行业的跨越式发展是不是也很遥远？目前的情况是，生成式AI爆发出涌现的能力以后，已经开始打破以游戏领域为代表的文化行业的“不可能三角”，也就是“成本、质量和速度”不可能三角，在以前，我们不可能同时兼顾这三个方面，最多只能兼顾两个方面。而在拥有AI的高质量创造生成能力以后，这个“不可能三角”将不再是铁律。因为低成本、快速度和高质量这三个要求同时被AI满足了。而且，随着AI迭代，”满足“的程度也会无限提高。比如生成一个游戏或者动漫或者电影里的美术素材、场景地图、视觉特效，目前还不能做到即时生成，sora生成一个一分钟的视频需要渲染一个小时，用不了多久，绝对能够实现一秒生成。 游戏是最复杂的娱乐形式，涉及的资产类型（2D艺术、3D艺术、音效、音乐、对话等）数量众多。游戏也是最具互动性的，非常强调实时体验。所以，游戏领域将因为AI 率先迎来变革。举一个成功的例子。微软与 blackshark.ai 合作，训练人工智能，从 2D 卫星图像中生成逼真的 3D 世界，创造出了《Microsoft Flight Simulator》，利用这款飞行模拟器，能让玩家在整个地球飞行，俯瞰所有 197. 亿平方英里的美景。 再比如，腾讯、网易、米哈游，都已经或者即将搭载自己的生成式AI，让玩家体验不会重复的带有记忆的生成式对话。米家游戏非常注重剧情和游戏人物塑造，文字对话对角色的塑造有着非常重要的影响。GPT解决对话的线性固定问题，给玩家带来新鲜感；SORA解决美术素材（如皮肤，场景）的新鲜感下降的问题，甚至给予玩家一定的自我定制能力，比如可以根据玩家的生成词，给自己喜欢的角色打造独一无二的衣服甚至是外观。 人类除了生理需求就是精神文化需求，一切和精神需求相关的都可以被纳入到娱乐业或者文化产业的范畴。文字、影像和游戏本质上自带文化属性，是一种文化产品。前两年，大家还批评生成式AI在批量制造电子垃圾。SORA一出，大家可能感觉到有点不对劲了，才两年时间，“制造垃圾”的说法已经没人敢用了。假以时日，生成式AI会成为最强大的文化生产辅助工具。而文化产品是附带价值观的，那么谁拥有最强的生成式AI，谁就将拥有最强的文化话语权。比如日本在生成式AI 领域很积极，有可能是看到了其巨大的文化生产潜力。 好了，游戏领域说完，我们再说说，生成式AI如何给细分行业赋能。生成影像的基础一定是理解影像。假如sora具备强大的影像理解分析能力，那么所有涉及影像分析领域的行业是不是都可以尝试寻求AI大模型的辅助？现实情况是已经在这么做了。 比如前阵子有一个山体滑坡事故。假设某些村庄旁边有山体，公路旁边有山体，我们要判断山体滑坡的概率有多大，决定要不要劝村庄远离山体，要不要加固公路边的山体。这种评估工作，要是由人来做，一个是工作量大，第二个是人怕担责，万一评估结果是无需搬离，结果发生了山体滑坡事故，那么评估人员要不要担责？如果这种根据图像来分析的工作交给AI，是不是不失为一个好的选择呢？以此类推，已经有医学影像分析和气象分析行业开始结合AI 辅助了。再比如，线上教育、科研、舆情分析、工程分析、战场形势分析、智能驾驶视觉分析等，这些涉及图形影像分析或输出的行业都是可以借助AI辅助的。一个行业，如果产业集中度高，那么数据获取难度就低，产业专用大模型的应用难度就低，反之则AI的产业应用更难。美国很多产业很分散，比如基建就因为分散和高度市场化的原因无法更新换代，这其中也有制度不一样的因素。我国的很多产业集中度高，降低了数据获取难度和模型投入应用的门槛。华为经常讲要给行业赋能，在我写文案的时候听说华为要于当日推出通信大模型了。期待更多公司推出更多行业应用大模型。 最后是人工智能在机器人领域的应用。要想让机器人能够进行实践，比如劳动，那就必须让它明白世界的规律和知识。比如让它做西红柿炒蛋，必须让机器人明白，鸡蛋是可以磕破的，是需要打蛋的，西红柿是需要切的。这里面既包含了常识知识也包含了世界规律。比如磕鸡蛋就是要明白力学规律，多大的力量可以磕破鸡蛋，磕破之后如何利用重力让鸡蛋液流到碗里，打鸡蛋需要多大的力道，明白打鸡蛋是为了搅进气泡让鸡蛋变得松软多汁。sora的某些视频展现了一定的世界规律的理解能力，在学习影像数据的时候可能顺便学习了一定的物理世界规律，这对具备AGI（完美AI）能力的机器人的诞生是一个利好消息。 好了，说完了生成式AI的前景，现在来聊聊风险。那就是深度伪造带来的信任危机。 为什么马斯克在GPT出来的时候大喊危险，这次Sora出来后也给出了“人类要完（GG human）”的回应？这两款产品真的能让我们加速逼近真正的人工智能世界吗？周鸿祎的判断是：“未来AGI（“完美”人工智能）时代的来临，可能比我们想象的要快。”能得到国内顶尖科技大佬的盛赞，看来Sora所展现的能力和潜力确实非同凡响。 加利福尼亚大学伯克利分校信息学院副院长法里德表示：“当新闻、图像、音频、视频——任何事情都可以伪造时，那么在那个世界里，就没有什么是真实的。”针对造假顾虑，OpenAI称在真正面向公众推出产品时，将确保生成视频包含来源元数据，并推出检测视频真伪的工具。承诺在产品中使用Sora前将采取安全措施，包括由“错误信息、仇恨内容和偏见等领域的专家”对模型进行对抗性测试以评估危害或风险；核查并拒绝包含极端暴力、性内容、仇恨图像、他人IP等文本输入提示等。不过，OpenAI承认，即便进行了广泛的研究和测试，“我们无法预测人们使用我们技术的所有有益方式和滥用我们技术的所有方式”。 Sora在信息领域的以假乱真，将会对人类的分辨能力提出巨大挑战。而其本身则会在更多意想不到的领域实现应用。它只是工具，根据使用者的目的，它可能产生正面或者负面的影响。举一个正面影响的例子，有一则报道是《在中国，他们用AI抚慰丧亲之痛》，一家AI公司，只需要客户提供其逝去亲人的30秒的视听图资料就能够还原一个虚拟的复制体，“一旦我们同步现实世界和虚拟世界，儿子就会和我在一起了。”这是一位客户的话。GPT和Sora的出现，将为这种应用场景提供前所未有的真实感。语义理解加上图形视频理解，将能够创造出真正的“生死互动”。 负面影响就是生成式AI在深度伪造方面的风险。OpenAI意识到了Sora可能制造错误信息和仇恨内容等，可能会在2024年总统大选前给公众造成困惑。对此，OpenAI禁止将其工具用于政治造势活动。 两党选举是什么，不就是舆论战和认知战吗？OpenAI的自我限制充分说明了Sora在认知战领域的无限可能。这种大模型的武器化起有可能应用在战争领域，因为舆论和民心是战争中最重要的一环。生成一段敌军败退或者杀害平民的视频，是不是可以影响战争局势或者国际舆论？ 人类的认知就是从观察中得来的，互联网时代，网民获取认知的途径就是天量的文字、图片和视频。将来sora带来的高度真实的影像内容，完全可能走向两个极端，一边是内容创作领域的科技平权。另一边就是内容创作因为深度伪造带来的风险化和武器化。过去的时代，内容生产模式是PGC（专业生产内容）和OGC（职业生产内容），只有平台和专业人士才能迈过创作门槛生产内容。移动终端和自媒体内容平台普及后，如今的时代是UGC（用户原创内容）时代。但是UGC的平均水平是相当低的，GPT和Sora带来的低门槛创作能力将带领人们进入UGC的全新时代。 GPT刚出来的时候，就被预测可能会应用在电诈领域。去年爆出了一个新闻，骗子用AI智能换脸和拟声技术，诈骗了福州某老板430万。GPT和Sora的结合很可能被骗子利用，对诈骗行业进行“产业升级”。有个视频叫《我用ChatGPT创造了一个数字生命，在QQ群里伪装人类》，该博主把QQ聊天机器人和GPT结合，潜伏在QQ群里几个月，最后告知群友群里有GPT机器人让大家猜是谁，结果只有少数群友猜对。还有一个新闻说有个小伙利用GPT帮他在社交聊天软件上和女孩聊天，筛选出了十几位女生，他自己最后再去和这些女生见面，最后居然真的找到了女朋友。（不知是否为假新闻） 如果诈骗分子用GPT来自动且大规模地接触并筛选受骗人，用可互动的语言和Sora生成的真实图像视频和上钩者互动。比如说模拟成和你互动的美女，你是否还能分辨？再或者窃取了你的社交信息和亲友资料，模拟亲友的高真实度的影像，你是否还能分辨？曾经有种骗局，就是编造信息然后加你好友，潜伏在你的微信通讯录里，把头像和备注改成你的子女，然后伺机诈骗。或者干脆有那种生成式语音的诈骗电话，我在评论区里见过有人说自己接到了是母亲的名字和声音的电话，然而母亲就在自己身边。这种手法如果加上Sora的高真实度，是否能够以假乱真骗到缺乏分辨能力的人？梅西的道歉视频出来的时候很多人在认真分析是不是AI生成的，这是不是社会信任成本急剧上升的最好例证？我们再进一步想想，俄乌之战出现过一种观点，指责泽连斯基某些探访前线战地的视频是绿幕抠图。这其实就是指责泽连斯基用合成手段打舆论战。我们进一步想想，间谍战、信息战、商战等各个领域是不是都有可能用到Sora？随着视频内容生成能力的不断提高，这将带来社会认知和信任成本的不断上升。人们会接触到更多难以分辨真伪的视频素材，这对信息接收群体和社交媒体平台的信息甄别及监管提出了更高要求。 大模型的武器化是人工智能大模型制高点争夺战的重要原因，就像核武器，别人做出来后，别人可能会对你保证不会使用，仅仅用来威慑恐怖分子和维护和平。但是你不能保证别人的保证永远生效。 看这则报道，《美媒：OpenAI删除了禁止其技术被用于军事用途的条款》。“OpenAI在其使用政策中删除了“明确禁止将其技术用于军事目的”的措辞。……发言人拒绝透露模糊的“伤害”禁令是否涵盖所有军事用途。”拦截者”网站称，尽管OpenAI提供的产品还无法被用于操控武器，但美国军方已经开始将其技术应用于协助编写代码、处理武器采购订单和情报分析等工作，“尽管OpenAI工具没有被直接用于杀人，它们已经被用于协助这样的工作。”“一些专家还表示，OpenAI似乎在悄悄弱化其反对军事应用的立场。他们对“拦截者”网站指出，OpenAI的主要投资者、美国科技巨头微软公司就是美国军方的主要供应商之一。” 这几段描述，都倾向于生成式AI可能被武器化。此外，有一段完全否定的声明。“他仅在邮件中表示：包括军方在内，任何将我们的技术用于研发或使用武器、伤害他人或破坏财产、在未经授权的情况下用于破坏任何服务或系统安全的行为，都是不被允许的。” 当然这话说的好听，但美国军方可是拥有对这些公司发布绝对命令的能力的。大模型的武器化绝对是必须考虑的问题。 有一些小众的揭露里曾经分析过微软，说比尔盖茨靠的是自己的盖茨家族，美国独立战争著名将领叫做霍雷肖·盖茨。比尔盖茨的母亲帮助他结识了巴菲特。最开始windows系统就是军方（美国国防高级研究计划局）研制的，后来转化成民用，所以其实微软的研发成本的一部分是被军方覆盖了的。这次可能会反过来，OpenAI可能为军方使用这些大模型覆盖掉一部分的研发成本。 综上，我们有研究发展生成式AI的必要，也需要针对其深度伪造的威胁进行监管。技术如果已经出现，就已经无法限制了。只能尽量进行规范，使其发挥正面作用，减小负面影响。 监管方面，联合国教科文组织发布了《人工智能伦理建议书》；中国发布了《新一代人工智能伦理规范》和《生成式人工智能服务管理暂行办法》。现在的内容平台，已经依法出台了规范，平台要求如果疑似是AI合成的视频必须声明视频是否是AI生成的。以后，可能每个视频都必须声明是否是AI生成的。 马斯克为OpenAI取名这个名字的寓意是开源，但它却逐步走向了封闭。最初OpenAI是非盈利的，融资后转为盈利性质。真正的技术是不可能依靠他人得来的，只有持续改善我们的人才环境，吸引更多世界优秀人才，我们的算力和算法才可能在两三年内赶超美国。能源领域，我们能够在30年内用上核聚变能，这是官方说法。智能驾驶行业为我国树立了一个很好的产业榜样，期待生成式AI也能够超越竞争对手。 好了，长视频制作不易，如果你喜欢这个视频的话，欢迎点赞转发，友好互动并肩观察，这里是互动观察员，我们下期再见。特别提醒，本视频没有在散播焦虑卖课割韭菜。而是探讨新技术的发展前景，AI技术的特点就是零门槛，我们不用焦虑自己是否具备拥抱新技术的能力和资格。登山者为什么要登山，因为山就在那里。人类为什么要拥抱新技术，因为新技术就在那里。