OpenAI在这场世界瞩目的全球发布会结束后，Sam Altman通过Twitter发表了简短的一个词：“her”。
在北京时间5月14日举行的OpenAI春季发布会上，CTO Mira Murati介绍了该公司最新推出的旗舰模型GPT-4o（o代表Omni，全能）。
什么是 GPT 4o？
GPT-4o 是 OpenAI 的新旗舰模型，是一个多模态大型模型，支持文本、音频和图像的任意组合输入，并能够生成文本、音频和图像的任意组合输出。在文本、推理和编码智能等方面，其能力可以与GPT-4 Turbo媲美，同时在多语言、音频和视觉能力方面也有所提升。
GPT-4o 的速率限制比 GPT-4 Turbo 高 5 倍
速度：GPT-4o 的速度是 GPT-4 Turbo 的 2 倍。
视觉：在与视觉能力相关的评估中，GPT-4o 的视觉能力表现优于 GPT-4 Turbo。
上下文窗口为 128k，知识截止日期为 2023 年 10 月。
GPT-4o（“o”代表“omni”）是迈向更自然的人机交互的一步——它接受文本、音频和图像的任意组合作为输入，并生成文本、音频和图像的任意组合输出。它可以在短至 232 毫秒的时间内响应音频输入，平均为 320 毫秒，与人类的响应时间相似（在新窗口中打开）在一次谈话中。它在英语文本和代码上的性能与 GPT-4 Turbo 的性能相匹配，在非英语文本上的性能显着提高，同时 API 的速度也更快。与现有模型相比，GPT-4o 在视觉和音频理解方面尤其出色。
相较于GPT-4 Turbo，GPT-4o的API价格降低了50%，同时速度提高了两倍，速率限制也提高了5倍，最高可达每分钟1000万token。据悉，GPT-4o的响应速度已经接近人类之间正常对话的水平，音频输入的平均反应时间为320毫秒。
这场发布会的核心焦点是基于GPT-4o的实时对话能力，由OpenAI研发负责人Mark Chen进行了演示。
GPT-4o里的“o”是Omni的缩写，也就是“全能”的意思，接受文本、音频和图像的任意组合作为输入，并生成文本、音频和图像输出。
它可以在短至232毫秒、平均320毫秒的时间内响应音频输入，与人类在对话中的反应速度一致。
这还是一份给所有人的大礼，GPT4-o与ChatGPT Plus会员版所有的能力，包括视觉、联网、记忆、执行代码、GPT Store……
在第一个场景中，Mark Chen告知OpenAIchatGPT自己正在做演示，但感到非常紧张，询问该怎么办。OpenAIchatGPT建议他“深呼吸一下吧，记得你是个专家！”随后，Mark Chen用急促的呼吸回应，OpenAIchatGPT则以惊讶的口吻回答说“慢点呼吸，你可不是吸尘器！”展示出对人类语气和状态的感知，以及幽默表达能力，同时还展示出随时打断并即时跟进对话的能力。
除了实时对话，Mark Chen还要求OpenAIchatGPT在讲述一个“恋爱中的机器人”睡前故事时展示音色渲染的能力。OpenAIchatGPT连续两次以更加“drama”（戏剧化）的方式朗读，用户可以感受到音色中情感表达能力的递进。
此外，另一位研发负责人Barret展示了GPT-4o基于多模态的智力表现。他提出一个简单的线性方程“3x+1=4”，并要求OpenAIchatGPT实时引导他一步步解开这个方程。OpenAIchatGPT以耐心自然的语气回应Barret的错误反应。随后，Barret展示了一堆代码，表明OpenAIchatGPT能够理解代码、描述任务、对应函数名及功能，完全理解代码内在逻辑。此外，OpenAIchatGPT还能够顺利完成图表理解任务（例如任意抽取坐标轴解读）。
作为彩蛋，OpenAIchatGPT还解读了Barret自拍中的表情，以及进行了实时语音翻译（意大利语和英语）。在解读自拍时，OpenAIchatGPT似乎出现了一点“故障”，反馈说“好像在看一个木质表面的东西”，但Barret迅速解释说“那是我之前发给你的东西”，顺利翻篇。
