这里是LLM SPACE，每日分享最新最全的AI资讯与研究。希望通过传播内容吸引更多对AI感兴趣的朋友，共建华人AI生态！
如果你有大模型相关的创业想法，或者对AI有一些有趣的想法，欢迎来找我们聊聊！
01
Yann LeCun：ViT慢且效率低，实时图像处理还得看卷积
在 Transformer 大一统的时代，计算机视觉的 CNN 方向还有研究的必要吗？今年年初，OpenAI 视频大模型 Sora 带火了 Vision Transformer（ViT）架构。此后，关于 ViT 与传统卷积神经网络（CNN）谁更厉害的争论就没有断过。近日，一直在社交媒体上活跃的图灵奖得主、Meta 首席科学家 Yann LeCun 也加入了 ViT 与 CNN 之争的讨论。
02
开源模型进展盘点：最新Mixtral、Llama 3、Phi-3、OpenELM到底有多好？
深度学习领域知名研究者、Lightning AI 的首席人工智能教育者 Sebastian Raschka 对 AI 大模型有着深刻的洞察，也会经常把一些观察的结果写成博客。在一篇 5 月中发布的博客中，他盘点分析了 4 月份发布的四个主要新模型：Mixtral、Meta AI 的 Llama 3、微软的 Phi-3 和苹果的 OpenELM。他还通过一篇论文探讨了 DPO 和 PPO 的优劣之处。之后，他分享了 4 月份值得关注的一些研究成果。
03
Hugging Face称检测到对其人工智能模型托管平台的"未经授权访问"
人工智能初创公司Hugging Face表示，其安全团队在本周早些时候检测到对Spaces的"未经授权访问"，Spaces是Hugging Face用于创建、共享和托管人工智能模型和资源的平台。Hugging Face 在一篇博文中说，这次入侵与 Spaces 秘密有关，即作为解锁账户、工具和开发环境等受保护资源的密钥的私人信息。
04
多模态大模型不够灵活，谷歌DeepMind创新架构Zipper：分开训练再「压缩」
Google DeepMind 近期提出了模块化设计的新型架构 Zipper，它由多个单模态预训练解码器模型组成。利用丰富的无监督单模态数据，Zipper 可以在单一模态中预训练强大的纯解码器模型，然后利用交叉注意力将多个这样的预训练解码器「压缩」在一起，并利用有限的跨模态数据进行微调，实现多模态生成能力。预训练的纯解码器模型可以在新的多模态组合中灵活地重复使用和再利用。
05
“最强ATM”中东，投了中国独角兽智谱AI
中国大模型初创公司拿下的第一笔国外投资，来自中东。2024年5月31日，据Financial Times报道，两位知情人士称，中东石油巨头沙特阿美（Aramco）旗下风险投资部门管理的基金Prosperity7，投资了中国大模型独角兽智谱AI，金额达到4亿美元（约29亿元）。据报道，这笔投资将使智谱AI的估值达到约30亿美元（约217亿元）。
06
翠贝卡电影节将首映使用 OpenAl Sora 制作的五部短片
据报道，翠贝卡电影节(Tribeca Festival)将放映五部采用 OpenA! 技术制作的短片，这些电影使用 OpenAl 的Sora 文生视频模型，是使用该技术的电影首次在电影节上展示。影片将于6月15日放映，之后将与电影制作人进行对谈。
07
单GPU训练一天，Transformer在100位数字加法上就达能到99%准确率
自 2017 年被提出以来，Transformer 已成为 AI 大模型的主流架构，一直稳站 C 位。但所有研究者都不得不承认的是，Transformer 在算数任务中表现非常糟糕，尤其是加法，这一缺陷在很大程度上源于 Transformer 无法跟踪大范围数字中每个数字的确切位置。为了解决这个问题，来自马里兰大学、CMU 等机构的研究者向这一问题发起了挑战，他们通过在每个数字中添加一个嵌入来解决这个问题，该嵌入编码数字相对于开头的位置。该研究发现，只用一天时间在单个 GPU 上训练 20 位数字，就可以达到最新的性能水平，100 位数字加法问题高达 99% 的准确率。
08
超长小说可以用AI翻译了，新型多智能体协作系统媲美人工翻译
机器翻译 (MT) 的最新进展显著提高了各个领域的翻译质量。然而，由于其复杂的语言、比喻表达和文化差异，文学文本的翻译仍然是一个艰巨的挑战。最近，一篇题为《(Perhaps) Beyond Human Translation: Harnessing Multi-Agent Collaboration for Translating Ultra-Long Literary Texts》的论文，提出了一种用于文学翻译的基于大型语言模型（LLM）的新型多智能体框架，并构建了一家名为 TRANSAGENTS 的虚拟出版公司（文学翻译多智能体系统）。
外界噪声多，看这日报，足矣！
欢迎在下方反馈您宝贵的阅读意见！
欢迎您积极转发，让更多人看到LLM SPACE！
