2024 AIGC每日新闻|3月25日-清华联合微软推出LLMLingua-2
二次元的Datawhale
2024年03月25日 23:09
收录于文集
共226篇
科技猎手

🤓【AIGC每日新闻】

  1. 【清华微软推出LLMLingua-2:更高效、更准确的AI语言模型压缩技术】清华联合微软最近发表了一篇论文,介绍了一种名为LLMLingua-2的新技术,这项技术能够更高效且不失准确性地压缩大型语言模型(LLM)的提示。传统的信息熵压缩方法可能会导致信息丢失,而LLMLingua-2通过数据蒸馏过程和新的数据集,将压缩任务视为一个token分类问题,从而保留了原始文本的关键信息。这种方法不仅压缩比率高,而且在不同LLM上展现出强大的泛化能力,并且在端到端延迟上实现了显著的加速。这项研究为AI模型的高效应用提供了新的可能性。参考博客链接:https://arxiv.org/pdf/2403.12968.pdf

  2. 【微软|CMU论文:探索大型语言模型的探索能力】最新的研究探讨了大语言模型(LLMs)在无需额外训练的情况下,能否进行探索性学习,这是强化学习和决策制定中的核心能力。研究者们将LLMs作为智能体放入多臂老虎机环境中,通过LLM提示内的上下文描述和交互历史来进行实验。结果发现,只有GPT-4结合链式推理和外部总结的交互历史,才能展现出令人满意的探索行为。这项研究表明,要想让基于LLM的决策制定智能体在复杂环境中表现出理想的行为,可能需要进行额外的算法干预,例如微调或数据集策划。参考博客链接:https://arxiv.org/pdf/2403.15371.pdf

  3. 【streamingT2V:从文本生成连贯、动态、可扩展的长视频】streamingT2V是一种先进的自回归技术,能够根据文本描述生成包含丰富动态变化的长视频,而且视频流畅,没有停滞。它通过短期记忆块(条件注意模块)和长期记忆块(外观保持模块)确保视频的时序一致性,并保持与描述文本的紧密对应,同时维持高帧质量。该技术已成功演示生成长达1200帧、持续2分钟的视频,并且可以进一步扩展以生成更长的视频。重要的是,流式T2V的有效性并不局限于特定的Text2Video模型,表明基础模型的改进可以产生更高质量的视频。参考博客链接:https://arxiv.org/pdf/2403.14773.pdf 😎【今日份Prompt技巧】 To write any text, such as an essay or paragraph, that is intended to be similar to a provided sample, include the following instructions:Use the same language based on the provided paragraph[/title/text /essay/answer].要撰写任何文本,如一篇文章或段落,旨在与提供的样本类似,请包括以下说明:使用与提供段落相同的语言。(技巧来源于:https://arxiv.org/pdf/2312.16171.pdf)