端侧AI Weekly｜人形机器人天工亮相北京马拉松；DeepSeek 发布 JanusFlow 1.3B

OpenBMB

2024年11月19日 10:46

收录于文集

共11篇

欢迎来到「OpenBMB 每周端侧 AI 观察」栏目，在该系列中，我们将从端侧模型、推理框架、芯片、硬件产品、厂商动态等方面切入，一起探索端侧 AI 的最新进展、创新应用及行业洞察。

未来，我们将持续聚合端侧 AI 的前沿信息、技术分享和案例分析，打造一个高质量端侧 AI 社区，帮助从业者和爱好者们快速了解这一领域，从理论到落地应用，描摹“端侧 AI 如何在身边”的未来图景。热点速览：

1、多模态模型 Omnivision 开源，参数量仅 968M

2、DeepSeek 发布 JanusFlow 1.3B，统一多模态理解与生成

3、阿里开源最强代码模型 Qwen2.5 Coder

4、社区项目：HiOllama

5、全球最小开源端到端人形机器人 Zeroth 01 Bot 来了

6、宇树科技开源G1机器人操作数据集

7、人形机器人天工亮相北京马拉松

8、传苹果将推出 AI 智能家居中控屏

9、麻省理工学院研究团队提出生成模型LucidSim，破解机器人训练难题！

10、百度发布首款AI眼镜

11、小米隐秘布局AI眼镜，和歌尔合作，预计明年Q2发布

12、Looktech发布AI智能眼镜

端侧模型/小模型动态

多模态模型Omnivision开源，参数量仅968M

Nexa AI 于近日发布多模态模型 Omnivision，模型拥有 968M 参数，能够处理视觉和文本输入，专为边缘设备优化。该模型在 LLaVA 架构上进行了改进，显著减少了图像 token 数量，从而降低了延迟和计算成本。通过使用可信数据进行 DPO 训练，Omnivision 提供了更可靠的结果，适用于视觉问答和图像描述等任务。

➤ Blog 地址：

🔗 https://nexa.ai/blogs/omni-vision

DeepSeek发布JanusFlow 1.3B，统一多模态理解与生成

JanusFlow 是一个强大的框架，将图像理解和生成统一在一个模型中。它引入了一种极简的架构，将自回归语言模型与生成建模中的先进方法——修正流相结合。JanusFlow 的关键发现表明，修正流可以在大型语言模型框架内直接训练，无需复杂的架构修改。

➤ Paper 地址：

🔗 https://arxiv.org/pdf/2411.07975

阿里开源最强代码模型Qwen2.5 Coder

阿里巴巴的研究人员重磅开源了代码生成模型 Qwen2.5-Coder，本次一共有0.5B、3B、14B 和 32B 四个版本，适用于移动端、PC 等不同开发环境，均支持 Apache 2.0 开源协议。

➤ GitHub 地址：

🔗 https://github.com/QwenLM/Qwen2.5-Coder

社区项目：HiOllama

一个用于与 Ollama 模型交互的简洁且用户友好的界面，使用 Python 和 Gradio 构建。

➤ GitHub 地址：

🔗 https://github.com/smaranjitghose/HiOllama

麻省理工学院研究团队提出生成模型LucidSim 破解机器人训练难题！

如何将RGB色彩感知融合进从模拟到现实的转换流程，来达到与现实世界相媲美的丰富度和逼真度，仍然是机器人领域的关键挑战。来自麻省理工学院计算机科学与人工智能实验室（CSAIL）、人工智能与基础交互研究所的机器人专家和工程师团队开发了一种使用生成模型LucidSim从机器人自我中心的角度合成场景的多样化和物理精确图像序列的方法，用于教导机器人如何穿越地形并绕过现实世界中的物体。该模型不仅能够在虚拟环境中精准模拟复杂场景，还能实现与现实世界的高度对齐，为机器人的智能导航与决策提供强有力支持。

➤ Paper 地址：

🔗 https://arxiv.org/html/2411.00083v1

宇树科技开源G1机器人操作数据集

近日，宇树科技宣布开源其Unitree G1机器人的操作数据集，不仅涵盖了数据采集、学习算法、数据集和模型等多个方面，还承诺将持续更新，为机器人研究者和开发者提供了宝贵的资源。据了解，宇树科技此次开源的数据集是基于抱抱脸LeRobot开源框架进行训练与测试的。具体来看，宇树科技开源的数据集包括了拧瓶盖、倒水、叠三色积木等5种操作，每种操作都经过精心设计和严格测试，确保了数据的准确性和可靠性。此外，数据集还包含了使用苹果Vision Pro对G1进行遥操作控制的代码教程、硬件配置图、物料清单和安装说明等丰富内容，为研究者提供了全方位的支持。

端侧行业动态

全球最小开源端到端人形机器人Zeroth 01 Bot来了！ BOM成本仅2535元

Zeroth 01 Bot 是一款硬件强大，开源且可破解的双足人形机器人，整体零部件 BOM 成本仅为 350 美元，约合 2535 元人民币。作为开源项目，团队发布了材料与零部件、3D 打印零件、组装指南、安装调试、软件开发与算法模型操控等 Zeroth Bot 所需的所有软件和说明。Zeroth 01 Bot 机器人本体由 3D 打印而成，配置了一块功能强大的 Milk-V DUO S 开发板，并搭载主频达到 1GHz 的双核 RISC-V CPU，为机器人提供了稳定的计算性能。

➤ GitHub 地址：

🔗 https://github.com/zeroth-robotics/zeroth-bot

人形机器人天工亮相北京马拉松

11 月 10 日，2024 北京亦庄半程马拉松鸣枪开跑。有趣的是，参赛选手中出现了一位人形机器人「天工」。不过，贴有「天工 001」号码牌的人形机器人并未跑完全程，跑了一分钟左右，就停到场边，向场外观众示意，并在终点处迎接参赛选手。据悉，最新版本的「天工」人形机器人身高达到 1.8 米，最高奔跑速度已提升每小时 12 公里。

传苹果将推出 AI 智能家居中控屏

据彭博社的 Mark Gurman 报道，苹果公司正在开发一款新的智能家居产品——一款壁挂式显示屏，拥有控制家电、与 Siri 互动和视频会议等功能。显示屏看起来像一个方形的 iPad，拥有大约 6 英寸的屏幕，顶部配有摄像头，内置扬声器和可充电电池。其已开发三年，可能会在明年 3 月正式宣布。

百度首款AI眼镜来了

11月12日，百度世界2024现场，百度发布首款眼镜——小度AI眼镜，称该产品为“全球首款搭载中文大模型的原生AI眼镜”，具备第一视角拍摄、边走边问、识物百科、视听翻译、智能备忘等功能。

小米隐秘布局AI眼镜，和歌尔合作，预计明年Q2发布

「智能涌现」独家获悉，小米正计划推出新一代AI眼镜，数月前已与歌尔合作，该产品预计于2025年Q2（大概率是4月份的米粉节）发布。对于这款产品的出货量，雷军的预期“在三十万台往上”。知情人士对智能涌现表示，小米AI眼镜将“全面对标Meta Ray-ban”，搭载AI功能、音频耳机模块、摄像头模块，并将以小米自有品牌形式发布。对此，小米方面暂无回复。

Looktech发布AI智能眼镜

11月16日，Looktech举办了新品发布会，正式发布其AI智能眼镜，通过旋钮交互和智能体小程序等创新设计，展现了智能眼镜与AI结合的全新可能。这款产品集成了眼镜、耳机、相机和AI助手四大核心功能。AI助手Memo尤为引人注目。Memo基于大语言模型，具备自然对话和记忆功能，可全天候为用户提供服务，实时查询新闻、天气、电影等信息。同时，Memo能够识别博物馆展品、外语路牌和植物，为用户提供全面的导览与支持，让日常生活变得更加便利与智能。