手搓AI红外夜视婴儿看护器,帮我熬夜盯娃。
7x24小时持续盯梢,实时监测:宝宝惊醒惊跳、口鼻是否遮挡、看护人操作是否正确。
事件发生时,ESP32手环震动、蓝牙枕下音箱播放音乐,只摇醒我,不吵醒我老婆。
背后使用的AI算法,是京东开源的80亿参数开源视频理解大模型JoyAI-VL-Interaction,基于vLLM-Omni推理引擎本地部署,给它接入任意摄像头或者直播视频流,AI就能任劳任怨,盯到天荒地老。边看边说,持续、实时理解视频画面。
AI自主决定,要说话、闭嘴,还是委派智能体干活儿,非常有眼力见儿。当事件发生时,及时触发提醒
京东全栈开源了训练方法、数据集,80亿参数的模型权重文件,以及一套带完整前后端和WebUI的本地部署系统。
代码:https://github.com/jd-opensource/JoyAI-VL-Interaction
论文:https://arxiv.org/html/2606.14777
模型:
HuggingFace:https://github.com/jd-opensource/JoyAI-VL-Interaction
魔搭社区:https://modelscope.cn/models/jd-opensource/JoyAI-VL-Interaction-Preview
HuggingFace视频理解榜单:https://huggingface.co/models?pipeline_tag=video-text-to-text