我们提出了MVBench，由20项单帧无法有效解决的视频任务组成，用于全面评测现有多模态模型的视频理解能力。基于对已有视频多模态模型的缺陷分析，我们提出了更强大的基线模型VideoChat2，其不仅在MVBench上取得15个任务的领先，更在流行的视频问答、对话、推理数据集上取得有竞争力的性能。所有的代码、模型权重、训练数据、评测数据均已开源！
Chinese Introduction: https://zhuanlan.zhihu.com/p/669658267
Paper: https://arxiv.org/abs/2311.17005
Code: https://github.com/OpenGVLab/Ask-Anything/tree/main/video_chat2
Demo: https://huggingface.co/spaces/OpenGVLab/VideoChat2
Instruction Data: https://huggingface.co/datasets/OpenGVLab/VideoChat2-IT
MVBench Data: https://huggingface.co/datasets/OpenGVLab/MVBench
