基于YOLO+多模态大模型+人脸识别+视频检索的智慧公安综合研判平台(vue+flask+AI算法)
项目最后有环境依赖安装和部署运行演示教程(有项目较详细的说明文档)
一、核心技术栈
前端:Vue3 + TypeScript + Element Plus + Pinia + Vue Router + Vite
后端:Flask + Flask-CORS + SQLite3 + Requests + PyJWT
算法能力:Ultralytics YOLO12n + OpenCV + facenet-pytorch(MTCNN + InceptionResnetV1)+ 多模态大模型(Qwen API系列)
二、功能模块概览
1. 视频智能检索:视频上传、两阶段任务执行、关键帧/拼图/标注视频回放。
2. 人脸搜索:以图搜人、特征向量比对、档案快速定位。
3. 身份档案:人员档案维护、人脸与向量管理、风险等级标注。
4. 车辆档案:车辆信息维护、图片管理、案件关联。
5. 案件研判:案件信息管理、人员/车辆/视频多维关联、进展记录。
6. AI 助手:自然语言检索与研判摘要生成,多会话管理。
7. 用户管理:账号管理、权限区分(管理员 / 普通用户)。
三、核心技术要点
1. YOLO 目标检测:单例加载模型、按步长抽帧检测目标、生成标注与拼图。
2. 人脸识别管线:MTCNN + InceptionResnetV1 提取 512 维特征向量,支持向量库检索。
3. RAG 检索增强:LLM 意图识别、关键词抽取、数据库检索与增强提示构建。
4. 多模态 LLM 应用:Qwen-Turbo / Qwen-VL-Plus 分别用于文本分析与图像理解。
5. 安全与权限:JWT 登录态、角色权限区分、统一响应封装。
四、数据库主要表
1. user:用户信息、账号状态与角色。
2. video_task:视频检索任务主表,记录阶段状态、进度与生成文件。
3. video_frame:任务关键帧信息、语义复核结果。
4. video_detection:关键帧目标检测记录与裁剪资源。
5. video_stage_log:阶段执行日志与进度消息。
6. person:人员档案、风险等级、人脸与向量文件。
7. vehicle:车辆档案、车主信息与风险标注。
8. case_info:案件基础信息、状态与优先级。
9. case_person_relation:案件与人员关联及关系描述。
10. case_vehicle_relation:案件与车辆关联及关系描述。
11. case_video_relation:案件与视频任务关联信息。
12. case_progress:案件进展记录与操作人。
13. conversation:AI 会话元数据(标题、用户、更新时间)。
14. conversation_message:会话消息内容、角色与元数据。