书生浦语大模型学习笔记 Day 1
flh1107
编辑于 2024年01月13日 23:55

1、大模型是发展通用人工智能的重要途径

2、模型发展历程:专用模型-->通用大模型

3、名称解释

  • InternLM——大模型

  • InternLM-7B、InternLM-20B、InternLM-123B——模型、开源工具链

  • 书生 万卷——多模态语料库

  • InternLM-Chat-7B——升级版对话模型

  • Lagent——开源智能体框架

4、模型应用流程图

5、书生浦语全链条开源开放体系

数据(书生万卷)-->预训练(InternLM-Train)-->微调(XTuner)-->部署(LMDeploy-->评测(OpenCompass-->应用(Lagent、AgentLego)

数据:书生万卷、OpenDataLab

预训练:高可扩展、性能优化、兼容主流、开箱即用

微调:增量续训 增加某个垂类领域知识

有监督微调 用于部分参数微调

评测:OpenCompass开源评测体系-学科、语言、知识、理解、推理、安全

部署:LMDeploy低比特kernel、模型并行、k/v缓存

  • 大语言模型局限性:新信息的获取、回复可靠性、数学计算、工具使用交互

智能体:运用LLM推理能力,调用搜索、解释器等操作

Lagent智能体框架,AgentLego智能体工具箱