(3) 基于InternLM和LangChain搭建你的知识库
1、大模型开发范式
LM局限性:时效性不高、专业能力有限、定制化成本高

RAG原理

2、LangChain框架简介
开源工具,为LLM提供接口简化开发流程
核心组成模块:
链:通过一个链可以封装一系列大模型操作

3、构建向量数据库
过程:加载源文件(txt markdown pdf变成无格式字符串)->文档分块(基于长度或语义切分)->文档向量化(工具例如Sentence Transformer)->向量数据库(例如Chroma)
4、搭建数据库助手
LangChain提供模板,将知识库和LLM嵌入即可


5、Web部署

Demo文档地址:https://github.com/InternLM/tutorial/blob/main/langchain/readme.md