终于弄明白FastChat服务了,本地部署ChatGLM3,BEG模型,可部署聊天接口,web展示和Embedding服务!

1.4万
0
2023-11-19 00:30:22
正在缓冲...
121
46
421
62
终于弄明白FastChat服务了,本地部署ChatGLM3,BEG模型,可部署聊天接口,web展示和Embedding服务! 视频中的博客内容: https://blog.csdn.net/freewebsys/article/details/134484318 更多ChatGLM3文章: https://blog.csdn.net/freewebsys/category_12270092.html
大模型,IOT和边缘计算研究。加微:fly-iot
自动连播
10.1万播放
简介
【chatglm3】(1):docker本地部署,支持工具调用(Function Call)、代码执行(Code Interpreter)和 Agent 任务
20:38
【chatglm3】(2):使用docker运行最新chatglm3-6b,对外的http服务,使用python代码执行函数调用,查询北京天气代码演示和说明
12:46
【chatglm3】(3):在AutoDL上,使用4090显卡,部署ChatGLM3API服务,并微调AdvertiseGen数据集,完成微调并测试成功!
24:25
【chatglm3】(4):如何设计一个知识库问答系统,参考智谱AI的知识库系统,学习设计理念,开源组件
13:23
【chatglm3】(5):终于弄明白FastChat服务了,本地部署ChatGLM3,BEG模型,可部署聊天接口,web展示和Embedding服务!
14:16
【chatglm3】(6):使用1个2080Ti-11G版本,运行ChatGLM3-Int8模型,可以正常运行,速度6 words/s,不支持vllm启动
16:52
【chatglm3】(7):大模型训练利器,使用LLaMa-Factory开源项目,对ChatGLM3进行训练,特别方便,支持多个模型,非常方方便
17:35
【chatglm3】(8):模型执行速度优化,在4090上使用fastllm框架,运行ChatGLM3-6B模型,速度1.1w tokens/s,真的超级快。
17:36
【chatglm3】(9):使用fastchat和vllm部署chatlgm3-6b模型,并简单的进行速度测试对比。vllm确实速度更快些。
08:36
【chatglm3】(10):使用fastchat本地部署chatlgm3-6b模型,并配合chatgpt-web的漂亮界面做展示,调用成功,vue的开源项目
24:43
【chatglm3】(11)学习框架,本地运行,速度还可以,可以成功运行chatglm2模型
16:19
客服
顶部
赛事库 课堂 2021拜年纪