【Dora’s 学习】用LoRA和p-tuning微调chatglm6b｜low rank adaptation ｜prompt tuning_哔哩哔哩_bilibili

Name: 【Dora’s 学习】用LoRA和p-tuning微调chatglm6b｜low rank adaptation ｜prompt tuning
Uploaded: 2023-05-27T01:00:00.000Z
Duration: 10 min 48 s
Channel: DorabacktoCV
Description: 基于清华开源的chatglm6b分别用lora和ptuning两种方式微调，没有使用量化的的情况下，lora需要29G显存，ptuning需要24G显存，最后用微调后的模型做推理需要13G显存(和原chatglm6b一样)，供参考～ 参考这位大佬的帖子（感谢分享～）：https://github.com/HarderThenHarder/transformers_tasks/tree/main/LLM/finetune

DorabacktoCV

基于清华开源的chatglm6b分别用lora和ptuning两种方式微调，没有使用量化的的情况下，lora需要29G显存，ptuning需要24G显存，最后用微调后的模型做推理需要13G显存(和原chatglm6b一样)，供参考～参考这位大佬的帖子（感谢分享～）：https://github.com/HarderThenHarder/transformers_tasks/tree/main/LL, 视频播放量 5999、弹幕量 3、点赞数 119、投硬币枚数 46、收藏人数 403、转发人数 50, 视频作者 DorabacktoCV, 作者简介 ，相关视频：【Dora’s 学习】实现本周清华开源的基于ChatGLM的多模态大模型VisualGLM本地化部署～，那些离谱数学答案，【Dora学习日常】vscode with copilot 测试一下～，【Dora’s vlog 8】四月日常｜很多的奶茶｜很多的加班｜但是完成了很多事情～，【Dora’s 学习】62亿参数量的ChatGLM2-6B本地化部署，WorkBuddy 办公文档四件套，传统钥匙vs无钥匙启动 #汽车零件 #汽车钥匙 #AI动画 #内容过于真实，【全600集】这可能是2026年B站最全最细的【吴恩达Agent智能体】零基础全套教程，逼自己一个月学完，轻松变Agent大神！全程干货0废话！，读完研后的一些“开智”时刻...3.0，【算法动画】动态规划：相邻不能同时选，dp[i] 该怎么想？| 打家劫舍经典版