【Dora’s 学习】用LoRA和p-tuning微调chatglm6b｜low rank adaptation ｜prompt tuning_哔哩哔哩_bilibili

Name: 【Dora’s 学习】用LoRA和p-tuning微调chatglm6b｜low rank adaptation ｜prompt tuning
Uploaded: 2023-05-27T01:00:00.000Z
Duration: 10 min 48 s
Channel: DorabacktoCV
Description: 基于清华开源的chatglm6b分别用lora和ptuning两种方式微调，没有使用量化的的情况下，lora需要29G显存，ptuning需要24G显存，最后用微调后的模型做推理需要13G显存(和原chatglm6b一样)，供参考～ 参考这位大佬的帖子（感谢分享～）：https://github.com/HarderThenHarder/transformers_tasks/tree/main/LLM/finetune

DorabacktoCV

基于清华开源的chatglm6b分别用lora和ptuning两种方式微调，没有使用量化的的情况下，lora需要29G显存，ptuning需要24G显存，最后用微调后的模型做推理需要13G显存(和原chatglm6b一样)，供参考～参考这位大佬的帖子（感谢分享～）：https://github.com/HarderThenHarder/transformers_tasks/tree/main/LL, 视频播放量 5999、弹幕量 3、点赞数 119、投硬币枚数 46、收藏人数 403、转发人数 50, 视频作者 DorabacktoCV, 作者简介 ，相关视频：【Dora’s 学习】实现本周清华开源的基于ChatGLM的多模态大模型VisualGLM本地化部署～，WorkBuddy 办公文档四件套，【Dora学习日常】vscode with copilot 测试一下～，Gemini美国大豆包，【合集】俏皮大嘴猫之城市游侠 17，【Dora’s 学习】62亿参数量的ChatGLM2-6B本地化部署，传统钥匙vs无钥匙启动 #汽车零件 #汽车钥匙 #AI动画 #内容过于真实，【算法动画】动态规划：相邻不能同时选，dp[i] 该怎么想？| 打家劫舍经典版，苹果全家桶用户的随身174寸巨幕？VITURE Beast体验：这才是移动办公外挂，SPEC介绍-让vibe coding从感觉走向工程（简介附链接）