【13】GPTQ、AWQ、GGUF等模型量化概念讲解_哔哩哔哩_bilibili

Name: 【13】GPTQ、AWQ、GGUF等模型量化概念讲解
Uploaded: 2025-02-10T11:59:00.000Z
Duration: 18 min 15 s
Channel: LLM张老师
Description: 去年（2024年上半年）录制的一系列内容分享。由于大模型发展很快，有些东西对于时下（2025年上半年）技术发展来说已经略显过时，但不妨碍对于初学者入门了解大模型的原理和核心基础概念。

LLM张老师

去年（2024年上半年）录制的一系列内容分享。由于大模型发展很快，有些东西对于时下（2025年上半年）技术发展来说已经略显过时，但不妨碍对于初学者入门了解大模型的原理和核心基础概念。, 视频播放量 27396、弹幕量 30、点赞数 502、投硬币枚数 228、收藏人数 1052、转发人数 74, 视频作者 LLM张老师, 作者简介 https://www.waylandz.com 多伦多大学 07 计算机科学，相关视频：大模型中的数值格式：FP32、FP16、BF16、FP8、INT8、INT4是什么？，什么是大模型量化和蒸馏？，为什么你应该放弃Ollama，Ollama是如何一步步失去信任的？，大语言模型量化损失测试 fp16/int8/int4成绩对比，双卡3080 20G 跑Qwen3.6-27B-AWQ-4bit，sglang源码解析：AWQ量化模型，怎么加快大模型推理？10分钟学懂VLLM内部原理，KV Cache，PageAttention，（实测对比）相同体积的大语言模型，是参数高量化低好还是参数低量化高好？，模型量化一：量化基础 对称量化 非对称量化 极大值量化 零点量化，都得换NVFP4/8