（零）前言

经过前面一系列的折腾，我们确定消费级显卡，是可以跑本地LLM，并完成稍有难度任务的。

但4060Ti-16GB的显存还是算比较多嘛。如果放到更加老的电脑上跑，会是什么情形呢？

正好有台很多年的笔记本，来试试吧。

测试方式依旧是查询B站上的热门视频。

（一）4060Ti-16GB

这是台式机。其它配置：i9-12900F + 64GB。

（1.1）Qwen3.5-9B-UD-Q4_K_XL-MTP

完整日志：

 代码块
Python
自动换行
复制代码
[2026-06-10 12:47:01.334] [Question] B站的10条热门视频
[2026-06-10 12:47:01.335] [Service] Start LLM provider: http://127.0.0.1:8999/v1
[2026-06-10 12:47:02.214] [开始] 收到用户指令并开始处理……  <879ms>
[2026-06-10 12:47:04.007] [工具] (1.1) site_help → {'site': 'bilibili'}  <1.79s>
[2026-06-10 12:47:04.344] [工具] (1.1) site_help ← (5712) {"command_count": 19, "commands": [{"name": "comment", "usage": "opencli bilibili comment <bvid> <message> [option...  <337ms>
[2026-06-10 12:47:06.301] [工具] (2.1) cmd_exec → {'full_cmd': 'opencli bilibili hot --limit=10', 'result_limit': 10}  <1.96s>
[2026-06-10 12:47:12.194] [工具] (2.1) cmd_exec ← (1844) [{"rank": 1, "title": "9月10日发售《东方红魔乡：新典　～ the Embodiment of Scarlet Devil.》第一弹预告片", "author": "上...  <5.89s>
[2026-06-10 12:47:14.234] Streaming...  <2.04s>
以下是 B 站当前的 10 条热门视频：

| 排名 | 标题 | 作者 | 播放量 | 弹幕数 | 视频链接 |
|------|------|------|--------|--------|----------|
| 1 | 9月10日发售《东方红魔乡：新典　～ the Embodiment of Scarlet Devil.》第一弹预告片 | 上海爱丽丝幻乐团 | 384,566 | 1,591 | [https://www.bilibili.com/video/BV1GCE26NE6S](https://www.bilibili.com/video/BV1GCE26NE6S) |
| 2 | 闪购外卖Lolita，让广告来得更猛一些...！ | 月亮猹- | 149,634 | 296 | [https://www.bilibili.com/video/BV1KoE56KEgj](https://www.bilibili.com/video/BV1KoE56KEgj) |
| 3 | B站终于等到我了 | 成都幽默帝国 | 283,911 | 199 | [https://www.bilibili.com/video/BV1wQE76TEA8](https://www.bilibili.com/video/BV1wQE76TEA8) |
| 4 | 【警惕】银狐木马最新变种，给你的微信好友发送诈骗信息！现场测试+硬核解析！ | SYSTEM-RAMOS-ZDY | 222,560 | 361 | [https://www.bilibili.com/video/BV1ebEh6bEU3](https://www.bilibili.com/video/BV1ebEh6bEU3) |
| 5 | 参加了九次高考的考生采访 | 自来卷三木 | 5,825,869 | 6,127 | [https://www.bilibili.com/video/BV1xkE46PE59](https://www.bilibili.com/video/BV1xkE46PE59) |
| 6 | 催眠师 但是对嘴型 | 德小僵 | 187,208 | 312 | [https://www.bilibili.com/video/BV17bEG62EPF](https://www.bilibili.com/video/BV17bEG62EPF) |
| 7 | 12 个脑洞大开的美食制作方式，有手就会！ | 胡仔一人食 | 1,143,713 | 679 | [https://www.bilibili.com/video/BV1JaE56pEKE](https://www.bilibili.com/video/BV1JaE56pEKE) |
| 8 | 把2026热歌，拍成千禧年复古MV是什么体验？（手搓版） | 今天的纹纹 | 351,331 | 430 | [https://www.bilibili.com/video/BV17KEa6PEj1](https://www.bilibili.com/video/BV17KEa6PEj1) |
| 9 | “爷爷做给爸爸小时候用的，现在传给我儿子了！”木匠爷爷做的学步车传了三代，网友：买不到的“传家宝”！ | 人民日报 | 931,046 | 146 | [https://www.bilibili.com/video/BV126E76CETY](https://www.bilibili.com/video/BV126E76CETY) |
| 10 | Blender原创动画 |工程展示|Lan library | Lan_er2 | 903,271 | 247 | [https://www.bilibili.com/video/BV1wEEg62EDP](https://www.bilibili.com/video/BV1wEEg62EDP) |

> 注：数据来源于 B 站官方热门榜单，排名可能随时间变化。

[2026-06-10 12:47:24.088] Answer completed  <9.85s>
[2026-06-10 12:47:24.088] Retrieval: 12024.84 ms, Answers: 9848.7 ms, Total: 21873.54 ms
[2026-06-10 12:47:24.088] Prompt Tokens: 9524, Completion Tokens: 980 <Qwen3.5-9B-UD-Q4_K_XL-MTP> <99.49 tokens/s>
[2026-06-10 12:47:24.088] All done ✅
复制成功

（1.2）gemma-4-E4B-it-qat-UD-Q4_K_XL

 代码块
Python
自动换行
复制代码
[2026-06-10 13:59:01.919] [Question] B站的10条热门视频
[2026-06-10 13:59:01.920] [Service] Start LLM provider: http://127.0.0.1:8999/v1

[2026-06-10 13:59:02.715] [开始] 收到用户指令并开始处理……  <794ms>
[2026-06-10 13:59:03.582] [工具] (1.1) site_help → {'site': 'bilibili'}  <866ms>
[2026-06-10 13:59:03.898] [工具] (1.1) site_help ← (5712) {"command_count": 19, "commands": [{"name": "comment", "usage": "opencli bilibili comment <bvid> <message> [option...  <316ms>
[2026-06-10 13:59:04.893] [工具] (2.1) cmd_exec → {'full_cmd': 'bilibili hot --limit=10'}  <994ms>
[2026-06-10 13:59:10.122] [工具] (2.1) cmd_exec ← (1832) [{"rank": 1, "title": "9月10日发售《东方红魔乡：新典　～ the Embodiment of Scarlet Devil.》第一弹预告片", "author": "上...  <5.23s>
[2026-06-10 13:59:11.331] Streaming...  <1.21s>
好的，这是B站（bilibili）的10条热门视频：

1. **标题:** 9月10日发售《东方红魔乡：新典　～ the Embodiment of Scarlet Devil.》第一弹预告片
   **作者:** 上海爱丽丝幻乐团
   **播放量:** 430,591
   **B站链接:** https://www.bilibili.com/video/BV1GCE26NE6S

2. **标题:** 闪购外卖Lolita，让广告来得更猛一些...！
   **作者:** 月亮猹-
   **播放量:** 179,090
   **B站链接:** https://www.bilibili.com/video/BV1KoE56KEgj

3. **标题:** 【警惕】银狐木马最新变种，给你的微信好友发送诈骗信息！现场测试+硬核解析！
   **作者:** SYSTEM-RAMOS-ZDY
   **播放量:** 248,645
   **B站链接:** https://www.bilibili.com/video/BV1ebEh6bEU3

4. **标题:** 参加了九次高考的考生采访
   **作者:** 自来卷三木
   **播放量:** 5,865,853
   **B站链接:** https://www.bilibili.com/video/BV1xkE46PE59

5. **标题:** B站终于等到我了
   **作者:** 成都幽默帝国
   **播放量:** 317,031
   **B站链接:** https://www.bilibili.com/video/BV1wQE76TEA8

6. **标题:** 催眠师 但是对嘴型
   **作者:** 德小僵
   **播放量:** 196,803
   **B站链接:** https://www.bilibili.com/video/BV17bEG62EPF

7. **标题:** 🐱躲在超市后门哈气的二人🐱
   **作者:** 初小晓Dawn
   **播放量:** 291,635
   **B站链接:** https://www.bilibili.com/video/BV1aMEj62EdA

8. **标题:** 12 个脑洞大开的美食制作方式，有手就会！
   **作者:** 胡仔一人食
   **播放量:** 1,183,735
   **B站链接:** https://www.bilibili.com/video/BV1JaE56pEKE

9. **标题:** “爷爷做给爸爸小时候用的，现在传给我儿子了！”木匠爷爷做的学步车传了三代，网友：买不到的“传家宝”！
   **作者:** 人民日报
   **播放量:** 1,133,503
   **B站链接:** https://www.bilibili.com/video/BV126E76CETY

10. **标题:** Blender原创动画 |工程展示|Lan library
    **作者:** Lan_er2
    **播放量:** 1,026,108
    **B站链接:** https://www.bilibili.com/video/BV1wEEg62EDP


[2026-06-10 13:59:22.188] Answer completed  <10.86s>
[2026-06-10 13:59:22.188] Retrieval: 8621.81 ms, Answers: 10849.52 ms, Total: 19471.32 ms
[2026-06-10 13:59:22.188] Prompt Tokens: 8705, Completion Tokens: 821 <gemma-4-E4B-it-qat-UD-Q4_K_XL> <75.67 tokens/s>
[2026-06-10 13:59:22.188] All done ✅
复制成功

（二）3060-6GB（notebook）

其它配置：Acer Predator i7-10870H + 32GB。

（2.1）Qwen3.5-9B-UD-Q4_K_XL-MTP

 代码块
Python
自动换行
复制代码
[2026-06-10 12:36:29.258] [Question] B站的10条热门视频
[2026-06-10 12:36:29.259] [Service] Start LLM provider: http://Shion-Acer:8999/v1
[2026-06-10 12:36:30.106] [开始] 收到用户指令并开始处理……  <847ms>
[2026-06-10 12:36:37.793] [工具] (1.1) site_help → {'site': 'bilibili'}  <7.69s>
[2026-06-10 12:36:38.142] [工具] (1.1) site_help ← (5712) {"command_count": 19, "commands": [{"name": "comment", "usage": "opencli bilibili comment <bvid> <message> [option...  <348ms>
[2026-06-10 12:36:49.667] [工具] (2.1) cmd_exec → {'full_cmd': 'opencli bilibili hot --limit=10', 'result_limit': 10}  <11.52s>
[2026-06-10 12:37:04.174] [工具] (2.1) cmd_exec ← (1844) [{"rank": 1, "title": "9月10日发售《东方红魔乡：新典　～ the Embodiment of Scarlet Devil.》第一弹预告片", "author": "上...  <14.51s>
[2026-06-10 12:37:12.589] Streaming...  <8.41s>
以下是 B 站当前的 10 条热门视频：

| 排名 | 标题 | 作者 | 播放量 | 弹幕数 | 视频链接 |
|------|------|------|--------|--------|----------|
| 1 | 9月10日发售《东方红魔乡：新典　～ the Embodiment of Scarlet Devil.》第一弹预告片 | 上海爱丽丝幻乐团 | 375,663 | 1,564 | [https://www.bilibili.com/video/BV1GCE26NE6S](https://www.bilibili.com/video/BV1GCE26NE6S) |
| 2 | 闪购外卖Lolita，让广告来得更猛一些...！ | 月亮猹- | 145,042 | 292 | [https://www.bilibili.com/video/BV1KoE56KEgj](https://www.bilibili.com/video/BV1KoE56KEgj) |
| 3 | B站终于等到我了 | 成都幽默帝国 | 276,793 | 197 | [https://www.bilibili.com/video/BV1wQE76TEA8](https://www.bilibili.com/video/BV1wQE76TEA8) |
| 4 | 【警惕】银狐木马最新变种，给你的微信好友发送诈骗信息！现场测试+硬核解析！ | SYSTEM-RAMOS-ZDY | 216,912 | 359 | [https://www.bilibili.com/video/BV1ebEh6bEU3](https://www.bilibili.com/video/BV1ebEh6bEU3) |
| 5 | 参加了九次高考的考生采访 | 自来卷三木 | 5,820,084 | 6,123 | [https://www.bilibili.com/video/BV1xkE46PE59](https://www.bilibili.com/video/BV1xkE46PE59) |
| 6 | 催眠师 但是对嘴型 | 德小僵 | 184,645 | 311 | [https://www.bilibili.com/video/BV17bEG62EPF](https://www.bilibili.com/video/BV17bEG62EPF) |
| 7 | 12 个脑洞大开的美食制作方式，有手就会！ | 胡仔一人食 | 1,136,211 | 678 | [https://www.bilibili.com/video/BV1JaE56pEKE](https://www.bilibili.com/video/BV1JaE56pEKE) |
| 8 | 把2026热歌，拍成千禧年复古MV是什么体验？（手搓版） | 今天的纹纹 | 346,399 | 428 | [https://www.bilibili.com/video/BV17KEa6PEj1](https://www.bilibili.com/video/BV17KEa6PEj1) |
| 9 | “爷爷做给爸爸小时候用的，现在传给我儿子了！”木匠爷爷做的学步车传了三代，网友：买不到的“传家宝”！ | 人民日报 | 895,916 | 141 | [https://www.bilibili.com/video/BV126E76CETY](https://www.bilibili.com/video/BV126E76CETY) |
| 10 | Blender原创动画 |工程展示|Lan library | Lan_er2 | 878,201 | 240 | [https://www.bilibili.com/video/BV1wEEg62EDP](https://www.bilibili.com/video/BV1wEEg62EDP) |

🔥 第 5 名《参加了九次高考的考生采访》播放量高达 582 万，非常火爆！

[2026-06-10 12:38:46.164] Answer completed  <1m33s>
[2026-06-10 12:38:46.166] Retrieval: 42471.81 ms, Answers: 93572.71 ms, Total: 136044.53 ms
[2026-06-10 12:38:46.167] Prompt Tokens: 9524, Completion Tokens: 991 <Qwen3.5-9B-UD-Q4_K_XL-MTP> <10.59 tokens/s>
[2026-06-10 12:38:46.167] All done ✅
复制成功

（2.2）gemma-4-E4B-it-qat-UD-Q4_K_XL

 代码块
Python
自动换行
复制代码
[2026-06-10 13:57:16.436] [Question] B站的10条热门视频
[2026-06-10 13:57:16.437] [Service] Start LLM provider: http://Shion-Acer:8999/v1
[2026-06-10 13:57:17.219] [开始] 收到用户指令并开始处理……  <781ms>
[2026-06-10 13:57:18.992] [工具] (1.1) site_help → {'site': 'bilibili'}  <1.77s>
[2026-06-10 13:57:19.316] [工具] (1.1) site_help ← (5712) {"command_count": 19, "commands": [{"name": "comment", "usage": "opencli bilibili comment <bvid> <message> [option...  <324ms>
[2026-06-10 13:57:21.208] [工具] (2.1) cmd_exec → {'full_cmd': 'bilibili hot --limit=10'}  <1.89s>
[2026-06-10 13:57:27.156] [工具] (2.1) cmd_exec ← (1832) [{"rank": 1, "title": "9月10日发售《东方红魔乡：新典　～ the Embodiment of Scarlet Devil.》第一弹预告片", "author": "上...  <5.95s>
[2026-06-10 13:57:29.417] Streaming...  <2.26s>
好的，这是B站（bilibili）的10条热门视频：

1. **标题:** 9月10日发售《东方红魔乡：新典　～ the Embodiment of Scarlet Devil.》第一弹预告片
   **作者:** 上海爱丽丝幻乐团
   **播放量:** 430,052
   **B站链接:** https://www.bilibili.com/video/BV1GCE26NE6S

2. **标题:** 闪购外卖Lolita，让广告来得更猛一些...！
   **作者:** 月亮猹-
   **播放量:** 178,518
   **B站链接:** https://www.bilibili.com/video/BV1KoE56KEgj

3. **标题:** 【警惕】银狐木马最新变种，给你的微信好友发送诈骗信息！现场测试+硬核解析！
   **作者:** SYSTEM-RAMOS-ZDY
   **播放量:** 248,273
   **B站链接:** https://www.bilibili.com/video/BV1ebEh6bEU3

4. **标题:** 参加了九次高考的考生采访
   **作者:** 自来卷三木
   **播放量:** 5,865,096
   **B站链接:** https://www.bilibili.com/video/BV1xkE46PE59

5. **标题:** B站终于等到我了
   **作者:** 成都幽默帝国
   **播放量:** 316,706
   **B站链接:** https://www.bilibili.com/video/BV1wQE76TEA8

6. **标题:** 催眠师 但是对嘴型
   **作者:** 德小僵
   **播放量:** 196,675
   **B站链接:** https://www.bilibili.com/video/BV17bEG62EPF

7. **标题:** 🐱躲在超市后门哈气的二人🐱
   **作者:** 初小晓Dawn
   **播放量:** 290,601
   **B站链接:** https://www.bilibili.com/video/BV1aMEj62EdA

8. **标题:** 12 个脑洞大开的美食制作方式，有手就会！
   **作者:** 胡仔一人食
   **播放量:** 1,183,069
   **B站链接:** https://www.bilibili.com/video/BV1JaE56pEKE

9. **标题:** “爷爷做给爸爸小时候用的，现在传给我儿子了！”木匠爷爷做的学步车传了三代，网友：买不到的“传家宝”！
   **作者:** 人民日报
   **播放量:** 1,131,385
   **B站链接:** https://www.bilibili.com/video/BV126E76CETY

10. **标题:** Blender原创动画 |工程展示|Lan library
    **作者:** Lan_er2
    **播放量:** 1,022,265
    **B站链接:** https://www.bilibili.com/video/BV1wEEg62EDP

[2026-06-10 13:57:40.536] Answer completed  <11.12s>
[2026-06-10 13:57:40.537] Retrieval: 12204.49 ms, Answers: 11108.58 ms, Total: 23313.07 ms
[2026-06-10 13:57:40.537] Prompt Tokens: 8705, Completion Tokens: 821 <gemma-4-E4B-it-qat-UD-Q4_K_XL> <73.9 tokens/s>
[2026-06-10 13:57:40.537] All done ✅
复制成功

（三）总结

（3.1）数据对比

非常有意思，两个模型的情况完全不同。

qwen 因为笔记本显存不足或别的奇怪问题，速度慢了近10倍，显然远超配置的差异。
gemma 这边则是速度差不多，额，害的我确认了几次。

PS: 笔记本跑qwen时，如果不用 --gpu-layers auto 而是 --gpu-layers all 反而会奇慢无比。

结果如下：

qwen3.5-9b
1. 4060Ti-16GB：99.49 t/s，21873ms。
2. 3060-6GB NB：10.59 t/s，136044ms。
gemma-4-E4B
1. 4060Ti-16GB：75.67 t/s，19471 ms。
2. 3060-6GB NB：73.90 t/s，23313 ms。

（3.2）结论

还是以前的结论：显存最重要！别爆显存。然后呢，仅有6GB，也可以跑E4B模型的。

但从之前的测试看，E4B模型很难完成一些步骤较多的工具调用，也难以理解模糊的中文表述。当然16GB显存好些，可以完成本地RAG，多轮工具调用。还有媲美云端的速度。也好不到哪儿去，至少无法跑 "赫尔墨斯代理" 这种级别的应用。

什么？它叫……爱马仕代理？考虑过本地真正代理爱马仕的公司的感受吗…… 好吧那么 Ollama 就应该是 饿了么？蛤？

咳咳，总之…… 在目前这个时间点，本地模型已经进步了很多。但复杂的应用，代码生成，还是需要云端顶级模型（Claude，GPT）才能放心（你敢用Deepseek？）。

本文为我原创，未经授权禁止转载

cv50338723

分享至

投诉或建议