• 投稿

8G显存·42t/s·Qwen3.6-35B | OpenCLaw 调用场景-视频过时了，去看最新的。

5615
2
2026-05-17 14:52:30
含AI生成内容
56
12
186
14
去看最新的视频，这个过时了。 内存32G 显存8G llamaserver 通过网盘分享的文件：llama-bin-win-cuda12.4-RTX3090Ti-sm86-1.7.zip 链接: https://pan.baidu.com/s/1PeS9Mg_eFsdUqJruKt9rZw 提取码: q92g 以下为启动参数： /c/soft/llama-bin-win-cuda12.4-RTX3090Ti-sm86-1.7/llama-server.exe \  -m /c/Users/kk/.lmstudio/models/mudler/Qwen3.6-35B-A3B-Claude-4.7-Opus-Reasoning-Distilled-APEX-GGUF/Qwen3.6-35B-A3B-Claude-4.7-Opus-Reasoning-Distilled-APEX-I-Compact.gguf \  --mmproj /c/Users/kk/.lmstudio/models/mudler/Qwen3.6-35B-A3B-Claude-4.7-Opus-Reasoning-Distilled-APEX-GGUF/mmproj.gguf \  -c 131072 \  -np 1 \  -fa on \  --embeddings \  --pooling mean \  --cache-type-k q8_0 \  --cache-type-v q8_0 \  --ctx-checkpoints 64 \  --checkpoint-every-n-tokens 2048 \  --cache-prompt \  --cache-reuse 1 \  --no-mmap \  --mlock \  --kv-unified \  --cache-ram 8192 \  --poll 100 \  --no-perf \  --no-cache-idle-slots \  --sleep-idle-seconds -1 \  --keep -1 \  -dev CUDA0 \  --host 0.0.0.0 \  --port 8080 \  -b 2048 \  --ubatch-size 2048 \  --threads 8 \  --threads-batch 12 \  --log-file "llama_server_$(date +%Y%m%d_%H%M%S)-035.log" \  --reasoning on \  --metrics sleep 10 # 等服务器启动 # 第一段：短请求，触发初始 CUDA Graph 捕获 curl -s http://127.0.0.1:8080/v1/chat/completions \  -H "Content-Type: application/json" \  -d '{   "model": "qwen",   "messages": [{"role": "user", "content": "warmup"}],   "max_tokens": 5, "temperature": 0.7  }' > /dev/null # 第二段：中等长度 prompt（约 2000–2500 tokens），预热常见对话场景 curl -s http://127.0.0.1:8080/v1/chat/completions \  -H "Content-Type: application/json" \  -d '{   "model": "qwen",   "messages": [    {"role": "system", "content": "你是一个知识渊博的助手，回答时请保持条理清晰。"},    {"role": "user", "content": "请详细介绍人工智能的发展历程，包括早期符号主义、连接主义、机器学习、深度学习、强化学习等阶段，并说明各阶段的代表性成果和局限性。"}   ],   "max_tokens": 300, "temperature": 0.7  }' > /dev/null echo "Warmup 完成，覆盖短文本与 2k–3k token 常见对话。"
学习
教程
记录
国际米兰肠胃 发消息
接下来播放
自动连播

8G显存·52t/s-128k上下文-mtp+tbq加速？·Qwen3.6-35B | OpenCLaw 调用场景
国际米兰肠胃
2万 1

8G显存-mtp加速:60~75.92t/s 128k qwen3.6 写代码场景3070
国际米兰肠胃
1.7万 0

3070魔改16G显存 27B 45t/s 35B 95 t/s qwen3.6以及 comfyui的测试
国际米兰肠胃
6502 0

strata内存32G+8G显存>39G即可不读硬盘跑iq3级85G文件均速66t/s-Gyro-M
国际米兰肠胃
1.6万 3

llama.cpp轻松跑qwen3.6-35B-A3B无审核视觉大模型图片反推测试
大梦想的小会计
2.2万 1

单 GPU 220 token/s！Daniel Han 把 Qwen3.6 的 MTP 加速炸出来了，精度零损失
普通鱼学家呀
6373 3

本地大模型提速三倍方法Qwen3.6模型跑出200t/s生成 4090单显卡，本地大模型提速三倍Qwen3.6模型跑出200t/s生成
酋长师兄
8020 4

3080魔改20G+qwen3.8-27b+MiniMaxH3 使用体验
国际米兰肠胃
1.1万 1

仅用5G显存！笔记本3060 6G本地部署Qwen3.6-35B-A3B + 视觉模型
只说不做王八蛋
3.1万 1

llama-tbq4+mtp 加速8G显存 最高71.54t/s 128k上下文 Qwen3.6-35b
国际米兰肠胃
1万 1

[模型部署]如何使用4G显存本地部署35B大模型
少侠空白
1.1万 9

人人都能用上Qwen3.6 35B？全新APEX量化：Q4大小Q8体验！
AI观模者
4.3万 12

Qwen3.6 27B&35B A3B能替代线上模型在本地做为你的编码模型吗?
AI-ta二舅
2.9万 38

2080Ti跑qwen3.6 27b，你会用什么起飞方式：turboquant + MTP、turboquant + APEX
杭古同学
4731 1

开源小模型源神！Qwen3.6-35B-A3B APEX本地实测，16.6GB拿91.5分
Scorpio-117
2.3万 0

不建议16G显存及以下部署Qwen3.5-35B-A3B
6YeR5aSa
5.4万 3

llama.cpp MTP+TurboQuant自编译实录，别等了，自己干！
只说不做王八蛋
7551 2

16G显存 · 96K上下文 · 90 token/s —— Qwen3.8-27B本地部署实录
球哥的日常生活
1.1万 0

本地尝试拓展qwen3.6-35b-a3b_q4_k_m百万上下文长度，到视频结束已经跑了82万上下文，能正常对话没有出现死循环。
知言和知微
3112 0

如何在16G以下显存上部署某些24B、35B甚至更大的模型
Ycylone
18.6万 85
展开
用AI为孩子打造优质启蒙动画
客服
顶部
赛事库 课堂 2021拜年纪