使用BenchLocal,在16g显存32g内存电脑上做的本地量化模型测试。本地模型在lmstudio运行。用的是apex-i-compact和UD-IQ4_XS量化版本。

评测1-DataExtract测试因为部分模型返回有人性化处理,加markdown代码段标签而成绩不理想,未列入最后统计列表中

评测2-与评测1增加了同一模型,在不同量化下的对比,如ornith-1.0-35b-apex与ornith-1.0-35b-ud。也有同一模型同一量化两次不同测试中成绩稳定性对比。
评测结果分数可能不能与实际工作中的表现相符,只为了满足好奇心和比较的乐趣。实际重要工作还是以调用在线大模型为主。