我们在llama3 in Chinese (首个llama3 中文版) 项目找发现已经有llama3 中文微调的多模态项目了，项目是Bunny-Llama-3-8B-V 和llava-llama-3-8b，这2个项目在huggingface上都有相应下载，模型下载地址  https://huggingface.co/BAAI/Bunny-Llama-3-8B-V 和https://huggingface.co/xtuner/llava-llama-3-8b-v1_1，结合上期模型量化技术，我们今天来测试一下这个llama3 中文版多模态技术。

1 模型下载

目前huggingface已经有了gguf格式的模型文件了，我们只需要下载下来即可。

模型下载地址https://huggingface.co/xtuner/llava-llama-3-8b-v1_1-gguf/blob/main/llava-llama-3-8b-v1_1-int4.gguf

因为gguf文件是单个文件，我们只需要一个文件即可，这里我们选择lava-llama-3-8b-v1_1-int4.gguf 4B模型，点击浏览器下载直接在网页端即可完成下载。

 下载好模型保存到本地，我的电脑上是E:\AI\GGUF

2.编写Modelfile

我们修改Modelfile 文件如下

FROM ./llava-llama-3-8b-v1_1-int4.gguf
TEMPLATE """{{- if .System }}
<|system|>
{{ .System }}
</s>
{{- end }}
<|user|>
{{ .Prompt }}
</s>
<|assistant|>
"""
PARAMETER stop "<|system|>"
PARAMETER stop "<|user|>"
PARAMETER stop "<|assistant|>"
PARAMETER stop "</s>

3.创建自定义模型

ollama create llava-llama-3-8b-v1_1-int4 -f Modelfile

       通过以上命令我们完成自定义多模态模型ollama模型镜像的创建

4.模型运行

我们先检查一下模型是否加载 ollama 列表中

ollama list

5  模型测试

       我们先用命令行测试一下

ollama run llava-llama-3-8b-v1_1-int4

   我们使用电脑上chatbox 客户端工具调用一下

因为目前chatbox目前主推自己 chatbox AI ,所以我们输入图片后在进行聊天会报错

 这个时候为了验证多模态功能我们需要借助另外一套软件open-webui，关于open-webui  安装这里就不详细展开了。感兴趣的小伙伴可以私下给我。或者看我这期视频 《开启open-webui：一键集成ollama，打造革命性GPT体验！​》

  open-webui 测试

  打开open-webui web端，从下拉模型选择我们刚才创建的自定义模型llava-llama-3-8b-v1_1-int4

   多模态功能是可以，但是识别率好像不行，可能和我本地使用4B量化后的模型有关系。

总结：我们通过以上方式实现了llama3 中文多模态模型结合 ollama 自定义创建模型的方式，通过open-webui 这个项目实现了llama3 中文微调版多模态使用。相信后面会有更加好用的基于llama3 版本的多模态模型出现。今天的分享就到这里，感兴趣小伙伴可以持续关注。