最强开源大模型Llama 2,Meta已开放权重和模型文件,而且可免费商用。现在有70亿、130亿和700亿三个不同参数的版本,需要先到Meta AI官网进行申请,审核通过后即可下载原生版Llama 2模型。申请成功后,也可在hugging face上绑定申请的邮箱,进行下载。开源项目MLC目前为最快的使用Llama2模型的推理程序,可在消费级显卡上运行Llama 2的各参数版本模型,也可以使用WebGPU部署运行,甚至在iPhone安卓手机上流畅的和Llama2对话聊天。
申请地址
https://ai.meta.com/resources/models-and-libraries/llama-downloads/
llama示例项目
https://github.com/facebookresearch/llama
Llama 2 hugging face
https://huggingface.co/meta-llama
python 3.10.9
https://www.python.org/ftp/python/3.10.9/python-3.10.9-amd64.exe
git工具
https://git-scm.com/downloads
git补丁wget
https://eternallybored.org/misc/wget/
anconda
https://www.anaconda.com/
MLC安装指令
https://mlc.ai/mlc-llm/docs/get_started/try_out.html
vulkanSDK
https://vulkan.lunarg.com/sdk/home
vulkan显卡驱动
https://www.vulkan.org/tools#vulkan-gpu-resources