Llama2模型申请与本地部署详细教程

4.8万
13
2023-07-24 12:09:42
1116
566
2853
507
最强开源大模型Llama 2,Meta已开放权重和模型文件,而且可免费商用。现在有70亿、130亿和700亿三个不同参数的版本,需要先到Meta AI官网进行申请,审核通过后即可下载原生版Llama 2模型。申请成功后,也可在hugging face上绑定申请的邮箱,进行下载。开源项目MLC目前为最快的使用Llama2模型的推理程序,可在消费级显卡上运行Llama 2的各参数版本模型,也可以使用WebGPU部署运行,甚至在iPhone安卓手机上流畅的和Llama2对话聊天。 申请地址 https://ai.meta.com/resources/models-and-libraries/llama-downloads/ llama示例项目 https://github.com/facebookresearch/llama Llama 2 hugging face https://huggingface.co/meta-llama python 3.10.9 https://www.python.org/ftp/python/3.10.9/python-3.10.9-amd64.exe git工具 https://git-scm.com/downloads git补丁wget https://eternallybored.org/misc/wget/ anconda https://www.anaconda.com/ MLC安装指令 https://mlc.ai/mlc-llm/docs/get_started/try_out.html vulkanSDK https://vulkan.lunarg.com/sdk/home vulkan显卡驱动 https://www.vulkan.org/tools#vulkan-gpu-resources
不保证成功,不一定有用。
客服
顶部
赛事库 课堂 2021拜年纪