1.下载Ollama?
打开主页,点击Download按钮,直接下载。软件能够适配Windows、macOS和Linux系统。你可以根据自己的系统选择适合的安装包。

2.配置和安装Ollama
接下来,我以Windows系统为例,为你演示如何配置和安装Ollama。
点击Download按钮,下载完成后,你可以直接双击安装文件,运行Ollama的安装程序,它会弹出安装界面,根据提示多次点击下一步之后,Ollama就安装完成了。

怎么确认Ollama是否安装成功?
你可以查看电脑右下角的图标。如果存在Ollama图标,则证明软件已成功安装。

配置Ollama安装模型的目录(Mac系统不需要此步骤)
环境变量的变量名称叫做OLLAMA_MODELS,他的值,我使用了E:\Ollama 这个位置,代表Ollama下载的全部模型文件都会被存入硬盘的E:\Ollama文件夹里
设置环境变量的步骤,我也提供给你,方便你按照操作路径,快速修改变量名和变量值。
你可以通过点击我的电脑-右键-属性中的高级系统设置找到环境变量按钮。在弹出的环境变量菜单中,我们就可以设置名为OLLAMA_MODELS的变量名称和值了

3.为Ollama安装大语言模型
安装模型的命令非常简单,只需要两步,一打开终端,二运行指令。
打开终端:在Windows的开始菜单点击鼠标右键,选择终端按钮 或者 WIN+R快捷键,输入cmd回车

安装指令词为:ollama run llama3
如果需要安装其他模型,你也可以从Ollama的官方网站https://ollama.com/library,右上角点击Models-具体模型链接-进入模型详情页,复制安装它的指令词。我们可以看到如llama3、phi3 qwen2等模型名称。如下图

在终端输入ollama run llama3后,如果是初次安装,你需要耐心等待几分钟,大语言模型会自动安装到你的电脑中,当出现>>> 提示符,你的llama3模型就安装成功了

下次再运行Llama3模型时,只需要在终端输入ollama run llama3。如果电脑中已安装llama3,直接进入对话环境。如果没有安装,或者上次没有安装完成,系统会自动下载llama3,再进入llama3的对话环境。
4.Ollama的常用操作
模型参数怎么选?
以Llama3 为例,它分成 8b、70B两个主流的参数版本。
8B和70B是指模型所拥有的参数数量。8B模型体积较小,只有4.7GB,回答速度非常快。70B占用空间大,需要使用更多的内存,它的回答速度慢, 但是比8B模型更聪明。
70B模型占用40GB的硬盘空间,需要的显存超过15G,一般的家用显卡都无法正常运行,所以个人电脑,我建议使用8B模型。
Ollama的常用操作
日常使用中,主要会使用到查看下载了多少个模型、自动更新、删除三个操作。
list列出已安装的本地大型模型信息
pull 更新模型
rm 删除不再使用的模型
ollama list 列出了我安装了哪个模型的哪个版本,以及占用空间大小和安装时间。

ollama pull llama3:latest 更新llama3模型

ollama rm模型名称,删除不再使用的模型。
以上就是经常用来管理模型的三个参数,如果你还想了解更多的Ollama用法可以使用 ollama -h,获取更多的参数

看到这里,你就已经做出一个本地化部署的聊天机器人了,而且操作非常流畅。