建立一个在本地运行的webui
此生如梦却似水
2024年05月01日 14:37

ollama安装并运行

在官网下载适配电脑的ollama,网址如下:https://ollama.com/download。

ollama默认安装在C盘,要注意C盘的内存大小。

ollama安装后使用命令窗口运行ollama

运行ollama

使用ollama run deepseek-coder:6.7b可以运行deepseek-coder:6.7b,若是deepseek-coder:6.7b未安装,会直接下载模型。

deepseek-coder:6.7b下载

可以使用ctrl+d可以关闭当前运行的模型。

安装dockers

安装参考https://zhuanlan.zhihu.com/p/441965046

Docker Desktop是适用于Windows的Docker桌面。

注意:安装完成后,系统会提示你重新启动计算机。

安装并配置open-webui

在https://github.com/ollama/ollama选择需要的UI类型,我这里选择的是open-webui。

UI类型

通过ollama的安装open-webui,这里的代码是,将代码放入cmd端运行:

docker run -d -p 3000:8080 --add-host=host.docker.internal:host-gateway -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:main

安装open-webui

注意调整端口,防止和其他端口冲突。

open-webui安装

我这里端口是3000,运行:http://localhost:3000/ 即可进入open-webui。

open-webui界面

可以点击sign up建立一个账号。

可以在上面选择一个之前安装好的模型。

第二次打开webui

  1. 在第二次运行该webui的时候,需要打开docker.exe。

  2. 在docker的Containers里面点击3000:8080可以直接进入webui。

docker的Containers