2min教会你在搜索时使用本地大模型
coderyes
2024年06月10日 16:04

原理:

借助ollama在后台运行大模型,将Chrome的AI插件配置成本地URL(ollama API是openai兼容的)。最终,在搜索时,除了常规的搜索结果,同时在页面右侧也给出AI结果。

Step 1:

官网下载ollama

https://www.ollama.com/download/windows

Step 2:

Edge/Chrome浏览器插件商店下载Sider插件

Step 3:

借助ollama下载大模型,例如:

ollama run llama3

ollama run qwen2

Step 4:

配置Sider插件,使其请求发送到本地的ollama server

API KEY: 随便填

Model: 保持不变

URL: http://127.0.0.1:11434

Model Name: llama3

Step 5:

增加如下的环境变量后,重启ollama

OLLAMA_ORIGINS=chrome-extension://*

Tips:

  1. 机器最好有独立显卡,用CPU可能会很慢。

  2. 也可以将其配置在局域网中有独显的机器中,开放端口给其他机器共享。