原理:
借助ollama在后台运行大模型,将Chrome的AI插件配置成本地URL(ollama API是openai兼容的)。最终,在搜索时,除了常规的搜索结果,同时在页面右侧也给出AI结果。
官网下载ollama
https://www.ollama.com/download/windows
Step 2:
Edge/Chrome浏览器插件商店下载Sider插件
Step 3:
借助ollama下载大模型,例如:
ollama run llama3
ollama run qwen2
Step 4:
配置Sider插件,使其请求发送到本地的ollama server
API KEY: 随便填
Model: 保持不变
URL: http://127.0.0.1:11434
Model Name: llama3
Step 5:
增加如下的环境变量后,重启ollama
OLLAMA_ORIGINS=chrome-extension://*
Tips:
机器最好有独立显卡,用CPU可能会很慢。
也可以将其配置在局域网中有独显的机器中,开放端口给其他机器共享。