
先说明下,我的开发电脑是windows我相信很多开发者用的都是windows系统不是所有用户都能把ollma的命令记的很清楚,那么lm studio也是是不错的选择,有非常友好的UI界面很直观的管理自己的模型和接口。
首先当然是下载安装lm studio,两个选择1去官网下载[服务器在国外下载比较慢的可以在网盘下载]
1.官方地址 :https://lmstudio.ai/
2.网盘地址:https://pan.quark.cn/s/4d07b96852b9

一路下一步,和别的软件一样暗安装

点击开始

选择跳过我们自己配置模型,不然下载会很慢
点击跳过后我们的lmstudio 就算安装完成了 。
我们现在把lm studio 设置成中文简体

根据指引把软件设置成简体中文
把大模型存放到指定目录

设置大模型的存放目录
如果你已经有以前的大模型了,可以根据这种接口存放大模型让LM studio识别到

model是模型的根目录也就是你选择的文件夹路径
更方便的是可以使用lm studio自动下载大模型【速度较慢需要科学上网】

搜索自己想要的大模型
现在可以运行我们的大模型了

点击这里下拉框会显示我们的大模型

选择需要运行的大模型
新建对话可以检查我们的大模型运行是否成功

和大模型对话
对于开发者我们需要手动开启LM STUDIO 的API接口

开启API接口
预设我们的大模型agent 提示词

设置agent提示词
在对话中我们也可以选择我们预设好的agent 提示词

对话中使用agent提示词
至此Lm studio 安装配置完成下面我们来看看API接口该如何使用
def _rewrite_with_openai(
api_key: str,
api_url: str,
model: str,
system_prompt: str,
title: str,
content: str,
temperature: float,
max_tokens: int,
) -> Optional[str]:
"""
使用OpenAI API重写文章
该方法通过OpenAI的聊天API对给定文章进行重写,保持核心内容不变,
使用不同的表达方式并提升可读性,最终返回重写后的文章内容。
参数:
api_key: str - OpenAI API密钥,用于身份验证和API调用
api_url: str - OpenAI API基础URL,若不提供则使用默认URL
model: str - 使用的AI模型名称,如"gpt-4", "gpt-3.5-turbo"等
system_prompt: str - 系统提示词,用于指导AI的重写风格和要求
title: str - 原文章的标题
content: str - 原文章的正文内容
temperature: float - 生成文本的随机性参数,范围0-2,值越高内容越多样
max_tokens: int - API响应的最大令牌数,控制生成内容的长度
返回:
Optional[str] - 重写后的文章内容字符串,若失败则抛出异常
异常:
Exception - 当API调用失败、参数错误或其他异常发生时抛出
"""
try:
# 配置OpenAI客户端
client = openai.OpenAI(
api_key=api_key, base_url=api_url if api_url else None
)
# 构建用户提示词,包含原文章标题和内容
prompt = f"""
标题: {title}
正文:
{content}
请根据系统提示词重写这篇文章,保持核心内容不变,但使用不同的表达方式,提升可读性。
"""
# 调用OpenAI聊天API进行文章重写
response = client.chat.completions.create(
model=model,
messages=[
{"role": "system", "content": system_prompt},
{"role": "user", "content": prompt},
],
temperature=temperature,
max_tokens=max_tokens,
)
# 提取并返回重写后的内容,去除首尾空白
return response.choices[0].message.content.strip()
except Exception as e:
logger.error(f"OpenAI重写失败: {str(e)}")
raise 这是我的python写的使用openapi 调用的大模型的函数,这个python文件也放在网盘中了,需要的同学可以自行查看.
夸盘:https://pan.quark.cn/s/4d07b96852b9
如在使用中遇到什么问题,可以留言大家一起学习讨论。