硅基流动——AI 爱好者的 API 工厂
七月正当夏
2024年08月07日 14:38
大语言模型 (LLM)

硅基流动(Siliconflow)是专门提供开源模型 API 云服务的平台。它使用自己的 SiliconLLM 推理引擎加速大模型推理,通过打造专业级别的 AI 计算基础设施,为开发者提供了便捷、稳定、高效的 API 服务。虽然主要是为 AI 应用开发者提供服务的平台,但 AI 爱好者难道就不可以用吗?

使用 API 存在一定的门槛,但这个门槛真的已经很低了。自从去年三月 ChatGPT 爆火以来,在生成式 AI 的加持下,编程语言的学习难度已经大大降低了。而且很多 AI 领域的博主和学者,都建议普通人也去适当学习一下编程,尤其是 Python 语言。

硅基流动带给我的最大感受就是方便、门槛低,SiliconCloud 提供的 API 完美支持 OpenAI SDK 的借口,再配合平台上丰富的模型供给,不管是专业的 AI 产品开发,还是个人爱好者学习、研究,都有了更大的灵活性和选择性。不会开发应用?没关系,你可以搭配硅基流动的 API 使用 Streamlit 写一个简单的 Web App 来使用。

正如前文提到的,硅基流动的 API 适配标准的 OpenAI SDK,只需要简单的几行代码,就可以实现大模型响应。只需要在此基础上稍微拓展,你就能写一个自己的 Streamlit Web App 来使用。

与使用大模型公司的应用不同,使用 API 可以定制自己想要实现的功能。如果你真的不想学习 Python 语言,也可以在第三方的 Chatbot 上使用 SiliconCloud 的服务。

比如 Chatbox

我们可以添加自定义提供方...

在设置页面填入硅基流动平台中提供的参数...

完活...

硅基流动提供了非常多的开源模型,一些参数小但能力出色的模型直接免费提供(12+免费模型无限畅享)。羊毛放在路边,岂有不捡之理?

像是 Qwen、GLM、DeepSeek、Yi、InternLM、Gemma、Llama3.1、Mistral 等都有提供。另外还有 Embedding 模型、文生图模型和图生图模型等。

硅基流动最让我佩服的一点是,官方的响应速度很快。

一是对于用户需求的反馈调整效率很高,二是面对新出现的、人们重视的开源模型官方能够尽可能迅速地跟进。不管是 AI 应用开发者,还是 AI 爱好者,都愿意和官方进行反馈和探讨。

总而言之,言而总之。自从习惯了使用硅基流动的 API 服务,我也越来越希望官方能带来更多惊喜。