白嫖最强开源AI LIama 3.1 llama-3.2-11b-vision多模态大模型

Groq，一家初创于AI芯片领域的企业，最近扩展其业务范围，进入了AI大模型推理服务市场。本文将探讨Groq推出的一项革新性公益项目，该项目允许用户免费接入其强大的AI大模型推理服务，该服务现已包括Gemma、Llama、Mixtral等10种模型，并提供两种文字转语音（TTS）模型。

目前支持模型如下:

"gemma2-9b-it","llama-3.1-8b-instant","gemma-7b-it","llava-v1.5-7b-4096-preview","distil-whisper-large-v3-en","whisper-large-v3","llama-3.2-1b-preview","mixtral-8x7b-32768","llama3-8b-8192","llama-3.2-11b-vision-preview","llama-3.2-3b-preview","llama-3.2-90b-text-preview","llama3-groq-70b-8192-tool-use-preview","llama-guard-3-8b","llama3-groq-8b-8192-tool-use-preview","llama-3.2-11b-text-preview","llama-3.1-70b-versatile","llama3-70b-8192"

支持最强开源AI LIama 3.1 LIama 3.2 llama-3.2-11b-text-preview llama-3.2-90b-text-preview 

在150多个基准测试集中，LIama 3.1 405B版本的表现追平甚至超越了现有SOTA模型GPT-4o和Claude 3.5 Sonnet。

如何获取Groq服务？

1️⃣ 账户注册：

访问 https://console.groq.com/login 使用邮箱或通过Github、Google账号注册并登录Groq平台

2️⃣ API密钥生成：

在Groq控制台中选择API Keys菜单，点击“Create API Key”按钮，生成用于调用服务的密钥。

3️⃣ 使用限制：

为防止资源滥用，Groq对服务的使用做了一些必要限制，如调用次数和Token使用量，但对大多数个人用户而言，这些限制已经足够宽松。

4️⃣启动Groq服务

一旦获得API Key，即可在多个兼容Groq的大模型客户端中使用，例如Oneapi、Dify、NextChat及LobeChat等。下面是在LobeChat中配置Groq的步骤：

在LobeChat设置中选择“语言模型”，配置Groq选项。

如果是直接连接Groq，API代理地址留空；如果使用服务如Oneapi，则填写相应的代理地址。

将API Key填入指定位置，选择需要的模型。

设置完成后，用户可返回LobeChat的主界面，选择Groq的某一模型，例如高性能的Gemma2 9B模型，开始体验与AI的交流。 经过实际体验，Groq的服务响应迅速，即使在高频使用下也未触发任何限制，显示出其稳定性和高效性。Groq不仅提供了一个可靠的免费资源，还为那些寻求高性能AI模型服务的用户提供了一个极佳的选择，无疑成为值得依赖的备选模型库的一部分。

5️⃣代码调用

使用python 可以很方便调用和处理一些事情、例如我的资讯网站就是用groq api处理的 可以参考下 https://ominiai.cn https://api.ominiai.cn