14个AI平台的免费额度，聚合成了一个端点——这个开源工具太实用了

每个 AI 平台都有免费额度。

Google 每个月几百万 token，Groq 每天几千请求，Cerebras 速度快，SambaNova 额度充足……

但如果想把它们聚合起来用？14 个 SDK，14 个不同的 rate limit，14 个可能出错的地方。

FreeLLMAPI 把这 14 个平台统一成一个 OpenAI-compatible 端点。

34天 5122 star，150.6 star/day

这个增长曲线说明需求真实存在。

一个端点，14 个 provider

Google Gemini 2.5 Flash · Groq (Llama 3.3, Llama 4, Qwen3) · Cerebras (Qwen3 235B) · SambaNova (DeepSeek V3, Llama 4, Gemma 3) · Mistral (Large 3, Codestral) · OpenRouter (21个模型) · GitHub Models (GPT-4.1, GPT-4o) · Cloudflare Workers AI · Cohere · Z.ai (Zhipu) · NVIDIA NIM · HuggingFace Router

聚合后 ~1.3B tokens/月。

核心机制

Router：选优先级最高、key 健康且没超限的模型。

自动 failover：请求 → 429/5xx/超时 → 跳过该 key，进入冷却 → 重试下一个模型。最多 20 次重试。

Per-key rate tracking：每个 key 的 RPM、RPD、TPM、TPD 计数器实时追踪，Router 永不超过 cap。

Sticky sessions：多轮对话 30 分钟内保持同一模型，避免中途换模型导致的”幻觉飙升”。

工具调用（Tool Calling）：OpenAI 风格的 tools / tool_choice 跨 provider 穿透，Groq/Cerebras 直接透传，Gemini 格式翻译后往返。

统一 API Key：你的应用只暴露一个 freellmapi-… bearer token，不暴露上游 provider key。

加密存储：上游 key 用 AES-256-GCM 加密后存入 SQLite。

快速开始

git clone https://github.com/tashfeenahmed/freellmapi.git
cd freellmapi
npm install
cp .env.example .env
echo "ENCRYPTION_KEY=$(node -e "console.log(require('crypto').randomBytes(32).toString('hex'))")" >> .env
npm run dev

打开 http://localhost:5173 管理 key，拿到统一 API key 后：

from openai import OpenAI
client = OpenAI(
    base_url="http://localhost:3001/v1",
    api_key="freellmapi-your-unified-key",
)
resp = client.chat.completions.create(
    model="auto",
    messages=[{"role": "user", "content": "Summarise the fall of Rome in one sentence."}],
)
print(resp.choices[0].message.content)
print("Routed via:", resp.headers.get("x-routed-via"))

重要限制

免费额度不是无限的。Gemini 2.5 Pro 和 GPT-4o 的日 cap 最低——晚上 cap 耗尽后 Router 会降级到较小的模型，智慧明显下降。

以及：没有 GPT-5，没有 Claude Opus。免费层的天花板就是 Llama 3.3 70B、GLM-4.5、Qwen 3 Coder 这个级别。

这个项目明确说了：个人实验用途，不保证可靠性，需要稳定性就付费。

---

14 个平台聚合，~1B tokens/月，零成本 AI 开发首选。

GitHub：https://github.com/tashfeenahmed/freellmapi