LLM Gateway 管理登录

1. 获取 API Key

登录管理后台 → 应用管理 → 创建应用 → 复制 API Key

2. 模型列表接口

GET /v1/models

作用：获取当前应用在网关可调用的模型列表（受应用模型授权与可用 Provider Key 影响）。

curl -X GET http://localhost:8000/v1/models \
  -H "x-api-key: sk-abc123"

{
  "object": "list",
  "data": [
    {"id": "gpt-4o-mini", "object": "model", "owned_by": "llm-balance"}
  ]
}

3. OpenAI 聊天补全接口

POST /v1/chat/completions

作用：兼容 OpenAI 格式的对话补全接口，支持多模型智能路由。

Python 示例：

import requests

BASE_URL = "http://localhost:8000"
APP_ID = "myapp"
API_KEY = "sk-abc123"

headers = {
    "x-api-key": API_KEY,
    "Content-Type": "application/json"
}

payload = {
    "model": "gpt-4o",
    "messages": [
        {"role": "user", "content": "用 Python 写一个冒泡排序"}
    ],
    "max_tokens": 500,
    "temperature": 0.7
}

response = requests.post(
    f"{BASE_URL}/v1/chat/completions",
    headers=headers,
    json=payload
)

if response.status_code == 200:
    result = response.json()
    print(result["choices"][0]["message"]["content"])
else:
    print(f"Error: {response.status_code} - {response.text}")

JSON 请求示例：

{
  "model": "gpt-4o",
  "user_id": "user_12345",
  "messages": [
    {"role": "user", "content": "你好"}
  ],
  "max_tokens": 1024,
  "temperature": 0.7,
  "routing": {
    "preferred_provider": "openai",
    "algorithm": "weighted_rr"
  }
}

参数说明：

• model - 模型名称，不填则随机选择可用模型
• user_id / user / userid - 用于用户维度的调用统计
• routing.algorithm - 负载均衡算法：weighted_rr（加权轮询）、random（随机）、least_latency（最低延迟）

4. 流式聊天补全

在请求体中添加 "stream": true 即可启用流式输出。

Python 示例：

import requests

headers = {"x-api-key": "sk-abc123"}
payload = {
    "model": "gpt-4o",
    "messages": [{"role": "user", "content": "讲一个故事"}],
    "stream": True
}

response = requests.post(
    "http://localhost:8000/v1/chat/completions",
    headers=headers,
    json=payload,
    stream=True
)

for line in response.iter_lines():
    if line:
        print(line.decode('utf-8'))

5. OpenAI 向量模型接口

POST /v1/embeddings

作用：兼容 OpenAI 格式的文本向量化接口。

{
  "model_id": "text-embedding-3-small",
  "userid": "u_10001",
  "input": "需要向量化的文本内容"
}

6. Anthropic 消息接口

POST /anthropic/v1/messages

作用：兼容 Anthropic Claude 格式的对话接口。

{
  "model_id": "claude-3-5-sonnet",
  "userid": "u_10001",
  "messages": [
    {"role": "user", "content": "你好"}
  ],
  "max_tokens": 1024,
  "routing": {
    "algorithm": "latency_based"
  }
}

错误码说明