Быстрый старт

Введение

LLM Proxy предоставляет OpenAI-совместимый API для доступа к различным языковым моделям. Используйте любой клиент, поддерживающий OpenAI API.

API endpoint: http://localhost:8001/v1
Аутентификация: Bearer token с вашим API ключом (префикс rp_)

💡 Совет: Создайте API ключ в разделе API ключи перед началом работы.

Доступные модели

В настоящее время доступны 3 модели:

`gpt-oss-120b`

OpenAI GPT-OSS-120B

117B параметров MoE архитектура
Оптимизирован для скорости
Контекст: 131,072 токенов
Цена: ₽5.07/1M входных, ₽24.70/1M выходных

`deepseek-v3.2`

DeepSeek V3.2

Мощные способности к рассуждениям
Класс GPT-5 производительности
Контекст: 163,840 токенов
Цена: ₽35.10/1M входных, ₽52.00/1M выходных

`gemini-3-flash-preview`

Google Gemini 3 Flash Preview

Быстрая мультимодальная модель
Огромный контекст: 1,048,576 токенов
Предварительная версия
Цена: ₽65.00/1M входных, ₽390.00/1M выходных

Прямые API запросы

Используйте стандартные HTTP запросы к нашему API.

Python

import requests
import json

response = requests.post(
    url="http://localhost:8001/v1/chat/completions",
    headers={
        "Authorization": "Bearer rp_ваш_api_ключ",
        "Content-Type": "application/json",
    },
    data=json.dumps({
        "model": "deepseek-v3.2",
        "messages": [
            {"role": "user", "content": "Привет! Как дела?"}
        ]
    })
)

data = response.json()
print(data['choices'][0]['message']['content'])

JavaScript (fetch)

const response = await fetch('http://localhost:8001/v1/chat/completions', {
    method: 'POST',
    headers: {
        'Authorization': 'Bearer rp_ваш_api_ключ',
        'Content-Type': 'application/json',
    },
    body: JSON.stringify({
        model: 'deepseek-v3.2',
        messages: [
            {role: 'user', content: 'Привет! Как дела?'}
        ]
    })
});

const data = await response.json();
console.log(data.choices[0].message.content);

cURL

curl http://localhost:8001/v1/chat/completions \
  -H "Content-Type: application/json" \
  -H "Authorization: Bearer rp_ваш_api_ключ" \
  -d '{
    "model": "deepseek-v3.2",
    "messages": [
      {"role": "user", "content": "Привет! Как дела?"}
    ]
  }'

Пример ответа

{
  "id": "chatcmpl-123",
  "object": "chat.completion",
  "created": 1677652288,
  "model": "deepseek-v3.2",
  "choices": [{
    "index": 0,
    "message": {
      "role": "assistant",
      "content": "Привет! У меня всё отлично, спасибо! Как я могу помочь?"
    },
    "finish_reason": "stop"
  }],
  "usage": {
    "prompt_tokens": 12,
    "completion_tokens": 15,
    "total_tokens": 27
  }
}

Использование OpenAI SDK

Наш API полностью совместим с OpenAI SDK. Просто измените base_url:

Python

from openai import OpenAI

# Инициализация клиента
client = OpenAI(
    api_key="rp_ваш_api_ключ",
    base_url="http://localhost:8001/v1"
)

# Обычный запрос
response = client.chat.completions.create(
    model="deepseek-v3.2",
    messages=[
        {"role": "system", "content": "Ты полезный ассистент."},
        {"role": "user", "content": "Объясни квантовую физику простыми словами."}
    ]
)

print(response.choices[0].message.content)

TypeScript

import OpenAI from 'openai';

const openai = new OpenAI({
    baseURL: 'http://localhost:8001/v1',
    apiKey: 'rp_ваш_api_ключ',
});

async function main() {
    const completion = await openai.chat.completions.create({
        model: 'deepseek-v3.2',
        messages: [
            {role: 'system', content: 'Ты полезный ассистент.'},
            {role: 'user', content: 'Объясни квантовую физику простыми словами.'}
        ],
    });

    console.log(completion.choices[0].message.content);
}

main();

Потоковый режим

Получайте ответ по мере генерации, установив stream: true.

Python с OpenAI SDK

from openai import OpenAI

client = OpenAI(
    api_key="rp_ваш_api_ключ",
    base_url="http://localhost:8001/v1"
)

stream = client.chat.completions.create(
    model="deepseek-v3.2",
    messages=[{"role": "user", "content": "Напиши короткий рассказ"}],
    stream=True
)

for chunk in stream:
    if chunk.choices[0].delta.content:
        print(chunk.choices[0].delta.content, end="")

JavaScript с fetch

const response = await fetch('http://localhost:8001/v1/chat/completions', {
    method: 'POST',
    headers: {
        'Authorization': 'Bearer rp_ваш_api_ключ',
        'Content-Type': 'application/json',
    },
    body: JSON.stringify({
        model: 'deepseek-v3.2',
        messages: [{role: 'user', content: 'Напиши короткий рассказ'}],
        stream: true
    })
});

const reader = response.body.getReader();
const decoder = new TextDecoder();

while (true) {
    const {done, value} = await reader.read();
    if (done) break;

    const chunk = decoder.decode(value);
    const lines = chunk.split('\n');

    for (const line of lines) {
        if (line.startsWith('data: ')) {
            const data = line.slice(6);
            if (data === '[DONE]') continue;

            try {
                const json = JSON.parse(data);
                const content = json.choices?.[0]?.delta?.content;
                if (content) {
                    process.stdout.write(content);
                }
            } catch (e) {}
        }
    }
}

Попробуйте в Playground

Самый простой способ протестировать API — использовать встроенный Playground. Выберите модель, введите API ключ и начните чат прямо в браузере.

🎮 Открыть Playground