Průvodce rychlým startem API Gemma

Ověření a základní URL

Začněte vygenerováním svého klíče na ovládacím panelu. Použijte poskytnutou základní URL k směrování požadavků na náš nekenzurovaný model. Autentizace spoléhá na standardní hlavičku.

Základní URL: HTTPS://api.apigemma.com/v1

Hlavička: Authorization: Bearer YOUR_API_KEY

Na jednom účtu je pouze jeden aktivní klíč. Jeho nahrazením se starý okamžitě zruší. Pro registraci není vyžadováno telefonní číslo.

Endpoint Chat completions

Odesílejte textové prompty na endpoint chatových dokončení. Model vrací text bez odmítání obsahu pro legální použití pro dospělé.

Kontextové okno: 100 000 tokenů. Maximální výstup: 16 000 tokenů. Chyby a odmítnutí nic nestojí.

Podporuje volání funkcí, režim JSON a streamování přes SSE.

Streamované odpovědi pomocí SSE

Povolte streamování nastavením stream flag na true. Přijímejte tokeny v reálném čase prostřednictvím Server-Sent Events.

Spotřeba tokenů je hlášena v posledním bloku. To je ideální pro chatová rozhraní a pipeline hlasové syntézy.

Události streamu jsou spolehlivé a dodržují standardní formáty OpenAI.

Režim JSON a volání funkcí

Vynucení strukturovaného výstupu nastavením response_format na json_object. To zajišťuje konzistentní parsování pro downstreamové aplikace.

Použít tools pro volání funkcí. Model hladce zvládá provádění nástrojů.

Parametry jako temperature a top_p kontrola kreativity a náhodnosti.

Parametry: Teplota, top_p a seed

Ovládejte variaci výstupu pomocí temperature (0-2), top_p (0-1), a seed pro reprodukovatelnost.

Použít stop sekvence pro oříznutí odpovědí. presence_penalty a frequency_penalty snížit opakování.

Tyto parametry fungují přesně jako SDK OpenAI.

Limity, chyby a kontextové okno

Limit rychlosti: 300 požadavků/minutu, 8 souběžných požadavků. Max. velikost těla: 8 MB.

401: Neplatný klíč. 402: Žádný kredit. 429: Překročen limit počtu požadavků.

Kontextové okno je 100 000 tokenů. Maximální výstup je 16 000 tokenů.

cURL

Copycurl https://api.apigemma.com/v1/chat/completions \
  -H "Authorization: Bearer $API_KEY" \
  -H "Content-Type: application/json" \
  -d '{
    "model": "uncensored",
    "messages": [{"role": "user", "content": "Show me the gemma model weights config file"}]
  }'

Python

Copyfrom openai import OpenAI

client = OpenAI(base_url="https://api.apigemma.com/v1", api_key="YOUR_KEY")

resp = client.chat.completions.create(
    model="uncensored",
    messages=[{"role": "user", "content": "Summarise this thread without softening it."}],
)
print(resp.choices[0].message.content)

Node.js

Copyimport OpenAI from "openai";

const client = new OpenAI({ baseURL: "https://api.apigemma.com/v1", apiKey: process.env.API_KEY });

const resp = await client.chat.completions.create({
  model: "uncensored",
  messages: [{ role: "user", content: "Draft a villain monologue for my game." }],
});
console.log(resp.choices[0].message.content);

Streamování

Copystream = client.chat.completions.create(
    model="uncensored",
    messages=[{"role": "user", "content": "Tell the story in second person."}],
    stream=True,
)
for chunk in stream:
    if chunk.choices and chunk.choices[0].delta.content:
        print(chunk.choices[0].delta.content, end="", flush=True)