Przewodnik szybkiego startu API Gemma

Uwierzytelnianie i URL bazowy

Zacznij od wygenerowania swojego klucza na panelu. Użyj dostarczonego podstawowego adresu URL, aby skierować żądania do naszego modelu bez cenzury. Uwierzytelnianie opiera się na standardowym nagłówku.

Bazowy URL: HTTPS://api.apigemma.com/v1

Nagłówek: Authorization: Bearer TWOJ_KLUCZ_API

Tylko jeden aktywny klucz na konto. Jego zastąpienie natychmiast unieważnia stary. Nie jest wymagany numer telefonu do rejestracji.

Punkt końcowy uzupełnień czatu

Wyślij prompty tekstowe do endpointu uzupełnień czatu. Model zwraca tekst bez odmów treści dla legalnego użytku dorosłego.

Okno kontekstowe: 100 000 tokenów. Maksymalna długość odpowiedzi: 16 000 tokenów. Błędy i odrzucenia są darmowe.

Obsługa wywoływania funkcji, trybu JSON oraz strumieniowania przez SSE.

Strumieniowanie odpowiedzi z SSE

Włącz strumieniowanie, ustawiając stream flagę na true. Otrzymuj tokeny w czasie rzeczywistym za pomocą Server-Sent Events.

Użycie tokenów jest raportowane w końcowym kawałku. Jest to idealne dla interfejsów czatu i potoków syntezy głosu.

Wydarzenia strumieniowe są niezawodne i zgodne ze standardowymi formatami OpenAI.

tryb JSON i wywoływanie funkcji

Wymuś dane strukturalne, ustawiając response_format do json_object. To zapewnia spójne parsowanie dla aplikacji downstream.

Użyj tools dla wywoływania funkcji. Model obsługuje wykonanie narzędzi bezproblemowo.

Parametry takie jak temperature i top_p kontrola kreatywności i losowości.

Parametry: temperatura, top_p i seed

Kontroluj zmienność wyjścia za pomocą temperature (0-2), top_p (0-1), oraz seed dla powtarzalności.

Użyj stop sekwencji, aby przyciąć odpowiedzi. presence_penalty i frequency_penalty zmniejsz powtarzalność.

Te parametry działają dokładnie jak SDK OpenAI.

Limity, błędy i okno kontekstu

Limit zapytań: 300 zapytań/min, 8 zapytań współbiecznych. Maksymalny rozmiar ciała: 8 MB.

401: Nieprawidłowy klucz. 402: Brak kredytu. 429: Przekroczono limit szybkości.

Okno kontekstowe wynosi 100 000 tokenów. Maksymalne wyjście wynosi 16 000 tokenów.

cURL

Copycurl https://api.apigemma.com/v1/chat/completions \
  -H "Authorization: Bearer $API_KEY" \
  -H "Content-Type: application/json" \
  -d '{
    "model": "uncensored",
    "messages": [{"role": "user", "content": "Show me the gemma model weights config file"}]
  }'

Python

Copyfrom openai import OpenAI

client = OpenAI(base_url="https://api.apigemma.com/v1", api_key="YOUR_KEY")

resp = client.chat.completions.create(
    model="uncensored",
    messages=[{"role": "user", "content": "Summarise this thread without softening it."}],
)
print(resp.choices[0].message.content)

Node.js

Copyimport OpenAI from "openai";

const client = new OpenAI({ baseURL: "https://api.apigemma.com/v1", apiKey: process.env.API_KEY });

const resp = await client.chat.completions.create({
  model: "uncensored",
  messages: [{ role: "user", content: "Draft a villain monologue for my game." }],
});
console.log(resp.choices[0].message.content);

Strumieniowanie

Copystream = client.chat.completions.create(
    model="uncensored",
    messages=[{"role": "user", "content": "Tell the story in second person."}],
    stream=True,
)
for chunk in stream:
    if chunk.choices and chunk.choices[0].delta.content:
        print(chunk.choices[0].delta.content, end="", flush=True)