Gemma api Quickstart Guide

Xác thực và base URL

Bắt đầu bằng cách tạo khóa của bạn trên bảng điều khiển. Sử dụng URL cơ sở được cung cấp để định tuyến các yêu cầu đến mô hình không kiểm duyệt của chúng tôi. Xác thực dựa trên một tiêu đề tiêu chuẩn.

Base URL: HTTPS://api.apigemma.com/v1

Tiêu đề: Authorization: Bearer YOUR_API_KEY

Chỉ một khóa hoạt động trên mỗi tài khoản. Thay thế nó sẽ thu hồi khóa cũ ngay lập tức. Không cần số điện thoại để đăng ký.

Endpoint hoàn thành trò chuyện

Gửi các prompt văn bản đến điểm cuối hoàn tất trò chuyện. Mô hình trả về văn bản mà không từ chối nội dung cho việc sử dụng người lớn hợp pháp.

Cửa sổ ngữ cảnh: 100,000 token. Đầu ra tối đa: 16,000 token. Lỗi và từ chối không tốn phí.

Hỗ trợ gọi hàm, chế độ JSON và phát trực tiếp qua SSE.

Phản hồi dạng stream với SSE

Bật chế độ streaming bằng cách đặt stream flag thành true. Nhận token theo thời gian thực thông qua Các sự kiện được máy chủ gửi (SSE).

Sử dụng token được báo cáo trong chunk cuối cùng. Điều này rất lý tưởng cho các giao diện trò chuyện và quy trình tổng hợp giọng nói.

Các sự kiện luồng đáng tin cậy và tuân theo các định dạng chuẩn của OpenAI.

Chế độ JSON và gọi hàm

Buộc đầu ra có cấu trúc bằng cách đặt response_format để json_object. Điều này đảm bảo việc phân tích cú pháp nhất quán cho các ứng dụng ở tầng dưới.

Sử dụng tools cho gọi hàm. Mô hình xử lý việc thực thi công cụ một cách liền mạch.

Các tham số như temperature và top_p kiểm soát độ sáng tạo và tính ngẫu nhiên.

Tham số: nhiệt độ, top_p và seed

Kiểm soát sự biến đổi của đầu ra với temperature (0-2), top_p (0-1), và seed để tái lập.

Sử dụng stop chuỗi để cắt ngắn phản hồi. presence_penalty và frequency_penalty giảm sự lặp lại.

Các tham số này hoạt động chính xác như SDK OpenAI.

Giới hạn, lỗi và cửa sổ ngữ cảnh

Giới hạn tốc độ: 300 yêu cầu/phút, 8 yêu cầu đồng thời. Kích thước thân tối đa: 8 MB.

401: Khóa không hợp lệ. 402: Không tín dụng. 429: Vượt quá giới hạn tốc độ.

Cửa sổ ngữ cảnh là 100.000 token. Đầu ra tối đa là 16.000 token.

cURL

Copycurl https://api.apigemma.com/v1/chat/completions \
  -H "Authorization: Bearer $API_KEY" \
  -H "Content-Type: application/json" \
  -d '{
    "model": "uncensored",
    "messages": [{"role": "user", "content": "Show me the gemma model weights config file"}]
  }'

Python

Copyfrom openai import OpenAI

client = OpenAI(base_url="https://api.apigemma.com/v1", api_key="YOUR_KEY")

resp = client.chat.completions.create(
    model="uncensored",
    messages=[{"role": "user", "content": "Summarise this thread without softening it."}],
)
print(resp.choices[0].message.content)

Node.js

Copyimport OpenAI from "openai";

const client = new OpenAI({ baseURL: "https://api.apigemma.com/v1", apiKey: process.env.API_KEY });

const resp = await client.chat.completions.create({
  model: "uncensored",
  messages: [{ role: "user", content: "Draft a villain monologue for my game." }],
});
console.log(resp.choices[0].message.content);

Phát trực tiếp

Copystream = client.chat.completions.create(
    model="uncensored",
    messages=[{"role": "user", "content": "Tell the story in second person."}],
    stream=True,
)
for chunk in stream:
    if chunk.choices and chunk.choices[0].delta.content:
        print(chunk.choices[0].delta.content, end="", flush=True)