빠른 시작: 무검열 LLM 게이트웨이 통합

사전 준비 사항

요청 인증에 API 키가 필요합니다. 이메일과 비밀번호만으로 API 키 받기 페이지에서 가입하세요. 시작 시 신용카드가 필요 없으며, 새 계정에는 7일 동안 유효한 $0.50의 무료 체험 크레딧이 제공됩니다. API 키 페이지에서 한 번의 클릭으로 이 크레딧을 청구하세요. 가입 직후 API 키가 표시됩니다.

사전 준비 사항: 활성 API 키와 지원되는 프로그래밍 언어 환경이 필요합니다. 게이트웨이는 표준 OpenAI 호환 클라이언트를 지원하므로 필요한 도구가 이미 설치되어 있을 것입니다.

SDK 설치

원시 HTTP 요청을 사용할 수 있지만, SDK를 사용하면 JSON 페이로드와 스트리밍 응답 처리가 단순해집니다. 공식 openai Python 패키지 또는 openai Node.js 패키지를 사용하는 것을 권장합니다.

• Python: pip install openai
• Node.js: npm install openai

이러한 라이브러리는 올바르게 구성된 경우 인증 및 요청 형식을 자동으로 처리합니다.

기본 URL 구성

이 llm 게이트웨이의 핵심 이점은 즉시 호환성입니다. 코드 로직을 변경할 필요가 없으며 구성만 변경하면 됩니다. SDK 클라이언트를 기본 URL에 연결하고 API 키를 제공하세요.

기본 URL: https://api.openllmgateway.com/v1

모델 ID: uncensored

이 엔드포인트는 표준 chat/completions 형식을 지원합니다. 이 두 값만 변경하면 기존 애플리케이션이 벤더 잠금 없이 무검열 모델을 통해 라우팅할 수 있습니다.

채팅 완료 보내기

간단한 텍스트 프롬프트를 보내 응답을 받으세요. 모델은 텍스트 입력을 처리하고 텍스트 출력을 반환합니다. messages 배열에 대화 기록을 포함할 수 있습니다.

요청 본문이 8 MB 미만인지 확인하세요. 모델은 프롬프트와 완료의 합계가 100,000 토큰인 컨텍스트 창을 지원합니다.

cURL을 사용한 기본 예제입니다:

복사curl https://api.openllmgateway.com/v1/chat/completions \
  -H "Authorization: Bearer $API_KEY" \
  -H "Content-Type: application/json" \
  -d '{
    "model": "uncensored",
    "messages": [{"role": "user", "content": "Write a blunt product review of a cheap VPN."}]
  }'

$OPENLLM_API_KEY을 실제 키로 바꿉니다. 응답은 JSON 형식으로 반환되며 생성된 텍스트는 choices[0].message.content에 있습니다.

스트리밍 활성화

실시간 사용자 경험을 위해 요청에 stream: true을 설정하여 스트리밍을 활성화하세요. API는 부분 응답의 서버 전송 이벤트(SSE) 스트림을 반환합니다.

스트리밍은 토큰이 생성되는 즉시 전달되므로 지각된 지연 시간을 줄입니다. 이는 긴 형식의 콘텐츠나 대화형 애플리케이션에 특히 유용합니다.

Python SDK를 사용한 예제:

복사from openai import OpenAI

client = OpenAI(base_url="https://api.openllmgateway.com/v1", api_key="YOUR_KEY")

resp = client.chat.completions.create(
    model="uncensored",
    messages=[{"role": "user", "content": "Summarise this thread without softening it."}],
)
print(resp.choices[0].message.content)

응답 객체를 반복하여 각 청크에 접근하세요. 모델이 완료되거나 토큰 제한에 도달할 때까지 생성을 계속합니다.

도구 호출 사용

API는 함수 호출을 지원하여 모델이 사용자의 프롬프트에 따라 외부 도구를 호출할 시기를 결정할 수 있습니다. tools 매개변수에 함수를 정의하세요.

모델이 도구를 사용해야 한다고 판단하면 응답에 tool_calls 배열을 반환합니다. 함수를 실행하고 결과를 후속 메시지로 모델에 다시 보냅니다.

Node.js SDK를 사용한 예제:

복사import OpenAI from "openai";

const client = new OpenAI({ baseURL: "https://api.openllmgateway.com/v1", apiKey: process.env.API_KEY });

const resp = await client.chat.completions.create({
  model: "uncensored",
  messages: [{ role: "user", content: "Draft a villain monologue for my game." }],
});
console.log(resp.choices[0].message.content);

이는 표준 OpenAI 호환 인터페이스를 벗어나지 않고 복잡한 에이전트 워크플로우를 가능하게 합니다.

사용 가능한 모델 확인

GET /v1/models 엔드포인트를 쿼리하여 사용 가능한 모델과 해당 메타데이터를 확인하세요. 이는 디버깅이나 모델 동적 선택에 유용합니다.

복사stream = client.chat.completions.create(
    model="uncensored",
    messages=[{"role": "user", "content": "Tell the story in second person."}],
    stream=True,
)
for chunk in stream:
    if chunk.choices and chunk.choices[0].delta.content:
        print(chunk.choices[0].delta.content, end="", flush=True)

응답에는 uncensored 모델이 나열됩니다. 이 게이트웨이는 임베딩, 이미지 생성 또는 오디오 처리를 제공하지 않습니다. 이는 엄격히 텍스트 기반 채팅 완료 API입니다.

제한, 오류 및 컨텍스트

속도 제한: API 키당 분당 300개의 요청으로 제한됩니다. 이를 초과하면 429 Too Many Requests 오류가 발생합니다.

인증: 401 Unauthorized 오류는 유효하지 않거나 누락된 API 키를 나타냅니다. 필요한 경우 대시보드에서 키를 재생성하세요.

청구: 선불 크레딧이 고갈되면 402 Payment Required 오류가 발생합니다. 충전은 $20부터 시작하며, 큰 예치금에는 보너스 크레딧이 제공됩니다.

컨텍스트 창: 모델은 100,000 토큰을 지원합니다. 프롬프트와 완료 길이를 관리하여 이 제한 내에 머무르세요. 8 MB를 초과하는 요청은 거부됩니다.