LLM 게이트웨이란? 쉬운 설명

짧은 정의

LLM 게이트웨이란 무엇인가요? 애플리케이션과 언어 모델 API 사이에 위치하는 서비스 또는 코드 조각입니다. 애플리케이션은 모든 요청을 하나의 주소로 보내며, 게이트웨이는 이를 처리할 방법을 결정합니다: 누가 요청하는지 확인하고, 모델이나 공급자를 선택하며, 제한을 적용하고, 호출을 전달하고, 발생한 일을 기록한 후 답변을 반환합니다. 애플리케이션은 하나의 인터페이스로 통신하며 그 뒤에 무엇이 있는지 신경 쓰지 않습니다.

이 개념은 웹 서비스에서 오랫동안 사용된 API 게이트웨이에서 차용했습니다. 차이는 트래픽이 느리고 토큰 단위로 청구되며 종종 스트리밍되는 모델 호출이라는 점입니다. 따라서 언어 모델용 게이트웨이는 일반 게이트웨이가 수행하지 않는 몇 가지 작업을 수행합니다.

대부분의 게이트웨이는 OpenAI SDK가 사용하는 동일한 요청 형식을 노출합니다. 이는 실용적인 선택입니다. 거의 모든 클라이언트 라이브러리, 프레임워크 및 도구가 이를 지원하므로 기본 URL 하나만 변경하여 기존 앱 앞에 게이트웨이를 배치할 수 있습니다.

게이트웨이의 기능

다양한 제품이 서로 다른 기능을 제공하지만 공통 기능은 다음과 같습니다.

모든 프로젝트가 모든 기능을 필요로 하지는 않습니다. 게이트웨이의 가치는 그 뒤에 있는 앱, 팀, 공급자의 수에 따라 커집니다. 스크립트 하나와 공급자 하나만 있는 경우, 게이트웨이는 움직이는 부품 하나를 추가할 뿐 그 외에는 거의 이점이 없습니다.

필요한 경우와 필요하지 않은 경우

유용한 테스트는 이미 겪고 있는 고통의 정도를 세어보는 것입니다. 게이트웨이는 다음 질문 중 두세 가지에 대해 '예'라고 답할 수 있을 때 그 가치를 입증합니다.

• 여러 앱이나 팀원이 동일한 공급자 계정을 공유하며 누가 얼마를 쓰는지 알 수 없나요?
• 여러 저장소에 공급자 키를 하드 코딩했나요?
• 모든 서비스를 재배포하지 않고 모델을 전환하고 싶나요?
• 백엔드에서 오류가 반환될 때 자동 폴백이 필요한가요?
• 프롬프트와 답변의 감사 로그를 유지해야 하나요?

모든 답변이 '아니오'라면 건너뛰십시오. 단일 봇이나 내부 도구에는 기본 URL, 키, 타임아웃, 재시도 루프만 있으면 됩니다. 나중에 게이트웨이를 추가해도 요청 형식이 동일하므로 변경 크기가 작습니다. 초기에 추가하는 것은 주로 관리하고 디버깅해야 할 대상만 늘릴 뿐입니다.

비용이 발생하는 지점

게이트웨이 자체가 비용 센터가 될 수 있습니다. 자체 호스팅 프록시는 서버, 업데이트, 모니터링이 필요합니다. 관리형 서비스는 일반적으로 토큰에 대한 수수료나 마진을 부과합니다. 고려 중인 제품의 현재 가격을 확인하십시오. 캐싱, 저렴한 모델 라우팅, 더 적은 다운타임으로 인한 절감 효과를 고려한 후 결정하십시오.

획득 방법 세 가지

자체적으로 경량 계층 작성

소규모 팀에게는 이것이 종종 충분합니다. 타임아웃 추가, 429 및 5xx 응답 재시도, 응답의 토큰 사용량 로깅, 구성 파일에서 모델 선택을 수행하는 래퍼 함수는 약 50줄 정도입니다. 전체 제어권을 유지하고 추가 서비스를 사용하지 않습니다. 단점이라면 유지보수를 직접 해야 하며, 새로운 필요나 요구가 발생할 때마다 그 코드를 직접 작성해야 한다는 것입니다.

오픈소스 프록시 실행

여러 오픈소스 프로젝트가 키, 예산, 라우팅 기능을 갖춘 OpenAI 호환 프록시를 제공합니다. 직접 호스팅하므로 프롬프트가 인프라 내부에 머뭅니다. 또한 업그레이드, 보안 패치 및 가동 시간 유지 책임을 집니다. 각 프로젝트의 문서에서 지원되는 기능을 확인하십시오.

관리형 게이트웨이 사용

호스팅 제품은 서버 관리 없이 대시보드와 로그를 제공합니다. 대신 트래픽을 제3자를 통해 전송하고 가격 정책을 수용해야 하므로 민감한 프롬프트 전송 전 데이터 정책을 확인하세요.

이 서비스의 위치

Open LLM Gateway은 공급자 간 라우터가 아닙니다. 독립적인 공급자가 운영하는 단일 오픈 웨이트 모델용 호스팅 OpenAI 호환 API이며, 합법적인 성인 사용에 콘텐츠 거부 없이 답변하도록 조정되었습니다. 어떤 모델 공급자의 공식 API도 아닙니다. 모델 ID는 uncensored이며, 엔드포인트는 POST /v1/chat/completions 및 GET /v1/models를 받습니다.

이는 자체 게이트웨이의 깔끔한 백엔드가 됩니다. 게이트웨이가 업스트림 공급자 목록을 보유한다면 아래 기본 URL을 사용하여 OpenAI 호환 업스트림으로 추가하고 거부 없이 모델이 필요한 요청을 전송하세요. 게이트웨이가 없다면 앱에서 직접 호출할 수 있습니다. 두 경우 모두 설정은 동일합니다.

Copyfrom openai import OpenAI

client = OpenAI(
    base_url="https://api.openllmgateway.com/v1",
    api_key="YOUR_KEY",
)

resp = client.chat.completions.create(
    model="uncensored",
    messages=[{"role": "user", "content": "Explain what a gateway does in two sentences."}],
)
print(resp.choices[0].message.content)

SSE를 통한 스트리밍, 함수 호출, JSON 모드 및 일반적인 샘플링 매개변수를 지원합니다. 텍스트 전용이며 이미지, 오디오, 임베딩 또는 파인튜닝은 지원하지 않습니다. 프롬프트는 학습에 사용되지 않습니다.

게이트웨이 뒤에 위치할 때 계획해야 할 사항

한계가 고정된 숫자이므로, 이 API 앞의 게이트웨이는 시작부터 이를 존중할 수 있습니다. 전체 키는 8개의 동시 요청과 분당 300개의 요청을 허용합니다. 체험 키는 각각 2개와 60개를 허용합니다. 한도를 초과하면 API는 rate_limited 또는 concurrency 코드와 함께 HTTP 429를 반환하며, 일시적 과부하 상태에서는 Retry-After: 5 헤더를 제공합니다. 게이트웨이의 업스트림별 동시성 제한을 8 이하로 설정하고 Retry-After 헤더를 준수하도록 하십시오.

응답에는 X-Request-Id 및 X-Balance-USD이 포함됩니다. 첫 번째는 디버깅을 위해 로깅하고 두 번째는 잔액이 떨어지기 전에 경고하도록 모니터링하세요. 스트리밍 요청은 스트림이 끝날 때까지 슬롯을 유지하므로 스트림을 버퍼링하거나 반쯤 읽은 상태로 두면 게이트웨이가 용량을 낭비합니다.

컨텍스트 창은 프롬프트와 완료 합계 100,000 토큰이며 최대 본문 크기는 8 MB입니다. 게이트웨이가 시스템 프롬프트를 추가하거나 히스토리를 삽입하는 경우 해당 토큰도 계산하세요.

가격 책정을 위해 토큰은 입력 100만 개당 $0.15, 출력 100만 개당 $0.50이며, 선불 크레딧에서 차감되며 구독료는 없습니다. 토큰 사용량을 로깅하는 게이트웨이는 계산을 쉽게 해줍니다. 하루에 입력 토큰 300만 개와 출력 토큰 500,000개를 사용할 경우 비용은 $0.45 + $0.25 = $0.70입니다. 충전은 $20부터 $500까지 가능하며, $50 이상부터 +5%, $100 이상부터 +10%, $200 이상부터 +15%의 보너스가 제공됩니다. 자세한 내용은 가격 책정 페이지에서 확인할 수 있으며, 실패하거나 거부된 요청에는 요금이 부과되지 않습니다.

다음 단계

스택에 게이트웨이를 도입할지 결정 중이라면, 서비스 시작 전에 확인할 항목을 AI 게이트웨이 프로덕션 체크리스트에서 확인하세요. 엔드포인트 자체를 테스트하려면 빠른 시작 가이드의 3줄 클라이언트 변경 사항을 참고하고, API 키 발급은 몇 분이면 끝납니다. Google 또는 이메일과 비밀번호로 로그인한 후 한 번의 클릭으로 $0.50 무료 체험 크레딧을 청구하세요. 체험 크레딧은 7일 동안 유효하며 카드 등록이 필요 없고, 인원당 하나만 청구할 수 있습니다.

작은 프로젝트라면 게이트웨이 없이 시작하세요. 두 번째 앱, 두 번째 제공자 또는 첫 번째 감사 요청이 들어올 때 게이트웨이를 추가하면 인터페이스를 동일하게 유지할 수 있으므로 이전 비용이 거의 들지 않습니다.

더 많은 가이드

• AI 게이트웨이 체크리스트: 무검열 LLM API