Bifrost 개요

핵심 개념

Bifrost는 AI Gateway입니다

Bifrost는 애플리케이션과 LLM Provider 사이에 위치하는 고성능 AI Gateway입니다.

공식 문서에서는 Bifrost를 “20+ providers를 단일 OpenAI-compatible API로 통합하는 고성능 AI gateway”라고 설명합니다.

핵심은 애플리케이션 코드가 OpenAI, Anthropic, Bedrock, Vertex AI, Azure OpenAI 등 여러 Provider의 차이를 직접 처리하지 않도록 만드는 것입니다.

Python 백엔드 입장에서는 LLM 호출 지점을 Provider별 SDK 호출 묶음으로 흩뜨리지 않고, Bifrost Gateway라는 단일 경계로 모을 수 있습니다.

11µs overhead의 의미

공식 Overview는 sustained benchmark 기준 5,000 requests/sec에서 Bifrost가 요청당 11µs overhead만 추가한다고 설명합니다.

이 수치는 “LLM 응답 latency가 1~수십 초인 환경에서 Gateway 레이어 자체의 부가 비용이 매우 작다”는 의미로 이해하시면 됩니다.

다만 이 숫자는 전체 응답 시간이 11µs라는 뜻이 아닙니다.

실제 latency는 Provider API, 네트워크, 모델 추론 시간, streaming 여부, tool call, cache hit 여부에 의해 결정됩니다.

운영 문서에서는 이 수치를 “Gateway 도입으로 생기는 추가 비용이 병목이 되기 어렵다”는 근거로만 사용해야 합니다.

20+ Provider 통합의 의미

Bifrost는 Provider 이름과 모델 이름을 Gateway에서 해석하고 라우팅합니다.

예를 들어 openai/gpt-4o-mini처럼 Provider prefix를 포함한 모델 이름을 사용하면, Gateway가 OpenAI Provider의 해당 모델로 요청을 보낼 수 있습니다.

bare model name을 쓰는 경우에는 Model Catalog를 통해 Provider를 해석할 수 있습니다.

이 구조 덕분에 백엔드 애플리케이션은 Provider별 인증, fallback, rate limit, key 분산, 로그 수집을 직접 구현하지 않고도 중앙에서 운영 정책을 적용할 수 있습니다.

OSS에서 바로 중요한 기능

OSS 운영에서 먼저 봐야 할 기능은 Drop-in Replacement, Automatic Fallbacks, Load Balancing, Virtual Keys, Routing, Budget & Rate Limits, MCP Tool Filtering, Semantic Caching, Observability, Prometheus Metrics, OpenTelemetry, Custom Plugins입니다.

이 기능들은 각각 독립 기능처럼 보이지만 운영에서는 함께 묶입니다.

예를 들어 Provider 장애는 Fallback으로 완화하고, 키별 rate limit은 Load Balancing으로 분산하며, 고객별 사용량은 Virtual Key와 Budget으로 제어하고, 문제 분석은 Logging/Observability로 수행합니다.

Bifrost 위치 정리

실습 예제

1. Gateway가 단일 API 경계가 되는지 확인

아래 예제는 Bifrost Gateway가 로컬 8080 포트에서 실행 중이고, OpenAI Provider가 등록되어 있다고 가정합니다.

curl -X POST <http://localhost:8080/v1/chat/completions> \\
  -H "Content-Type: application/json" \\
  -d '{
    "model": "openai/gpt-4o-mini",
    "messages": [
      {"role": "user", "content": "Explain Bifrost in one sentence."}
    ]
  }'

curl -X POST <http://localhost:8080/v1/chat/completions> \\
  -H "Content-Type: application/json" \\
  -d '{
    "model": "openai/gpt-4o-mini",
    "messages": [
      {"role": "user", "content": "Explain Bifrost in one sentence."}
    ]
  }'

이 호출에서 애플리케이션은 OpenAI API Key를 직접 들고 있지 않아도 됩니다.

Provider key와 routing 정책은 Bifrost 설정에 두고, 앱은 Gateway만 호출하는 형태로 바뀝니다.

2. Python 백엔드에서 Gateway를 추상화

from openai import OpenAI

client = OpenAI(
    base_url="<http://localhost:8080/openai>",
    api_key="dummy-key",  # 실제 Provider key는 Bifrost에서 관리
)

response = client.chat.completions.create(
    model="gpt-4o-mini",
    messages=[
        {"role": "system", "content": "You are a concise backend assistant."},
        {"role": "user", "content": "What problem does an AI gateway solve?"},
    ],
)

print(response.choices[0].message.content)

from openai import OpenAI

client = OpenAI(
    base_url="<http://localhost:8080/openai>",
    api_key="dummy-key",  # 실제 Provider key는 Bifrost에서 관리
)

response = client.chat.completions.create(
    model="gpt-4o-mini",
    messages=[
        {"role": "system", "content": "You are a concise backend assistant."},
        {"role": "user", "content": "What problem does an AI gateway solve?"},
    ],
)

print(response.choices[0].message.content)

3. FastAPI 서비스에서 호출 위치 고정

from fastapi import FastAPI
from pydantic import BaseModel
from openai import OpenAI

app = FastAPI()

class ChatRequest(BaseModel):
    message: str

llm = OpenAI(
    base_url="<http://localhost:8080/openai>",
    api_key="dummy-key",
)

@app.post("/chat")
def chat(req: ChatRequest):
    result = llm.chat.completions.create(
        model="gpt-4o-mini",
        messages=[{"role": "user", "content": req.message}],
    )
    return {"answer": result.choices[0].message.content}

from fastapi import FastAPI
from pydantic import BaseModel
from openai import OpenAI

app = FastAPI()

class ChatRequest(BaseModel):
    message: str

llm = OpenAI(
    base_url="<http://localhost:8080/openai>",
    api_key="dummy-key",
)

@app.post("/chat")
def chat(req: ChatRequest):
    result = llm.chat.completions.create(
        model="gpt-4o-mini",
        messages=[{"role": "user", "content": req.message}],
    )
    return {"answer": result.choices[0].message.content}

이 패턴의 핵심은 FastAPI 서비스가 Provider 장애, key failover, 비용 제한, tracing 정책을 직접 알 필요가 없다는 점입니다. 서비스 코드는 LLM 호출만 수행하고, 운영 정책은 Gateway에서 조정합니다.

고급 활용

1. LangGraph의 모델 노드를 Gateway 뒤로 모으기

LangGraph에서 여러 노드가 LLM을 호출하면 Provider별 SDK 설정이 노드마다 퍼지기 쉽습니다Bifrost를 쓰면 LangGraph의 모델 호출 경계를 Gateway로 통일하고, fallback이나 budget 제한은 Virtual Key/Provider 정책으로 분리할 수 있습니다.

from openai import OpenAI

bifrost_client = OpenAI(
    base_url="<http://localhost:8080/openai>",
    api_key="dummy-key",
)

def call_llm_for_node(state: dict) -> dict:
    completion = bifrost_client.chat.completions.create(
        model="gpt-4o-mini",
        messages=state["messages"],
    )
    return {
        "messages": completion.choices[0].message,
    }

from openai import OpenAI

bifrost_client = OpenAI(
    base_url="<http://localhost:8080/openai>",
    api_key="dummy-key",
)

def call_llm_for_node(state: dict) -> dict:
    completion = bifrost_client.chat.completions.create(
        model="gpt-4o-mini",
        messages=state["messages"],
    )
    return {
        "messages": completion.choices[0].message,
    }

이렇게 만들면 LangGraph 그래프의 관심사는 상태 전이와 tool orchestration이고, Provider 운영 정책은 Bifrost에 남습니다.

2. Gateway 기준으로 운영 책임 분리

Self-hosted 운영에서는 애플리케이션 팀과 플랫폼 팀의 책임을 나누는 것이 중요합니다.

공식 링크

• Bifrost AI Gateway Overview
• Gateway Setting Up
• Drop-in Replacement
• Request Flow
• Framework