이 글에서는 LiteLLM을 설치하고 여러 AI API를 하나로 통합하는 방법을 알려드리겠습니다. 특히 여러 언어 모델(LLM)을 사용하고 통합이 필요한 경우에 유용합니다. 보다 중앙집권적이고 체계적인 관리 시스템을 구현합니다.LiteLLM은 여러 제공업체에 접근할 수 있는 단일 OpenAI 호환 API를 사용하는 데 있어 가장 좋은 대안 중 하나입니다.
LiteLLM을 설치하세요: 여러 AI 제공업체에 액세스할 수 있는 단일 API입니다.
혹시 OpenAI를 사용하는 프로젝트 하나, Claude를 사용하는 프로젝트 하나, Gemini를 사용하는 프로젝트 하나, 그리고 Ollama를 이용해 로컬에서 실행하는 프로젝트 하나를 동시에 진행하고 계신가요? 그렇다면 얼마나 어려운 일인지 잘 아실 겁니다. 다양한 API, SDK 및 공급자 간의 다양한 연결 모드를 관리합니다.해결책은 무엇일까요? LiteLLM을 설치하고 여러 AI API를 하나로 통합하면 혼란을 종식시키고 통제권을 되찾을 수 있습니다.
OpenRouter와 마찬가지로 LiteLLM은 동일한 근본적인 문제를 해결하는 것을 목표로 합니다. 여러 AI 모델 제공업체에 접근할 수 있는 단일 OpenAI 호환 API를 제공합니다.둘 다 나타낸다 엔드포인트 OpenAI와 호환되는 이 플랫폼은 수십 개의 모델과 제공업체에 대한 접근을 제공하고 비용 관리를 용이하게 하는 등 다양한 기능을 제공합니다.
그렇다면 둘은 어떻게 다를까요? 주로 다음과 같습니다. 배포 모델에서OpenRouter는 엔드포인트 직접 연결하는 원격 서버와 달리 LiteLLM은 Docker 또는 Python을 통해 사용자의 자체 컴퓨터 또는 서버에서 실행됩니다. 따라서 LiteLLM은 엄격한 데이터 상주 또는 개인정보 보호 요건을 충족해야 하는 사용자에게 적합한 선택입니다.
흥미로운 점은 많은 팀들이 두 가지 도구를 모두 활용합니다.그들은 LiteLLM을 사용합니다. 게이트웨이 내부적으로 OpenRouter를 백그라운드에서 다른 공급자처럼 구성합니다. 이렇게 하면 사용자는 자신의 라우터를 완벽하게 제어할 수 있습니다. 엔드포인트 OpenRouter 카탈로그를 활용하면서 백엔드 (해당 항목을 참조하세요) OpenRouter 계정 생성 및 설정 방법그렇다면 이제 LiteLLM을 설치하고 여러 AI API를 하나로 통합하는 방법에 대해 이야기해 보겠습니다.
LiteLLM을 설치하고 여러 AI API를 하나로 통합하는 방법
라이트엘름 두 가지 사용 방법을 제공합니다.다음 명령어를 사용하여 기본적인 Python SDK로 설치할 수 있습니다. pip install litellm또는 프록시 서버로 배포할 수도 있습니다(팀 및 프로덕션 환경용). LiteLLM을 설치하고 여러 AI API를 하나로 통합하려면 프록시가 필요합니다. 프록시는 특정 API를 노출하기 때문입니다. 엔드포인트 모든 모델을 구성하는 중앙 집중식 HTTP 방식입니다. 따라서 후자에 집중하겠습니다.
La 더 효율적인 방법 LiteLLM을 프록시 서버로 실행하려면 Docker 컨테이너에 배포해야 합니다. 이렇게 하면 LiteLLM이 컴퓨터 또는 서버에서 백그라운드로 독립 실행형 서비스로 실행됩니다. 또한 Docker를 사용하면 단일 YAML 파일 내에서 복잡한 라우팅, 장치별 사용량 제한 및 키 순환을 구성할 수 있습니다.
LiteLLM을 설치하고 여러 AI API를 하나로 통합하는 첫 번째 단계는 다음과 같습니다. 프로젝트 구조를 생성하세요이를 위해 터미널을 열고 다음 명령어를 실행하여 프록시 설정을 위한 전용 폴더를 생성하십시오. mkdir litellm-proxy && cd litellm-proxy이 작업이 완료되면 통합의 중심이 되는 YAML 모델 파일을 구성하는 단계로 넘어갈 수 있습니다.
모델 YAML 파일 구성
다음으로, 우리는 해야 합니다 YAML 파일을 구성하여 노출할 언어 모델과 해당 모델에 연결하는 방법을 정의하십시오.당연히 각 모델마다 API 키가 필요합니다. 우리는 이 모든 키를 하나의 설정으로 통합할 것입니다. 또한 각 모델의 정확한 이름도 필요합니다.
YAML 파일에는 모델 목록을 나열하는 것 외에도 기본 모델에 오류가 발생할 경우를 대비하여 백업 모델을 정의해야 합니다. 다음 구조를 주의 깊게 살펴보면 이러한 세부 정보를 확인할 수 있습니다. 다음 파일에서 우리는 통합할 것입니다. 상용 제공업체(OpenAI, Anthropic, Gemini), OpenRouter와 같은 서비스, 그리고 Ollama에서 실행되는 로컬 모델 등이 있습니다. YAML 파일 구조는 다음과 같습니다.
모델 목록: # 비즈니스 모델 1: OpenAI - 모델 이름: gpt-4o 모델 매개변수: 모델: gpt-4o API 키: os.environ/OPENAI_API_KEY # 비즈니스 모델 2: Anthropic Claude - 모델 이름: claude-3-5-sonnet 모델 매개변수: 모델: claude-3-5-sonnet-20240620 API 키: os.environ/ANTHROPIC_API_KEY # 외부 애그리게이터: OpenRouter - 모델 이름: openrouter-llama 모델 매개변수: 모델: openrouter/meta-llama/llama-3.1-70b-instruct API 키: os.environ/OPENROUTER_API_KEY # 로컬 모델: Ollama - 모델 이름: llama3-local 모델 매개변수: 모델: llama/llama3 API 기준: http://host.docker.internal:11434 router_settings: num_retries: 3 timeout: 15 fallbacks: - gpt-4o: ["claude-3-5-sonnet", "openrouter-llama"]
환경 변수를 정의하고 LiteLLM 컨테이너를 배포합니다.
다음으로, API 키를 코드에 노출하지 않고 저장할 .env 파일을 같은 디렉토리에 생성해야 합니다. 이전 confi.yaml 파일에서는 키 노출을 방지하기 위해 어노테이션을 사용하지 않았으므로, 모든 키를 하나의 파일에 모아야 합니다. .env 파일 다음과 같습니다.
OPENAI_API_KEY=sk-proj-your-key-here ANTHROPIC_API_KEY=sk-ant-your-key-here OPENROUTER_API_KEY=sk-or-your-key-here LITELLM_MASTER_KEY=sk-my-master-proxy-key
자, 이제 끝입니다! 이렇게 LiteLLM을 설치하고 여러 AI API를 하나로 통합할 수 있습니다. 이제 남은 작업은 다음과 같습니다. 위의 구성 및 환경 변수와 연결되었는지 확인하면서 공식 LiteLLM 컨테이너를 시작하십시오.다음 명령어를 실행하면 됩니다.
docker run -d \ --name litellm-proxy \ -p 4000:4000 \ --env-file .env \ -v $(pwd)/config.yaml:/app/config.yaml \ ghcr.io/berriai/litellm:main-latest \ --config /app/config.yaml --port 4000
검증 및 테스트 게이트웨이 통합
마지막으로 LiteLLM 설치 및 여러 AI API를 하나로 통합하는 과정이 성공적으로 완료되었는지 확인합니다. 모든 과정이 순조롭게 진행되어 컨테이너가 이미 실행 중이라면, LiteLLM이 듣고 있습니다. http://localhost:4000이 시점부터 OpenAI API와 호환되는 모든 상용 애플리케이션 또는 스크립트는 귀하의 API를 사용할 수 있게 됩니다. 대리 LiteLLM에서 제공합니다.
한번 시도해 보시겠어요? 보내보세요 HTTP 요청 .env 파일에 정의된 마스터 키를 사용합니다. 다음과 같은 형식일 것입니다.
curl --location 'http://localhost:4000/v1/chat/completions' \ --header 'Authorization: Bearer sk-my-master-key-proxy' \ --header 'Content-Type: application/json' \ --data '{ "model": "gpt-4o", "messages": [ {"role": "user", "content": "마이크로서비스를 위한 3가지 모범 사례 목록을 생성합니다."} ] }'
LiteLLM: 모든 것을 제어하는 단일 API
보시다시피, LiteLLM을 설치하고 여러 AI API를 하나로 통합하는 것은 간단하면서도 매우 유용한 과정입니다. Docker를 사용하여 프록시로 설치된 LiteLLM은 다음과 같은 기능을 제공합니다. 모든 AI API에 대한 단일 사용자 제어 액세스 포인트OpenRouter(관리형 SaaS 서비스)와 달리 LiteLLM은 데이터와 비용을 완벽하게 제어할 수 있도록 해줍니다. 하지만 그 대신 인프라를 직접 유지 관리해야 합니다.
팀에게는 Docker를 이용한 설치가 권장됩니다. 몇 분 만에 중앙 집중식 게이트웨이를 구축할 수 있습니다. OpenAI, Anthropic, Gemini, 로컬 모델, 심지어 OpenRouter까지 모두 하나의 OpenAI 호환 엔드포인트에서 이용할 수 있습니다. LiteLLM을 사용해 보세요. 키와 모델을 중앙 집중화할 수 있습니다. 코드 관리도 훨씬 수월해지고 정신 건강도 좋아질 겁니다.
어릴 적부터 과학과 기술, 특히 우리 삶을 더 편리하고 즐겁게 만들어주는 기술 발전에 매료되었습니다. 최신 뉴스와 트렌드를 파악하고, 제가 사용하는 기기들에 대한 경험, 의견, 팁을 공유하는 것을 좋아합니다. 이러한 관심 덕분에 5년 전부터 웹 작가가 되었고, 주로 안드로이드 기기와 윈도우 운영체제에 초점을 맞춰 글을 쓰고 있습니다. 복잡한 개념도 독자들이 쉽게 이해할 수 있도록 간결하게 설명하는 능력을 키워왔습니다.