Cara menginstal LiteLLM dan menggabungkan beberapa API AI menjadi satu.

Pembaruan terakhir: 19/08/2026
Pengarang: Andrés Leal

Cara menginstal LiteLLM dan menggabungkan beberapa API AI menjadi satu.

Dalam postingan ini, kami akan memberi tahu Anda cara menginstal LiteLLM dan menggabungkan beberapa API AI menjadi satu. Ini sangat berguna jika Anda bekerja dengan beberapa Model Bahasa (LLM) dan membutuhkannya. Menerapkan sistem manajemen yang lebih terpusat dan terorganisir.LiteLLM adalah salah satu alternatif terbaik untuk menggunakan API tunggal yang kompatibel dengan OpenAI yang menyediakan akses ke berbagai penyedia.

Instal LiteLLM: API tunggal untuk mengakses berbagai penyedia AI.

Cara menginstal LiteLLM dan menggabungkan beberapa API AI menjadi satu.

Apakah Anda memiliki satu proyek yang menggunakan OpenAI, proyek lain dengan Claude, satu lagi dengan Gemini, dan satu lagi yang berjalan secara lokal dengan Ollama? Jika ya, Anda pasti tahu betapa sulitnya hal itu. Mengelola berbagai API, SDK yang berbeda, dan mode koneksi yang berbeda antar penyedia.Solusinya? Menginstal LiteLLM dan menggabungkan beberapa API AI menjadi satu dapat mengakhiri kekacauan dan mengembalikan kendali kepada Anda.

Seperti OpenRouter, LiteLLM bertujuan untuk menyelesaikan masalah mendasar yang sama: menawarkan API tunggal yang kompatibel dengan OpenAI untuk mengakses berbagai penyedia model AI.Keduanya menunjukkan titik akhir Kompatibel dengan OpenAI, mereka menyediakan akses ke puluhan model dan penyedia serta memfasilitasi pengendalian biaya, di antara fungsi-fungsi lainnya.

Lalu apa perbedaannya? Terutama, dalam model penyebaranMeskipun OpenRouter adalah sebuah titik akhir Tidak seperti server jarak jauh yang Anda hubungkan secara langsung, LiteLLM berjalan di mesin atau server Anda sendiri (melalui Docker atau Python). Hal ini menjadikan LiteLLM pilihan yang lebih disukai bagi mereka yang perlu memenuhi persyaratan residensi data atau privasi yang ketat.

Hal yang menarik adalah itu Banyak tim menggabungkan kedua alat tersebut.Mereka menggunakan LiteLLM sebagai gerbang secara internal dan mengkonfigurasi OpenRouter sebagai penyedia lain di latar belakang. Ini memberi mereka kendali penuh atas titik akhir sambil memanfaatkan katalog OpenRouter dari backend (Lihat entri tersebut) Cara membuat dan mengkonfigurasi akun OpenRouterBaiklah, sekarang mari kita bahas cara menginstal LiteLLM dan menggabungkan beberapa API AI menjadi satu.

Cara menginstal LiteLLM dan menggabungkan beberapa API AI menjadi satu.

Situs web LiteLLM

LiteLLM Ia menawarkan dua cara untuk menggunakannya.Anda dapat menginstalnya sebagai SDK Python dasar menggunakan pip install litellmatau menggunakannya sebagai server proxy (untuk tim dan produksi). Jika Anda ingin menginstal LiteLLM dan menggabungkan beberapa API AI menjadi satu, Anda memerlukan proxy, karena proxy tersebut mengekspos sebuah titik akhir HTTP terpusat tempat Anda mengkonfigurasi semua model Anda. Jadi, kita akan fokus pada yang terakhir.

Konten eksklusif - Klik Disini  Cara Berbagi Tab Individual di Google Spreadsheet

La cara yang lebih efisien Untuk menjalankan LiteLLM sebagai server proxy, Anda perlu menyebarkannya dalam kontainer Docker. Ini memastikan LiteLLM berjalan sebagai layanan mandiri di latar belakang pada komputer atau server Anda. Selain itu, Docker memungkinkan Anda untuk mengatur perutean yang kompleks, batasan pengeluaran per perangkat, dan rotasi kunci dalam satu file YAML.

Langkah pertama untuk menginstal LiteLLM dan menggabungkan beberapa API AI menjadi satu adalah membuat struktur proyekUntuk melakukan ini, buka terminal Anda dan buat folder khusus untuk konfigurasi proxy dengan menjalankan perintah berikut. mkdir litellm-proxy && cd litellm-proxySetelah itu selesai, Anda dapat melanjutkan ke konfigurasi file model YAML, yang merupakan titik pusat untuk penyatuan.

Konfigurasi file YAML model

Menerapkan LiteLLM dengan Docker

Selanjutnya, kita perlu Konfigurasikan file YAML untuk menentukan model bahasa mana yang ingin Anda ekspos dan bagaimana cara terhubung ke model tersebut.Tentu saja, Anda memerlukan kunci API untuk masing-masing: yang akan kita lakukan adalah menyatukan semuanya ke dalam satu konfigurasi. Anda juga memerlukan nama pasti dari setiap model.

Selain mencantumkan model-model utama, file YAML juga harus mendefinisikan model mana yang akan berfungsi sebagai cadangan jika model utama mengalami kegagalan. Perhatikan struktur berikut dengan saksama untuk melihat detail tersebut. Dalam berkas berikut ini kita akan menyatukan Penyedia komersial (OpenAI, Anthropic, Gemini), layanan seperti OpenRouter, dan model lokal yang berjalan di Ollama. Struktur file YAML akan terlihat seperti ini:

model_list: # Model bisnis 1: OpenAI - model_name: gpt-4o litellm_params: model: gpt-4o api_key: os.environ/OPENAI_API_KEY # Model bisnis 2: Anthropic Claude - model_name: claude-3-5-sonnet litellm_params: model: claude-3-5-sonnet-20240620 api_key: os.environ/ANTHROPIC_API_KEY # Agregator eksternal: OpenRouter - model_name: openrouter-llama litellm_params: model: openrouter/meta-llama/llama-3.1-70b-instruct api_key: os.environ/OPENROUTER_API_KEY # Model lokal: Ollama - model_name: llama3-local litellm_params: model: llama/llama3 api_base: http://host.docker.internal:11434 router_settings: num_retries: 3 timeout: 15 fallbacks: - gpt-4o: ["claude-3-5-sonnet", "openrouter-llama"]

Tetapkan variabel lingkungan dan sebarkan kontainer LiteLLM.

Layar laptop yang menampilkan kode pemrograman, ideal untuk mengilustrasikan pengaturan Docker dan file .env.

Selanjutnya, Anda perlu membuat file .env di direktori yang sama untuk menyimpan kunci API pribadi Anda tanpa mengeksposnya dalam kode. Anda akan melihat bahwa kunci-kunci tersebut tidak diberi anotasi dalam file confi.yaml sebelumnya untuk menghindari pengungkapannya. Oleh karena itu, perlu untuk mengumpulkan semuanya ke dalam satu file. file .env seperti berikut ini:

OPENAI_API_KEY=sk-proj-kunci-Anda-di-sini ANTHROPIC_API_KEY=sk-ant-kunci-Anda-di-sini OPENROUTER_API_KEY=sk-atau-kunci-Anda-di-sini LITELLM_MASTER_KEY=sk-kunci-proksi-master-saya

Dan selesai! Beginilah cara Anda menginstal LiteLLM dan menggabungkan beberapa API AI menjadi satu. Yang perlu dilakukan selanjutnya adalah... Jalankan kontainer LiteLLM resmi, pastikan untuk menautkannya dengan konfigurasi dan variabel lingkungan di atas.Anda dapat melakukan ini dengan menjalankan perintah berikut:

docker run -d \ --name litellm-proxy \ -p 4000:4000 \ --env-file .env \ -v $(pwd)/config.yaml:/app/config.yaml \ ghcr.io/berriai/litellm:main-latest \ --config /app/config.yaml --port 4000

Verifikasi dan pengujian gerbang bersatu

Antarmuka Pengguna LiteLLM

Terakhir, kita akan memverifikasi bahwa proses instalasi LiteLLM dan penggabungan beberapa API AI menjadi satu telah berhasil. Jika semuanya berjalan lancar dan kontainer sudah berjalan, LiteLLM akan mendengarkan. http://localhost:4000Mulai saat ini, aplikasi komersial atau skrip apa pun yang kompatibel dengan API OpenAI akan dapat menggunakan data Anda. proksi dari LiteLLM.

Konten eksklusif - Klik Disini  Cara Menghapus Iklan dari Google Chrome di PC

Apakah Anda ingin mencobanya? Coba kirimkan Permintaan HTTP menggunakan kunci utama yang didefinisikan dalam file .env Anda. Tampilannya akan seperti ini:

curl --location 'http://localhost:4000/v1/chat/completions' \ --header 'Authorization: Bearer sk-my-master-key-proxy' \ --header 'Content-Type: application/json' \ --data '{ "model": "gpt-4o", "messages": [ {"role": "user", "content": "Menghasilkan daftar 3 praktik terbaik untuk microservices."} ] }'

LiteLLM: API tunggal untuk mengontrol semuanya

Instal LiteLLM

Seperti yang Anda lihat, menginstal LiteLLM dan menggabungkan beberapa API AI menjadi satu adalah proses yang sederhana dan benar-benar bermanfaat. LiteLLM, yang diinstal sebagai proxy dengan Docker, menawarkan kepada Anda Titik akses tunggal yang dikendalikan pengguna untuk semua API AI Anda.Berbeda dengan OpenRouter (yang merupakan layanan SaaS terkelola), LiteLLM memberi Anda kendali penuh atas data dan biaya Anda. Namun, sebagai gantinya, Anda harus memelihara infrastruktur Anda sendiri.

Instalasi dengan Docker adalah jalur yang direkomendasikan untuk tim. Anda bisa memiliki gateway terpusat dalam hitungan menit. Di sinilah OpenAI, Anthropic, Gemini, model lokal, dan bahkan OpenRouter bersatu, semuanya terekspos di bawah satu titik akhir yang kompatibel dengan OpenAI. Cobalah: sentralisasikan kunci dan model Anda dengan LiteLLM. Kode dan kewarasan Anda akan berterima kasih.