- LiteLLM, 100'den fazla dil modeline tek bir OpenAI uyumlu API üzerinden erişimi standartlaştıran birleşik bir köprü görevi görür.
- Docker kullanarak uygulama geliştirmek, basit bir yönetim arayüzünden Kubernetes ve genel bulutlardaki karmaşık dağıtımlara kadar her şeyi yönetmenizi sağlar.
- Sistem, PostgreSQL ve Redis veritabanlarının kullanımı sayesinde harcamalar, temel güvenlik ve kota yönetimi üzerinde ayrıntılı kontrol imkanı sunmaktadır.
Şirketinizin yapay zekadan yararlanmak istediğini ancak bir dizi parçalanma engeliyle karşılaştığını hayal edin. OpenAI, Anthropic veya Google gibi her bir LLM sağlayıcısının kendi kuralları, istek formatları ve kimlik doğrulama yöntemleri vardır. Çözüm şunları içerebilir... LiteLLM'i Docker ile dağıtın. Teknik bir ekip için, yeni bir modeli test etmek veya tedarikçi değiştirmek istediklerinde kodu uyarlamak için değerli saatler harcamak, inovasyonun önünde bir engel ve gereksiz bir kaynak israfı haline gelir.
LiteLLM Evrensel bir çevirmen görevi gören açık kaynaklı bir araçtır. Temel olarak, uygulamanız ile çeşitli modeller arasında yer alır ve size bir çözüm sunar. OpenAI ile uyumlu tek arayüzBu sayede, iş mantığınızın tek bir satırını bile yeniden yazmanıza gerek kalmadan Groq modelinden Claude modeline veya hatta Ollama üzerinde çalışan yerel bir Llama'ya geçiş yapabilir ve dağıtımı inanılmaz derecede basitleştirebilirsiniz.
Docker ve Docker Compose ile hızlı kurulum
Bağımlılık sorunlarından kaçınmak ve sisteminizi temiz tutmak istiyorsanız, Docker ideal çözümdür. Başlamak için, resmi BerriAI deposunu klonlayabilir ve bir dosyayı yapılandırabilirsiniz. .env dosyanızı LITELLM_MASTER_KEY'inizle birlikte kullanın. ve bir LITELLM_SALT_KEY. Bu sonuncusu çok önemlidir çünkü veritabanında sakladığınız sağlayıcıların kimlik bilgilerini şifreler; daha sonra değiştirirseniz, yapılandırılmış modellere erişiminizi kaybedersiniz.
Dosyalarınız hazır olduğunda, basit bir işlem yeterli olacaktır. docker-compose up Ağ geçidini kurar. Varsayılan olarak, hizmet şu sunucuda barındırılır: 4000 numaralı limanDaha da basit bir şey arıyorsanız, başlangıçta otomatik olarak bir anahtar oluşturan önceden hazırlanmış imajlar mevcuttur; bu anahtarı konteyner günlüklerini kontrol ederek alabilirsiniz. Tam bir ekosisteme ihtiyaç duyanlar için LiteLLM'yi şunlarla birleştirmek çok yaygındır: Web arayüzünü açın Görsel ve güçlü bir sohbet arayüzüne sahip olmak.
Yönetim Paneli ve Model Yönetimi
LiteLLM'nin en değerli özelliklerinden biri, şu yol üzerinden erişilebilen Yönetici Arayüzüdür: /uiGiriş yapmak için 'admin' kullanıcı adını ve belirlediğiniz ana şifreyi kullanın. Buradan devam edebilirsiniz. Tedarikçiyi seçerek modeller ekleyin. Önceden tanımlanmış bir katalogdan API anahtarınızı yapıştırın ve tek bir tıklamayla bağlantıyı doğrulayın. Uç noktalarınızı yönetmek için YAML uzmanı olmanıza gerek yok.
LiteLLM'i Docker ile dağıtmak için komut satırını tercih ediyorsanız, aşağıdaki betiği kullanabilirsiniz. litellm_manage başından sonuna kadar docker execBu sayede tarayıcınızı açmadan modelleri listeleyebilir, yenilerini ekleyebilir veya artık ihtiyacınız olmayanları kaldırabilirsiniz. Ayrıca, eğer şunlarla çalışıyorsanız... Ollama aracılığıyla yerel modellerSadece sunucu URL'sini belirtmeniz yeterli (genellikle http://host.docker.internal:11434 (macOS veya Windows'ta) ve LiteLLM köprüleme işlemini halledecektir.
Erişim Kontrolü ve Sanal Anahtarlar
Profesyonel bir ortamda, API anahtarınızı herkese öylece dağıtamazsınız. Bu sorunu çözmek için LiteLLM, oluşturmanıza olanak tanır. kişiselleştirilmiş sanal anahtarlarBunlar, geliştiricilerinize veya uygulamalarınıza verdiğiniz anahtarlardır ve en güzel yanı da bunları verebilmenizdir. bütçe sınırları ve kısıtlamaları Belirli modellere erişim.
Bu harcama takibi ve kullanıcı yönetimi işlevinin çalışması için bir veritabanına ihtiyacınız var. PostgreSQLStandart Docker Compose paketi, tüketim günlüklerini ve anahtarlarını depolayan bir Postgres örneği zaten içermektedir. Dağıtımınız büyürse, Postgres'i de entegre edebilirsiniz. Hız sınırlamasını yönetmek için Redis ve önbellekleme sayesinde bir uygulamanın API kotalarınızı aşmasını önler.
Kod Entegrasyonu ve API Kullanımı
Proxy çalışmaya başladıktan sonra, OpenAI API'sini destekleyen herhangi bir kütüphane çalışacaktır. Sadece şunu değiştirmeniz gerekiyor: base_url LiteLLM sunucunuza. OpenAI Python SDK kullanıyorsanız, 4000 numaralı porta işaret etmeniz ve aşağıdaki komutu kullanmanız yeterlidir. sanal anahtar oluşturulduBu, modeller arasındaki geçişi sorunsuz hale getirir.
Kullanmayı tercih edenler için curl Ağ araçları veya benzeri araçlar kullanıldığında, istekler uç noktaya standart bir POST isteği olarak gönderilir. /v1/chat/completionsModeli nasıl yapılandırdığınıza bağlı olarak, bazı ayarları belirtmeniz gerekebileceğini unutmamak önemlidir. sağlayıcı öneki (Örneğin, groq/llama3Böylece proxy, isteği nereye yönlendireceğini tam olarak bilir.
Üretim ve Ölçeklendirme Dağıtımları
Yerel bir deneyden AWS, Azure veya diğer platformlardaki gerçek dünya ortamına geçtiğinizde Google BulutDağıtım değişiyor. İki yolunuz var: monolitik modBurada tek bir görüntü trafiği, API'yi ve kullanıcı arayüzünü yönetiyor, veya mikro hizmetler moduAğ geçidi, arka uç ve arayüzün bağımsız olarak konuşlandırıldığı ve ölçeklendirildiği yer.
Kubernetes için en verimli yöntem, şunu kullanmaktır: Helm GrafikleriBu, CPU kullanımına veya Prometheus metriklerine bağlı olarak HPA veya KEDA kullanarak otomatik ölçeklendirmeyi yapılandırmanıza olanak tanır. Bulutta, bir Nginx veya Caddy gibi ters proxy'ler LiteLLM'nin önüne HTTPS şifrelemesini işlemek için bir kod eklendi, çünkü konteyner içi trafik genellikle düz metin olarak iletilir.
Güvenlik ve En İyi Uygulamalar
Sistemin sağlam olması için, LiteLLM'yi Docker ile dağıtırken 4000 numaralı bağlantı noktasını doğrudan internete açmamak çok önemlidir. İdeal olarak, bu bağlantı noktası şuraya bağlanmalıdır... 127.0.0.1 ve ters proxy'nin erişimi yönetmesine izin verin. Ayrıca, kullanımı gizli yöneticiler (AWS Secrets Manager veya Azure Key Vault gibi) anahtarları doğrudan üretim ortamında .env dosyalarına yazmaktan daha iyidir.
Bir diğer önemli nokta ise veritabanı geçişlerinin yönetimidir. Büyük ölçekli dağıtımlarda, en iyisi bir geçiş işlemi çalıştırmaktır. bağımsız göç işi Proxy pod'larını başlatmadan önce, PostgreSQL şemasının güncel olduğundan ve yapay zeka istek trafiğini engellemediğinden emin olun.
LiteLLM'i Docker ile dağıtmak işte bu kadar kolay. Bu araç, birden fazla yapay zeka sağlayıcısını yönetmenin karmaşıklığını merkezi ve verimli bir işleme dönüştürüyor. API'ler arasındaki farklılıkları soyutlayarak ve güvenlik ve maliyet kontrolü katmanları ekleyerek, herhangi bir kuruluşun ölçeklenebilir, güvenli ve her şeyden önce teknoloji sektöründeki sürekli değişimlere uyum sağlayabilen esnek bir LLM altyapısı uygulamasına olanak tanır.
İndeks
Farklı dijital mecralarda on yıldan fazla deneyime sahip, teknoloji ve internet konularında uzmanlaşmış editör. E-ticaret, iletişim, online pazarlama ve reklam şirketlerinde editör ve içerik yaratıcısı olarak çalıştım. Ekonomi, finans ve diğer sektörlerin internet sitelerinde de yazılar yazdım. İşim aynı zamanda tutkumdur. Artık makalelerim aracılığıyla Tecnobits, Hayatlarımızı iyileştirmek için teknoloji dünyasının bize her gün sunduğu tüm haberleri ve yeni fırsatları keşfetmeye çalışıyorum.