Πώς να εγκαταστήσετε το LiteLLM και να συνδυάσετε πολλά API AI σε ένα

Σε αυτήν την ανάρτηση, θα σας πούμε πώς να εγκαταστήσετε το LiteLLM και να ενοποιήσετε πολλά API AI σε ένα. Αυτό είναι ιδιαίτερα χρήσιμο εάν εργάζεστε με πολλά Γλωσσικά Μοντέλα (LLM) και χρειάζεστε να εφαρμόσουν ένα πιο συγκεντρωτικό και οργανωμένο σύστημα διαχείρισηςΤο LiteLLM είναι μια από τις καλύτερες εναλλακτικές λύσεις για τη χρήση ενός μόνο API συμβατού με OpenAI που παρέχει πρόσβαση σε πολλαπλούς παρόχους.

Εγκαταστήστε το LiteLLM: ένα ενιαίο API για πρόσβαση σε πολλαπλούς παρόχους τεχνητής νοημοσύνης

Έχετε ένα έργο που χρησιμοποιεί το OpenAI, ένα άλλο με το Claude, ένα ακόμα με το Gemini και ένα άλλο που εκτελείται τοπικά με το Ollama; Τότε ξέρετε πόσο δύσκολο μπορεί να είναι. διαχείριση πολλαπλών API, διαφορετικών SDK και διαφορετικών τρόπων σύνδεσης μεταξύ παρόχωνΗ λύση; Η εγκατάσταση του LiteLLM και ο συνδυασμός πολλών API AI σε ένα μπορεί να τερματίσει το χάος και να σας δώσει ξανά τον έλεγχο.

Όπως και το OpenRouter, το LiteLLM στοχεύει στην επίλυση του ίδιου θεμελιώδους προβλήματος: προσφέρουν ένα ενιαίο API συμβατό με OpenAI για πρόσβαση σε πολλαπλούς παρόχους μοντέλων AIΚαι οι δύο παρουσιάζουν ένα τελικό σημείο Συμβατά με το OpenAI, παρέχουν πρόσβαση σε δεκάδες μοντέλα και παρόχους και διευκολύνουν τον έλεγχο των εξόδων, μεταξύ άλλων λειτουργιών.

Και πώς διαφέρουν; Κυρίως, στο μοντέλο ανάπτυξηςΕνώ το OpenRouter είναι ένα τελικό σημείο Σε αντίθεση με έναν απομακρυσμένο διακομιστή στον οποίο συνδέεστε απευθείας, το LiteLLM εκτελείται στον δικό σας υπολογιστή ή διακομιστή (μέσω Docker ή Python). Αυτό καθιστά το LiteLLM την προτιμώμενη επιλογή για όσους πρέπει να πληρούν αυστηρές απαιτήσεις διατήρησης δεδομένων ή απορρήτου.

Το ενδιαφέρον είναι ότι Πολλές ομάδες συνδυάζουν και τα δύο εργαλείαΧρησιμοποιούν το LiteLLM ως είσοδος πυλών εσωτερικά και να διαμορφώνουν το OpenRouter ως έναν ακόμη πάροχο στο παρασκήνιο. Αυτό τους δίνει τον πλήρη έλεγχο των τελικό σημείο αξιοποιώντας παράλληλα τον κατάλογο OpenRouter από το backend (Δείτε την καταχώρηση) Πώς να δημιουργήσετε και να διαμορφώσετε έναν λογαριασμό OpenRouterΤούτου λεχθέντος, ας μιλήσουμε τώρα για το πώς να εγκαταστήσετε το LiteLLM και να συνδυάσετε πολλά API AI σε ένα.

Πώς να εγκαταστήσετε το LiteLLM και να συνδυάσετε πολλά API AI σε ένα

LiteLLM Προσφέρει δύο τρόπους χρήσηςΜπορείτε να το εγκαταστήσετε ως ένα βασικό SDK Python χρησιμοποιώντας pip install litellmή να το αναπτύξετε ως διακομιστή μεσολάβησης (για ομάδες και παραγωγή). Εάν θέλετε να εγκαταστήσετε το LiteLLM και να ενοποιήσετε πολλά API AI σε ένα, χρειάζεστε τον διακομιστή μεσολάβησης, καθώς εκθέτει ένα τελικό σημείο Κεντρικό HTTP όπου ρυθμίζετε όλα τα μοντέλα σας. Επομένως, θα επικεντρωθούμε στο δεύτερο.

La πιο αποτελεσματικός τρόπος Για να εκτελέσετε το LiteLLM ως διακομιστή μεσολάβησης, το αναπτύσσετε σε ένα κοντέινερ Docker. Αυτό διασφαλίζει ότι εκτελείται ως αυτόνομη υπηρεσία στο παρασκήνιο στον υπολογιστή ή τον διακομιστή σας. Επιπλέον, το Docker σάς επιτρέπει να οργανώνετε σύνθετη δρομολόγηση, όρια δαπανών ανά συσκευή και εναλλαγή κλειδιών μέσα σε ένα μόνο αρχείο YAML.

Το πρώτο βήμα για την εγκατάσταση του LiteLLM και τον συνδυασμό πολλών API AI σε ένα είναι δημιουργήστε τη δομή του έργουΓια να το κάνετε αυτό, ανοίξτε το τερματικό σας και δημιουργήστε έναν ειδικό φάκελο για τη διαμόρφωση του διακομιστή μεσολάβησης εκτελώντας την ακόλουθη εντολή mkdir litellm-proxy && cd litellm-proxyΜόλις ολοκληρωθεί αυτό, μπορείτε να προχωρήσετε στη διαμόρφωση του αρχείου μοντέλου YAML, το οποίο είναι το κεντρικό σημείο για την ενοποίηση.

Ρύθμιση παραμέτρων αρχείου YAML μοντέλου

Στη συνέχεια, χρειάζεται να Ρυθμίστε τις παραμέτρους του αρχείου YAML για να ορίσετε ποια μοντέλα γλώσσας θέλετε να εκθέσετε και πώς να συνδεθείτε σε αυτά.Φυσικά, χρειάζεστε τα κλειδιά API για το καθένα: αυτό που θα κάνουμε είναι να τα ενοποιήσουμε όλα σε μία μόνο διαμόρφωση. Χρειάζεστε επίσης το ακριβές όνομα κάθε μοντέλου.

Εκτός από την καταγραφή των μοντέλων, το αρχείο YAML θα πρέπει επίσης να ορίζει ποια μοντέλα θα χρησιμεύσουν ως αντίγραφα ασφαλείας σε περίπτωση που το κύριο μοντέλο αποτύχει. Εξετάστε προσεκτικά την ακόλουθη δομή για να δείτε αυτές τις λεπτομέρειες. Στο ακόλουθο αρχείο θα ενοποιήσουμε Εμπορικοί πάροχοι (OpenAI, Anthropic, Gemini), υπηρεσίες όπως το OpenRouter και τοπικά μοντέλα που εκτελούνται στο Ollama. Η δομή του αρχείου YAML θα μοιάζει με αυτήν:

model_list: # Επιχειρηματικό μοντέλο 1: OpenAI - model_name: gpt-4o litellm_params: model: gpt-4o api_key: os.environ/OPENAI_API_KEY # Επιχειρηματικό μοντέλο 2: Anthropic Claude - model_name: claude-3-5-sonnet litellm_params: model: claude-3-5-sonnet-20240620 api_key: os.environ/ANTHROPIC_API_KEY # Εξωτερικός συσσωρευτής: OpenRouter - model_name: openrouter-llama litellm_params: model: openrouter/meta-llama/llama-3.1-70b-instruct api_key: os.environ/OPENROUTER_API_KEY # Τοπικό μοντέλο: Ollama - model_name: llama3-local litellm_params: model: llama/llama3 api_base: http://host.docker.internal:11434 router_settings: num_retries: 3 χρονικό όριο: 15 εναλλακτικές λύσεις: - gpt-4o: ["claude-3-5-sonnet", "openrouter-llama"]

Ορίστε τις μεταβλητές περιβάλλοντος και αναπτύξτε το κοντέινερ LiteLLM

Στη συνέχεια, πρέπει να δημιουργήσετε ένα αρχείο .env στον ίδιο κατάλογο για να αποθηκεύσετε τα ιδιωτικά σας κλειδιά API χωρίς να τα εκθέσετε στον κώδικα. Θα παρατηρήσετε ότι τα κλειδιά δεν έχουν σχολιαστεί στο προηγούμενο αρχείο confi.yaml για να αποφύγετε την έκθεσή τους. Επομένως, είναι απαραίτητο να τα συγκεντρώσετε όλα σε ένα μόνο αρχείο. Αρχείο .env όπως τα εξής:

OPENAI_API_KEY=sk-proj-το-κλειδί-σας-εδώ ANTHROPIC_API_KEY=sk-ant-το-κλειδί-σας-εδώ OPENROUTER_API_KEY=sk-ή-το-κλειδί-σας-εδώ LITELLM_MASTER_KEY=sk-το-κλειδί-μου-κύριου-διαμεσολαβητή

Και αυτό είναι όλο! Έτσι εγκαθιστάτε το LiteLLM και συνδυάζετε πολλά API AI σε ένα. Αυτό που μένει να γίνει είναι Ξεκινήστε το επίσημο κοντέινερ LiteLLM, φροντίζοντας να το συνδέσετε με τις παραπάνω μεταβλητές διαμόρφωσης και περιβάλλοντος.Μπορείτε να το κάνετε αυτό εκτελώντας την ακόλουθη εντολή:

εκτέλεση του docker -d \ --name litellm-proxy \ -p 4000:4000 \ --env-file .env \ -v $(pwd)/config.yaml:/app/config.yaml \ ghcr.io/berriai/litellm:main-latest \ --config /app/config.yaml --port 4000

Επαλήθευση και δοκιμή είσοδος πυλών ενωμένος

Τέλος, θα επαληθεύσουμε ότι η διαδικασία εγκατάστασης του LiteLLM και η συγχώνευση πολλών API AI σε ένα ήταν επιτυχής. Εάν όλα πήγαν καλά και το κοντέινερ εκτελείται ήδη, Το LiteLLM θα ακούει http://localhost:4000Από αυτό το σημείο και μετά, οποιαδήποτε εμπορική εφαρμογή ή σενάριο συμβατό με το OpenAI API θα μπορεί να χρησιμοποιήσει το πληρεξούσιο από το LiteLLM.

Θα θέλατε να το δοκιμάσετε; Δοκιμάστε να στείλετε ένα Αίτημα HTTP χρησιμοποιώντας το κύριο κλειδί που ορίζεται στο αρχείο .env. Θα μοιάζει κάπως έτσι:

curl --location 'http://localhost:4000/v1/chat/completions' \ --header 'Εξουσιοδότηση: Φορέας sk-my-master-key-proxy' \ --header 'Τύπος περιεχομένου: application/json' \ --data '{ "model": "gpt-4o", "messages": [ {"role": "user", "content": "Δημιουργεί μια λίστα με 3 βέλτιστες πρακτικές για μικροϋπηρεσίες."} ] }'

LiteLLM: ένα ενιαίο API για τον έλεγχο όλων

Όπως μπορείτε να δείτε, η εγκατάσταση του LiteLLM και ο συνδυασμός πολλών API AI σε ένα είναι μια απλή και πραγματικά χρήσιμη διαδικασία. Το LiteLLM, που εγκαθίσταται ως proxy με το Docker, σας προσφέρει... ένα ενιαίο σημείο πρόσβασης που ελέγχεται από τον χρήστη για όλα τα API τεχνητής νοημοσύνης σαςΣε αντίθεση με το OpenRouter (το οποίο είναι μια διαχειριζόμενη υπηρεσία SaaS), το LiteLLM σας δίνει πλήρη έλεγχο των δεδομένων και του κόστους σας. Ωστόσο, σε αντάλλαγμα, πρέπει να διατηρείτε τη δική σας υποδομή.

Η εγκατάσταση με το Docker είναι η συνιστώμενη διαδρομή για ομάδες. Μπορείτε να έχετε μια κεντρική πύλη σε λίγα λεπτά Όπου το OpenAI, το Anthropic, το Gemini, τα τοπικά μοντέλα, ακόμη και το OpenRouter, συνδυάζονται, όλα εκτεθειμένα κάτω από ένα ενιαίο τελικό σημείο συμβατό με OpenAI. Δοκιμάστε το: συγκεντρώστε τα κλειδιά και τα μοντέλα σας με το LiteLLM. Ο κώδικάς σας και η λογική σας θα σας ευγνωμονούν.