ในบทความนี้ เราจะบอกวิธีติดตั้ง LiteLLM และรวม API ด้าน AI หลายตัวเข้าไว้ในที่เดียว ซึ่งมีประโยชน์อย่างยิ่งหากคุณทำงานกับโมเดลภาษา (LLM) หลายตัวและต้องการใช้งาน API เดียว นำระบบการจัดการที่เป็นศูนย์กลางและเป็นระเบียบมากขึ้นมาใช้LiteLLM เป็นหนึ่งในทางเลือกที่ดีที่สุดสำหรับการใช้งาน API ที่เข้ากันได้กับ OpenAI เพียงตัวเดียว ซึ่งช่วยให้เข้าถึงผู้ให้บริการได้หลายราย
ติดตั้ง LiteLLM: API เดียวที่เข้าถึงผู้ให้บริการ AI หลายราย
คุณมีโปรเจกต์หนึ่งที่ใช้ OpenAI อีกโปรเจกต์หนึ่งใช้ Claude อีกโปรเจกต์หนึ่งใช้ Gemini และอีกโปรเจกต์หนึ่งทำงานบนเครื่องโลคอลโดยใช้ Ollama หรือไม่? ถ้าใช่ คุณคงรู้ว่ามันยากแค่ไหน จัดการ API หลายตัว, SDK ที่แตกต่างกัน และโหมดการเชื่อมต่อที่หลากหลายระหว่างผู้ให้บริการวิธีแก้ปัญหา? การติดตั้ง LiteLLM และการรวม API AI หลายตัวเข้าด้วยกันจะช่วยยุติความวุ่นวายและทำให้คุณกลับมาควบคุมสถานการณ์ได้อีกครั้ง
เช่นเดียวกับ OpenRouter, LiteLLM มีเป้าหมายที่จะแก้ปัญหาพื้นฐานเดียวกัน: นำเสนอ API เดียวที่เข้ากันได้กับ OpenAI เพื่อเข้าถึงผู้ให้บริการโมเดล AI หลายรายทั้งคู่ต่างแสดงให้เห็นถึง จุดสิ้นสุด สามารถใช้งานร่วมกับ OpenAI ได้ ทำให้สามารถเข้าถึงโมเดลและผู้ให้บริการจำนวนมาก และอำนวยความสะดวกในการควบคุมค่าใช้จ่าย รวมถึงฟังก์ชันอื่นๆ อีกมากมาย
แล้วพวกมันแตกต่างกันอย่างไร? โดยหลักๆ แล้วคือ... ในแบบจำลองการใช้งานในขณะที่ OpenRouter เป็น จุดสิ้นสุด แตกต่างจากเซิร์ฟเวอร์ระยะไกลที่คุณเชื่อมต่อโดยตรง LiteLLM ทำงานบนเครื่องหรือเซิร์ฟเวอร์ของคุณเอง (ผ่าน Docker หรือ Python) ทำให้ LiteLLM เป็นตัวเลือกที่เหมาะสมสำหรับผู้ที่ต้องการปฏิบัติตามข้อกำหนดด้านการจัดเก็บข้อมูลหรือความเป็นส่วนตัวอย่างเข้มงวด
สิ่งที่น่าสนใจก็คือ หลายทีมใช้เครื่องมือทั้งสองอย่างร่วมกันพวกเขาใช้ LiteLLM เป็น เกตเวย์ ภายในระบบ พวกเขาสามารถกำหนดค่า OpenRouter ให้ทำงานเสมือนเป็นผู้ให้บริการอีกรายหนึ่งในเบื้องหลัง ซึ่งจะทำให้พวกเขาสามารถควบคุมระบบของตนได้อย่างสมบูรณ์ จุดสิ้นสุด ในขณะที่ใช้ประโยชน์จากแคตตาล็อก OpenRouter จาก แบ็กเอนด์ (ดูรายละเอียดในรายการ) วิธีการสร้างและกำหนดค่าบัญชี OpenRouterกล่าวเช่นนั้นแล้ว ต่อไปเราจะมาพูดถึงวิธีการติดตั้ง LiteLLM และวิธีการรวม API ด้าน AI หลายตัวเข้าไว้ในที่เดียว
วิธีการติดตั้ง LiteLLM และการรวม API AI หลายตัวเข้าไว้ในที่เดียว
ลิตเติ้ลแอลแอลเอ็ม มีวิธีการใช้งานสองแบบคุณสามารถติดตั้งเป็น SDK Python พื้นฐานได้โดยใช้ pip install litellmหรือใช้งานเป็นพร็อกซีเซิร์ฟเวอร์ (สำหรับทีมและการใช้งานจริง) หากคุณต้องการติดตั้ง LiteLLM และรวม API AI หลายตัวเข้าไว้ในที่เดียว คุณจำเป็นต้องใช้พร็อกซี เนื่องจากมันเปิดเผย API บางส่วน จุดสิ้นสุด ระบบ HTTP แบบรวมศูนย์ที่คุณสามารถกำหนดค่าโมเดลทั้งหมดของคุณได้ ดังนั้นเราจะเน้นที่ส่วนหลังเป็นหลัก
La วิธีที่มีประสิทธิภาพมากขึ้น ในการใช้งาน LiteLLM เป็นพร็อกซีเซิร์ฟเวอร์ คุณต้องติดตั้งใช้งานในคอนเทนเนอร์ Docker ซึ่งจะทำให้มั่นใจได้ว่ามันจะทำงานเป็นบริการแบบสแตนด์อโลนในพื้นหลังบนคอมพิวเตอร์หรือเซิร์ฟเวอร์ของคุณ นอกจากนี้ Docker ยังช่วยให้คุณสามารถจัดการการกำหนดเส้นทางที่ซับซ้อน ขีดจำกัดการใช้จ่ายต่ออุปกรณ์ และการหมุนเวียนคีย์ได้ภายในไฟล์ YAML ไฟล์เดียว
ขั้นตอนแรกในการติดตั้ง LiteLLM และการรวม API AI หลายตัวเข้าไว้ในที่เดียวคือ สร้างโครงสร้างโครงการในการทำเช่นนี้ ให้เปิดเทอร์มินัลของคุณและสร้างโฟลเดอร์เฉพาะสำหรับการกำหนดค่าพร็อกซีโดยเรียกใช้คำสั่งต่อไปนี้ mkdir litellm-proxy && cd litellm-proxyเมื่อทำขั้นตอนนี้เสร็จแล้ว คุณสามารถดำเนินการต่อเพื่อกำหนดค่าไฟล์โมเดล YAML ซึ่งเป็นจุดศูนย์กลางของการรวมระบบได้
การกำหนดค่าไฟล์ YAML ของโมเดล
ต่อไป เราต้อง... กำหนดค่าไฟล์ YAML เพื่อกำหนดโมเดลภาษาที่คุณต้องการเปิดเผยและวิธีการเชื่อมต่อกับโมเดลเหล่านั้นแน่นอน คุณต้องมี API key สำหรับแต่ละตัว: สิ่งที่เราจะทำคือรวม API key ทั้งหมดเข้าไว้ในไฟล์การกำหนดค่าเดียว นอกจากนี้คุณยังต้องทราบชื่อที่ถูกต้องของแต่ละโมเดลด้วย
นอกจากการระบุรายชื่อโมเดลแล้ว ไฟล์ YAML ควรระบุด้วยว่าโมเดลใดจะใช้เป็นโมเดลสำรองในกรณีที่โมเดลหลักล้มเหลว โปรดตรวจสอบโครงสร้างต่อไปนี้อย่างละเอียดเพื่อดูรายละเอียดเหล่านี้ ในไฟล์ต่อไปนี้ เราจะทำการรวมเข้าด้วยกัน ผู้ให้บริการเชิงพาณิชย์ (OpenAI, Anthropic, Gemini), บริการต่างๆ เช่น OpenRouter และโมเดลท้องถิ่นที่ทำงานบน Ollama โครงสร้างไฟล์ YAML จะมีลักษณะดังนี้:
model_list: # โมเดลธุรกิจ 1: OpenAI - model_name: gpt-4o litellm_params: model: gpt-4o api_key: os.environ/OPENAI_API_KEY # โมเดลธุรกิจ 2: Anthropic Claude - model_name: claude-3-5-sonnet litellm_params: model: claude-3-5-sonnet-20240620 api_key: os.environ/ANTHROPIC_API_KEY # ตัวรวบรวมข้อมูลภายนอก: OpenRouter - model_name: openrouter-llama litellm_params: model: openrouter/meta-llama/llama-3.1-70b-instruct api_key: os.environ/OPENROUTER_API_KEY # โมเดลภายใน: Ollama - model_name: llama3-local litellm_params: model: llama/llama3 api_base: http://host.docker.internal:11434 router_settings: num_retries: 3 timeout: 15 fallbacks: - gpt-4o: ["claude-3-5-sonnet", "openrouter-llama"]
กำหนดค่าตัวแปรสภาพแวดล้อมและปรับใช้คอนเทนเนอร์ LiteLLM
ถัดไป คุณต้องสร้างไฟล์ .env ในไดเร็กทอรีเดียวกันเพื่อเก็บคีย์ API ส่วนตัวของคุณโดยไม่เปิดเผยในโค้ด คุณจะสังเกตเห็นว่าคีย์ไม่ได้ถูกระบุในไฟล์ confi.yaml ก่อนหน้านี้เพื่อหลีกเลี่ยงการเปิดเผย ดังนั้นจึงจำเป็นต้องรวบรวมคีย์ทั้งหมดไว้ในไฟล์เดียว ไฟล์ .env เช่นดังต่อไปนี้:
OPENAI_API_KEY=sk-proj-your-key-here ANTHROPIC_API_KEY=sk-ant-your-key-here OPENROUTER_API_KEY=sk-or-your-key-here LITELLM_MASTER_KEY=sk-my-master-proxy-key
แค่นั้นเอง! นี่คือวิธีการติดตั้ง LiteLLM และรวม API AI หลายตัวเข้าไว้ในที่เดียว สิ่งที่เหลืออยู่ก็คือ... เริ่มใช้งานคอนเทนเนอร์ LiteLLM อย่างเป็นทางการ โดยตรวจสอบให้แน่ใจว่าได้เชื่อมโยงกับค่าการกำหนดค่าและตัวแปรสภาพแวดล้อมข้างต้นแล้วคุณสามารถทำได้โดยการเรียกใช้คำสั่งต่อไปนี้:
docker run -d \ --name litellm-proxy \ -p 4000:4000 \ --env-file .env \ -v $(pwd)/config.yaml:/app/config.yaml \ ghcr.io/berriai/litellm:main-latest \ --config /app/config.yaml --port 4000
การตรวจสอบและการทดสอบ เกตเวย์ รวม
สุดท้ายนี้ เราจะตรวจสอบว่ากระบวนการติดตั้ง LiteLLM และการรวม API AI หลายตัวเข้าด้วยกันนั้นสำเร็จหรือไม่ หากทุกอย่างเป็นไปด้วยดีและคอนเทนเนอร์ทำงานอยู่แล้ว LiteLLM จะคอยรับฟังอยู่ http://localhost:4000นับจากนี้เป็นต้นไป แอปพลิเคชันหรือสคริปต์เชิงพาณิชย์ใดๆ ที่เข้ากันได้กับ OpenAI API จะสามารถใช้ข้อมูลของคุณได้ พร็อกซี จาก LiteLLM
คุณอยากลองดูไหม? ลองส่งมาสิ คำขอ HTTP โดยใช้คีย์หลักที่กำหนดไว้ในไฟล์ .env ของคุณ ซึ่งจะมีลักษณะประมาณนี้:
curl --location 'http://localhost:4000/v1/chat/completions' \ --header 'Authorization: Bearer sk-my-master-key-proxy' \ --header 'Content-Type: application/json' \ --data '{ "model": "gpt-4o", "messages": [ {"role": "user", "content": "สร้างรายการแนวทางปฏิบัติที่ดีที่สุด 3 ข้อสำหรับไมโครเซอร์วิส"} ] }'
LiteLLM: API เดียวที่ควบคุมทุกอย่างได้
อย่างที่คุณเห็น การติดตั้ง LiteLLM และการรวม API AI หลายตัวเข้าด้วยกันนั้นเป็นกระบวนการที่ง่ายและมีประโยชน์อย่างแท้จริง LiteLLM ที่ติดตั้งเป็นพร็อกซีด้วย Docker จะมอบสิ่งต่างๆ ให้คุณ จุดเข้าถึงเดียวที่ผู้ใช้สามารถควบคุมได้ สำหรับ API AI ทั้งหมดของคุณแตกต่างจาก OpenRouter (ซึ่งเป็นบริการ SaaS ที่มีการจัดการ) LiteLLM ให้คุณควบคุมข้อมูลและค่าใช้จ่ายได้อย่างสมบูรณ์ อย่างไรก็ตาม คุณต้องดูแลรักษาโครงสร้างพื้นฐานของคุณเอง
การติดตั้งโดยใช้ Docker เป็นวิธีที่แนะนำสำหรับทีมงาน คุณสามารถมีเกตเวย์ส่วนกลางได้ภายในไม่กี่นาที LiteLLM คือที่ที่ OpenAI, Anthropic, Gemini, โมเดลภายในเครื่อง และแม้แต่ OpenRouter มารวมกัน โดยทั้งหมดนี้สามารถเข้าถึงได้ผ่านเอนด์พอยต์เดียวที่เข้ากันได้กับ OpenAI ลองใช้ LiteLLM ดูสิ: รวมศูนย์คีย์และโมเดลของคุณไว้ด้วยกัน โค้ดของคุณและสุขภาพจิตของคุณจะดีขึ้นอย่างแน่นอน
ตั้งแต่เด็ก ฉันก็หลงใหลในทุกสิ่งทุกอย่างที่เกี่ยวข้องกับวิทยาศาสตร์และเทคโนโลยี โดยเฉพาะอย่างยิ่งความก้าวหน้าเหล่านั้นที่ทำให้ชีวิตเราสะดวกสบายและสนุกสนานยิ่งขึ้น ฉันชอบติดตามข่าวสารและเทรนด์ใหม่ๆ และแบ่งปันประสบการณ์ ความคิดเห็น และเคล็ดลับเกี่ยวกับอุปกรณ์และแกดเจ็ตที่ฉันใช้ สิ่งนี้ทำให้ฉันเริ่มเป็นนักเขียนบนเว็บเมื่อกว่าห้าปีที่แล้ว โดยเน้นไปที่อุปกรณ์ Android และระบบปฏิบัติการ Windows เป็นหลัก ฉันเรียนรู้ที่จะอธิบายแนวคิดที่ซับซ้อนให้เข้าใจง่าย เพื่อให้ผู้อ่านสามารถเข้าใจได้ง่าย