วิธีเชื่อมต่อ LocalAI กับ AnythingLLM ใน 4 ขั้นตอน

การเชื่อมต่อ LocalAI กับ AnythingLLM เป็นหนึ่งในวิธีการที่ดีที่สุดสำหรับการใช้ประโยชน์จากศักยภาพของ AI ในระดับท้องถิ่น LocalAI ทำหน้าที่เป็นเครื่องมือประมวลผลการอนุมาน ในขณะที่ AnythingLLM ให้ส่วนต่อประสานที่ใช้งานง่ายสำหรับการจัดการความรู้ คู่มือนี้จะอธิบายวิธีการเชื่อมต่อ วิธีเชื่อมต่อเครื่องมือทั้งสองนี้เพื่อสร้างผู้ช่วยส่วนตัว.

LocalAI และ AnythingLLM คืออะไร?

ก่อนที่เราจะเริ่มเชื่อมต่อ LocalAI กับ AnythingLLM เราควรทำความเข้าใจก่อนว่าแต่ละโปรแกรมทำอะไร และทำไมการรวมเข้าด้วยกันจึงมีประโยชน์ ในส่วนของ LocalAI นั้น... โลคัลไอ มันถูกสร้างขึ้นเพื่อใช้ทดแทนและใช้งานร่วมกับ OpenAI API ได้โดยตรง มันคือ... เซิร์ฟเวอร์อนุมานที่อนุญาตให้ดาวน์โหลดและเรียกใช้ในเครื่องได้ ไม่เพียงแต่แบบจำลองภาษา (LLM) เท่านั้น แต่ยังรวมถึงการแปลงเสียงเป็นข้อความและแม้กระทั่งการสร้างภาพด้วย

ข้อได้เปรียบที่สำคัญที่สุดของ LocalAI คือ... ใช้งานร่วมกับแอปพลิเคชันใดๆ ที่ออกแบบมาเพื่อทำงานร่วมกับ OpenAI ได้สิ่งที่คุณต้องทำคือเปลี่ยน URL พื้นฐาน (http://localhost:8080/v1) และใช้คีย์ API ปลอม โมเดลจะทำงานในเครื่อง ดังนั้นคุณจึงไม่ต้องจ่ายค่าโทเค็นหรือค่าสมัครสมาชิก และสามารถใช้งานได้ผ่านเซิร์ฟเวอร์สำหรับไคลเอนต์ AI ใดๆ บนคอมพิวเตอร์เครื่องต่างๆ

อีกด้านหนึ่ง เรามีไคลเอนต์ AI อะไรก็ได้เกี่ยวกับ LLM, สภาพแวดล้อมการทำงานที่ผสานรวมการแชท การฝังข้อมูล RAG ตัวแทน และเครื่องมือเพิ่มประสิทธิภาพการทำงาน หนึ่งในคุณสมบัติที่โดดเด่นที่สุดคือ แปลงเอกสารในเครื่องให้เป็นแหล่งข้อมูลที่ AI สามารถนำไปใช้ในการสร้างคำตอบได้นอกจากนี้ AnythingLLM ยังช่วยให้คุณดาวน์โหลดโมเดลภาษาและเรียกใช้งานในเครื่องได้อีกด้วย

เหตุใดจึงควรเชื่อมต่อ LocalAI กับ AnythingLLM?

จริงอยู่ที่เวอร์ชันล่าสุดของ AnythingLLM อนุญาตให้คุณดาวน์โหลดและเรียกใช้โมเดลภาษาได้โดยตรงในอินเทอร์เฟซ อย่างไรก็ตาม หากคุณใช้ LocalAI ในการจัดการโมเดลภาษาอยู่แล้ว คุณไม่จำเป็นต้องดาวน์โหลดโมเดลเพิ่มเติมจาก AnythingLLM อีก คุณสามารถเชื่อมต่อเครื่องมือทั้งสองได้: ใช้ตัวแรกเป็นเครื่องมืออนุมาน แบ็กเอนด์ และประการที่สองคือ ฟรอนต์เอนด์ หรือส่วนติดต่อผู้ใช้

ใช้ LocalAI เป็นเซิร์ฟเวอร์กลาง ระบบนี้ช่วยให้คุณจัดการคำขอต่างๆ จากแอปพลิเคชันและอุปกรณ์ที่หลากหลายได้ ตัวอย่างเช่น คุณสามารถใช้ AnythingLLM สำหรับเอกสารของคุณ ปลั๊กอินเติมข้อความอัตโนมัติในโปรแกรมแก้ไขข้อความของคุณ บอทอัตโนมัติ หรือสคริปต์ Python เครื่องมือทั้งหมดเหล่านี้จะใช้เซิร์ฟเวอร์ AI ในเครื่องเดียวกันเพื่อดำเนินการงานต่างๆ พร้อมกันได้

นอกจากนี้ การเชื่อมต่อ LocalAI กับ AnythingLLM จะทำให้คุณเข้าถึง... ระบบ RAG ที่ทรงพลังสำหรับการจัดการเอกสารในพื้นที่ด้วย AnythingLLM คุณสามารถสร้างสิ่งต่างๆ ได้มากมาย การแชทส่วนตัวแบบ GPT ที่ตอบกลับโดยใช้เอกสารและไฟล์ของคุณเองเมื่อคุณเชื่อมต่อเครื่องมือทั้งสองเข้าด้วยกัน คุณจะสร้างสภาพแวดล้อมที่สามารถแข่งขันกับโซลูชันเชิงพาณิชย์ได้ แต่ไม่ต้องพึ่งพาระบบคลาวด์

วิธีเชื่อมต่อ LocalAI กับ AnythingLLM ทีละขั้นตอน

ต่อไปนี้เราจะเชื่อมต่อ LocalAI กับ AnythingLLM ทีละขั้นตอน เพื่อให้การประมวลผลในเครื่องเป็นไปอย่างราบรื่น ขอแนะนำให้เตรียมสิ่งต่อไปนี้ให้พร้อม ฮาร์ดแวร์ที่แนะนำอย่างน้อยที่สุด คุณต้องมี RAM 16 GB (32 GB สำหรับรุ่น 7B หรือสูงกว่า) และพื้นที่ว่างใน SSD อย่างน้อย 30 GB จะดีกว่ามากหากคุณมีการ์ดจอที่รองรับ CUDA เพื่อเพิ่มความเร็วในการตอบสนอง

ขั้นตอนที่ 1: ติดตั้ง LocalAI ด้วย Docker Compose

โดยปกติแล้ว ในการเชื่อมต่อ LocalAI กับ AnythingLLM คุณต้องเปิดใช้งานทั้งสองโปรแกรม หากคุณมีโปรแกรมทั้งสองอยู่แล้ว ให้ข้ามไปขั้นตอนที่ 3 หากยังไม่มี สิ่งแรกที่ต้องทำคือ... ปรับใช้ LocalAIและไม่มีวิธีใดที่ดีไปกว่าการใช้ Docker Compose อีกแล้ว คุณจะพบคำแนะนำโดยละเอียดเกี่ยวกับวิธีการทำได้ในบทความถัดไป วิธีการติดตั้ง LocalAI ด้วย Docker ทีละขั้นตอน.

เมื่อคอนเทนเนอร์ทำงานแล้ว ให้เข้าถึง http://localhost:8080 เพื่อจัดการแกลเลอรีโมเดล จากที่นั่นคุณสามารถ ดาวน์โหลดเทมเพลตแชท ในรูปแบบ GGUF (ตัวอย่างเช่น รูปแบบต่างๆ ของ Llama 3 หรือ Mistral 7B) และแบบจำลองของ การฝังข้อมูล (เช่น bge-small หรือ text-embedding-ada-002) สำคัญ: โปรดคงชื่อที่กำหนดให้กับแต่ละโมเดลไว้ให้ถูกต้อง

ขั้นตอนที่ 2: ติดตั้ง AnythingLLM

ขั้นตอนที่สองคือการติดตั้งแอปพลิเคชัน AnythingLLM หากคุณยังไม่ได้ติดตั้ง สามารถติดตั้งไคลเอ็นต์นี้ได้ ในรูปแบบแอปพลิเคชันบนเดสก์ท็อปหรือในรูปแบบคอนเทนเนอร์บนเซิร์ฟเวอร์สำหรับสภาพแวดล้อมการทำงานส่วนตัว เวอร์ชันเดสก์ท็อปให้การผสานรวมที่ดีที่สุด สามารถดาวน์โหลดสำหรับแพลตฟอร์มต่างๆ ได้อย่างง่ายดายจาก [ลิงก์/เว็บไซต์/ฯลฯ] เว็บไซต์อย่างเป็นทางการของ AnythingLLMหากต้องการรายละเอียดเพิ่มเติม โปรดดูที่รายการ วิธีการติดตั้ง AnythingLLM บน Windows ทีละขั้นตอน.

คุณยังสามารถ ติดตั้ง AnythingLLM ด้วย Dockerเมื่อคุณเปิดใช้งานแอปพลิเคชันแล้ว สิ่งสำคัญคือต้องดำเนินการต่อไป ตั้งค่าเป็นครั้งแรกขั้นตอนนี้เกี่ยวข้องกับการเปิดใช้งานสิทธิ์และการดาวน์โหลดโมเดล อย่างไรก็ตาม ขั้นตอนหลังนี้ไม่จำเป็น เนื่องจาก เราจะเชื่อมต่ออุปกรณ์กับ LocalAI เพื่อใช้งานโมเดลที่คุณดาวน์โหลดไว้ที่นั่นเมื่อคุณเปิดแอปพลิเคชัน ผู้ช่วยจะขอให้คุณเลือกผู้ให้บริการหลักสูตร LLM: ข้ามส่วนนี้ไปและไปที่หน้าหลักได้เลย

ขั้นตอนที่ 3: เชื่อมต่อ LocalAI กับ AnythingLLM ผ่าน API

เมื่อติดตั้งและเตรียมเครื่องมือทั้งสองเสร็จเรียบร้อยแล้ว ก็ถึงเวลาเชื่อมต่อ LocalAI กับ AnythingLLM เราจะทำการเชื่อมต่อผ่าน API ดังนั้นเราต้องไปที่ AnythingLLM และกำหนดค่าโมเดลภาษา เราจะบอก AnythingLLM ให้ใช้ แบบจำลองภาษาที่ดาวน์โหลด ใน LocalAI ให้ทำตามขั้นตอนเหล่านี้:

1. ใน AnythingLLM ให้คลิกที่ไอคอนของ การตั้งค่า ซึ่งอยู่ด้านล่างแผงด้านซ้าย
2. ตอนนี้ให้ขยายแท็บออก ผู้ให้บริการ AI และคลิกที่ ปริญญาโทด้านกฎหมาย (LLM)
3. ในเมนูแบบเลื่อนลงของผู้ให้บริการ LLM ให้เลือก LocalAI
4. ตอนนี้ให้ป้อนพารามิเตอร์การเชื่อมต่อ:
   1. URL พื้นฐานของ LocalAI: http://localhost:8080/v1 (หาก AnythingLLM ทำงานใน Docker ภายใน Linux จะใช้ IP ของอินเทอร์เฟซบริดจ์หรือ [http://host.docker.internal:8080/v1] (http://host.docker.internal:8080/v1))
   2. ชื่อรุ่น: ชื่อที่แน่นอนของโมเดลข้อความที่โหลดลงใน LocalAI (ตัวอย่าง: llama-3-8b-instruct)
   3. หน้าต่างบริบทของโมเดล: กำหนดขอบเขตของหน้าต่างบริบทที่โมเดลอนุญาต (โดยปกติคือ 4096 หรือ 8192 โทเค็น)
5. อารักขา การเปลี่ยนแปลง

การกำหนดค่าโมเดลฝังตัว (ผู้ฝังตัว)

ในการประมวลผลและค้นหาข้อมูลภายในเอกสารของคุณโดยใช้ RAG นั้น AnythingLLM จำเป็นต้องมีข้อมูลบางอย่าง โมเดลที่แปลงข้อความให้เป็นเวกเตอร์ตั้งค่าดังนี้:

1. ภายใน การตั้งค่า- ผู้ให้บริการ AIคลิกที่ ฝังตัว (ตัวฝังตัว)
2. เลือกอีกครั้ง โลคัลไอ ในฐานะผู้จัดจำหน่าย
3. กำหนดค่า URL พื้นฐาน: http://localhost:8080/v1.
4. En ชื่อโมเดลฝังตัวป้อนหรือเลือกชื่อโมเดลเวกเตอร์ที่ใช้งานอยู่ของคุณใน LocalAI
5. คลิกที่ เก็บ เพื่อยืนยันการเลือก ด้วยวิธีนี้ คุณได้เชื่อมต่อ LocalAI กับ AnythingLLM เรียบร้อยแล้ว

ขั้นตอนที่ 4: การสร้างพื้นที่ทำงานและการทดสอบ RAG

หลังจากเชื่อมต่อ LocalAI กับ AnythingLLM แล้ว สิ่งที่เหลืออยู่คือ... สร้างพื้นที่ทำงานและทำการทดสอบในการทำเช่นนี้ ให้คลิกที่ "สร้างพื้นที่ทำงานใหม่" แล้วตั้งชื่อ จากนั้นคลิกที่ไอคอนอัปโหลดไฟล์เพื่ออัปโหลดเอกสารของคุณ (PDF, TXT, MD) เลือกไฟล์ที่อัปโหลดแล้ว คลิกที่ "ย้ายไปยังพื้นที่ทำงาน" แล้วคลิกที่ "บันทึกและฝัง"

ตอนนี้คุณสามารถเปิดหน้าต่างแชทในพื้นที่ทำงานและทำการค้นหาตามบริบทได้แล้ว AnythingLLM จะแปลงคำถามของคุณให้เป็นเวกเตอร์ ค้นหาข้อความย่อที่เกี่ยวข้องมากที่สุดในฐานข้อมูลเวกเตอร์ภายในเครื่อง ระบบจะส่งข้อมูลบริบทที่จัดรูปแบบแล้วไปยัง LocalAI และ LocalAI จะตอบกลับ โดยอ้างอิงจากข้อมูลในไฟล์ของคุณ

เสร็จเรียบร้อยแล้ว! เชื่อมต่อ LocalAI กับ AnythingLLM เรียบร้อยแล้ว มันเป็นกระบวนการที่ง่ายมาก มันมอบสิ่งที่ดีที่สุดจากทั้งสองด้าน ด้านหนึ่งคือเครื่องมือประมวลผลการอนุมานที่มีประสิทธิภาพ เข้ากันได้ และเป็นกรรมสิทธิ์ อีกด้านหนึ่งคืออินเทอร์เฟซที่ใช้งานง่ายพร้อมการเข้าถึงไฟล์ในเครื่อง เมื่อรวมกันแล้ว สิ่งเหล่านี้จะสร้างรากฐานสำหรับระบบนิเวศ AI ในพื้นที่ที่มีศักยภาพในการขยายขนาดอย่างมาก