วิธีการดาวน์โหลดและเรียกใช้โมเดลใน Jan AI

Jan AI เป็นหนึ่งในนั้น แอปพลิเคชันที่ใช้งานง่ายยิ่งขึ้นสำหรับการใช้งานโมเดลภาษาขนาดใหญ่ในระดับท้องถิ่นคุณเคยลองใช้หรือยัง? ในบทความนี้ เราจะบอกคุณเกี่ยวกับวิธีการต่างๆ ในการดาวน์โหลดและเรียกใช้โมเดลใน Jan AI นอกจากนี้ เราจะเจาะลึกถึงการตั้งค่าต่างๆ ที่คุณสามารถใช้เพื่อปรับแต่งการสร้างคำตอบให้ดียิ่งขึ้น

วิธีการดาวน์โหลดและเรียกใช้โมเดลใน Jan AI

การดาวน์โหลดและเรียกใช้โมเดลใน Jan AI เป็นกระบวนการที่ค่อนข้างง่าย ที่จริงแล้ว แอปพลิเคชันนี้โดดเด่นตรงที่มี... อินเทอร์เฟซที่ใช้งานง่ายและเป็นมิตรกับผู้ใช้ ใช้งานง่าย แม้แต่ผู้ที่มีประสบการณ์น้อยก็ใช้ได้ แต่ก็อย่าประมาทมัน! มันยังเป็นเครื่องมือทรงพลังที่มีความสามารถในการบูรณาการระดับมืออาชีพและทางเทคนิคอีกด้วย

แจนก็เป็นเพียงแค่... ผู้ช่วย AI แบบโอเพนซอร์สที่ทำงานแบบออฟไลน์ได้ 100%นั่นหมายความว่าโมเดลทั้งหมดที่คุณใช้งานจะทำงานบนเครื่องของคุณเอง โดยใช้ RAM และพลังการประมวลผลของคุณ ซึ่งจะช่วยให้มั่นใจได้ว่าข้อมูลของคุณจะไม่ถูกส่งออกจากคอมพิวเตอร์ของคุณ: เป็นส่วนตัวอย่างสมบูรณ์!

เครื่องมือนี้จัดการโมเดลในรูปแบบ GGUF ผ่านทาง Llama.cpp ทำให้สามารถใช้งานร่วมกับฮาร์ดแวร์ได้หลากหลาย ตั้งแต่ Mac ไปจนถึง... วินโดวส์ และลินุกซ์ นอกจากนี้ยังนำเสนอ อินเทอร์เฟซที่ใช้งานง่าย ช่วยให้การดาวน์โหลดและการจัดการโมเดลเหล่านี้ทำได้ง่ายขึ้นและมันเชื่อมต่อโดยตรงกับแคตตาล็อกมากมายของ Hugging Face มาดูกันว่ามันทำงานอย่างไรให้ละเอียดขึ้น

วิธีที่ 1: ดาวน์โหลดจาก Jan's Hub

หากคุณเพิ่งเริ่มใช้ Jan หรือกำลังมองหาประสบการณ์การใช้งานที่ราบรื่นที่สุด วิธีที่ง่ายและตรงที่สุดในการดาวน์โหลดและเรียกใช้โมเดลใน Jan AI คือการใช้ Jan Hub แอปพลิเคชันนี้มีคุณสมบัติมากมาย ศูนย์กลางแบบบูรณาการ ซึ่งทำหน้าที่เป็นเหมือนหน้าต่างที่เปิดไปสู่โลกของนางแบบ Hugging Face

เผื่อใครยังไม่รู้ ใบหน้ากอด คือ แพลตฟอร์มและชุมชนระดับโลก สถานที่สำคัญที่สุดที่นักพัฒนาและบริษัทต่างๆ แบ่งปันและทดสอบโมเดล AI แบบโอเพนซอร์ส พื้นที่นี้เปรียบเสมือน GitHub ในโลกของการเขียนโปรแกรม แต่มีความสำคัญต่อโลกของปัญญาประดิษฐ์

ตลอดเดือนมกราคม คุณสามารถสำรวจสถานที่อันกว้างใหญ่ได้ ความหลากหลายของโมเดลโอเพนซอร์ส มีจำหน่ายที่ Hugging Face

• ในการทำเช่นนี้ ให้เปิด Jan AI แล้วคลิกที่ แท็บฮับซึ่งระบุได้จากไอคอนสี่เหลี่ยมในแถบด้านข้าง
• คุณสามารถเรียกดูได้ที่นั่น รายชื่อรุ่น มีให้เลือก คลิกดูรายละเอียดเพิ่มเติม เช่น ขนาด คุณสมบัติ และคำอธิบายโดยย่อ
• หนึ่งในคุณสมบัติที่มีประโยชน์ที่สุดของ Hub คือการบอกคุณว่ารุ่นนั้น "เหมาะสม" "อาจจะช้า" หรือ "ไม่เหมาะสม" กับฮาร์ดแวร์ของคุณ ซึ่งจะช่วยให้คุณตัดสินใจได้ง่ายขึ้น เลือกโมเดลที่ใช้งานได้อย่างเหมาะสม ช่วยให้ทีมของคุณไม่ต้องเดาอีกต่อไป
• คุณจะได้เห็นด้วยเช่นกัน ป้ายกำกับ การกำหนดปริมาณ เช่น "เล็ก" "สมดุล" หรือ "ใหญ่" โดยมีป้ายกำกับ "แนะนำ" สำหรับตัวเลือกเริ่มต้น

อย่างที่เราได้กล่าวไปแล้ว การดาวน์โหลดและเรียกใช้โมเดลใน Jan AI นั้นเป็นกระบวนการที่ง่ายมาก เครื่องมือนี้ทำให้เรื่องง่ายมาก: เมื่อคุณพบโมเดลที่เหมาะสมแล้ว คุณก็เพียงแค่คลิกปุ่มเท่านั้น การจำหน่าย. กระบวนการดาวน์โหลดจะแสดงอยู่ในแถบด้านบน และคุณสามารถยกเลิกได้ทุกเมื่อหากต้องการ

วิธีที่ 2: นำเข้าโมเดลโดยตรงจาก Hugging Face

นี่เป็นอีกวิธีหนึ่งในการดาวน์โหลดและเรียกใช้โมเดลใน Jan AI ซึ่งมีประโยชน์อย่างยิ่งหากโมเดลที่คุณต้องการไม่ได้อยู่ใน Hub ในกรณีนั้น คุณสามารถ... เข้าไปที่เว็บไซต์ Hugging Face โดยตรงค้นหารุ่นที่ต้องการในนั้น แล้วนำเข้าโมเดลนั้น มาดูกันทีละขั้นตอนว่าทำอย่างไร:

1. เข้าไปที่เว็บไซต์ของ Hugging Face แล้วค้นหารุ่นที่คุณสนใจ ตรวจสอบให้แน่ใจว่ามีสินค้าในสต็อก รูปแบบ GGUF เพื่อให้เข้ากันได้กับ Jan.
2. คัดลอกรหัสรุ่น, ตัวอย่างเช่น prism-ml/Ternary-Bonsai-27B-gguf
3. ตอนนี้กลับไปที่แอป Jan ไปที่แท็บ Hub แล้ววางรหัสโมเดลลงในช่องค้นหา Jan จะค้นหาโมเดลบน Hugging Face และเสนอตัวเลือกให้คุณดาวน์โหลด
4. ถ้าโมเดลมี เวอร์ชันควอนไทซ์หลายเวอร์ชันคุณสามารถเลือกไฟล์ที่เหมาะสมกับฮาร์ดแวร์ของคุณได้ดีที่สุด ตัวอย่างเช่น ไฟล์ Q4_K_M มักจะให้ความสมดุลที่ดีระหว่างประสิทธิภาพและคุณภาพ หากต้องการดูเวอร์ชันต่างๆ ให้คลิกที่แท็บ "แสดงรายการเวอร์ชัน" ใน Jan Hub

วิธีที่ 3: ใช้ปุ่ม "ใช้โมเดลนี้" ในแอป Hugging Face

เรามาดูวิธีที่สามในการดาวน์โหลดและเรียกใช้โมเดลใน Jan AI กัน ซึ่งคราวนี้เป็นการดาวน์โหลดโดยตรงจากแพลตฟอร์ม Hugging Face เว็บไซต์ได้รวม Jan เข้าเป็นหนึ่งในแอปพลิเคชันภายในเครื่อง นี่คือเครื่องมือที่คุณสามารถใช้เพื่อเปิดโมเดล ซึ่งเป็นวิธีที่เร็วที่สุด:

1. เข้าไปที่หน้าของนางแบบในเว็บไซต์ Hugging Face ได้เลย
2. ค้นหาและคลิกที่ปุ่ม "ใช้รุ่นนี้"
3. ในเมนูแบบเลื่อนลง ในส่วน "แอปในเครื่อง" ให้เลือก มกราคม การทำเช่นนี้จะเริ่มการดาวน์โหลดโดยตรงในแอปของคุณ

รายละเอียดอย่างหนึ่ง: สำหรับแอป Hugging Face ที่ต้องการแสดงชื่อ Jan ในกลุ่มแอปพลิเคชันท้องถิ่นนั้น ขั้นแรก เข้าสู่ระบบ Hugging Face ด้วยอีเมลและรหัสผ่านของคุณด้วยเหตุนี้ ตอนนี้จึงมีสามวิธีในการดาวน์โหลดและเรียกใช้โมเดลใน Jan AI แต่ตอนนี้เรามาดูกันว่าหลังจากดาวน์โหลดแล้ว จะเรียกใช้และใช้งานโมเดลได้อย่างไร

หลังจากดาวน์โหลดโมเดลแล้ว ฉันจะเรียกใช้งานและใช้งานมันได้อย่างไร?

เมื่อโมเดลอยู่ในคอมพิวเตอร์ของคุณแล้ว การใช้งานก็ง่ายมาก คุณสามารถโต้ตอบกับมันได้โดยตรงในอินเทอร์เฟซแชทของ Jan ในการเลือกโมเดลนั้น... ไปที่หน้าแชทแล้วขยายแท็บด้านบนที่นั่นคุณจะพบโมเดลที่ดาวน์โหลดทั้งหมดและรายการต่างๆ สำหรับการเปิดใช้งานโมเดลโดยใช้ API Key

อีกหนึ่งข้อดีที่สำคัญมากของการดาวน์โหลดและเรียกใช้โมเดลใน Jan AI ก็คือ คุณสามารถ ปรับพารามิเตอร์การทำงานต่างๆฟังก์ชันนี้ช่วยให้คุณปรับแต่งคุณภาพหรือความเร็วในการสร้างคำตอบของโมเดลได้ เพียงคลิกที่ไอคอนรูปเฟืองถัดจากโมเดล คุณก็จะเห็นตัวเลือกต่างๆ เช่น:

• อุณหภูมิ: มันควบคุมความคิดสร้างสรรค์
• ท็อป-พี: ปรับความหลากหลายของคำศัพท์
• โทเค็นสูงสุด: กำหนดความยาวสูงสุดของการตอบกลับ
• ขนาดบริบท: กำหนดว่าโมเดลสามารถจดจำข้อมูลได้มากน้อยเพียงใด

ดังนั้น, ถ้าต้องการความแม่นยำ ให้ลดอุณหภูมิลง ถ้าต้องการความคิดสร้างสรรค์ ให้เพิ่มอุณหภูมิขึ้นและสำหรับการวิเคราะห์ทางเทคนิค มันจะเพิ่มบริบทให้มากขึ้น การลองใช้ตัวเลือกเหล่านี้จะช่วยให้คุณกำหนดประเภทของคำตอบที่คุณจะได้รับหลังจากแต่ละคำสั่งค้นหาได้

และนี่ก็คือทั้งหมด! การดาวน์โหลดและเรียกใช้โมเดลใน Jan AI นั้นเป็นกระบวนการที่ง่ายอย่างไม่น่าเชื่อ เพียงแต่ต้องระมัดระวังด้วย เลือกโมเดลที่ทำงานได้อย่างราบรื่นบนคอมพิวเตอร์ของคุณใช้ประโยชน์จากตัวเลือกการกำหนดค่าต่างๆ ของ Jan AI และปลดปล่อยศักยภาพของปัญญาประดิษฐ์ในระดับท้องถิ่น