Cara mengimpor model GGUF yang diunduh secara manual ke LM Studio

Mengimpor model GGUF yang diunduh secara manual ke LM Studio memungkinkan Anda menggunakan LLM apa pun yang Anda unduh dari platform seperti Hugging Face tanpa bergantung pada mesin pencari bawaan. Anda dapat mengimpornya dengan dua cara: dengan mengatur file secara manual di direktori lokal Anda atau dengan menjalankan perintah di terminal. Selanjutnya, Mari kita lihat langkah demi langkah cara mengintegrasikan model kustom Anda ke dalam LM Studio..

Mengapa mengimpor model GGUF yang diunduh secara manual ke LM Studio?

Mengimpor model GGUF yang diunduh secara manual ke LM Studio akan membantu Anda memaksimalkan perangkat keras Anda dengan cara yang sepenuhnya pribadi. Dalam situasi apa disarankan untuk mengimpor model yang diunduh di luar perangkat lunak? Sebaiknya lakukan itu. jika fitur pencarian internal aplikasi kurang memadai atau tidak sesuai dengan alur kerja Anda.Berikut adalah alasan utama penggunaannya:

• Model yang tidak tercantum dalam Wajah yang Memeluk atau pribadi: Jika Anda melatih model Anda sendiri atau jika seorang pengembang membagikan file .gguf pribadi kepada Anda yang tidak dipublikasikan di repositori publik.
• Unduhan terputus atau pengelola eksternal: Pengelola unduhan bawaan di aplikasi seringkali gagal saat koneksi lambat atau tidak stabil. Menggunakan alat seperti wget memungkinkan Anda untuk menjeda/melanjutkan dan mengunduh file mulai dari 10 GB hingga 50 GB dengan keandalan yang lebih tinggi.
• Versi eksperimental atau modifikasi khusus: Anda juga dapat mempertimbangkan untuk mengimpor model GGUF yang diunduh secara manual ke LM Studio jika pembuat model merilis varian dengan kuantisasi khusus.
• Saat Anda tidak memiliki koneksi internet: Jika Anda berada di lokasi tanpa akses internet, Anda dapat mentransfer file GGUF menggunakan drive USB atau jaringan lokal dan mengintegrasikannya langsung ke LM Studio.

Cara mengimpor model GGUF yang diunduh secara manual ke LM Studio.

Selanjutnya, kami jelaskan Petunjuk langkah demi langkah tentang cara mengimpor model GGUF yang diunduh secara manual ke LM Studio.Pertama, kita akan melihat cara melakukannya dengan mengatur file secara manual di dalam folder model internal LM Studio. Kemudian, kami akan menunjukkan cara mengimpornya dengan menjalankan perintah di terminal Anda.

Susun file secara manual

Untuk mengimpor model GGUF yang diunduh secara manual ke LM Studio, Anda harus Letakkan di dalam folder model internal, dengan tetap memperhatikan struktur folder yang dibutuhkan oleh aplikasi.Untuk melakukan ini, ikuti langkah-langkah berikut:

1. Buka folder model lokal: Buka LM Studio, masuk ke tab Model Saya (ikon folder di bilah sisi kiri), dan klik Buka Direktori Model. Jika Anda lebih suka menelusuri secara manual dari penjelajah file Anda:
   • Windows: C:\Users\YOUR_USER\.cache\lm-studio\models
   • macOS/Linux: ~/.cache/lm-studio/models
2. Buat struktur subfolder: LM Studio mengharuskan model berada di dalam folder author dan subfolder model. Buat folder-folder tersebut mengikuti jalur ini: models / [Nama_Author] / [Nama_Model]. Berikut contohnya: models/QuantFactory/Llama-3-8B-Instruct-GGUF
3. Letakkan file .gguf: Pindahkan atau salin file .gguf Anda langsung ke dalam subfolder model yang baru saja Anda buat.
4. Muat ulang dan pilih modelnya: Kembali ke LM Studio. Pada tab Model Saya atau di menu tarik-turun pemilihan model di bagian atas, klik ikon Muat Ulang/Segarkan (atau mulai ulang aplikasi jika tidak langsung terdeteksi). Model akan muncul dan siap dimuat ke dalam memori.

Kadang-kadang, LM Studio tidak dapat memuat model.Dalam artikel sebelumnya, kami telah menganalisis Kesalahan umum dan solusinya Langkah demi langkah, yang dapat Anda terapkan. Anda dapat melihat apa yang terjadi jika Anda tidak dapat memuat model dan bagaimana cara memperbaikinya.

Gunakan impor lms

Cara lain untuk mengimpor model GGUF yang diunduh secara manual ke LM Studio adalah Jalankan perintah berikut di terminal Anda:

• impor lms dan ikuti petunjuk interaktif untuk menyelesaikan proses impor.
• Berikut adalah struktur direktori model yang diharapkan dari LM Studio:
  • ~/.lmstudio/models/
    penerbit/
    model/
    file model.gguf
• Sebagai contoh, jika Anda memiliki model bernama ocelot-v1 yang diterbitkan oleh infra-ai, strukturnya akan terlihat seperti ini:
  • ~/.lmstudio/models/
    infra-ai/
    ocelot-v1/
    ocelot-v1-instruct-q4_0.gguf

Menggunakan CLI bawaan LM Studio

LM Studio menyertakan alat baris perintah untuk Mengelola dan menjalankan model tanpa membuka antarmuka grafis.Untuk mengimpor model GGUF yang diunduh secara manual ke LM Studio, Anda juga dapat melakukan hal berikut:

1. Instal perintah lms: Buka LM Studio, masuk ke tab Developer / CLI di sidebar dan klik Install 'lms' command line tool (atau jalankan lms Bootstrap di terminal Anda).
2. Muat model menggunakan LMS: Setelah file .gguf berada di folder models, jalankan: lms load –gpu max.
3. Mulailah percakapan interaktif: Obrolan LMS.
4. Jalankan server lokal yang kompatibel dengan OpenAI: Server LMS dimulai.

Keunggulan mengimpor model GGUF yang diunduh secara manual ke LM Studio: Hal ini memungkinkan

Mengimpor model GGUF yang diunduh secara manual ke LM Studio menawarkan beberapa keuntungan. Keunggulan utama jika kita berbicara tentang kinerja, aksesibilitas, dan kustomisasi.Berikut adalah manfaat utamanya:

• Unduhan lebih cepat dan lebih stabil: Pengelola unduhan eksternal menangani koneksi yang lambat atau tidak stabil lebih baik daripada klien bawaan. Ini memungkinkan Anda untuk menjeda atau melanjutkan unduhan besar tanpa kehilangan kemajuan.
• Penggunaan model milik sendiri atau pribadi: Jika Anda melatih model lokal Anda sendiri, Anda perlu mengimpornya secara manual menggunakan salah satu metode ini jika model tersebut tidak dihosting di repositori publik mana pun.
• Kompatibilitas dengan lingkungan offline: Fitur ini memungkinkan Anda untuk mentransfer model ke drive USB atau jaringan lokal agar dapat digunakan pada komputer dengan keamanan tinggi, atau komputer tanpa akses internet.
• Penghematan ruang disk: Anda menghindari duplikasi file jika Anda sudah menggunakan file .gguf yang sama di lingkungan lain seperti llama.cpp, Ollama, atau AnythingLLM. Anda hanya perlu memindahkan atau menautkannya ke folder model LM Studio.
• Kontrol versi yang lebih baik: Anda memastikan penggunaan revisi model yang tepat tanpa risiko perubahan atau pembaruan tak terduga di repositori sumber.

Kesimpulannya, mengimpor model GGUF secara manual ke LM Studio memberi Anda kendali penuh atas lingkungan lokal Anda. Baik Anda melakukannya dengan mengatur file ke dalam subfolder atau menggunakan terminal, prosedur ini memungkinkan Anda untuk memanfaatkan kuantisasi khusus, bekerja secara offline, dan mengelola sumber daya Anda secara efisien. Dengan menerapkan ide-ide yang dibahas dalam artikel ini, Anda akan dapat Personalisasikan pengalaman pengembangan Anda dan tingkatkan proyek AI Anda..