Bagaimana untuk memasang Gemma 3 LLM pada Windows 11 langkah demi langkah

Model bahasa sumber terbuka telah berkembang pesat, dan Hari ini adalah mungkin untuk menikmatinya terus dari komputer peribadi tanpa bergantung pada perkhidmatan awan.. Salah satu yang paling menjanjikan pada masa ini ialah Gemma 3, LLM baharu Google berdasarkan teknologi Gemini, yang menonjol kerana keupayaannya memproses teks dan imej, serta untuk tetingkap konteksnya yang besar sehingga 128k token dalam versi lanjutannya. Untuk maklumat lanjut tentang keluaran ini, anda boleh melawati artikel kami tentang persembahan Gemma 3.

Jika anda menggunakan Windows 11 dan ingin memasang Gemma 3 untuk percubaan atau bahkan pengeluaran tempatan, anda telah datang ke tempat yang betul. Mari kita semak secara terperinci semua cara yang mungkin untuk mengaktifkan dan menjalankannya pada komputer anda, termasuk pilihan yang paling disyorkan seperti Ollama, LM Studio dan juga alternatif berasaskan awan dengan Google AI Studio. Di samping itu, kami akan menangani keperluan teknikal, kelebihan setiap kaedah dan Bagaimana untuk memanfaatkan sepenuhnya potensi kecerdasan buatan yang berkuasa ini.

Apakah Gemma 3 dan mengapa memasangnya?

Gemma 3 ialah generasi ketiga model LLM yang dikeluarkan oleh Google di bawah lesen sumber terbuka.. Tidak seperti penyelesaian sebelumnya seperti Llama atau Mistral, ia menawarkan sokongan langsung untuk input imej, konteks yang lebih luas dan sokongan untuk lebih 140 bahasa. Bergantung pada keperluan anda, anda boleh memilih daripada beberapa versi model antara parameter 1B hingga 27B:

• Permata 3:1B: Model ringan sesuai untuk tugas asas dan persekitaran terhad sumber.
• Permata 3:4B: Mengimbangi prestasi dan kecekapan untuk aplikasi perantaraan.
• Permata 3:12B: Disyorkan untuk analisis kompleks, pengaturcaraan dan pemprosesan berbilang bahasa.
• Permata 3:27B: Pilihan yang paling berkuasa, direka untuk kegunaan intensif, multimodal dengan kapasiti kontekstual yang hebat.

Kemungkinan menjalankan model lanjutan sedemikian dari PC anda Ia mengubah peraturan permainan dari segi privasi, kelajuan tindak balas dan pergantungan kepada pihak ketiga. Anda tidak perlu lagi membayar langganan bulanan atau menyerahkan data anda. Apa yang diperlukan hanyalah sedikit persediaan dan keinginan untuk belajar. Jika anda ingin mengetahui lebih lanjut tentang faedah model ini, lihat artikel kami tentang model AI berat terbuka.

Pilihan 1: Pemasangan dengan Ollama

Ollama mungkin adalah cara paling mudah untuk menjalankan LLM seperti Gemma 3 dari Windows 11. Antara muka berasaskan terminal membolehkan anda memasang dan menjalankan model dengan baris arahan yang mudah. Selain itu, ia serasi dengan macOS, Linux dan Windows, menjadikannya mudah untuk digunakan dalam pelbagai persekitaran.

Langkah-langkah untuk memasang Ollama dan menjalankan Gemma 3:

1. Akses laman web rasmi: ollama.com.
2. Muat turun pemasang untuk Windows dan jalankannya seperti program lain.
3. Buka Prompt Perintah (CMD) atau PowerShell dan uji pemasangan dengan:

ollama --version

Jika semuanya berjalan lancar, anda kini boleh memuat turun mana-mana templat Gemma 3 yang tersedia. Hanya jalankan salah satu daripada arahan ini bergantung pada templat yang anda inginkan:

ollama run gemma3:1b
ollama run gemma3:4b
ollama run gemma3:12b
ollama run gemma3:27b

Setelah dimuat turun, anda boleh memulakan model dengan mudah.. Untuk melakukan ini, jalankan:

ollama init gemma3

Mulai saat itu, anda boleh mula berinteraksi dengan LLM dengan:

ollama query gemma3 "¿Cuál es la capital de Japón?"

Jika anda ingin memanfaatkan fungsi multimodal, anda juga boleh menggunakan imej dalam pertanyaan anda:

ollama query gemma3 --image "ruta-de-la-imagen.jpg"

Apa yang anda perlukan untuk menjadikannya berfungsi dengan baik? Walaupun Ollama tidak mengenakan keperluan minimum yang ketat, model yang lebih besar (seperti 27B) memerlukan sekurang-kurangnya 32GB RAM. Dengan 16GB anda boleh bekerja tanpa masalah dengan model 7B, dan walaupun penggunaan GPU tidak wajib, ia banyak membantu dalam kelajuan.

Pilihan 2: Gunakan LM Studio

LM Studio ialah satu lagi alat percuma yang membolehkan anda memasang dan menjalankan model LLM secara setempat daripada antara muka grafik.. Ia serasi dengan Windows, macOS dan Linux, dan kelebihan hebatnya ialah ia tidak memerlukan pengetahuan teknikal untuk beroperasi.

Instrucciones:

1. Muat turun LM Studio dari laman web rasminya: lmstudio.ai.
2. Pasang dan jalankannya.
3. Klik pada ikon kaca pembesar yang mengatakan "Discover."
4. Taip "Gemma 3" ke dalam enjin carian untuk melihat model yang tersedia.

Sebelum memasang, semak sama ada model itu serasi dengan peralatan anda. Jika anda melihat amaran "Mungkin terlalu besar untuk mesin ini", anda masih boleh memasangnya, tetapi prestasi optimum tidak dijamin.

Setelah model yang serasi dimuat turun:

• Tekan "Muat Model" untuk memuatkannya.
• Atau buka sembang baharu dan pilih model daripada menu lungsur.

Perkara terbaik tentang LM Studio ialah ia bertindak sebagai sejenis ChatGPT tempatan, luar talian dan dalam bahasa anda. Anda boleh membuat berbilang sembang dan menyimpan perbualan anda jika anda mahu. Selain itu, jika anda mendayakan pilihan "Pelayan Tempatan", anda boleh menyepadukannya dengan aplikasi Python anda menggunakan API serasi OpenAI.

Pilihan 3: Gunakan Google AI Studio (dalam talian)

Jika anda tidak boleh atau tidak mahu memasang apa-apa, anda boleh menggunakan Gemma 3 terus dari awan dengan Google AI Studio. Tiada pemasangan diperlukan, tetapi sambungan Internet dan akaun Google diperlukan.

Anda hanya perlu pergi ke aistudio.google.com dan pilih “Gemma 3” daripada senarai model. Mulai saat itu, anda boleh mula bersembang dengan model seolah-olah ia adalah versi lanjutan Bard atau ChatGPT, termasuk input imej.

Pemasangan awan dengan NodeShift (pilihan)

Bagi mereka yang mencari lebih kuasa atau menggunakan model secara profesional, terdapat pilihan untuk menggunakan perkhidmatan awan seperti NodeShift. Dengan mereka, anda boleh menyewa mesin dengan GPU berkuasa dan mengkonfigurasi persekitaran ideal anda untuk menjalankan Gemma 3 tanpa had.

Langkah asas dalam NodeShift:

1. Buat akaun di app.nodeshift.com.
2. Mulakan Nod GPU tersuai (cth. dengan 2x RTX 4090).
3. Pilih imej prakonfigurasi dengan Ubuntu + Nvidia CUDA atau Jupyter Notebook, bergantung pada sama ada anda akan menggunakan Ollama atau Transformers.
4. Sambung melalui SSH dan pasang model dari baris arahan.

Jenis pemasangan ini memberi anda akses kepada konfigurasi profesional, sesuai untuk model latihan, menilai prestasi, dll. Walaupun tidak penting untuk pengguna di rumah, ia berguna untuk mereka yang ingin mencuba secara mendalam atau membina aplikasi pada LLM lanjutan.

Keperluan sistem dan cadangan teknikal

Tidak semua model Gemma 3 akan dijalankan pada mana-mana PC. Di bawah ini kami meninggalkan anda rujukan umum mengikut jenis model:

• kepada model 1B hingga 7B: minimum GB RAM 8. Mereka berfungsi pada hampir mana-mana PC moden, walaupun tanpa GPU.
• kepada model 13B: adalah disyorkan 16GB hingga 24GB RAM.
• kepada model 27B: diperlukan sekurang-kurangnya 32 GB RAM dan sebaik-baiknya GPU khusus.

Mempunyai lebih banyak RAM mempercepatkan operasi dan menghalang ralat kerana kekurangan memori. Walaupun Ollama dan LM Studio cuba menggunakan sumber dengan cekap, ia akan banyak bergantung pada perkakasan anda. Di samping itu, kelajuan tindak balas bertambah baik dengan ketara jika GPU digunakan dan bukannya CPU.

Memasang Gemma 3 pada Windows 11 adalah lebih mudah daripada yang kelihatan.. Tidak kira sama ada anda memutuskan untuk menggunakan Ollama untuk kesederhanaannya, LM Studio untuk antara muka grafiknya, atau Google AI Studio untuk memainkannya dengan selamat di awan. Perkara penting ialah setiap kaedah menyesuaikan diri dengan tahap pengalaman dan keupayaan teknikal yang berbeza. Setelah anda mengetahui semua pilihan dan perkara yang anda perlukan untuk bermula, anda boleh mula mencuba dengan kecerdasan buatan tempatan yang mengagumkan ini hari ini.