Jinsi ya kufunga Gemma 3 LLM kwenye Windows 11 hatua kwa hatua

Miundo ya lugha chanzi huria imebadilika kwa kasi na mipaka, na Leo inawezekana kufurahia yao moja kwa moja kutoka kwa kompyuta binafsi bila kutegemea huduma za wingu.. Mojawapo ya inayotia matumaini zaidi kwa sasa ni Gemma 3, LLM mpya ya Google kulingana na teknolojia ya Gemini, ambayo inajulikana kwa uwezo wake wa kuchakata maandishi na picha, na pia kwa dirisha lake kubwa la muktadha la hadi tokeni 128k katika matoleo yake ya juu. Kwa habari zaidi juu ya toleo hili, unaweza kutembelea nakala yetu uwasilishaji wa Gemma 3.

Ikiwa unatumia Windows 11 na unatafuta kusakinisha Gemma 3 kwa majaribio au hata uzalishaji wa ndani, umefika mahali pazuri. Hebu tuchunguze kwa kina njia zote zinazowezekana za kuifungua na kuendesha kwenye kompyuta yako, ikiwa ni pamoja na chaguo zinazopendekezwa zaidi kama vile Ollama, LM Studio, na pia njia mbadala inayotegemea wingu na Google AI Studio. Kwa kuongeza, tutashughulikia mahitaji ya kiufundi, faida za kila njia na Jinsi ya kutumia vyema uwezo wa akili hii ya bandia yenye nguvu.

Gemma 3 ni nini na kwa nini kuiweka?

Gemma 3 ni kizazi cha tatu cha miundo ya LLM iliyotolewa na Google chini ya leseni ya chanzo huria.. Tofauti na masuluhisho ya awali kama Llama au Mistral, inatoa usaidizi wa moja kwa moja kwa ingizo la picha, muktadha mpana zaidi, na usaidizi kwa zaidi ya lugha 140. Kulingana na mahitaji yako, unaweza kuchagua kutoka kwa matoleo kadhaa ya mfano kuanzia 1B hadi 27B vigezo:

• Gemma 3:1B: Muundo mwepesi unaofaa kwa kazi za kimsingi na mazingira yasiyo na rasilimali.
• Gemma 3:4B: Kusawazisha utendaji na ufanisi kwa programu za kati.
• Gemma 3:12B: Inapendekezwa kwa uchanganuzi changamano, utayarishaji wa programu na uchakataji wa lugha nyingi.
• Gemma 3:27B: Chaguo la nguvu zaidi, iliyoundwa kwa matumizi makubwa, ya multimodal yenye uwezo mkubwa wa muktadha.

Uwezekano wa kuendesha mfano wa hali ya juu kutoka kwa PC yako Hubadilisha sheria za mchezo kulingana na faragha, kasi ya majibu, na utegemezi wa wahusika wengine. Huhitaji tena kulipa usajili wa kila mwezi au kutoa data yako. Kinachohitajika ni maandalizi kidogo na hamu ya kujifunza. Ikiwa unataka kujua zaidi kuhusu faida za mifano hii, angalia makala yetu fungua mifano ya AI ya uzito.

Chaguo 1: Usakinishaji na Ollama

Ollama labda ndiyo njia rahisi zaidi ya kuendesha LLM kama Gemma 3 kutoka Windows 11. Kiolesura chake chenye msingi wa wastaafu hukuruhusu kusakinisha na kuendesha mifano na mstari wa amri rahisi. Zaidi, inaendana na macOS, Linux, na Windows, na kuifanya iwe rahisi kutumia katika mazingira anuwai.

Hatua za kusakinisha Ollama na kuendesha Gemma 3:

1. Fikia tovuti rasmi: ollama.com.
2. Pakua kisakinishi kwa Windows na uiendeshe kama programu nyingine yoyote.
3. Fungua Amri Prompt (CMD) au PowerShell na uthibitishe usakinishaji kwa:

ollama --version

Mambo yakienda sawa, sasa unaweza kupakua violezo vyovyote vinavyopatikana vya Gemma 3. Endesha moja ya amri hizi kulingana na kiolezo unachotaka:

ollama run gemma3:1b
ollama run gemma3:4b
ollama run gemma3:12b
ollama run gemma3:27b

Mara baada ya kupakuliwa, unaweza kuanza kwa urahisi mfano.. Ili kufanya hivyo, endesha:

ollama init gemma3

Kuanzia wakati huo na kuendelea, unaweza kuanza kuingiliana na LLM kwa:

ollama query gemma3 "¿Cuál es la capital de Japón?"

Ikiwa unataka kuchukua fursa ya kazi za multimodal, unaweza pia kutumia picha katika maswali yako:

ollama query gemma3 --image "ruta-de-la-imagen.jpg"

Unahitaji nini ili kuifanya ifanye kazi vizuri? Ingawa Ollama haiwekei mahitaji ya chini kabisa, miundo mikubwa zaidi (kama 27B) inahitaji angalau 32GB ya RAM. Ukiwa na 16GB unaweza kufanya kazi bila matatizo na modeli ya 7B, na ingawa matumizi ya GPU si ya lazima, inasaidia sana kwa kasi.

Chaguo 2: Tumia Studio ya LM

LM Studio ni zana nyingine isiyolipishwa ambayo hukuruhusu kusakinisha na kuendesha miundo ya LLM ndani ya nchi kutoka kwa kiolesura cha picha.. Ni sambamba na Windows, macOS, na Linux, na faida yake kubwa ni kwamba hauhitaji ujuzi wa kiufundi kufanya kazi.

Maagizo:

1. Pakua LM Studio kutoka kwa tovuti yake rasmi: lmstudio.ai.
2. Sakinisha na uiendeshe.
3. Bofya kwenye ikoni ya glasi ya ukuzaji inayosema "Gundua."
4. Andika "Gemma 3" kwenye injini ya utafutaji ili kuona miundo inayopatikana.

Kabla ya kusanikisha, angalia ikiwa mfano unaendana na vifaa vyako. Ukiona onyo "Huenda ni kubwa sana kwa mashine hii," bado unaweza kuisakinisha, lakini utendakazi bora haujahakikishiwa.

Mara tu modeli inayolingana imepakuliwa:

• Bonyeza "Pakia Model" ili kuipakia.
• Au fungua gumzo jipya na uchague modeli kutoka kwenye menyu kunjuzi.

Jambo bora zaidi kuhusu LM Studio ni kwamba inafanya kazi kama aina ya ChatGPT ya ndani, nje ya mtandao na katika lugha yako.. Unaweza kuunda gumzo nyingi na kuhifadhi mazungumzo yako ukipenda. Zaidi ya hayo, ukiwezesha chaguo la "Seva ya Ndani", unaweza kuiunganisha na programu zako za Python kwa kutumia API inayolingana ya OpenAI.

Chaguo 3: Tumia Google AI Studio (mtandaoni)

Ikiwa huwezi au hutaki kusakinisha chochote, unaweza kutumia Gemma 3 moja kwa moja kutoka kwa wingu na Google AI Studio.. Hakuna usakinishaji unaohitajika, lakini muunganisho wa Mtandao na akaunti ya Google inahitajika.

Lazima tu uende aistudio.google.com na uchague "Gemma 3" kutoka kwenye orodha ya mifano. Kuanzia wakati huo na kuendelea, unaweza kuanza kupiga gumzo na modeli kana kwamba ni toleo la kina la Bard au ChatGPT, ikijumuisha kuingiza picha.

Ufungaji wa wingu na NodeShift (hiari)

Kwa wale wanaotafuta nguvu zaidi au kupeleka mfano kitaaluma, kuna chaguo la kutumia huduma za wingu kama NodeShift. Ukiwa nazo, unaweza kukodisha mashine zilizo na GPU zenye nguvu na kusanidi mazingira yako bora ili kuendesha Gemma 3 bila vikwazo.

Hatua za msingi katika NodeShift:

1. Unda akaunti saa app.nodeshift.com.
2. Anzisha Njia maalum ya GPU (k.m. na 2x RTX 4090).
3. Chagua picha iliyosanidiwa awali na Ubuntu + Nvidia CUDA au Jupyter Notebook, kulingana na kama utakuwa unatumia Ollama au Transfoma.
4. Unganisha kupitia SSH na usakinishe mfano kutoka kwa mstari wa amri.

Aina hii ya usakinishaji inakupa ufikiaji wa usanidi wa kitaalamu, bora kwa miundo ya mafunzo, kutathmini utendakazi, n.k. Ingawa si muhimu kwa watumiaji wa nyumbani, ni muhimu kwa wale wanaotaka kufanya majaribio ya kina au kuunda programu kwenye LLM za kina.

Mahitaji ya mfumo na mapendekezo ya kiufundi

Sio mifano yote ya Gemma 3 itaendesha kwenye Kompyuta yoyote. Hapo chini tunakuachia kumbukumbu ya jumla kulingana na aina ya mfano:

• kwa mifano 1B hadi 7B: kiwango cha chini 8 GB ya RAM. Wanafanya kazi karibu na Kompyuta yoyote ya kisasa, hata bila GPU.
• kwa 13B mifano: zinapendekezwa 16GB hadi 24GB RAM.
• kwa 27B mifano: zinahitajika angalau 32 GB ya RAM na ikiwezekana GPU iliyojitolea.

Kuwa na RAM zaidi huharakisha uendeshaji na huzuia makosa kutokana na ukosefu wa kumbukumbu. Wakati Ollama na LM Studio wanajaribu kutumia rasilimali kwa ufanisi, itategemea sana maunzi yako. Kwa kuongeza, kasi ya majibu inaboresha sana ikiwa GPU inatumiwa badala ya CPU.

Kufunga Gemma 3 kwenye Windows 11 ni rahisi kuliko inavyoonekana.. Haijalishi ikiwa utaamua kutumia Ollama kwa usahili wake, Studio ya LM kwa kiolesura chake cha picha, au Studio ya Google AI ili kuicheza salama katika wingu. Jambo muhimu ni kwamba kila njia inaendana na viwango tofauti vya uzoefu na uwezo wa kiufundi. Sasa kwa kuwa unajua chaguo zote na unachohitaji ili kuanza, unaweza kuanza kujaribu na akili hii ya kuvutia ya ndani leo.