Kā soli pa solim instalēt Gemma 3 LLM operētājsistēmā Windows 11

Atvērtā pirmkoda valodu modeļi ir attīstījušies ar lēcieniem un robežām, un Mūsdienās tās ir iespējams baudīt tieši no personālā datora, neatkaroties no mākoņpakalpojumiem.. Viens no šobrīd daudzsološākajiem ir Gemma 3, Google jaunais LLM, kura pamatā ir Gemini tehnoloģija, kas izceļas ar spēju apstrādāt tekstu un attēlus, kā arī ar milzīgo konteksta logu, kurā ir līdz pat 128 XNUMX marķieru uzlabotajās versijās. Lai iegūtu papildinformāciju par šo laidienu, varat apmeklēt mūsu rakstu par Džemmas 3 prezentācija.

Ja izmantojat operētājsistēmu Windows 11 un vēlaties instalēt Gemma 3 eksperimentēšanai vai pat vietējai ražošanai, jūs esat nonācis īstajā vietā. Detalizēti apskatīsim visus iespējamos veidus, kā to iestatīt un palaist datorā, tostarp ieteiktās iespējas, piemēram, Ollama, LM Studio, kā arī mākoņa alternatīvu ar Google AI Studio. Turklāt mēs pievērsīsimies tehniskajām prasībām, katras metodes priekšrocībām un Kā maksimāli izmantot šī spēcīgā mākslīgā intelekta potenciālu.

Kas ir Gemma 3 un kāpēc to instalēt?

Gemma 3 ir trešās paaudzes LLM modeļi, ko Google izlaidusi saskaņā ar atvērtā pirmkoda licenci.. Atšķirībā no iepriekšējiem risinājumiem, piemēram, Llama vai Mistral, tas piedāvā tiešu atbalstu attēla ievadei, daudz plašāku kontekstu un atbalstu vairāk nekā 140 valodām. Atkarībā no jūsu vajadzībām varat izvēlēties no vairākām modeļa versijām, sākot no 1B līdz 27B parametriem:

• Gemma 3:1B: viegls modelis, kas ideāli piemērots pamata uzdevumiem un vidē ar ierobežotu resursu daudzumu.
• Gemma 3:4B: veiktspējas un efektivitātes līdzsvarošana starpposma lietojumiem.
• Gemma 3:12B: Ieteicams sarežģītai analīzei, programmēšanai un daudzvalodu apstrādei.
• Gemma 3:27B: jaudīgākā iespēja, kas paredzēta intensīvai, multimodālai lietošanai ar lielu kontekstuālo jaudu.

Iespēja darbināt šādu uzlaboto modeli no datora Tas maina spēles noteikumus attiecībā uz privātumu, reakcijas ātrumu un atkarību no trešajām pusēm. Jums vairs nav jāmaksā par ikmēneša abonementiem vai jāatsakās no saviem datiem. Nepieciešama tikai neliela sagatavošanās un vēlme mācīties. Ja vēlaties uzzināt vairāk par šo modeļu priekšrocībām, skatiet mūsu rakstu par atvērtā svara AI modeļi.

1. iespēja: uzstādīšana ar Ollama

Ollama, iespējams, ir vienkāršākais veids, kā palaist LLM, piemēram, Gemma 3 no operētājsistēmas Windows 11. Tā termināļa interfeiss ļauj instalēt un palaist modeļus, izmantojot vienkāršu komandrindu. Turklāt tas ir saderīgs ar MacOS, Linux un Windows, padarot to viegli lietojamu dažādās vidēs.

Darbības, lai instalētu Ollama un palaistu Gemma 3:

1. Piekļūstiet oficiālajai vietnei: ollama.com.
2. Lejupielādējiet instalēšanas programmu operētājsistēmai Windows un palaist to tāpat kā jebkuru citu programmu.
3. Atveriet komandu uzvedni (CMD) vai PowerShell un pārbaudiet instalāciju, izmantojot:

ollama --version

Ja viss iet labi, tagad varat lejupielādēt jebkuru no pieejamajām Gemma 3 veidnēm. Vienkārši palaidiet vienu no šīm komandām atkarībā no vēlamās veidnes:

ollama run gemma3:1b
ollama run gemma3:4b
ollama run gemma3:12b
ollama run gemma3:27b

Pēc lejupielādes varat viegli palaist modeli.. Lai to izdarītu, palaidiet:

ollama init gemma3

No šī brīža jūs varat sākt mijiedarboties ar LLM, veicot tālāk norādītās darbības.

ollama query gemma3 "¿Cuál es la capital de Japón?"

Ja vēlaties izmantot multimodālo funkciju priekšrocības, savos vaicājumos varat izmantot arī attēlus:

ollama query gemma3 --image "ruta-de-la-imagen.jpg"

Kas jums ir nepieciešams, lai tas darbotos labi? Lai gan Ollama nenosaka stingras minimālās prasības, lielākiem modeļiem (piemēram, 27B) ir nepieciešama vismaz 32 GB RAM. Ar 16 GB jūs varat strādāt bez problēmām ar 7B modeli, un, lai gan GPU izmantošana nav obligāta, tas ļoti palīdz ātrumā.

2. iespēja: izmantojiet LM Studio

LM Studio ir vēl viens bezmaksas rīks, kas ļauj instalēt un palaist LLM modeļus lokāli no grafiskā interfeisa.. Tas ir saderīgs ar Windows, macOS un Linux, un tā lielā priekšrocība ir tā, ka tā darbībai nav nepieciešamas tehniskas zināšanas.

Instrucciones:

1. Lejupielādējiet LM Studio no tās oficiālās vietnes: lmstudio.ai.
2. Instalējiet un palaidiet to.
3. Noklikšķiniet uz palielināmā stikla ikonas, kas saka “Atklājiet”.
4. Meklētājprogrammā ierakstiet “Gemma 3”, lai redzētu pieejamos modeļus.

Pirms instalēšanas pārbaudiet, vai modelis ir saderīgs ar jūsu aprīkojumu. Ja redzat brīdinājumu “Iespējams, pārāk liels šai iekārtai”, joprojām varat to instalēt, taču optimāla veiktspēja netiek garantēta.

Kad ir lejupielādēts saderīgs modelis:

• Noklikšķiniet uz “Ielādēt modeli”, lai to ielādētu.
• Vai arī atveriet jaunu tērzēšanu un nolaižamajā izvēlnē izvēlieties modeli.

Labākais LM Studio ir tas, ka tas darbojas kā sava veida vietējais ChatGPT bezsaistē un jūsu valodā. Ja vēlaties, varat izveidot vairākas tērzēšanas sarunas un saglabāt sarunas. Turklāt, ja iespējojat opciju Vietējais serveris, varat to integrēt ar savām Python lietojumprogrammām, izmantojot ar OpenAI saderīgu API.

3. iespēja: izmantojiet Google AI Studio (tiešsaistē)

Ja nevarat vai nevēlaties neko instalēt, varat izmantot Gemma 3 tieši no mākoņa, izmantojot Google AI Studio. Nav nepieciešama instalēšana, taču ir nepieciešams interneta savienojums un Google konts.

Jums vienkārši jāiet uz aistudio.google.com un modeļu sarakstā atlasiet “Gemma 3”. No šī brīža jūs varat sākt tērzēt ar modeli tā, it kā tas būtu uzlabota Bard vai ChatGPT versija, tostarp attēla ievade.

Mākoņa instalēšana ar NodeShift (pēc izvēles)

Tiem, kas meklē vairāk jaudas vai profesionāli izmanto modeli, ir iespēja izmantot mākoņpakalpojumus, piemēram, NodeShift. Izmantojot tos, varat iznomāt mašīnas ar jaudīgiem GPU un konfigurēt savu ideālo vidi, lai bez ierobežojumiem palaistu Gemma 3.

Galvenās darbības NodeShift:

1. Izveidojiet kontu vietnē app.nodeshift.com.
2. Sāciet pielāgotu GPU mezglu (piemēram, ar 2x RTX 4090).
3. Izvēlieties iepriekš konfigurētu attēlu, izmantojot Ubuntu + Nvidia CUDA vai Jupyter Notebook, atkarībā no tā, vai izmantojat Ollama vai Transformers.
4. Izveidojiet savienojumu, izmantojot SSH, un instalējiet modeli no komandrindas.

Šāda veida instalēšana nodrošina piekļuvi profesionālām konfigurācijām, ideāli piemērots apmācības modeļiem, veiktspējas novērtēšanai utt. Lai gan tas nav būtisks mājas lietotājiem, tas ir noderīgs tiem, kas vēlas padziļināti eksperimentēt vai veidot lietojumprogrammas uz uzlabotiem LLM.

Sistēmas prasības un tehniskie ieteikumi

Ne visi Gemma 3 modeļi darbosies nevienā datorā. Zemāk mēs sniedzam vispārīgu atsauci atbilstoši modeļa veidam:

• līdz modeļi no 1B līdz 7B: minimums 8 GB RAM. Tie darbojas gandrīz jebkurā modernā datorā, pat bez GPU.
• līdz 13B modeļi: ir ieteicamas 16 GB līdz 24 GB RAM.
• līdz 27B modeļi: ir nepieciešami vismaz 32 GB RAM un vēlams speciālu GPU.

Vairāk RAM paātrina darbību un novērš kļūdas atmiņas trūkuma dēļ. Kamēr Ollama un LM Studio cenšas efektīvi izmantot resursus, tas lielā mērā būs atkarīgs no jūsu aparatūras. Turklāt reakcijas ātrums ievērojami uzlabojas, ja CPU vietā tiek izmantots GPU.

Gemma 3 instalēšana operētājsistēmā Windows 11 ir vienkāršāka, nekā šķiet.. Nav svarīgi, vai izlemjat izmantot Ollama tās vienkāršības dēļ, LM Studio grafiskajam interfeisam vai Google AI Studio, lai to droši atskaņotu mākonī. Svarīgi ir tas, ka katra metode tiek pielāgota dažādiem pieredzes līmeņiem un tehniskajām iespējām. Tagad, kad zināt visas iespējas un nepieciešamo, lai sāktu, varat sākt eksperimentēt ar šo iespaidīgo vietējo mākslīgo intelektu jau šodien.