Paano i-install ang Gemma 3 LLM sa Windows 11 hakbang-hakbang

Ang mga modelo ng open source na wika ay umunlad nang mabilis, at Ngayon, maaari nang tamasahin ang mga ito nang direkta mula sa isang personal na computer nang hindi umaasa sa mga serbisyo sa cloud.. Ang isa sa mga pinaka-promising sa kasalukuyan ay ang Gemma 3, ang bagong LLM ng Google batay sa teknolohiya ng Gemini, na namumukod-tangi para sa kakayahang magproseso ng teksto at mga larawan, pati na rin para sa napakalaking window ng konteksto nito na hanggang 128k token sa mga advanced na bersyon nito. Para sa higit pang impormasyon tungkol sa release na ito, maaari mong bisitahin ang aming artikulo sa ang pagtatanghal ni Gemma 3.

Kung gumagamit ka ng Windows 11 at naghahanap upang i-install ang Gemma 3 para sa eksperimento o kahit na lokal na produksyon, dumating ka sa tamang lugar. Isaalang-alang natin nang detalyado ang lahat ng posibleng paraan upang maisakatuparan ito sa iyong computer, kabilang ang mga pinaka inirerekomendang opsyon tulad ng Ollama, LM Studio, at isang alternatibong cloud-based na may Google AI Studio. Bilang karagdagan, tatalakayin namin ang mga teknikal na kinakailangan, mga pakinabang ng bawat pamamaraan at Paano masulit ang potensyal ng makapangyarihang artificial intelligence na ito.

Ano ang Gemma 3 at bakit ito i-install?

Ang Gemma 3 ay ang ikatlong henerasyon ng mga modelong LLM na inilabas ng Google sa ilalim ng isang open-source na lisensya.. Hindi tulad ng mga nakaraang solusyon tulad ng Llama o Mistral, nag-aalok ito ng direktang suporta para sa pag-input ng imahe, isang mas malawak na konteksto, at suporta para sa higit sa 140 mga wika. Depende sa iyong mga pangangailangan, maaari kang pumili mula sa ilang bersyon ng modelo mula 1B hanggang 27B na mga parameter:

• Gemma 3:1B: Ang magaan na modelo ay perpekto para sa mga pangunahing gawain at mga kapaligiran na limitado sa mapagkukunan.
• Gemma 3:4B: Pagbalanse ng pagganap at kahusayan para sa mga intermediate na aplikasyon.
• Gemma 3:12B: Inirerekomenda para sa kumplikadong pagsusuri, programming at pagpoproseso sa maraming wika.
• Gemma 3:27B: Ang pinakamakapangyarihang opsyon, na idinisenyo para sa masinsinang, multimodal na paggamit na may mahusay na kapasidad sa konteksto.

Ang posibilidad ng pagpapatakbo ng tulad ng isang advanced na modelo mula sa iyong PC Binabago nito ang mga panuntunan ng laro sa mga tuntunin ng privacy, bilis ng pagtugon, at pag-asa sa mga third party. Hindi mo na kailangang magbayad ng buwanang mga subscription o ibigay ang iyong data. Ang kailangan lang ay kaunting paghahanda at pagnanais na matuto. Kung gusto mong malaman ang higit pa tungkol sa mga benepisyo ng mga modelong ito, tingnan ang aming artikulo sa bukas na timbang na mga modelo ng AI.

Opsyon 1: Pag-install gamit ang Ollama

Ang Ollama ay marahil ang pinakamadaling paraan upang patakbuhin ang LLM tulad ng Gemma 3 mula sa Windows 11. Ang interface na nakabatay sa terminal nito ay nagbibigay-daan sa iyo na mag-install at magpatakbo ng mga modelo gamit ang isang simpleng command line. Dagdag pa, tugma ito sa macOS, Linux, at Windows, na ginagawang madaling gamitin sa iba't ibang kapaligiran.

Mga hakbang upang i-install ang Ollama at patakbuhin ang Gemma 3:

1. I-access ang opisyal na website: ollama.com.
2. I-download ang installer para sa Windows at patakbuhin ito tulad ng anumang iba pang programa.
3. Buksan ang Command Prompt (CMD) o PowerShell at i-verify ang pag-install gamit ang:

ollama --version

Kung magiging maayos ang lahat, maaari mo na ngayong i-download ang alinman sa magagamit na mga template ng Gemma 3. Patakbuhin lang ang isa sa mga command na ito depende sa template na gusto mo:

ollama run gemma3:1b
ollama run gemma3:4b
ollama run gemma3:12b
ollama run gemma3:27b

Kapag na-download na, madali mong masisimulan ang modelo.. Upang gawin ito, patakbuhin ang:

ollama init gemma3

Mula sa sandaling iyon, maaari kang magsimulang makipag-ugnayan sa LLM sa pamamagitan ng:

ollama query gemma3 "¿Cuál es la capital de Japón?"

Kung nais mong samantalahin ang mga multimodal function, maaari ka ring gumamit ng mga larawan sa iyong mga query:

ollama query gemma3 --image "ruta-de-la-imagen.jpg"

Ano ang kailangan mo upang gawin itong maayos? Bagama't hindi nagpapataw ang Ollama ng mahigpit na minimum na mga kinakailangan, ang mas malalaking modelo (tulad ng 27B) ay nangangailangan ng hindi bababa sa 32GB ng RAM. Sa 16GB maaari kang magtrabaho nang walang problema sa modelong 7B, at kahit na ang paggamit ng isang GPU ay hindi sapilitan, nakakatulong ito nang malaki sa bilis.

Opsyon 2: Gamitin ang LM Studio

Ang LM Studio ay isa pang libreng tool na nagbibigay-daan sa iyong mag-install at magpatakbo ng mga modelo ng LLM nang lokal mula sa isang graphical na interface.. Ito ay katugma sa Windows, macOS, at Linux, at ang malaking bentahe nito ay hindi ito nangangailangan ng teknikal na kaalaman upang gumana.

Instrucciones:

1. I-download ang LM Studio mula sa opisyal na website nito: lmstudio.ai.
2. I-install at patakbuhin ito.
3. Mag-click sa icon ng magnifying glass na nagsasabing "Discover."
4. I-type ang "Gemma 3" sa search engine upang makita ang mga available na modelo.

Bago i-install, suriin kung ang modelo ay tugma sa iyong kagamitan. Kung nakikita mo ang babala na "Malamang na masyadong malaki para sa makinang ito," maaari mo pa rin itong i-install, ngunit hindi ginagarantiyahan ang pinakamainam na pagganap.

Kapag na-download na ang isang katugmang modelo:

• Pindutin ang “Load Model” para i-load ito.
• O magbukas ng bagong chat at piliin ang modelo mula sa drop-down na menu.

Ang pinakamagandang bagay tungkol sa LM Studio ay gumaganap ito bilang isang uri ng lokal na ChatGPT, offline at sa iyong wika. Maaari kang lumikha ng maraming mga chat at i-save ang iyong mga pag-uusap kung nais mo. Bukod pa rito, kung pinagana mo ang opsyong “Local Server,” maaari mo itong isama sa iyong mga application ng Python gamit ang OpenAI-compatible na API.

Opsyon 3: Gamitin ang Google AI Studio (online)

Kung hindi mo magawa o ayaw mong mag-install ng anuman, maaari mong gamitin ang Gemma 3 nang direkta mula sa cloud gamit ang Google AI Studio. Walang kinakailangang pag-install, ngunit kailangan ng koneksyon sa Internet at isang Google account.

Kailangan mo lang pumunta sa aistudio.google.com at piliin ang "Gemma 3" mula sa listahan ng mga modelo. Mula sa sandaling iyon, maaari kang magsimulang makipag-chat sa modelo na para bang ito ay isang advanced na bersyon ng Bard o ChatGPT, kasama ang pag-input ng imahe.

Pag-install ng cloud gamit ang NodeShift (opsyonal)

Para sa mga naghahanap ng higit na kapangyarihan o upang i-deploy ang modelo nang propesyonal, mayroong opsyon na gumamit ng mga serbisyo sa cloud tulad ng NodeShift. Sa kanila, maaari kang magrenta ng mga makina na may malalakas na GPU at i-configure ang iyong perpektong kapaligiran upang patakbuhin ang Gemma 3 nang walang limitasyon.

Mga pangunahing hakbang sa NodeShift:

1. Lumikha ng isang account sa app.nodeshift.com.
2. Magsimula ng custom na GPU Node (hal. sa 2x RTX 4090).
3. Pumili ng paunang na-configure na larawan gamit ang Ubuntu + Nvidia CUDA o Jupyter Notebook, depende sa kung gagamit ka ng Ollama o Transformers.
4. Kumonekta sa pamamagitan ng SSH at i-install ang modelo mula sa command line.

Ang ganitong uri ng pag-install ay nagbibigay sa iyo ng access sa mga propesyonal na configuration, perpekto para sa mga modelo ng pagsasanay, pagsusuri ng pagganap, atbp. Bagama't hindi mahalaga para sa mga user sa bahay, ito ay kapaki-pakinabang para sa mga gustong mag-eksperimento nang malalim o bumuo ng mga application sa mga advanced na LLM.

Mga kinakailangan sa system at teknikal na rekomendasyon

Hindi lahat ng modelo ng Gemma 3 ay tatakbo sa anumang PC. Sa ibaba ay nag-iiwan kami sa iyo ng pangkalahatang sanggunian ayon sa uri ng modelo:

• Sa mga modelo 1B hanggang 7B: pinakamababa GB RAM 8. Gumagana ang mga ito sa halos anumang modernong PC, kahit na walang GPU.
• Sa 13B na mga modelo: ay inirerekomenda 16GB hanggang 24GB RAM.
• Sa 27B na mga modelo: ay kailangan hindi bababa sa 32 GB ng RAM at mas mabuti ang isang nakatuong GPU.

Ang pagkakaroon ng mas maraming RAM ay nagpapabilis sa operasyon at pinipigilan ang mga error dahil sa kakulangan ng memorya. Habang sinusubukan ng Ollama at LM Studio na gumamit ng mga mapagkukunan nang mahusay, ito ay magdedepende nang husto sa iyong hardware. Bilang karagdagan, ang bilis ng pagtugon ay bumubuti nang malaki kung GPU ang ginagamit sa halip na CPU.

Ang pag-install ng Gemma 3 sa Windows 11 ay mas madali kaysa sa tila.. Hindi mahalaga kung magpasya kang gamitin ang Ollama para sa pagiging simple nito, ang LM Studio para sa graphical na interface nito, o ang Google AI Studio upang i-play ito nang ligtas sa cloud. Ang mahalagang bagay ay ang bawat pamamaraan ay umaangkop sa iba't ibang antas ng karanasan at teknikal na kakayahan. Ngayong alam mo na ang lahat ng opsyon at kung ano ang kailangan mo para makapagsimula, maaari ka nang magsimulang mag-eksperimento sa kahanga-hangang lokal na artificial intelligence ngayon.