Otu esi etinye Gemma 3 LLM na Windows 11 nzọụkwụ site nzọụkwụ

Ụdị asụsụ ndị mepere emepe ewepụtala site na mwụli na oke, na Taa ọ ga-ekwe omume ịnụ ụtọ ha ozugbo site na kọmputa nkeonwe na-adabereghị na ọrụ igwe ojii.. Otu n'ime ihe na-ekwe nkwa ugbu a bụ Gemma 3, LLM ọhụrụ nke Google dabere na teknụzụ Gemini, nke pụtara maka ikike ịhazi ederede na onyonyo, yana maka nnukwu windo okirikiri ya ruru akara ngosi 128k na ụdị ya dị elu. Maka ozi ndị ọzọ gbasara ntọhapụ a, ị nwere ike ịga leta akụkọ anyị na ihe ngosi nke Gemma 3.

Ọ bụrụ na ị na-eji Windows 11 ma na-achọ ịwụnye Gemma 3 maka nnwale ma ọ bụ ọbụna mmepụta mpaghara, ị bịarutere ebe kwesịrị ekwesị. Ka anyị gụgharịa n'ụzọ zuru ezu ụzọ niile enwere ike isi bulie ya ma na-agba ọsọ na kọmputa gị, gụnyere nhọrọ ndị akwadoro dị ka Ollama, LM Studio, yana mgbakwunye igwe ojii nwere Google AI Studio. Na mgbakwunye, anyị ga-eleba anya na teknụzụ chọrọ, uru nke usoro ọ bụla na Otu esi eme ka ike nke ọgụgụ isi a dị ike.

Gịnị bụ Gemma 3 na gịnị kpatara etinye ya?

Gemma 3 bụ ọgbọ nke atọ nke ụdị LLM Google wepụtara n'okpuru ikikere isi mmalite.. N'adịghị ka azịza ndị gara aga dị ka Llama ma ọ bụ Mistral, ọ na-enye nkwado ozugbo maka ntinye onyonyo, ọnọdụ sara mbara karị, yana nkwado maka asụsụ 140. Dabere na mkpa gị, ị nwere ike họrọ n'ụdị dị iche iche nke ihe nlereanya sitere na paramita 1B ruo 27B:

• Gemma 3:1B: Ụdị dị arọ dị mma maka ọrụ ndị bụ isi na gburugburu ebe nwere oke akụrụngwa.
• Gemma 3:4B: Ịhazi arụmọrụ na arụmọrụ maka ngwa etiti.
• Gemma 3:12B: Akwadoro maka nyocha mgbagwoju anya, mmemme na nhazi ọtụtụ asụsụ.
• Gemma 3:27B: Nhọrọ kachasị ike, nke e mere maka iji kpụ ọkụ n'ọnụ, multimodal na-eji ikike dị ukwuu.

Enwere ike ịme ụdị ụdị dị elu site na PC gị Ọ na-agbanwe iwu egwuregwu n'ihe gbasara nzuzo, ọsọ nzaghachi, na ịdabere na ndị ọzọ. Ị gaghịzi akwụ ụgwọ ndenye aha kwa ọnwa ma ọ bụ hapụ data gị. Naanị ihe ọ na-ewe bụ obere nkwadebe na ọchịchọ ịmụta. Ọ bụrụ na ịchọrọ ịmatakwu uru nke ụdị ndị a, lelee isiokwu anyị emeghe arọ AI ụdị.

Nhọrọ 1: Nwụnye na Ollama

Ollama nwere ike ịbụ ụzọ kachasị mfe iji na-agba ọsọ LLM dị ka Gemma 3 si Windows 11. Ihe interface ya dabere na njedebe na-enye gị ohere ịwụnye ma na-agba ọsọ ụdị na usoro iwu dị mfe. Na mgbakwunye, ọ dakọtara na macOS, Linux, na Windows, na-eme ka ọ dị mfe iji na gburugburu ebe dị iche iche.

Nzọụkwụ iji wụnye Ollama wee mee Gemma 3:

1. Gaa na webụsaịtị gọọmentị: ollama.com.
2. Budata installer maka Windows ma na-agba ya dị ka mmemme ọ bụla ọzọ.
3. Mepee Command Prompt (CMD) ma ọ bụ PowerShell wee jiri:

ollama --version

Ọ bụrụ na ihe niile na-aga nke ọma, ị nwere ike budata ụdị ndebiri Gemma 3 ọ bụla dị ugbu a. Naanị mee otu n'ime iwu ndị a dabere na template ịchọrọ:

ollama run gemma3:1b
ollama run gemma3:4b
ollama run gemma3:12b
ollama run gemma3:27b

Ozugbo ebudatara, ị nwere ike ịmalite ụdị ahụ ngwa ngwa.. Iji mee nke a, gbaa ọsọ:

ollama init gemma3

Site n'oge ahụ gaa n'ihu, ị nwere ike ịmalite mmekọrịta gị na LLM site na:

ollama query gemma3 "¿Cuál es la capital de Japón?"

Ọ bụrụ na ịchọrọ iji ọrụ multimodal mee ihe, ị nwekwara ike iji onyonyo na ajụjụ gị:

ollama query gemma3 --image "ruta-de-la-imagen.jpg"

Kedu ihe ị chọrọ iji mee ka ọ rụọ ọrụ nke ọma? Ọ bụ ezie na Ollama anaghị enye iwu kacha nta, ụdị buru ibu (dị ka 27B) chọrọ opekata mpe 32GB nke RAM. Na 16GB ị nwere ike ịrụ ọrụ na-enweghị nsogbu na ụdị 7B, na ọ bụ ezie na iji GPU abụghị iwu, ọ na-enyere aka na ọsọ ọsọ.

Nhọrọ 2: Jiri LM Studio

LM Studio bụ ngwa ọzọ na-akwụghị ụgwọ nke na-enye gị ohere ịwụnye ma mee ụdị LLM na mpaghara site na eserese eserese.. Ọ dakọtara na Windows, macOS, na Linux, yana nnukwu uru ya bụ na ọ chọghị ịma teknụzụ iji rụọ ọrụ.

Ntuziaka:

1. Budata LM Studio na webụsaịtị gọọmentị ya: lmstudio.ai.
2. Wụnye ma mee ya.
3. Pịa akara ngosi iko na-ebuwanye ibu nke na-ekwu "Chọpụta."
4. Pịnye “Gemma 3” n'ime igwe nchọta ka ịhụ ụdị dị.

Tupu ịwụnye, lelee ma ihe nlereanya ahụ dakọtara na akụrụngwa gị. Ọ bụrụ n'ịhụ ịdọ aka ná ntị "O yikarịrị ka ọ dị ukwuu maka igwe a," ị ka nwere ike ịwụnye ya, mana anaghị ekwe nkwa ịrụ ọrụ kacha mma.

Ozugbo ebudatara ụdị dakọtara:

• Pịa “Ibu Ibu Model” ka ibunye ya.
• Ma ọ bụ mepee nkata ọhụrụ wee họrọ ihe nlereanya site na menu ndọpụta.

Ihe kacha mma gbasara LM Studio bụ na ọ na-eme dị ka ụdị ChatGPT mpaghara, na-anọghị n'ịntanetị yana n'asụsụ gị. Ị nwere ike ịmepụta ọtụtụ nkata wee chekwaa mkparịta ụka gị ma ọ bụrụ na ịchọrọ. Na mgbakwunye, ọ bụrụ na ị mee ka nhọrọ “Local Server”, ị nwere ike ijikọ ya na ngwa Python gị site na iji API OpenAI dakọtara.

Nhọrọ 3: Jiri Google AI Studio (online)

Ọ bụrụ na ịnweghị ike ma ọ bụ ịchọghị ịwụnye ihe ọ bụla, ịnwere ike iji Gemma 3 ozugbo site na igwe ojii na Google AI Studio.. Enweghị nrụnye achọrọ, mana njikọ ịntanetị yana akaụntụ Google chọrọ.

Naanị ị ga-aga astudio.google.com wee họrọ “Gemma 3” na ndepụta ụdị. Site n'oge ahụ gaa n'ihu, ị nwere ike ịmalite ịkparịta ụka n'ụdị ahụ dị ka a ga-asị na ọ bụ ụdị Bard ma ọ bụ ChatGPT dị elu, gụnyere ntinye onyonyo.

Nwụnye igwe ojii na NodeShift (nhọrọ)

Maka ndị na-achọ ike ka ukwuu ma ọ bụ tinye ihe nlereanya ahụ n'ọrụ ọkachamara, enwere nhọrọ nke iji ọrụ igwe ojii dị ka NodeShift. Site na ha, ị nwere ike ịgbazite igwe nwere GPU dị ike wee hazie ebe dị mma ka ọ rụọ Gemma 3 na-enweghị oke.

Nzọụkwụ ndị bụ isi na NodeShift:

1. Mepụta akaụntụ na app.nodeshift.com.
2. Bido Node GPU omenala (dịka ya na 2x RTX 4090).
3. Họrọ onyonyo ahaziburu ya na Ubuntu + Nvidia CUDA ma ọ bụ Jupyter Notebook, dabere ma ị ga-eji Ollama ma ọ bụ Transformers.
4. Jikọọ site na SSH wee wụnye ihe nlereanya site na ahịrị iwu.

Ụdị nrụnye a na-enye gị ohere ịnweta nhazi ọkachamara, Ezigbo maka ụdị ọzụzụ, nyochaa arụmọrụ, wdg Ọ bụ ezie na ọ bụghị ihe dị mkpa maka ndị ọrụ ụlọ, ọ bara uru maka ndị chọrọ ịnwale n'ime omimi ma ọ bụ wuo ngwa na LLM dị elu.

Usoro chọrọ na teknuzu tụrụ aro

Ọ bụghị ụdị Gemma 3 niile ga-agba ọsọ na PC ọ bụla. N'okpuru ebe a, anyị na-ahapụrụ gị ntụaka izugbe dịka ụdị ihe nlereanya ahụ siri dị:

• para ụdị 1B ruo 7B: kacha nta 8 GB nke RAM. Ha na-arụ ọrụ na ihe fọrọ nke nta ka ọ bụrụ PC ọgbara ọhụrụ ọ bụla, ọbụlagodi na-enweghị GPU.
• para Ụdị 13B: na-atụ aro 16GB ka 24GB RAM.
• para Ụdị 27B: achọrọ opekata mpe 32 GB nke Ram na ọkachamma GPU raara onwe ya nye.

Inwe ọtụtụ RAM na-eme ka ọrụ dị ngwa ma gbochie njehie n'ihi enweghị ebe nchekwa. Ọ bụ ezie na Ollama na LM Studio na-agbalị iji akụrụngwa rụọ ọrụ nke ọma, ọ ga-adabere na ngwaike gị. Na mgbakwunye, ọsọ nzaghachi na-akawanye mma ma ọ bụrụ na ejiri GPU kama CPU.

Ịwụnye Gemma 3 na Windows 11 dị mfe karịa ka ọ dị.. Ọ baghị uru ma ọ bụrụ na ị kpebie iji Ollama maka ịdị mfe ya, LM Studio maka eserese eserese ya, ma ọ bụ Google AI Studio iji kpọọ ya nchekwa na igwe ojii. Ihe dị mkpa bụ na usoro ọ bụla na-adaba na ọkwa dị iche iche nke ahụmahụ na ikike nkà na ụzụ. Ugbu a ịmara nhọrọ niile na ihe ịchọrọ ịmalite, ị nwere ike ịmalite ịnwale ọgụgụ isi a dị egwu nke mpaghara taa.