Me pehea te whakauru i te Gemma 3 LLM ki runga Windows 11 taahiraa i te taahiraa

Ko nga tauira reo puna tuwhera kua tipu haere ma te peke, me te I tenei ra ka taea te pai ki a raatau mai i te rorohiko whaiaro me te kore e whakawhirinaki ki nga ratonga kapua.. Ko tetahi o nga mea tino pai i tenei wa ko Gemma 3, te LLM hou a Google i runga i te hangarau Gemini, e tu ana mo tona kaha ki te tukatuka i nga tuhinga me nga whakaahua, tae atu ki tana matapihi horopaki nui tae atu ki te 128k tohu i roto i ona putanga matatau. Mo etahi atu korero mo tenei tuku, ka taea e koe te toro atu ki ta maatau tuhinga te whakaaturanga a Gemma 3.

Mena kei te whakamahi koe i te Windows 11 me te titiro ki te whakauru i te Gemma 3 mo te whakamatautau me te hanga rohe ranei, kua tae mai koe ki te wahi tika. Me korero taipitopito mo nga huarahi katoa e taea ai te whakatika me te whakahaere i runga i to rorohiko, tae atu ki nga waahanga e tino manakohia ana penei i a Ollama, LM Studio, me tetahi momo kapua-a-kapua me te Google AI Studio. I tua atu, ka whakatutukihia e matou nga whakaritenga hangarau, nga painga o ia tikanga me Me pehea e whai hua ai te kaha o tenei mohiotanga horihori kaha.

He aha te Gemma 3 me te aha te whakauru?

Ko Gemma 3 te reanga tuatoru o nga tauira LLM i tukuna e Google i raro i te raihana tuwhera-puna.. Kaore i rite ki nga otinga o mua penei i a Llama me Mistral ranei, he tautoko tika mo te whakauru whakaahua, he horopaki whanui ake, me te tautoko mo nga reo 140 neke atu. I runga i o hiahia, ka taea e koe te whiriwhiri mai i nga momo momo tauira mai i te 1B ki te 27B tawhā:

• Gema 3:1B: He tauira mama te pai mo nga mahi taketake me nga taiao whai rawa.
• Gema 3:4B: Te whakataurite i te mahi me te pai mo nga tono takawaenga.
• Gema 3:12B: E taunakitia ana mo te wetewete matatini, te whakamaarama me te tukatuka reo maha.
• Gema 3:27B: Ko te kōwhiringa tino kaha, i hangaia mo te kaha, te whakamahi multimodal me te kaha o te horopaki.

Ko te kaha ki te whakahaere i tetahi tauira matatau mai i to PC Ka huri i nga ture o te keemu mo te noho muna, te tere whakautu, me te whakawhirinaki ki nga roopu tuatoru. Kaore koe e hiahia ki te utu ohaurunga marama, ki te tuku ranei i o raraunga. Ko te mea anake he whakaritenga iti me te hiahia ki te ako. Mena kei te hiahia koe ki te mohio atu mo nga painga o enei tauira, tirohia to maatau tuhinga nga tauira AI taimaha tuwhera.

Kōwhiringa 1: Tāuta me Ollama

Ko Ollama pea te huarahi ngawari ki te whakahaere i te LLM penei i a Gemma 3 mai i Windows 11. Ko tana atanga e pa ana ki te tauranga ka taea e koe te whakauru me te whakahaere tauira me te raina whakahau ngawari. I tua atu, he hototahi ki te macOS, Linux, me Windows, he ngawari ki te whakamahi i roto i nga momo taiao.

Nga taahiraa hei whakauru i a Ollama me te whakahaere Gemma 3:

1. Uru ki te paetukutuku mana: olama.com.
2. Tikiake i te pūtāuta mō Windows ka whakahaere pera me etahi atu papatono.
3. Whakatuwheratia te Tohuaki Whakahau (CMD) PowerShell ranei ka manatoko i te whakaurunga me:

ollama --version

Mena ka pai nga mea katoa, ka taea e koe te tango i tetahi o nga tauira Gemma 3 e waatea ana. Me whakahaere noa tetahi o enei whakahau i runga i te tauira e hiahia ana koe:

ollama run gemma3:1b
ollama run gemma3:4b
ollama run gemma3:12b
ollama run gemma3:27b

Kia tikiakehia, ka taea e koe te timata i te tauira.. Ki te mahi i tenei, rere:

ollama init gemma3

Mai i tera wa, ka taea e koe te timata ki te taunekeneke me te LLM ma te:

ollama query gemma3 "¿Cuál es la capital de Japón?"

Mena kei te hiahia koe ki te whakamahi i nga mahi multimodal, ka taea hoki e koe te whakamahi whakaahua ki o patai:

ollama query gemma3 --image "ruta-de-la-imagen.jpg"

He aha e hiahia ana koe kia pai ai te mahi? Ahakoa kaore a Ollama e whakatau i nga whakaritenga iti rawa, ko nga tauira nui ake (penei i te 27B) me 32GB RAM. Ma te 16GB ka taea e koe te mahi me te kore raruraru me te tauira 7B, ahakoa ko te whakamahi i te GPU kaore i te whakahau, ka awhina nui i te tere.

Kōwhiringa 2: Whakamahia te LM Studio

Ko LM Studio tetahi atu taputapu kore utu ka taea e koe te whakauru me te whakahaere tauira LLM i te rohe mai i te atanga kauwhata.. He hototahi ki te Matapihi, macOS, me Linux, a ko tana painga nui ko te kore e hiahiatia he matauranga hangarau hei whakahaere.

Tohutohu:

1. Tangohia te LM Studio mai i tana paetukutuku mana: lmstudio.ai.
2. Whakauruhia ka whakahaere.
3. Paatohia te tohu karaihe whakanui e kii ana "Whakakitea."
4. Patohia te "Gemma 3" ki te miihini rapu kia kite i nga tauira e waatea ana.

I mua i te whakauru, tirohia mena he hototahi te tauira ki o taputapu. Mena ka kite koe i te whakatupato "He nui rawa mo tenei miihini," ka taea tonu e koe te whakauru, engari kaore i te taurangi te mahi tino pai.

Ina tangohia he tauira hototahi:

• Paatohia te "Taira Uta" ki te utaina.
• Whakatuwheratia he korerorero hou ka whiriwhiri i te tauira mai i te tahua taka-iho.

Ko te mea pai mo LM Studio ko te mahi hei momo ChatGPT rohe, tuimotu me to reo. Ka taea e koe te hanga korero maha me te tiaki i o korero ki te hiahia koe. Hei taapiri, mena ka taea e koe te whiringa "Tumau Paetata", ka taea e koe te whakauru ki o tono Python ma te whakamahi i te API hototahi OpenAI.

Kōwhiringa 3: Whakamahia te Google AI Studio (ipurangi)

Mena kaore e taea e koe, kaore ranei e hiahia ki te whakauru i tetahi mea, ka taea e koe te whakamahi tika i te Gemma 3 mai i te kapua me te Google AI Studio. Karekau he whakaurunga e hiahiatia ana, engari he hononga Ipurangi me tetahi kaute a Google.

Me haere noa koe ki aistudio.google.com ka tohua "Gemma 3" mai i te rarangi o nga tauira. Mai i tera wa, ka taea e koe te timata ki te korerorero me te tauira me te mea he putanga matatau o Bard, ChatGPT ranei, tae atu ki te whakauru whakaahua.

Tāutatanga kapua me te NodeShift (he kōwhiri)

Mo te hunga e rapu ana mo te kaha ake, ki te tuku ngaio ranei i te tauira, kei reira te whiringa ki te whakamahi i nga ratonga kapua penei i a NodeShift. Ma ratou, ka taea e koe te reti miihini me nga GPU kaha me te whirihora i to taiao pai ki te whakahaere i a Gemma 3 kaore he here.

Nga taahiraa taketake i roto i te NodeShift:

1. Hangaia he kaute i app.nodeshift.com.
2. Tīmatahia he Node GPU ritenga (hei tauira me te 2x RTX 4090).
3. Kōwhirihia he whakaahua kua whirihorahia me te Ubuntu + Nvidia CUDA, Jupyter Notebook ranei, kei te whakamahi koe i te Ollama, i te Transformers ranei.
4. Hono ma te SSH ka whakauru i te tauira mai i te raina whakahau.

Ma tenei momo whakaurunga ka uru koe ki nga whirihoranga ngaio, he pai mo nga tauira whakangungu, te arotake i nga mahi, me etahi atu. Ahakoa ehara i te mea nui mo nga kaiwhakamahi kaainga, he pai mo te hunga e hiahia ana ki te whakamatautau hohonu, ki te hanga tono ranei i runga i nga LLM matatau.

Nga whakaritenga o te punaha me nga taunakitanga hangarau

Kaore nga tauira Gemma 3 katoa ka rere ki runga i tetahi PC. Kei raro ka waiho e matou he tohutoro whanui mo te momo tauira:

• para tauira 1B ki te 7B: iti rawa 8 GB o RAM. Mahi ratou i runga i tata katoa PC hou, ahakoa kahore he GPU.
• para 13B tauira: e tūtohu ana 16GB ki te 24GB RAM.
• para 27B tauira: e hiahiatia ana te iti rawa 32 GB o RAM me te pai he GPU whakatapua.

Ko te nui ake o te RAM ka tere ake te mahi me te aukati i nga hapa na te kore o te mahara. Ahakoa e ngana ana a Ollama me LM Studio ki te whakamahi tika i nga rauemi, ka whakawhirinaki nui ki to taputapu. I tua atu, ka tino pai ake te tere whakautu ki te whakamahia te GPU hei utu mo te PTM.

Ko te whakauru i te Gemma 3 ki runga Windows 11 he maamaa ake i te ahua.. Kare he aha mena ka whakatau koe ki te whakamahi i a Ollama mo tona ngawari, LM Studio mo tana atanga kauwhata, a Google AI Studio ranei hei purei haumaru i roto i te kapua. Ko te mea nui ko ia tikanga ka uru ki nga taumata rereke o te wheako me nga kaha hangarau. Inaianei kua mohio koe ki nga whiringa katoa me nga mea e hiahia ana koe ki te tiimata, ka taea e koe te tiimata ki te whakamatau me tenei mohiotanga hangai o te rohe i tenei ra.