Pehea e hoʻouka ai iā Gemma 3 LLM ma Windows 11 i kēlā me kēia pae

Ua ulu aʻe nā kumu hoʻohālike o ka ʻōlelo open source, a I kēia lā hiki ke leʻaleʻa pololei iā lākou mai kahi kamepiula pilikino me ka hilinaʻi ʻole i nā lawelawe kapua.. ʻO kekahi o nā mea hoʻohiki i kēia manawa ʻo Gemma 3, ka LLM hou a Google e pili ana i ka ʻenehana Gemini, kahi e kū nei no kona hiki ke hoʻoponopono i nā kikokikona a me nā kiʻi, a me kāna puka aniani nui a hiki i ka 128k mau hōʻailona i kāna mau mana holomua. No ka ʻike hou aku e pili ana i kēia hoʻokuʻu, hiki iā ʻoe ke kipa i kā mākou ʻatikala ma ka hōʻike ʻana o Gemma 3.

Inā ʻoe e hoʻohana nei Windows 11 a ke nānā nei e hoʻokomo iā Gemma 3 no ka hoʻokolohua a i ʻole ka hana kūloko, ua hele mai ʻoe i kahi kūpono. E hele i ka kikoʻī i nā ala āpau e hiki ai ke hoʻomaka a holo i kāu kamepiula, me nā koho i makemake nui ʻia e like me Ollama, LM Studio, a me kahi ʻano ʻē aʻe me Google AI Studio. Eia kekahi, e kamaʻilio mākou i nā koi ʻenehana, nā pono o kēlā me kēia ʻano a me Pehea e hoʻohana ai i ka nui o ka hiki o kēia naʻauao hana ikaika.

He aha ka Gemma 3 a no ke aha e hoʻokomo ai?

ʻO Gemma 3 ke kolu o ka hanauna o nā hiʻohiʻona LLM i hoʻokuʻu ʻia e Google ma lalo o kahi laikini wehe.. ʻAʻole like me nā hoʻonā mua e like me Llama a i ʻole Mistral, hāʻawi ia i ke kākoʻo pololei no ka hoʻokomo kiʻi, kahi ʻano ākea ākea, a me ke kākoʻo no nā ʻōlelo he 140. Ma muli o kāu mau pono, hiki iā ʻoe ke koho mai nā ʻano like ʻole o ke kumu hoʻohālike mai ka 1B a hiki i ka 27B mau palena:

• Gema 3:1B: He kumu hoʻohālike māmā no nā hana kumu a me nā kaiapuni palena waiwai.
• Gema 3:4B: Hoʻohālikelike i ka hana a me ka pono no nā noi waena.
• Gema 3:12B: Manaʻo ʻia no ka loiloi paʻakikī, ka hoʻonohonoho ʻana a me ka hoʻoili ʻana i nā ʻōlelo he nui.
• Gema 3:27B: ʻO ke koho ikaika loa, i hoʻolālā ʻia no ka hoʻohana ikaika ʻana, multimodal me ka mana nui o ka pōʻaiapili.

ʻO ka hiki ke holo i kahi hiʻohiʻona holomua mai kāu PC Hoʻololi ia i nā lula o ka pāʻani e pili ana i ka pilikino, ka wikiwiki o ka pane, a me ka hilinaʻi ʻana i nā ʻaoʻao ʻekolu. ʻAʻole pono ʻoe e uku i nā kau inoa o kēlā me kēia mahina a hāʻawi i kāu ʻikepili. ʻO ka hoʻomākaukau liʻiliʻi wale nō ia a me ka makemake e aʻo. Inā makemake ʻoe e ʻike hou aku e pili ana i nā pono o kēia mau hiʻohiʻona, e nānā i kā mākou ʻatikala ma nā kumu hoʻohālike AI kaumaha hāmama.

Koho 1: Hoʻokomo me Ollama

ʻO Ollama paha ke ala maʻalahi e holo ai i ka LLM e like me Gemma 3 mai Windows 11. ʻO kāna kikowaena hoʻokumu ʻia e hiki ai iā ʻoe ke hoʻokomo a holo i nā hiʻohiʻona me kahi laina kauoha maʻalahi. Hoʻohui, kūpono ia me macOS, Linux, a me Windows, e maʻalahi ai ka hoʻohana ʻana i nā ʻano kaiapuni.

Nā ʻanuʻu e hoʻokomo iā Ollama a holo Gemma 3:

1. E kiʻi i ka pūnaewele kūhelu: olama.com.
2. Hoʻoiho i ka mea hoʻonoho no Windows a holo ia e like me nā polokalamu ʻē aʻe.
3. E wehe i ka Command Prompt (CMD) a i ʻole PowerShell a hōʻoia i ka hoʻokomo ʻana me:

ollama --version

Inā holo maikaʻi nā mea a pau, hiki iā ʻoe ke hoʻoiho i kekahi o nā ʻōkuhi Gemma 3 i loaʻa. E holo wale i kekahi o kēia mau kauoha e pili ana i ka template āu e makemake ai:

ollama run gemma3:1b
ollama run gemma3:4b
ollama run gemma3:12b
ollama run gemma3:27b

Ke hoʻoiho ʻia, hiki iā ʻoe ke hoʻomaka maʻalahi i ke kumu hoʻohālike.. No ka hana ʻana i kēia, holo:

ollama init gemma3

Mai ia manawa mai, hiki iā ʻoe ke hoʻomaka e launa pū me ka LLM ma:

ollama query gemma3 "¿Cuál es la capital de Japón?"

Inā makemake ʻoe e hoʻohana i nā hana multimodal, hiki iā ʻoe ke hoʻohana i nā kiʻi i kāu mau nīnau:

ollama query gemma3 --image "ruta-de-la-imagen.jpg"

He aha kāu e pono ai e hana maikaʻi? ʻOiai ʻaʻole ʻo Ollama i kau i nā koi liʻiliʻi loa, pono nā hiʻohiʻona nui (e like me ka 27B) ma kahi o 32GB o RAM. Me 16GB hiki iā ʻoe ke hana me ka pilikia ʻole me ke kumu hoʻohālike 7B, a ʻoiai ʻaʻole pono ka hoʻohana ʻana i kahi GPU, kōkua nui ia i ka wikiwiki.

Koho 2: E hoʻohana iā LM Studio

ʻO LM Studio kekahi mea hana manuahi ʻē aʻe e hiki ai iā ʻoe ke hoʻouka a hoʻokele i nā hiʻohiʻona LLM ma ka ʻāina mai kahi kiʻi kiʻi.. He kūpono ia me Windows, macOS, a me Linux, a ʻo kona pōmaikaʻi nui ʻaʻole ia e koi i ka ʻike loea e hana.

Nā ʻōkuhi:

1. Hoʻoiho iā LM Studio mai kāna pūnaewele mana: lmstudio.ai.
2. E hoʻouka a holo iā ia.
3. Kaomi ma ka ikona aniani e ʻōlelo ana "Discover."
4. Kākau i ka "Gemma 3" i loko o ka ʻenekini huli e ʻike i nā hiʻohiʻona i loaʻa.

Ma mua o ka hoʻouka ʻana, e nānā inā kūpono ke kumu hoʻohālike me kāu mau mea hana. Inā ʻike ʻoe i ka ʻōlelo aʻo "Nui paha no kēia mīkini," hiki iā ʻoe ke hoʻokomo iā ia, akā ʻaʻole i hōʻoia ʻia ka hana maikaʻi loa.

Ke hoʻoiho ʻia kahi kumu hoʻohālike kūpono:

• Kaomi "Load Model" e hoʻouka.
• A i ʻole e wehe i kahi kamaʻilio hou a koho i ke kumu hoʻohālike mai ka papa kuhikuhi iho.

ʻO ka mea maikaʻi loa e pili ana iā LM Studio ʻo ia ka hana ʻana ma ke ʻano o ChatGPT kūloko, offline a ma kāu ʻōlelo. Hiki iā ʻoe ke hana i nā kamaʻilio lehulehu a mālama i kāu mau kamaʻilio inā makemake ʻoe. Eia hou, inā hiki iā ʻoe ke koho "Local Server", hiki iā ʻoe ke hoʻohui pū me kāu mau noi Python me ka hoʻohana ʻana i ka OpenAI-compatible API.

Koho 3: E hoʻohana iā Google AI Studio (online)

Inā ʻaʻole hiki iā ʻoe a makemake ʻole e hoʻokomo i kekahi mea, hiki iā ʻoe ke hoʻohana pololei iā Gemma 3 mai ke ao me Google AI Studio. ʻAʻole koi ʻia kahi hoʻonohonoho, akā pono kahi pilina pūnaewele a me kahi moʻokāki Google.

Pono ʻoe e hele i aistudio.google.com a koho iā "Gemma 3" mai ka papa inoa o nā hiʻohiʻona. Mai ia manawa mai, hiki iā ʻoe ke hoʻomaka e kamaʻilio me ke kumu hoʻohālike me he mea lā he mana holomua o Bard a i ʻole ChatGPT, me ka hoʻokomo kiʻi.

Hoʻokomo ʻia ke ao me NodeShift (koho)

No ka poʻe e ʻimi nei i ka mana hou aʻe a i ʻole e kau i ke kumu hoʻohālike me ka ʻoihana, aia kahi koho o ka hoʻohana ʻana i nā lawelawe kapuaʻi e like me NodeShift. Me lākou, hiki iā ʻoe ke hoʻolimalima i nā mīkini me nā GPU ikaika a hoʻonohonoho i kāu wahi kūpono e holo ai iā Gemma 3 me ka ʻole o nā palena.

Nā hana kumu ma NodeShift:

1. Hana i kahi moʻokāki ma app.nodeshift.com.
2. E hoʻomaka i kahi GPU Node maʻamau (e laʻa me 2x RTX 4090).
3. E koho i kahi kiʻi i hoʻonohonoho mua ʻia me Ubuntu + Nvidia CUDA a i ʻole Jupyter Notebook, ma muli o ka hoʻohana ʻana iā Ollama a i ʻole Transformers.
4. Hoʻohui ma SSH a hoʻokomo i ke kumu hoʻohālike mai ka laina kauoha.

Hāʻawi kēia ʻano hoʻonohonoho iā ʻoe i ke komo ʻana i nā hoʻonohonoho ʻoihana, kūpono no ka hoʻomaʻamaʻa ʻana i nā hiʻohiʻona, loiloi i ka hana, a me nā mea ʻē aʻe. ʻOiai ʻaʻole pono no nā mea hoʻohana home, pono ia no ka poʻe makemake e hoʻokolohua hohonu a kūkulu paha i nā noi ma nā LLM holomua.

Pono nā ʻōnaehana a me nā ʻōlelo paipai

ʻAʻole e holo nā hiʻohiʻona Gemma 3 ma kekahi PC. Ma lalo mākou e waiho ai iā ʻoe i kahi kuhikuhi maʻamau e like me ke ʻano o ke kumu hoʻohālike:

• No nā hiʻohiʻona 1B a i 7B: palena iki 8 GB o RAM. Hana lākou ma kahi kokoke i nā PC hou, ʻoiai ʻaʻohe GPU.
• No Nā hiʻohiʻona 13B: ua paipaiia 16GB a 24GB RAM.
• No Nā hiʻohiʻona 27B: pono ma ka liʻiliʻi 32 GB o hipa kāne a ʻoi aku ka maikaʻi o ka GPU hoʻolaʻa.

ʻO ka loaʻa ʻana o ka RAM ʻoi aku ka wikiwiki o ka hana a pale i nā hewa ma muli o ka nele o ka hoʻomanaʻo. ʻOiai ʻo Ollama a me LM Studio e hoʻāʻo e hoʻohana pono i nā kumuwaiwai, e hilinaʻi nui ia i kāu lako. Eia kekahi, hoʻomaikaʻi nui ka wikiwiki o ka pane inā hoʻohana ʻia ʻo GPU ma kahi o CPU.

ʻO ka hoʻokomo ʻana iā Gemma 3 ma Windows 11 ʻoi aku ka maʻalahi ma mua o ka mea i ʻike ʻia.. ʻAʻole ia he mea nui inā hoʻoholo ʻoe e hoʻohana iā Ollama no kona maʻalahi, LM Studio no kāna interface kiʻi, a i ʻole Google AI Studio e pāʻani palekana ma ke ao. ʻO ka mea nui, ʻo kēlā me kēia ala e hoʻololi i nā pae like ʻole o ka ʻike a me nā hiki ʻenehana. I kēia manawa ua ʻike ʻoe i nā koho āpau a me nā mea āu e pono ai e hoʻomaka, hiki iā ʻoe ke hoʻomaka i ka hoʻokolohua me kēia naʻauao kūlohelohe kūloko i kēia lā.