Mokhoa oa ho kenya Gemma 3 LLM ho Windows 11 mohato ka mohato

Mehlala ea puo ea mohloli o bulehileng e fetohile ka ho tlola le ho feta, le Kajeno hoa khoneha ho li thabela ka ho toba ho tloha khomphuteng ea hau ntle le ho itšetleha ka litšebeletso tsa leru.. E 'ngoe ea tse tšepisang ka ho fetisisa hajoale ke Gemma 3, LLM e ncha ea Google e ipapisitseng le theknoloji ea Gemini, e hlahelletseng ka bokhoni ba eona ba ho sebetsana le mongolo le litšoantšo, hammoho le fensetere ea eona e kholo ea li-tokens tse fihlang ho 128k liphetolelong tsa eona tse tsoetseng pele. Ho fumana lintlha tse ling mabapi le tokollo ena, o ka etela sengoloa sa rona ho tlhahiso ea Gemma 3.

Haeba u sebelisa Windows 11 'me u batla ho kenya Gemma 3 bakeng sa liteko kapa tlhahiso ea lehae, u fihlile sebakeng se nepahetseng. Ha re ke re hlahlobeng ka botlalo mekhoa eohle e ka khonehang ea ho e qala le ho sebetsa komporong ea hau, ho kenyelletsa le likhetho tse khothaletsoang joalo ka Ollama, LM Studio, le mofuta o mong o thehiloeng marung o nang le Google AI Studio. Ho phaella moo, re tla sebetsana le litlhoko tsa tekheniki, melemo ea mokhoa o mong le o mong le Mokhoa oa ho sebelisa bokhoni bo bongata ba bohlale bona ba maiketsetso bo matla.

Gemma 3 ke eng, hona ke hobane'ng ha u e kenya?

Gemma 3 ke moloko oa boraro oa mefuta ea LLM e lokollotsoeng ke Google tlas'a laesense ea mohloli o bulehileng.. Ho fapana le litharollo tsa nakong e fetileng joalo ka Llama kapa Mistral, e fana ka ts'ehetso e tobileng bakeng sa ho kenya litšoantšo, moelelo o pharaletseng haholoanyane, le tšehetso bakeng sa lipuo tse fetang 140. Ho ipapisitse le litlhoko tsa hau, o ka khetha ho tsoa liphetolelong tse 'maloa tsa mohlala ho tloha ho 1B ho isa ho 27B paramethara:

• Gemma 3:1B: Mohlala o bobebe o loketse mesebetsi ea mantlha le tikoloho e haelloang ke lisebelisoa.
• Gemma 3:4B: Ho leka-lekanya ts'ebetso le katleho bakeng sa lits'ebetso tse mahareng.
• Gemma 3:12B: E khothalelitsoe bakeng sa tlhahlobo e rarahaneng, mananeo le ts'ebetso ea lipuo tse ngata.
• Gemma 3:27B: Khetho e matla ka ho fetesisa, e etselitsoeng tšebeliso e matla, e mengata e nang le maemo a mangata.

Monyetla oa ho tsamaisa mohlala o tsoetseng pele joalo ho tsoa ho PC ea hau E fetola melao ea papali ho latela boinotši, lebelo la karabo, le ho itšetleha ka batho ba boraro. Ha ho sa hlokahala hore u lefe lipeeletso tsa khoeli le khoeli kapa u fane ka lintlha tsa hau. Ntho feela e hlokahalang ke ho itokisetsa hanyenyane le takatso ea ho ithuta. Haeba u batla ho tseba haholoanyane ka melemo ea mehlala ena, sheba sengoloa sa rona ho bula boima ba AI mehlala.

Khetho ea 1: Ho kenya le Ollama

Ollama mohlomong ke eona tsela e bonolo ka ho fetisisa ea ho tsamaisa LLM joalo ka Gemma 3 ho tloha Windows 11. Sebopeho sa eona se thehiloeng ho terminal se u lumella ho kenya le ho tsamaisa mehlala ka mohala o bonolo oa taelo. Hape, e tsamaisana le macOS, Linux, le Windows, e etsang hore ho be bonolo ho e sebelisa libakeng tse fapaneng.

Mehato ea ho kenya Ollama le ho tsamaisa Gemma 3:

1. Kena webosaeteng ea semmuso: ollama.com.
2. Khoasolla sesebelisoa sa Windows 'me u e tsamaise joaloka lenaneo lefe kapa lefe.
3. Bula Command Prompt (CMD) kapa PowerShell 'me u netefatse ho kenya ka:

ollama --version

Haeba tsohle li tsamaea hantle, joale u ka khoasolla leha e le efe ea litempele tsa Gemma 3 tse fumanehang. Tsamaisa e 'ngoe ea litaelo tsena ho latela template eo u e batlang:

ollama run gemma3:1b
ollama run gemma3:4b
ollama run gemma3:12b
ollama run gemma3:27b

Hang ha e jarollotsoe, u ka qala mohlala habonolo.. Ho etsa sena, matha:

ollama init gemma3

Ho tloha motsotsong oo ho ea pele, o ka qala ho sebelisana le LLM ka:

ollama query gemma3 "¿Cuál es la capital de Japón?"

Haeba u batla ho nka monyetla ka mesebetsi ea multimodal, o ka sebelisa litšoantšo lipotsong tsa hau:

ollama query gemma3 --image "ruta-de-la-imagen.jpg"

U hloka eng ho etsa hore e sebetse hantle? Leha Ollama a sa qobelle litlhoko tse tlase tse thata, mefuta e meholoanyane (joalo ka 27B) e hloka bonyane 32GB ea RAM. Ka 16GB u ka sebetsa ntle le mathata le mohlala oa 7B, 'me le hoja tšebeliso ea GPU e sa tlamehe, e thusa haholo ka lebelo.

Khetho ea 2: Sebelisa LM Studio

LM Studio ke sesebelisoa se seng sa mahala se u lumellang ho kenya le ho tsamaisa mefuta ea LLM sebakeng sa heno ho tsoa ho sebopeho sa graphical.. E lumellana le Windows, macOS le Linux, 'me molemo oa eona o moholo ke hore ha e hloke tsebo ea tekheniki ho sebetsa.

Instrucciones:

1. Khoasolla LM Studio ho webosaete ea eona ea semmuso: lmstudio.ai.
2. Kenya le ho e tsamaisa.
3. Tobetsa ho lets'oao la khalase e holisang le reng "Discover."
4. Tlanya "Gemma 3" mochineng oa ho batla ho bona mefuta e teng.

Pele o kenya, hlahloba hore na mohlala o lumellana le lisebelisoa tsa hau. Haeba u bona temoso e reng "Mohlomong e kholo haholo bakeng sa mochini ona," o ntse o ka e kenya, empa ts'ebetso e nepahetseng ha e na tiiso.

Hang ha mofuta o lumellanang o se o jarollotsoe:

• Tobetsa "Load Model" ho e kenya.
• Kapa bula moqoqo o mocha ebe u khetha mohlala ho tsoa ho menu e theoha.

Ntho e ntle ka LM Studio ke hore e sebetsa joalo ka mofuta oa ChatGPT ea lehae, kantle ho naha le ka puo ea hau.. U ka theha lipuisano tse ngata 'me ua boloka lipuisano tsa hau haeba u lakatsa. Ho phaella moo, haeba u nolofalletsa khetho ea "Local Server", u ka e kopanya le lisebelisoa tsa hau tsa Python u sebelisa OpenAI-compatible API.

Khetho ea 3: Sebelisa Google AI Studio (inthaneteng)

Haeba u sa khone kapa u sa batle ho kenya letho, u ka sebelisa Gemma 3 ka kotloloho ho tsoa lerung ka Google AI Studio.. Ha ho hlokahale hore ho kenngoe, empa ho hlokahala khokahano ea Marang-rang le ak'haonte ea Google.

U tlameha feela ho ea aistudio.google.com ebe u khetha "Gemma 3" lethathamong la mefuta. Ho tloha ka nako eo ho ea pele, u ka qala ho qoqa le mohlala joalokaha eka ke mofuta o tsoetseng pele oa Bard kapa ChatGPT, ho kenyelletsa le ho kenya setšoantšo.

Ho kenya leru ka NodeShift (ho ikhethela)

Bakeng sa ba batlang matla a mangata kapa ho tsamaisa mohlala ka botsebi, ho na le khetho ea ho sebelisa lits'ebeletso tsa leru joalo ka NodeShift. Ka tsona, o ka hira mechini e nang le li-GPU tse matla le ho hlophisa tikoloho ea hau e loketseng ho tsamaisa Gemma 3 ntle le meeli.

Mehato ea mantlha ho NodeShift:

1. Theha ak'haonte ho app.nodeshift.com.
2. Qala tloaelo ea GPU Node (mohlala, ka 2x RTX 4090).
3. Khetha setšoantšo se lokiselitsoeng esale pele ka Ubuntu + Nvidia CUDA kapa Jupyter Notebook, ho latela hore na u tla be u sebelisa Ollama kapa Transformers.
4. Hokela ka SSH 'me u kenye mohlala ho tsoa moleng oa taelo.

Mofuta ona oa ho kenya o u fa monyetla oa ho fihlella litlhophiso tsa litsebi, e loketseng mefuta ea koetliso, ho lekola ts'ebetso, joalo-joalo. Le hoja e se ea bohlokoa bakeng sa basebelisi ba lapeng, e thusa ba batlang ho etsa liteko ka botebo kapa ho aha lits'ebetso ho li-LLM tse tsoetseng pele.

Litlhoko tsa sistimi le likhothaletso tsa tekheniki

Ha se mefuta eohle ea Gemma 3 e tla sebetsa ho PC efe kapa efe. Ka tlase re u siela tšupiso e akaretsang ho latela mofuta oa mohlala:

• le para mehlala 1B ho isa ho 7B: bonyane 8 GB ea RAM. Ba sebetsa hoo e batlang e le PC efe kapa efe ea sejoale-joale, leha e se na GPU.
• le para Mefuta ea 13B: lia khothaletsoa 16GB ho isa ho 24GB RAM.
• le para Mefuta ea 27B: lia hlokahala bonyane 32 GB ea RAM mme ka ho khetheha ke GPU e inehetseng.

Ho ba le RAM e ngata ho potlakisa ts'ebetso le ho thibela liphoso ka lebaka la khaello ea mohopolo. Le ha Ollama le LM Studio ba leka ho sebelisa lisebelisoa ka nepo, ho tla itšetleha haholo ka lisebelisoa tsa hau. Ntle le moo, lebelo la karabelo le ntlafala haholo haeba GPU e sebelisoa sebakeng sa CPU.

Ho kenya Gemma 3 ho Windows 11 ho bonolo ho feta kamoo ho bonahalang kateng.. Ha ho na taba hore na u nka qeto ea ho sebelisa Ollama bakeng sa bonolo ba eona, LM Studio bakeng sa sebopeho sa eona sa litšoantšo, kapa Google AI Studio ho e bapala e bolokehile marung. Ntho ea bohlokoa ke hore mokhoa o mong le o mong o ikamahanya le maemo a fapaneng a boiphihlelo le bokhoni ba tekheniki. Kaha joale u tseba likhetho tsohle le seo u se hlokang ho qala, u ka qala ho leka bohlale bona ba maiketsetso ba lehae kajeno.