Faʻafefea ona faʻapipiʻi Gemma 3 LLM i luga Windows 11 laasaga i lea laasaga

O fa'ata'ita'iga gagana fa'amatalaga tatala ua fa'atuputeleina fa'atasi, ma I aso nei e mafai ona fiafia saʻo mai se komepiuta patino e aunoa ma le faʻalagolago i auaunaga ao.. O se tasi o mea sili ona folafola i le taimi nei o Gemma 3, Google LLM fou e faʻavae i luga o le tekonolosi Gemini, lea e tu i fafo mo lona mafaia ona faʻagasolo tusitusiga ma ata, faʻapea foʻi ma le tele o le faʻamalama faʻamatalaga e oʻo atu i le 128k faʻailoga i ana faʻasalalauga. Mo nisi faʻamatalaga e uiga i lenei faʻasalalauga, e mafai ona e asiasi i la matou tusiga ile le faʻaaliga a Gemma 3.

Afai o loʻo e faʻaaogaina Windows 11 ma vaʻai e faʻapipiʻi Gemma 3 mo faʻataʻitaʻiga poʻo le gaosiga i le lotoifale, ua e sau i le nofoaga sa'o. Se'i o tatou fa'amatala au'ili'ili auala uma e mafai ai ona fa'agasolo ma fa'agaoioi i luga o lau komepiuta, e aofia ai ma filifiliga sili ona fautuaina e pei ole Ollama, LM Studio, fa'apea fo'i ma le fa'aogaina o le ao ma le Google AI Studio. E le gata i lea, o le a matou faʻatalanoaina manaoga faʻapitoa, tulaga lelei o metotia taʻitasi ma E faʻafefea ona faʻaogaina le tele o le gafatia o lenei atamai faʻapitoa mamana.

O le a le Gemma 3 ma aisea e faʻapipiʻi ai?

Gemma 3 o le lona tolu o augatupulaga o faʻataʻitaʻiga LLM na tuʻuina atu e Google i lalo o se laisene faʻamatalaga tatala.. E le pei o fofo muamua e pei o Llama poʻo Mistral, e ofoina atu le lagolago tuusaʻo mo le faʻaogaina o ata, se faʻamatalaga lautele lautele, ma le lagolago mo le silia ma le 140 gagana. Faʻalagolago i ou manaʻoga, e mafai ona e filifili mai le tele o faʻasologa o le faʻataʻitaʻiga mai le 1B i le 27B parakalafa:

• Kema 3:1B: Fa'ata'ita'iga mama lelei mo galuega fa'avae ma si'osi'omaga fa'atapula'aina puna'oa.
• Kema 3:4B: Fa'apaleni le fa'atinoga ma le lelei mo fa'aoga le tumau.
• Kema 3:12B: Fautuaina mo au'ili'iliga lavelave, polokalame ma fa'agaioiga gagana.
• Kema 3:27B: Le filifiliga sili ona mamana, ua fuafuaina mo le malosi, faʻaoga multimodal faʻatasi ai ma le malosi faʻapitoa.

Le avanoa e faʻatautaia ai se faʻataʻitaʻiga faʻapitoa mai lau PC E suia ai tulafono o le taʻaloga i tulaga le faalauaiteleina, tali vave, ma le faalagolago i isi vaega. E te le toe mana'omia le totogiina o saofaga masina pe tu'u lau fa'amatalaga. Pau lava le mea e manaomia o sina sauniuniga laitiiti ma se naunautaiga e aoao. Afai e te fia iloa atili e uiga i faʻamanuiaga o nei faʻataʻitaʻiga, siaki la matou tusiga i luga faʻataʻitaʻiga AI mamafa tatala.

Filifiliga 1: Faʻapipiʻi ma Ollama

Ollama atonu o le auala pito sili lea ona faigofie e taʻavale ai le LLM pei o Gemma 3 mai Windows 11. O lona fa'aogaina fa'amaufa'ailoga e mafai ai ona e fa'apipi'i ma fa'ata'ita'i fa'ata'ita'iga i se laina fa'atonu faigofie. Ma le isi, e fetaui ma macOS, Linux, ma Windows, fa'afaigofie ona fa'aoga i si'osi'omaga eseese.

Laasaga e faʻapipiʻi ai Ollama ma taʻavale Gemma 3:

1. Avanoa ile upegatafa'ilagi aloaia: olama.com.
2. La'u mai le fa'apipi'i mo Windows ma taʻavale e pei o isi polokalame.
3. Tatala Polokalama Polokalama (CMD) poʻo le PowerShell ma faʻataʻitaʻi le faʻapipiʻi ma:

ollama --version

Afai e lelei mea uma, e mafai nei ona e sii maia soʻo se faʻataʻitaʻiga Gemma 3 avanoa. Na'o le fa'atinoina o se tasi o nei tulafono e fa'atatau i le fa'ata'ita'iga e te mana'o ai:

ollama run gemma3:1b
ollama run gemma3:4b
ollama run gemma3:12b
ollama run gemma3:27b

A uma ona sii mai, e faigofie ona e amataina le faʻataʻitaʻiga.. Ina ia faia lenei mea, tamoe:

ollama init gemma3

Mai lena taimi, e mafai ona e amata fegalegaleai ma le LLM e ala i:

ollama query gemma3 "¿Cuál es la capital de Japón?"

Afai e te manaʻo e faʻaogaina le tele o galuega, e mafai fo'i ona e fa'aogaina ata i au fesili:

ollama query gemma3 --image "ruta-de-la-imagen.jpg"

O le a le mea e te manaʻomia e faʻaoga lelei ai? E ui lava e le tuʻuina atu e Ollama ni manaʻoga maualalo, o faʻataʻitaʻiga tetele (pei o le 27B) e manaʻomia le itiiti ifo i le 32GB o le RAM. Faatasi ai ma le 16GB e mafai ona e galue e aunoa ma ni faʻafitauli i le 7B faʻataʻitaʻiga, ma e ui o le faʻaaogaina o se GPU e le faʻatagaina, e fesoasoani tele i le saoasaoa.

Filifiliga 2: Fa'aoga le LM Studio

O le LM Studio o se isi meafaigaluega e leai se totogi e mafai ai ona e faʻapipiʻi ma faʻataʻitaʻiina faʻataʻitaʻiga LLM i le lotoifale mai se ata faʻataʻitaʻi.. E fetaui lelei ma Windows, macOS, ma Linux, ma o lona lelei sili e le manaʻomia ai le poto faʻapitoa e faʻatino ai.

Faatonuga:

1. Tikia LM Studio mai lana upega tafaʻilagi aloaia: lmstudio.ai.
2. Faatu ma tamoe.
3. Kiliki i luga o le fa'aikona tioata fa'atele o lo'o fai mai "Discover."
4. Fa'aoga "Gemma 3" i totonu ole masini su'esu'e e va'ai i fa'ata'ita'iga avanoa.

Aʻo leʻi faʻapipiʻi, siaki pe o fetaui le faʻataʻitaʻiga ma au meafaigaluega. Afai e te vaʻai i le lapataiga "Masalo tele tele mo lenei masini," e mafai lava ona e faʻapipiʻi, ae e le faʻamaonia le faʻatinoga sili ona lelei.

A uma loa ona la'uina mai se fa'ata'ita'iga talafeagai:

• Oomi le "Load Model" e uta ai.
• Po'o le tatalaina o se talatalanoaga fou ma filifili le fa'ata'ita'iga mai le lisi fa'alalo.

O le mea sili e uiga i le LM Studio o le galue o se ituaiga o ChatGPT i le lotoifale, tuusao ma lau gagana. E mafai ona e fatuina ni talatalanoaga se tele ma teu au talanoaga pe a e manaʻo ai. E le gata i lea, afai e te faʻatagaina le "Local Server" filifiliga, e mafai ona e tuʻufaʻatasia ma au talosaga Python e faʻaaoga ai le OpenAI-compatible API.

Filifiliga 3: Fa'aoga le Google AI Studio (i luga ole laiga)

Afai e te le mafai pe e te le manaʻo e faʻapipiʻi se mea, e mafai ona e faʻaogaina Gemma 3 saʻo mai le ao ma Google AI Studio. Leai se fa'apipi'i mana'omia, ae mana'omia se feso'ota'iga Initaneti ma se Google account.

E tatau lava ona e alu i aistudio.google.com ma filifili "Gemma 3" mai le lisi o faʻataʻitaʻiga. Mai lena taimi i luga, e mafai ona e amata talatalanoa ma le faʻataʻitaʻiga e pei o se faʻasologa maualuga o Bard poʻo ChatGPT, e aofia ai le faʻaogaina o ata.

Fa'apipi'i ao ma NodeShift (filifiliga)

Mo i latou o loʻo suʻeina le mana sili atu pe faʻapipiʻi le faʻataʻitaʻiga faʻapolofesa, o loʻo i ai le filifiliga o le faʻaaogaina o auaunaga ao pei o NodeShift. Faatasi ai ma i latou, e mafai ona e lisiina masini ma GPU mamana ma faʻapipiʻi lou siosiomaga lelei e faʻatautaia Gemma 3 e aunoa ma ni tapulaa.

Laasaga autu ile NodeShift:

1. Fausia se teuga tupe i app.nodeshift.com.
2. Amata se Node GPU masani (faataitaiga ma le 2x RTX 4090).
3. Filifili se ata faʻapipiʻi muamua ma le Ubuntu + Nvidia CUDA poʻo le Jupyter Notebook, faʻalagolago pe o le ae faʻaaogaina Ollama poʻo Transformers.
4. Faʻafesoʻotaʻi e ala i le SSH ma faʻapipiʻi le faʻataʻitaʻiga mai le laina faʻatonu.

O lenei ituaiga faʻapipiʻi e te maua ai le avanoa i faʻasalalauga faʻapolofesa, lelei mo aʻoaʻoga faʻataʻitaʻiga, iloiloga faʻatinoga, ma isi. E ui e le taua mo tagata faʻaoga fale, e aoga mo i latou e fia faʻataʻitaʻi loloto pe fausia ni talosaga i luga o LLMs maualuga.

Mana'oga fa'aoga ma fautuaga fa'apitoa

E le o faʻataʻitaʻiga Gemma 3 uma o le a taʻavale i soʻo se PC. Lalo matou te tuʻuina atu ia te oe se faʻamatalaga lautele e tusa ai ma le ituaiga o faʻataʻitaʻiga:

• Para fa'ata'ita'iga 1B i le 7B: aupito maualalo 8 GB o RAM. Latou te galulue i luga o soʻo se PC faʻaonaponei, e tusa lava pe leai se GPU.
• Para 13B fa'ata'ita'iga: e fautuaina 16GB i le 24GB RAM.
• Para 27B fa'ata'ita'iga: e mana'omia sili atu 32 GB o RAM ma sili atu se GPU tuuto.

O le tele o le RAM e faʻavaveina ai le gaioiga ma puipuia mea sese ona o le leai o se manatua. A'o taumafai Ollama ma LM Studio e fa'aoga lelei punaoa, e fa'alagolago tele i au meafaigaluega. E le gata i lea, o le tali vave e faʻaleleia atili pe a faʻaaogaina le GPU nai lo le PPU.

Faʻapipiʻi Gemma 3 i luga Windows 11 e faigofie nai lo le mea e foliga mai.. E le afaina pe afai e te filifili e faʻaaoga Ollama mo lona faigofie, LM Studio mo lona faʻataʻitaʻiga ata, poʻo Google AI Studio e taʻalo saogalemu i le ao. O le mea taua o auala taʻitasi e faʻafetaui i tulaga eseese o le poto masani ma tomai faʻapitoa. I le taimi nei ua e iloa uma filifiliga ma mea e te manaʻomia e amata ai, e mafai ona e amata faʻataʻitaʻi i lenei atamai faʻalotoifale mataʻina i aso nei.