Hvernig á að setja upp Gemma 3 LLM á Windows 11 skref fyrir skref

Opinn uppspretta tungumálalíkön hafa þróast hratt, og Í dag er hægt að njóta þeirra beint úr einkatölvu án þess að vera háð skýjaþjónustu.. Einn sá efnilegasti um þessar mundir er Gemma 3, nýja LLM Google sem byggir á Gemini tækni, sem sker sig úr fyrir getu sína til að vinna úr texta og myndum, sem og fyrir gríðarlegan samhengisglugga allt að 128 þúsund tákn í háþróaðri útgáfum. Fyrir frekari upplýsingar um þessa útgáfu geturðu heimsótt grein okkar um kynning á Gemma 3.

Ef þú ert að nota Windows 11 og ætlar að setja upp Gemma 3 fyrir tilraunir eða jafnvel staðbundna framleiðslu, þú ert kominn á réttan stað. Við skulum fara ítarlega yfir allar mögulegar leiðir til að koma því í gang á tölvunni þinni, þar á meðal þá valkosti sem mælt er með eins og Ollama, LM Studio, og einnig skýjabundinn valkost með Google AI Studio. Að auki munum við fjalla um tæknilegar kröfur, kosti hverrar aðferðar og Hvernig á að nýta möguleika þessarar öflugu gervigreindar sem best.

Hvað er Gemma 3 og af hverju að setja það upp?

Gemma 3 er þriðja kynslóð LLM módel sem gefin er út af Google undir opnu leyfi.. Ólíkt fyrri lausnum eins og Llama eða Mistral býður það upp á beinan stuðning við innslátt mynd, miklu víðara samhengi og stuðning fyrir yfir 140 tungumál. Það fer eftir þörfum þínum, þú getur valið úr nokkrum útgáfum af líkaninu, allt frá 1B til 27B breytur:

• Gemma 3:1B: Létt líkan tilvalið fyrir grunnverkefni og takmarkað umhverfi.
• Gemma 3:4B: Jafnvægi frammistöðu og skilvirkni fyrir millistig forrit.
• Gemma 3:12B: Mælt með fyrir flókna greiningu, forritun og fjöltyngda vinnslu.
• Gemma 3:27B: Öflugasti valkosturinn, hannaður fyrir mikla, fjölþætta notkun með mikla samhengisgetu.

Möguleikinn á að keyra svo háþróaða gerð úr tölvunni þinni Það breytir leikreglum hvað varðar friðhelgi einkalífs, svarhraða og háð þriðja aðila. Þú þarft ekki lengur að borga mánaðarlega áskrift eða gefa upp gögnin þín. Allt sem þarf er smá undirbúningur og löngun til að læra. Ef þú vilt vita meira um kosti þessara gerða skaltu skoða grein okkar um gervigreindarlíkön með opnum þyngd.

Valkostur 1: Uppsetning með Ollama

Ollama er líklega auðveldasta leiðin til að keyra LLM eins og Gemma 3 frá Windows 11. Flugstöðvarviðmót þess gerir þér kleift að setja upp og keyra gerðir með einfaldri skipanalínu. Auk þess er það samhæft við macOS, Linux og Windows, sem gerir það auðvelt í notkun í ýmsum umhverfi.

Skref til að setja upp Ollama og keyra Gemma 3:

1. Fáðu aðgang að opinberu vefsíðunni: ollama.com.
2. Sækja uppsetningarforritið fyrir Windows og keyra það eins og hvert annað forrit.
3. Opnaðu Command Prompt (CMD) eða PowerShell og staðfestu uppsetninguna með:

ollama --version

Ef allt gengur upp geturðu nú halað niður hvaða Gemma 3 sniðmát sem er tiltækt. Einfaldlega keyrðu eina af þessum skipunum eftir því hvaða sniðmát þú vilt:

ollama run gemma3:1b
ollama run gemma3:4b
ollama run gemma3:12b
ollama run gemma3:27b

Þegar þú hefur hlaðið niður geturðu auðveldlega ræst líkanið.. Til að gera þetta skaltu keyra:

ollama init gemma3

Frá þeirri stundu geturðu byrjað að hafa samskipti við LLM með því að:

ollama query gemma3 "¿Cuál es la capital de Japón?"

Ef þú vilt nýta þér fjölþættar aðgerðir, þú getur líka notað myndir í fyrirspurnum þínum:

ollama query gemma3 --image "ruta-de-la-imagen.jpg"

Hvað þarf til að það virki vel? Þó að Ollama setji ekki strangar lágmarkskröfur, þurfa stærri gerðir (eins og 27B) að minnsta kosti 32GB af vinnsluminni. Með 16GB er hægt að vinna vandræðalaust með 7B líkanið og þó notkun á GPU sé ekki skylda þá hjálpar það mikið í hraðanum.

Valkostur 2: Notaðu LM Studio

LM Studio er annað ókeypis tól sem gerir þér kleift að setja upp og keyra LLM módel á staðnum frá grafísku viðmóti.. Það er samhæft við Windows, macOS og Linux og mikill kostur þess er að það þarf ekki tæknilega þekkingu til að starfa.

Leiðbeiningar:

1. Sæktu LM Studio frá opinberu vefsíðunni: lmstudio.ai.
2. Settu það upp og keyrðu það.
3. Smelltu á stækkunarglerstáknið sem segir „Uppgötvaðu“.
4. Sláðu inn „Gemma 3“ í leitarvélina til að sjá tiltækar gerðir.

Áður en þú setur upp skaltu athuga hvort líkanið sé samhæft við búnaðinn þinn. Ef þú sérð viðvörunina „Líklega of stór fyrir þessa vél“ geturðu samt sett hana upp, en ákjósanlegur árangur er ekki tryggður.

Þegar samhæfri gerð hefur verið hlaðið niður:

• Ýttu á „Load Model“ til að hlaða því.
• Eða opnaðu nýtt spjall og veldu líkanið úr fellivalmyndinni.

Það besta við LM Studio er að það virkar sem eins konar staðbundið ChatGPT, offline og á þínu tungumáli. Þú getur búið til mörg spjall og vistað samtölin þín ef þú vilt. Að auki, ef þú virkjar „Local Server“ valmöguleikann, geturðu samþætt hann við Python forritin þín með því að nota OpenAI-samhæft API.

Valkostur 3: Notaðu Google AI Studio (á netinu)

Ef þú getur ekki eða vilt ekki setja neitt upp geturðu notað Gemma 3 beint úr skýinu með Google AI Studio. Engin uppsetning er nauðsynleg, en internettenging og Google reikningur er nauðsynlegur.

Þú verður bara að fara til aistudio.google.com og veldu „Gemma 3“ af listanum yfir gerðir. Frá þeirri stundu geturðu byrjað að spjalla við líkanið eins og það væri háþróuð útgáfa af Bard eða ChatGPT, þar á meðal myndinnsláttur.

Skýjauppsetning með NodeShift (valfrjálst)

Fyrir þá sem eru að leita að meiri krafti eða að dreifa líkaninu faglega, það er möguleiki á að nota skýjaþjónustu eins og NodeShift. Með þeim geturðu leigt vélar með öflugum GPU og stillt kjörað umhverfi þitt til að keyra Gemma 3 án takmarkana.

Grunnskref í NodeShift:

1. Búðu til reikning hjá app.nodeshift.com.
2. Byrjaðu á sérsniðnum GPU hnút (t.d. með 2x RTX 4090).
3. Veldu forstillta mynd með Ubuntu + Nvidia CUDA eða Jupyter Notebook, eftir því hvort þú ætlar að nota Ollama eða Transformers.
4. Tengstu í gegnum SSH og settu upp líkanið frá skipanalínunni.

Þessi tegund uppsetningar veitir þér aðgang að faglegum stillingum, tilvalið til að þjálfa módel, meta frammistöðu osfrv. Þó að það sé ekki nauðsynlegt fyrir heimilisnotendur, er það gagnlegt fyrir þá sem vilja gera tilraunir í dýpt eða byggja forrit á háþróaðri LLM.

Kerfiskröfur og tæknilegar ráðleggingar

Ekki munu allar Gemma 3 gerðir keyra á hvaða tölvu sem er. Hér að neðan skiljum við þér almenna tilvísun í samræmi við gerð líkans:

• að gerðir 1B til 7B: lágmark GB RAM 8. Þeir virka á næstum hvaða nútíma tölvu sem er, jafnvel án GPU.
• að 13B módel: mælt er með 16GB til 24GB vinnsluminni.
• að 27B módel: þarf að minnsta kosti 32 GB af vinnsluminni og helst sérstakan GPU.

Að hafa meira vinnsluminni flýtir fyrir notkun og kemur í veg fyrir villur vegna skorts á minni. Þó að Ollama og LM Studio reyni að nota auðlindir á skilvirkan hátt, þá fer það mikið eftir vélbúnaðinum þínum. Að auki batnar svarhraðinn verulega ef GPU er notaður í stað CPU.

Að setja upp Gemma 3 á Windows 11 er auðveldara en það virðist.. Það skiptir ekki máli hvort þú ákveður að nota Ollama fyrir einfaldleikann, LM Studio fyrir grafíska viðmótið eða Google AI Studio til að spila það öruggt í skýinu. Það sem skiptir máli er að hver aðferð aðlagast mismunandi reynslustigi og tæknilegri getu. Nú þegar þú veist alla valkostina og hvað þú þarft til að byrja, geturðu byrjað að gera tilraunir með þessa glæsilegu staðbundna gervigreind í dag.