Sut i osod Gemma 3 LLM ar Windows 11 gam wrth gam

Mae modelau iaith ffynhonnell agored wedi datblygu fesul tipyn, a Heddiw mae'n bosibl eu mwynhau'n uniongyrchol o gyfrifiadur personol heb ddibynnu ar wasanaethau cwmwl.. Un o'r rhai mwyaf addawol ar hyn o bryd yw Gemma 3, LLM newydd Google yn seiliedig ar dechnoleg Gemini, sy'n sefyll allan am ei allu i brosesu testun a delweddau, yn ogystal ag am ei ffenestr cyd-destun enfawr o hyd at 128k o docynnau yn ei fersiynau uwch. I gael rhagor o wybodaeth am y datganiad hwn, gallwch ymweld â'n herthygl ar cyflwyniad Gemma 3.

Os ydych chi'n defnyddio Windows 11 ac yn edrych i osod Gemma 3 ar gyfer arbrofi neu hyd yn oed gynhyrchu lleol, rydych chi wedi dod i'r lle iawn. Gadewch i ni fynd drosodd yn fanwl i'r holl ffyrdd posibl o'i roi ar waith ar eich cyfrifiadur, gan gynnwys yr opsiynau a argymhellir fwyaf fel Ollama, LM Studio, a hefyd dewis arall yn y cwmwl gyda Google AI Studio. Yn ogystal, byddwn yn rhoi sylw i ofynion technegol, manteision pob dull a Sut i wneud y gorau o botensial y deallusrwydd artiffisial pwerus hwn.

Beth yw Gemma 3 a pham ei osod?

Gemma 3 yw'r drydedd genhedlaeth o fodelau LLM a ryddhawyd gan Google o dan drwydded ffynhonnell agored.. Yn wahanol i atebion blaenorol fel Llama neu Mistral, mae'n cynnig cefnogaeth uniongyrchol ar gyfer mewnbwn delwedd, cyd-destun llawer ehangach, a chefnogaeth i dros 140 o ieithoedd. Yn dibynnu ar eich anghenion, gallwch ddewis o sawl fersiwn o'r model yn amrywio o baramedrau 1B i 27B:

• Gema 3:1B: Model ysgafn sy'n ddelfrydol ar gyfer tasgau sylfaenol ac amgylcheddau sy'n gyfyngedig o ran adnoddau.
• Gema 3:4B: Cydbwyso perfformiad ac effeithlonrwydd ar gyfer ceisiadau canolradd.
• Gema 3:12B: Argymhellir ar gyfer dadansoddi cymhleth, rhaglennu a phrosesu amlieithog.
• Gema 3:27B: Yr opsiwn mwyaf pwerus, wedi'i gynllunio ar gyfer defnyddiau dwys, amlfodd gyda gallu cyd-destunol gwych.

Y posibilrwydd o redeg model mor ddatblygedig o'ch cyfrifiadur personol Mae'n newid rheolau'r gêm o ran preifatrwydd, cyflymder ymateb, a dibyniaeth ar drydydd partïon. Nid oes angen i chi dalu tanysgrifiadau misol nac ildio'ch data mwyach. Y cyfan sydd ei angen yw ychydig o baratoi ac awydd i ddysgu. Os ydych chi eisiau gwybod mwy am fanteision y modelau hyn, edrychwch ar ein herthygl ar modelau AI pwysau agored.

Opsiwn 1: Gosod gydag Olama

Mae'n debyg mai Ollama yw'r ffordd hawsaf i redeg LLM fel Gemma 3 o Windows 11. Mae ei ryngwyneb terfynell yn caniatáu ichi osod a rhedeg modelau gyda llinell orchymyn syml. Hefyd, mae'n gydnaws â macOS, Linux, a Windows, gan ei gwneud hi'n hawdd ei ddefnyddio mewn amrywiaeth o amgylcheddau.

Camau i osod Ollama a rhedeg Gemma 3:

1. Cyrchwch y wefan swyddogol: ollama.com.
2. Dadlwythwch y gosodwr ar gyfer Windows a'i redeg fel unrhyw raglen arall.
3. Agorwch Anogwr Gorchymyn (CMD) neu PowerShell a gwiriwch y gosodiad gyda:

ollama --version

Os aiff popeth yn iawn, gallwch nawr lawrlwytho unrhyw un o'r templedi Gemma 3 sydd ar gael. Yn syml, rhedeg un o'r gorchmynion hyn yn dibynnu ar y templed rydych chi ei eisiau:

ollama run gemma3:1b
ollama run gemma3:4b
ollama run gemma3:12b
ollama run gemma3:27b

Ar ôl ei lawrlwytho, gallwch chi ddechrau'r model yn hawdd.. I wneud hyn, rhedeg:

ollama init gemma3

O'r eiliad honno ymlaen, gallwch ddechrau rhyngweithio â'r LLM trwy:

ollama query gemma3 "¿Cuál es la capital de Japón?"

Os ydych chi am fanteisio ar swyddogaethau amlfodd, gallwch hefyd ddefnyddio delweddau yn eich ymholiadau:

ollama query gemma3 --image "ruta-de-la-imagen.jpg"

Beth sydd ei angen arnoch i wneud iddo weithio'n dda? Er nad yw Ollama yn gosod gofynion sylfaenol llym, mae angen o leiaf 27GB o RAM ar fodelau mwy (fel y 32B). Gyda 16GB gallwch weithio heb broblemau gyda'r model 7B, ac er nad yw'r defnydd o GPU yn orfodol, mae'n helpu llawer o ran cyflymder.

Opsiwn 2: Defnyddio LM Studio

Offeryn rhad ac am ddim arall yw LM Studio sy'n eich galluogi i osod a rhedeg modelau LLM yn lleol o ryngwyneb graffigol.. Mae'n gydnaws â Windows, macOS, a Linux, a'i fantais fawr yw nad oes angen gwybodaeth dechnegol arno i weithredu.

Cyfarwyddiadau:

1. Dadlwythwch LM Studio o'i wefan swyddogol: lmstudio.ai.
2. Ei osod a'i redeg.
3. Cliciwch ar yr eicon chwyddwydr sy'n dweud "Darganfod."
4. Teipiwch “Gemma 3” yn y peiriant chwilio i weld y modelau sydd ar gael.

Cyn gosod, gwiriwch a yw'r model yn gydnaws â'ch offer. Os gwelwch y rhybudd “Tebygol yn rhy fawr i'r peiriant hwn,” gallwch chi ei osod o hyd, ond nid yw'r perfformiad gorau wedi'i warantu.

Unwaith y bydd model cydnaws wedi'i lawrlwytho:

• Cliciwch “Model Llwyth” i'w lwytho.
• Neu agorwch sgwrs newydd a dewiswch y model o'r gwymplen.

Y peth gorau am LM Studio yw ei fod yn gweithredu fel math o ChatGPT lleol, all-lein ac yn eich iaith. Gallwch greu sgyrsiau lluosog ac arbed eich sgyrsiau os dymunwch. Yn ogystal, os ydych chi'n galluogi'r opsiwn “Gweinydd Lleol”, gallwch ei integreiddio â'ch cymwysiadau Python gan ddefnyddio'r API sy'n gydnaws ag OpenAI.

Opsiwn 3: Defnyddio Google AI Studio (ar-lein)

Os na allwch neu os nad ydych am osod unrhyw beth, gallwch ddefnyddio Gemma 3 yn uniongyrchol o'r cwmwl gyda Google AI Studio. Nid oes angen gosod, ond mae angen cysylltiad Rhyngrwyd a chyfrif Google.

Mae'n rhaid i chi fynd i aistudio.google.com a dewis "Gemma 3" o'r rhestr o fodelau. O'r eiliad honno ymlaen, gallwch ddechrau sgwrsio gyda'r model fel pe bai'n fersiwn uwch o Bard neu ChatGPT, gan gynnwys mewnbwn delwedd.

Gosod cwmwl gyda NodeShift (dewisol)

I'r rhai sy'n chwilio am fwy o bŵer neu i ddefnyddio'r model yn broffesiynol, mae yna opsiwn o ddefnyddio gwasanaethau cwmwl fel NodeShift. Gyda nhw, gallwch chi rentu peiriannau gyda GPUs pwerus a ffurfweddu'ch amgylchedd delfrydol i redeg Gemma 3 heb gyfyngiadau.

Camau sylfaenol yn NodeShift:

1. Creu cyfrif yn app.nodeshift.com.
2. Dechreuwch Nod GPU personol (ee gyda 2x RTX 4090).
3. Dewiswch ddelwedd wedi'i ffurfweddu ymlaen llaw gyda Ubuntu + Nvidia CUDA neu Jupyter Notebook, yn dibynnu a fyddwch chi'n defnyddio Ollama neu Transformers.
4. Cysylltwch trwy SSH a gosodwch y model o'r llinell orchymyn.

Mae'r math hwn o osodiad yn rhoi mynediad i chi i ffurfweddiadau proffesiynol, yn ddelfrydol ar gyfer modelau hyfforddi, gwerthuso perfformiad, ac ati Er nad yw'n hanfodol i ddefnyddwyr cartref, mae'n ddefnyddiol i'r rhai sydd am arbrofi'n fanwl neu adeiladu cymwysiadau ar LLMs uwch.

Gofynion system ac argymhellion technegol

Ni fydd pob model Gemma 3 yn rhedeg ar unrhyw gyfrifiadur personol. Isod rydym yn gadael cyfeiriad cyffredinol i chi yn ôl y math o fodel:

• i modelau 1B i 7B: lleiafswm 8 GB o RAM. Maent yn gweithio ar bron unrhyw gyfrifiadur personol modern, hyd yn oed heb GPU.
• i modelau 13B: yn cael eu hargymell 16GB i 24GB RAM.
• i modelau 27B: eu hangen o leiaf 32 GB o RAM ac yn ddelfrydol GPU pwrpasol.

Mae cael mwy o RAM yn cyflymu gweithrediad ac yn atal gwallau oherwydd diffyg cof. Tra bod Ollama a LM Studio yn ceisio defnyddio adnoddau'n effeithlon, bydd yn dibynnu llawer ar eich caledwedd. Yn ogystal, mae'r cyflymder ymateb yn gwella'n sylweddol os defnyddir GPU yn lle CPU.

Mae gosod Gemma 3 ar Windows 11 yn haws nag y mae'n ymddangos.. Nid oes ots a ydych chi'n penderfynu defnyddio Ollama am ei symlrwydd, LM Studio ar gyfer ei ryngwyneb graffigol, neu Google AI Studio i'w chwarae'n ddiogel yn y cwmwl. Y peth pwysig yw bod pob dull yn addasu i wahanol lefelau o brofiad a galluoedd technegol. Nawr eich bod chi'n gwybod yr holl opsiynau a'r hyn sydd ei angen arnoch chi i ddechrau, gallwch chi ddechrau arbrofi gyda'r deallusrwydd artiffisial lleol trawiadol hwn heddiw.