Si të instaloni Gemma 3 LLM në Windows 11 hap pas hapi

Modelet e gjuhëve me burim të hapur kanë evoluar me hapa të mëdhenj dhe Sot është e mundur t'i shijoni ato drejtpërdrejt nga një kompjuter personal pa u varur nga shërbimet cloud.. Një nga më premtuesit aktualisht është Gemma 3, LLM e re e Google e bazuar në teknologjinë Gemini, e cila dallohet për aftësinë e saj për të përpunuar tekstin dhe imazhet, si dhe për dritaren e saj të madhe të kontekstit deri në 128 mijë shenja në versionet e saj të avancuara. Për më shumë informacion në lidhje me këtë version, mund të vizitoni artikullin tonë në prezantimi i Gemma 3.

Nëse jeni duke përdorur Windows 11 dhe kërkoni të instaloni Gemma 3 për eksperimentim apo edhe prodhim lokal, ju keni ardhur në vendin e duhur. Le të shqyrtojmë në detaje të gjitha mënyrat e mundshme për ta vënë atë në përdorim dhe funksionimin në kompjuterin tuaj, duke përfshirë opsionet më të rekomanduara si Olama, LM Studio, si dhe një alternativë të bazuar në cloud me Google AI Studio. Përveç kësaj, ne do të trajtojmë kërkesat teknike, avantazhet e secilës metodë dhe Si të shfrytëzoni sa më shumë potencialin e kësaj inteligjence të fuqishme artificiale.

Çfarë është Gemma 3 dhe pse ta instaloni atë?

Gemma 3 është gjenerata e tretë e modeleve LLM të lëshuara nga Google nën një licencë me burim të hapur.. Ndryshe nga zgjidhjet e mëparshme si Llama ose Mistral, ai ofron mbështetje të drejtpërdrejtë për futjen e imazhit, një kontekst shumë më të gjerë dhe mbështetje për mbi 140 gjuhë. Në varësi të nevojave tuaja, ju mund të zgjidhni nga disa versione të modelit që variojnë nga parametrat 1B deri në 27B:

• Gemma 3:1B: Model i lehtë, ideal për detyrat bazë dhe mjedise me burime të kufizuara.
• Gemma 3:4B: Balancimi i performancës dhe efikasitetit për aplikime të ndërmjetme.
• Gemma 3:12B: Rekomandohet për analiza komplekse, programim dhe përpunim shumëgjuhësh.
• Gemma 3:27B: Opsioni më i fuqishëm, i projektuar për përdorime intensive, multimodale me kapacitet të madh kontekstual.

Mundësia e ekzekutimit të një modeli kaq të avancuar nga kompjuteri juaj Ai ndryshon rregullat e lojës për sa i përket privatësisë, shpejtësisë së përgjigjes dhe varësisë nga palët e treta. Nuk keni më nevojë të paguani abonime mujore ose të hiqni dorë nga të dhënat tuaja. Mjafton vetëm pak përgatitje dhe dëshirë për të mësuar. Nëse dëshironi të dini më shumë për përfitimet e këtyre modeleve, shikoni artikullin tonë mbi Modele të inteligjencës artificiale me peshë të hapur.

Opsioni 1: Instalimi me Ollama

Ollama është ndoshta mënyra më e lehtë për të ekzekutuar LLM si Gemma 3 nga Windows 11. Ndërfaqja e saj e bazuar në terminal ju lejon të instaloni dhe ekzekutoni modele me një linjë të thjeshtë komande. Plus, është i pajtueshëm me macOS, Linux dhe Windows, duke e bërë të lehtë përdorimin në një sërë mjedisesh.

Hapat për të instaluar Olama dhe për të ekzekutuar Gemma 3:

1. Hyni në faqen zyrtare të internetit: olama.com.
2. Shkarkoni instaluesin për Windows dhe ekzekutoni atë si çdo program tjetër.
3. Hapni Command Prompt (CMD) ose PowerShell dhe verifikoni instalimin me:

ollama --version

Nëse gjithçka shkon mirë, tani mund të shkarkoni cilindo nga shabllonet e disponueshëm të Gemma 3. Thjesht ekzekutoni një nga këto komanda në varësi të shabllonit që dëshironi:

ollama run gemma3:1b
ollama run gemma3:4b
ollama run gemma3:12b
ollama run gemma3:27b

Pasi të keni shkarkuar, mund ta nisni lehtësisht modelin.. Për ta bërë këtë, ekzekutoni:

ollama init gemma3

Që nga ai moment, ju mund të filloni të ndërveproni me LLM duke:

ollama query gemma3 "¿Cuál es la capital de Japón?"

Nëse dëshironi të përfitoni nga funksionet multimodale, mund të përdorni gjithashtu imazhe në pyetjet tuaja:

ollama query gemma3 --image "ruta-de-la-imagen.jpg"

Çfarë ju nevojitet për ta bërë atë të funksionojë mirë? Megjithëse Ollama nuk imponon kërkesa strikte minimale, modelet më të mëdha (si 27B) kërkojnë të paktën 32 GB RAM. Me 16 GB mund të punoni pa probleme me modelin 7B dhe megjithëse përdorimi i një GPU nuk është i detyrueshëm, ai ndihmon shumë në shpejtësi.

Opsioni 2: Përdorni LM Studio

LM Studio është një tjetër mjet falas që ju lejon të instaloni dhe ekzekutoni modelet LLM në nivel lokal nga një ndërfaqe grafike.. Ai është i pajtueshëm me Windows, macOS dhe Linux, dhe avantazhi i tij i madh është se nuk kërkon njohuri teknike për të funksionuar.

udhëzime:

1. Shkarkoni LM Studio nga faqja e saj zyrtare: lmstudio.ai.
2. Instaloni dhe ekzekutoni atë.
3. Klikoni në ikonën e xhamit zmadhues që thotë "Zbulo".
4. Shkruani "Gemma 3" në motorin e kërkimit për të parë modelet e disponueshme.

Para instalimit, kontrolloni nëse modeli është i pajtueshëm me pajisjen tuaj. Nëse shihni paralajmërimin "Mund të jetë shumë i madh për këtë makinë", mund ta instaloni përsëri, por performanca optimale nuk është e garantuar.

Pasi të jetë shkarkuar një model i përputhshëm:

• Klikoni "Load Model" për ta ngarkuar atë.
• Ose hapni një bisedë të re dhe zgjidhni modelin nga menyja rënëse.

Gjëja më e mirë për LM Studio është se ai vepron si një lloj ChatGPT lokal, jashtë linje dhe në gjuhën tuaj. Nëse dëshironi, mund të krijoni biseda të shumta dhe t'i ruani bisedat tuaja. Për më tepër, nëse aktivizoni opsionin "Serveri lokal", mund ta integroni atë me aplikacionet tuaja Python duke përdorur API-në e pajtueshme me OpenAI.

Opsioni 3: Përdorni Google AI Studio (në linjë)

Nëse nuk mundeni ose nuk dëshironi të instaloni asgjë, mund të përdorni Gemma 3 direkt nga cloud me Google AI Studio. Nuk kërkohet instalim, por kërkohet një lidhje interneti dhe një llogari Google.

Ju vetëm duhet të shkoni në aistudio.google.com dhe zgjidhni "Gemma 3" nga lista e modeleve. Që nga ai moment, mund të filloni të bisedoni me modelin sikur të ishte një version i avancuar i Bard ose ChatGPT, duke përfshirë futjen e imazhit.

Instalimi në renë kompjuterike me NodeShift (opsionale)

Për ata që kërkojnë më shumë fuqi ose për të vendosur modelin në mënyrë profesionale, ekziston mundësia e përdorimit të shërbimeve cloud si NodeShift. Me to, ju mund të merrni me qira makina me GPU të fuqishme dhe të konfiguroni mjedisin tuaj ideal për të ekzekutuar Gemma 3 pa kufizime.

Hapat bazë në NodeShift:

1. Krijoni një llogari në app.nodeshift.com.
2. Nis një nyje të personalizuar GPU (p.sh. me 2x RTX 4090).
3. Zgjidhni një imazh të parakonfiguruar me Ubuntu + Nvidia CUDA ose Jupyter Notebook, në varësi të faktit nëse do të përdorni Ollama ose Transformers.
4. Lidhuni përmes SSH dhe instaloni modelin nga linja e komandës.

Ky lloj instalimi ju jep akses në konfigurime profesionale, ideale për modelet e trajnimit, vlerësimin e performancës, etj. Megjithëse nuk është thelbësor për përdoruesit shtëpiak, është i dobishëm për ata që duan të eksperimentojnë në thellësi ose të ndërtojnë aplikacione në LLM të avancuara.

Kërkesat e sistemit dhe rekomandimet teknike

Jo të gjitha modelet Gemma 3 do të funksionojnë në çdo PC. Më poshtë ju lëmë një referencë të përgjithshme sipas llojit të modelit:

• në modelet 1B deri në 7B: minimale GB RAM 8. Ata punojnë në pothuajse çdo kompjuter modern, edhe pa një GPU.
• në Modelet 13B: rekomandohen 16 GB deri në 24 GB RAM.
• në Modelet 27B: janë të nevojshme të paktën 32 GB RAM dhe mundësisht një GPU të dedikuar.

Të kesh më shumë RAM përshpejton funksionimin dhe parandalon gabimet për shkak të mungesës së memories. Ndërsa Olama dhe LM Studio përpiqen të përdorin burimet në mënyrë efikase, kjo do të varet shumë nga pajisja juaj. Përveç kësaj, shpejtësia e përgjigjes përmirësohet ndjeshëm nëse përdoret GPU në vend të CPU.

Instalimi i Gemma 3 në Windows 11 është më i lehtë nga sa duket.. Nuk ka rëndësi nëse vendosni të përdorni Ollama për thjeshtësinë e saj, LM Studio për ndërfaqen e tij grafike ose Google AI Studio për ta luajtur atë të sigurt në cloud. Gjëja e rëndësishme është që secila metodë përshtatet me nivele të ndryshme të përvojës dhe aftësive teknike. Tani që i dini të gjitha opsionet dhe çfarë ju nevojitet për të filluar, mund të filloni të eksperimentoni me këtë inteligjencë artificiale mbresëlënëse lokale sot.