Kuinka asentaa Gemma 3 LLM Windows 11:een vaihe vaiheelta

Avoimen lähdekoodin kielimallit ovat kehittyneet harppauksin, ja Nykyään niistä on mahdollista nauttia suoraan henkilökohtaiselta tietokoneelta ilman pilvipalveluita.. Yksi lupaavimmista tällä hetkellä on Gemma 3, Googlen uusi Gemini-teknologiaan perustuva LLM, joka erottuu kyvystään käsitellä tekstiä ja kuvia sekä valtavasta kontekstiikkunasta, joka sisältää jopa 128 XNUMX merkkiä edistyneissä versioissaan. Lisätietoja tästä julkaisusta on artikkelissamme Gemma 3:n esitys.

Jos käytät Windows 11:tä ja aiot asentaa Gemma 3:n kokeilua tai jopa paikallista tuotantoa varten, olet tullut oikeaan paikkaan. Käydään läpi yksityiskohtaisesti kaikki mahdolliset tavat saada se käyttöön tietokoneellasi, mukaan lukien suosituimmat vaihtoehdot, kuten Ollama, LM Studio ja myös pilvipohjainen vaihtoehto Google AI Studiolla. Lisäksi käsittelemme kunkin menetelmän teknisiä vaatimuksia, etuja ja Kuinka hyödyntää tämän tehokkaan tekoälyn mahdollisuudet.

Mikä Gemma 3 on ja miksi se asennetaan?

Gemma 3 on LLM-mallien kolmas sukupolvi, jonka Google on julkaissut avoimen lähdekoodin lisenssillä.. Toisin kuin aiemmat ratkaisut, kuten Llama tai Mistral, se tarjoaa suoran tuen kuvan syöttöön, paljon laajemman kontekstin ja tuen yli 140 kielelle. Tarpeistasi riippuen voit valita useista mallin versioista 1B - 27B parametrien välillä:

• Gemma 3:1B: Kevyt malli, joka on ihanteellinen perustehtäviin ja resurssirajoitteisiin ympäristöihin.
• Gemma 3:4B: Tasapainottaa suorituskykyä ja tehokkuutta välisovelluksissa.
• Gemma 3:12B: Suositellaan monimutkaiseen analysointiin, ohjelmointiin ja monikieliseen käsittelyyn.
• Gemma 3:27B: Tehokkain vaihtoehto, joka on suunniteltu intensiiviseen, multimodaaliseen käyttöön suurella kontekstikapasiteetilla.

Mahdollisuus käyttää tällaista edistynyttä mallia tietokoneeltasi Se muuttaa pelin sääntöjä yksityisyyden, vastausnopeuden ja kolmansista osapuolista riippuvuuden suhteen. Sinun ei enää tarvitse maksaa kuukausitilauksia tai luovuttaa tietojasi. Tarvitaan vain vähän valmistautumista ja halua oppia. Jos haluat tietää enemmän näiden mallien eduista, tutustu artikkeliimme aiheesta avopainoiset AI-mallit.

Vaihtoehto 1: Asennus Ollamalla

Ollama on luultavasti helpoin tapa käyttää LLM:ää kuten Gemma 3 Windows 11:stä. Sen päätepohjaisen käyttöliittymän avulla voit asentaa ja käyttää malleja yksinkertaisella komentorivillä. Lisäksi se on yhteensopiva macOS:n, Linuxin ja Windowsin kanssa, joten sitä on helppo käyttää erilaisissa ympäristöissä.

Ollaman asennuksen ja Gemma 3:n suorittamisen vaiheet:

1. Siirry viralliselle verkkosivustolle: ollama.com.
2. Lataa asennusohjelma Windowsille ja suorita se kuten mikä tahansa muu ohjelma.
3. Avaa Command Prompt (CMD) tai PowerShell ja tarkista asennus:

ollama --version

Jos kaikki menee hyvin, voit nyt ladata minkä tahansa saatavilla olevista Gemma 3 -malleista. Suorita vain yksi näistä komennoista riippuen haluamasi mallista:

ollama run gemma3:1b
ollama run gemma3:4b
ollama run gemma3:12b
ollama run gemma3:27b

Kun olet ladannut, voit helposti käynnistää mallin.. Voit tehdä tämän suorittamalla:

ollama init gemma3

Siitä hetkestä lähtien voit aloittaa vuorovaikutuksen LLM:n kanssa seuraavasti:

ollama query gemma3 "¿Cuál es la capital de Japón?"

Jos haluat hyödyntää multimodaalisia toimintoja, voit myös käyttää kuvia kyselyissäsi:

ollama query gemma3 --image "ruta-de-la-imagen.jpg"

Mitä tarvitset, jotta se toimisi hyvin? Vaikka Ollama ei aseta tiukkoja vähimmäisvaatimuksia, suuremmat mallit (kuten 27B) vaativat vähintään 32 Gt RAM-muistia. 16 Gt:lla voit työskennellä ilman ongelmia 7B-mallin kanssa, ja vaikka GPU:n käyttö ei ole pakollista, se auttaa paljon nopeuteen.

Vaihtoehto 2: Käytä LM Studiota

LM Studio on toinen ilmainen työkalu, jonka avulla voit asentaa ja käyttää LLM-malleja paikallisesti graafisesta käyttöliittymästä.. Se on yhteensopiva Windowsin, macOS:n ja Linuxin kanssa, ja sen suuri etu on, että se ei vaadi teknistä tietämystä toimiakseen.

ohjeet:

1. Lataa LM Studio sen viralliselta verkkosivustolta: lmstudio.ai.
2. Asenna ja suorita se.
3. Napsauta suurennuslasikuvaketta, jossa lukee "Discover".
4. Näet saatavilla olevat mallit kirjoittamalla hakukoneeseen "Gemma 3".

Tarkista ennen asennusta, onko malli yhteensopiva laitteesi kanssa. Jos näet varoituksen "Todennäköisesti liian suuri tälle koneelle", voit silti asentaa sen, mutta optimaalista suorituskykyä ei taata.

Kun yhteensopiva malli on ladattu:

• Napsauta "Lataa malli" ladataksesi sen.
• Tai avaa uusi chat ja valitse malli avattavasta valikosta.

Parasta LM Studiossa on, että se toimii eräänlaisena paikallisena ChatGPT:nä offline-tilassa ja omalla kielelläsi. Voit luoda useita keskusteluja ja tallentaa keskustelusi, jos haluat. Lisäksi, jos otat käyttöön "Paikallinen palvelin" -vaihtoehdon, voit integroida sen Python-sovelluksiisi käyttämällä OpenAI-yhteensopivaa API:ta.

Vaihtoehto 3: Käytä Google AI Studiota (online)

Jos et pysty tai halua asentaa mitään, voit käyttää Gemma 3:a suoraan pilvestä Google AI Studion avulla. Asennusta ei tarvita, mutta Internet-yhteys ja Google-tili vaaditaan.

Sinun tarvitsee vain mennä aistudio.google.com ja valitse malliluettelosta "Gemma 3". Siitä hetkestä lähtien voit aloittaa keskustelun mallin kanssa ikään kuin se olisi edistynyt versio Bardista tai ChatGPT:stä, mukaan lukien kuvasyöttö.

Pilviasennus NodeShiftillä (valinnainen)

Niille, jotka etsivät lisää tehoa tai jotka haluavat ottaa mallin käyttöön ammattimaisesti, on mahdollisuus käyttää pilvipalveluita, kuten NodeShift. Niiden avulla voit vuokrata koneita tehokkailla GPU:illa ja määrittää ihanteellisen ympäristösi käyttämään Gemma 3:a ilman rajoituksia.

NodeShiftin perusvaiheet:

1. Luo tili osoitteessa app.nodeshift.com.
2. Aloita mukautettu GPU-solmu (esim. 2x RTX 4090).
3. Valitse valmiiksi määritetty kuva Ubuntu + Nvidia CUDA:lla tai Jupyter Notebookilla sen mukaan, käytätkö Ollamaa vai Transformeria.
4. Yhdistä SSH:n kautta ja asenna malli komentoriviltä.

Tämän tyyppinen asennus antaa sinulle pääsyn ammattimaisiin kokoonpanoihin, ihanteellinen koulutusmalleihin, suorituskyvyn arviointiin jne. Vaikka se ei ole välttämätön kotikäyttäjille, se on hyödyllinen niille, jotka haluavat kokeilla perusteellisesti tai rakentaa sovelluksia edistyneille LLM:ille.

Järjestelmävaatimukset ja tekniset suositukset

Kaikki Gemma 3 -mallit eivät toimi millään tietokoneella. Alla jätämme sinulle yleisen viittauksen mallin tyypin mukaan:

• että mallit 1B - 7B: minimi 8 Gt RAM-muistia. Ne toimivat lähes kaikilla nykyaikaisilla tietokoneilla, jopa ilman GPU:ta.
• että 13B mallit: suositellaan 16 Gt - 24 Gt RAM-muistia.
• että 27B mallit: tarvitaan vähintään 32 Gt RAM-muistia ja mieluiten omistettu GPU.

RAM-muistin lisääminen nopeuttaa toimintaa ja estää muistin puutteesta johtuvia virheitä. Vaikka Ollama ja LM Studio yrittävät käyttää resursseja tehokkaasti, se riippuu paljon laitteistostasi. Lisäksi vastenopeus paranee merkittävästi, jos GPU:ta käytetään CPU:n sijaan.

Gemma 3:n asentaminen Windows 11:een on helpompaa kuin miltä näyttää.. Sillä ei ole väliä, käytätkö Ollamaa sen yksinkertaisuuden vuoksi, LM Studiota graafisen käyttöliittymän vuoksi vai Google AI Studiota toistaaksesi sen turvallisesti pilvessä. Tärkeää on, että jokainen menetelmä mukautuu erilaisiin kokemustasoihin ja teknisiin valmiuksiin. Nyt kun tiedät kaikki vaihtoehdot ja mitä tarvitset aloittaaksesi, voit alkaa kokeilla tätä vaikuttavaa paikallista tekoälyä jo tänään.