A Gemma 3 LLM telepítése Windows 11 rendszeren lépésről lépésre

A nyílt forráskódú nyelvi modellek ugrásszerűen fejlődtek, és Ma már közvetlenül a személyi számítógépről is élvezheti őket anélkül, hogy a felhőszolgáltatásoktól függne.. Jelenleg az egyik legígéretesebb a Gemma 3, a Google új, Gemini technológiára épülő LLM-je, amely kiemelkedik szöveg- és képfeldolgozási képességével, valamint hatalmas, akár 128 XNUMX tokenből álló kontextusablakával fejlett verzióiban. A kiadással kapcsolatos további információkért tekintse meg a következő cikkünket a Gemma 3 bemutatója.

Ha Windows 11-et használ, és szeretné telepíteni a Gemma 3-at kísérletezés vagy akár helyi gyártás céljából, jó helyre jött. Nézzük meg részletesen az összes lehetséges módszert, amellyel beüzemelheti és futtathatja a számítógépén, beleértve a leginkább ajánlott lehetőségeket, például az Ollama, az LM Studio és a Google AI Studio felhőalapú alternatíváját. Ezen kívül kitérünk az egyes módszerek műszaki követelményeire, előnyeire és Hogyan lehet a legtöbbet kihozni ebben a hatalmas mesterséges intelligenciában rejlő lehetőségekből.

Mi az a Gemma 3, és miért kell telepíteni?

A Gemma 3 az LLM modellek harmadik generációja, amelyet a Google adott ki nyílt forráskódú licenc alatt.. Az olyan korábbi megoldásokkal ellentétben, mint a Llama vagy a Mistral, közvetlen támogatást nyújt a képbevitelhez, sokkal szélesebb környezetet és több mint 140 nyelv támogatását. Igényeitől függően a modell több változata közül választhat, 1B-től 27B-ig terjedő paraméterekkel:

• Gemma 3:1B: Könnyű modell, amely ideális alapvető feladatokhoz és korlátozott erőforrásokkal rendelkező környezetekhez.
• Gemma 3:4B: A teljesítmény és a hatékonyság kiegyensúlyozása köztes alkalmazásokhoz.
• Gemma 3:12B: Komplex elemzéshez, programozáshoz és többnyelvű feldolgozáshoz ajánlott.
• Gemma 3:27B: A legerősebb lehetőség, intenzív, multimodális felhasználásra tervezve, nagy környezeti kapacitással.

Lehetőség van egy ilyen fejlett modell futtatására a számítógépről Megváltoztatja a játékszabályokat az adatvédelem, a válaszadás sebessége és a harmadik felektől való függés tekintetében. Többé nem kell havi előfizetést fizetnie, és nem kell lemondania adatairól. Csak egy kis felkészülés és tanulási vágy kell hozzá. Ha többet szeretne megtudni ezeknek a modelleknek az előnyeiről, tekintse meg cikkünket nyitott súlyú AI modellek.

1. lehetőség: Telepítés Ollamával

Az Ollama valószínűleg a legegyszerűbb módja az LLM futtatásának, például a Gemma 3-nak a Windows 11 rendszerből. Terminál alapú interfésze lehetővé teszi a modellek telepítését és futtatását egyszerű parancssor segítségével. Ráadásul kompatibilis a macOS, Linux és Windows rendszerekkel, így számos környezetben könnyen használható.

Az Ollama telepítésének és a Gemma 3 futtatásának lépései:

1. Lépjen be a hivatalos weboldalra: ollama.com.
2. Töltse le a Windows telepítőjét és futtassa, mint bármely más programot.
3. Nyissa meg a Parancssort (CMD) vagy a PowerShellt, és ellenőrizze a telepítést a következővel:

ollama --version

Ha minden jól megy, most letöltheti a rendelkezésre álló Gemma 3 sablonok bármelyikét. Egyszerűen futtassa az alábbi parancsok egyikét a kívánt sablontól függően:

ollama run gemma3:1b
ollama run gemma3:4b
ollama run gemma3:12b
ollama run gemma3:27b

A letöltés után könnyedén elindíthatja a modellt.. Ehhez futtassa:

ollama init gemma3

Ettől a pillanattól kezdve elkezdheti az LLM-mel való interakciót:

ollama query gemma3 "¿Cuál es la capital de Japón?"

Ha szeretné kihasználni a multimodális funkciókat, képeket is használhat a lekérdezésekben:

ollama query gemma3 --image "ruta-de-la-imagen.jpg"

Mi kell ahhoz, hogy jól működjön? Bár az Ollama nem ír elő szigorú minimumkövetelményeket, a nagyobb modellekhez (például a 27B-hez) legalább 32 GB RAM szükséges. 16 GB-tal gond nélkül lehet dolgozni a 7B modellel, és bár a GPU használata nem kötelező, a sebességben sokat segít.

2. lehetőség: LM Studio használata

Az LM Studio egy másik ingyenes eszköz, amely lehetővé teszi az LLM modellek helyi telepítését és futtatását grafikus felületről.. Kompatibilis Windows, macOS és Linux rendszerekkel, és nagy előnye, hogy nem igényel műszaki ismereteket a működéséhez.

Instrucciones:

1. Töltse le az LM Studio alkalmazást a hivatalos webhelyéről: lmstudio.ai.
2. Telepítse és futtassa.
3. Kattintson a „Discover” feliratú nagyító ikonra.
4. Írja be a „Gemma 3” szót a keresőbe az elérhető modellek megtekintéséhez.

Telepítés előtt ellenőrizze, hogy a modell kompatibilis-e az Ön berendezésével. Ha a „Valószínűleg túl nagy ehhez a géphez” figyelmeztetést látja, akkor is telepítheti, de az optimális teljesítmény nem garantált.

Miután letöltötte a kompatibilis modellt:

• Kattintson a „Modell betöltése” gombra a betöltéshez.
• Vagy nyisson meg egy új csevegést, és válassza ki a modellt a legördülő menüből.

A legjobb az LM Studio-ban, hogy egyfajta helyi ChatGPT-ként működik, offline és az Ön nyelvén. Ha kívánja, több csevegést is létrehozhat, és elmentheti beszélgetéseit. Ezenkívül, ha engedélyezi a „Helyi szerver” opciót, integrálhatja azt Python-alkalmazásaival az OpenAI-kompatibilis API segítségével.

3. lehetőség: A Google AI Studio használata (online)

Ha nem tud vagy nem akar semmit telepíteni, használhatja a Gemma 3-at közvetlenül a felhőből a Google AI Studio segítségével. Telepítés nem szükséges, de internetkapcsolat és Google fiók szükséges.

Csak el kell menned aistudio.google.com és válassza ki a „Gemma 3” elemet a modellek listájából. Ettől a pillanattól kezdve úgy cseveghet a modellel, mintha az a Bard vagy a ChatGPT fejlett verziója lenne, beleértve a képbevitelt is.

Felhő telepítés NodeShifttel (opcionális)

Azok számára, akik nagyobb teljesítményre vágynak, vagy professzionálisan telepítik a modellt, lehetőség van felhőszolgáltatások, például a NodeShift használatára. Segítségükkel nagy teljesítményű GPU-val rendelkező gépeket bérelhet, és korlátlanul konfigurálhatja ideális környezetét a Gemma 3 futtatásához.

A NodeShift alapvető lépései:

1. Hozzon létre egy fiókot itt: app.nodeshift.com.
2. Indítson el egy egyéni GPU-csomópontot (például 2x RTX 4090 esetén).
3. Válasszon egy előre konfigurált képet az Ubuntu + Nvidia CUDA vagy a Jupyter Notebook segítségével, attól függően, hogy Ollama vagy Transformers alkalmazást fog használni.
4. Csatlakozzon SSH-n keresztül, és telepítse a modellt a parancssorból.

Ez a fajta telepítés hozzáférést biztosít a professzionális konfigurációkhoz, ideális képzési modellekhez, teljesítményértékeléshez stb. Bár nem nélkülözhetetlen az otthoni felhasználók számára, hasznos azok számára, akik szeretnének mélyreható kísérleteket végezni, vagy alkalmazásokat szeretnének építeni fejlett LLM-ekre.

Rendszerkövetelmények és műszaki ajánlások

Nem minden Gemma 3 modell fut egyetlen PC-n sem. Az alábbiakban egy általános hivatkozást adunk a modell típusának megfelelően:

• hogy 1B-7B modellek: minimum 8 GB RAM. Szinte minden modern számítógépen működnek, még GPU nélkül is.
• hogy 13B modellek: ajánlott 16 GB - 24 GB RAM.
• hogy 27B modellek: szükségesek legalább 32 GB RAM és lehetőleg dedikált GPU-t.

A több RAM felgyorsítja a működést és megakadályozza a memóriahiányból eredő hibákat. Míg az Ollama és az LM Studio igyekszik hatékonyan felhasználni az erőforrásokat, ez nagyban függ a hardvertől. Ezenkívül a válaszsebesség jelentősen javul, ha CPU helyett GPU-t használnak.

A Gemma 3 telepítése Windows 11 rendszeren egyszerűbb, mint amilyennek látszik.. Nem számít, hogy az egyszerűsége miatt az Ollama, a grafikus felülete az LM Studiót, vagy a felhőben való biztonságos lejátszáshoz a Google AI Studio mellett dönt. A lényeg az, hogy minden módszer alkalmazkodik a tapasztalat és a technikai képességek különböző szintjéhez. Most, hogy ismeri az összes lehetőséget és azt, hogy mire van szüksége az induláshoz, már ma elkezdheti kísérletezni ezzel a lenyűgöző helyi mesterséges intelligenciával.