Як усталяваць Gemma 3 LLM на Windows 11 крок за крокам

Мадэлі мовы з адкрытым зыходным кодам развіваліся семільнымі крокамі, і Сёння карыстацца імі можна непасрэдна з персанальнага кампутара, не залежачы ад воблачных сэрвісаў.. Адной з найбольш перспектыўных у цяперашні час з'яўляецца Gemma 3, новы LLM ад Google, заснаваны на тэхналогіі Gemini, які вылучаецца сваёй здольнасцю апрацоўваць тэкст і выявы, а таксама сваім велізарным кантэкстным акном да 128 тысяч токенаў у пашыраных версіях. Для атрымання дадатковай інфармацыі аб гэтым выпуску вы можаце наведаць наш артыкул Прэзентацыя гемы 3.

Калі вы выкарыстоўваеце Windows 11 і хочаце ўсталяваць Gemma 3 для эксперыментаў або нават для мясцовай вытворчасці, вы прыйшлі ў патрэбнае месца. Давайце падрабязна разгледзім усе магчымыя спосабы яго запуску і запуску на вашым камп'ютары, уключаючы найбольш рэкамендуемыя варыянты, такія як Ollama, LM Studio, а таксама воблачную альтэрнатыву Google AI Studio. Акрамя таго, мы разгледзім тэхнічныя патрабаванні, перавагі кожнага метаду і Як максімальна выкарыстоўваць патэнцыял гэтага магутнага штучнага інтэлекту.

Што такое Gemma 3 і навошта яе ўсталёўваць?

Gemma 3 - гэта трэцяе пакаленне мадэляў LLM, выпушчанае Google па ліцэнзіі з адкрытым зыходным кодам.. У адрозненне ад папярэдніх рашэнняў, такіх як Llama або Mistral, ён прапануе прамую падтрымку ўводу малюнкаў, значна больш шырокі кантэкст і падтрымку больш чым 140 моў. У залежнасці ад вашых патрэбаў вы можаце выбраць адзін з некалькіх варыянтаў мадэлі з параметрамі ад 1B да 27B:

• Гема 3:1Б: Лёгкая мадэль ідэальна падыходзіць для асноўных задач і асяроддзяў з абмежаванымі рэсурсамі.
• Гема 3:4Б: Баланс прадукцыйнасці і эфектыўнасці для прамежкавых прыкладанняў.
• Гема 3:12Б: Рэкамендуецца для комплекснага аналізу, праграмавання і шматмоўнай апрацоўкі.
• Гема 3:27Б: Самы магутны варыянт, прызначаны для інтэнсіўнага мультымадальнага выкарыстання з вялікай кантэкстнай ёмістасцю.

Магчымасць запуску такой перадавой мадэлі са свайго ПК Гэта змяняе правілы гульні з пункту гледжання прыватнасці, хуткасці адказу і залежнасці ад трэціх асоб. Вам больш не трэба плаціць штомесячную падпіску або адмаўляцца ад вашых дадзеных. Патрабуецца толькі крыху падрыхтоўкі і жаданне вучыцца. Калі вы хочаце даведацца больш пра перавагі гэтых мадэляў, азнаёмцеся з нашым артыкулам адкрыты вага мадэляў AI.

Варыянт 1: Усталёўка з Ollama

Ollama, напэўна, самы просты спосаб запусціць LLM, напрыклад Gemma 3, з Windows 11. Яго тэрмінальны інтэрфейс дазваляе ўсталёўваць і запускаць мадэлі з дапамогай простага каманднага радка. Акрамя таго, ён сумяшчальны з macOS, Linux і Windows, што робіць яго простым у выкарыстанні ў розных асяроддзях.

Крокі для ўстаноўкі Ollama і запуску Gemma 3:

1. Доступ да афіцыйнага сайта: ollama.com.
2. Спампаваць ўсталёўшчык для windows і запусціць яго, як любую іншую праграму.
3. Адкрыйце камандны радок (CMD) або PowerShell і праверце ўстаноўку з дапамогай:

ollama --version

Калі ўсё пойдзе добра, зараз вы можаце спампаваць любы з даступных шаблонаў Gemma 3. Проста запусціце адну з гэтых каманд у залежнасці ад патрэбнага шаблону:

ollama run gemma3:1b
ollama run gemma3:4b
ollama run gemma3:12b
ollama run gemma3:27b

Пасля загрузкі вы можаце лёгка запусціць мадэль.. Для гэтага запусціце:

ollama init gemma3

З гэтага моманту вы можаце пачаць ўзаемадзейнічаць з LLM:

ollama query gemma3 "¿Cuál es la capital de Japón?"

Калі вы хочаце скарыстацца перавагамі мультымадальных функцый, вы таксама можаце выкарыстоўваць выявы ў сваіх запытах:

ollama query gemma3 --image "ruta-de-la-imagen.jpg"

Што вам трэба, каб гэта добра працавала? Нягледзячы на ​​тое, што Ollama не прад'яўляе строгіх мінімальных патрабаванняў, для вялікіх мадэляў (напрыклад, 27B) патрабуецца не менш за 32 ГБ аператыўнай памяці. З 16 ГБ вы можаце без праблем працаваць з мадэллю 7B, і хоць выкарыстанне GPU не з'яўляецца абавязковым, гэта вельмі дапамагае ў хуткасці.

Варыянт 2: выкарыстоўваць LM Studio

LM Studio - яшчэ адзін бясплатны інструмент, які дазваляе ўсталёўваць і запускаць мадэлі LLM лакальна з графічнага інтэрфейсу.. Ён сумяшчальны з Windows, macOS і Linux, і яго вялікай перавагай з'яўляецца тое, што для працы ён не патрабуе тэхнічных ведаў.

Instrucciones:

1. Спампуйце LM Studio з афіцыйнага сайта: lmstudio.ai.
2. Усталюйце і запусціце яго.
3. Націсніце на значок павелічальнага шкла з надпісам «Адкрыць».
4. Увядзіце «Gemma 3» у пошукавую сістэму, каб убачыць даступныя мадэлі.

Перад устаноўкай праверце, ці сумяшчальная мадэль з вашым абсталяваннем. Калі вы бачыце папярэджанне "Магчыма, занадта вялікі для гэтай машыны", вы ўсё роўна можаце ўсталяваць яго, але аптымальная прадукцыйнасць не гарантуецца.

Пасля спампоўкі сумяшчальнай мадэлі:

• Націсніце «Загрузіць мадэль», каб загрузіць яе.
• Або адкрыйце новы чат і абярыце мадэль з выпадальнага меню.

Самае лепшае ў LM Studio - гэта тое, што яна дзейнічае як своеасаблівы лакальны ChatGPT, у аўтаномным рэжыме і на вашай мове. Пры жаданні вы можаце стварыць некалькі чатаў і захаваць свае размовы. Акрамя таго, калі вы ўключыце опцыю «Лакальны сервер», вы зможаце інтэграваць яе з вашымі праграмамі Python з дапамогай OpenAI-сумяшчальнага API.

Варыянт 3: выкарыстоўвайце Google AI Studio (онлайн)

Калі вы не можаце ці не хочаце нічога ўсталёўваць, вы можаце выкарыстоўваць Gemma 3 непасрэдна з воблака з Google AI Studio. Ўстаноўка не патрабуецца, але патрабуецца падключэнне да Інтэрнэту і ўліковы запіс Google.

Вам проста трэба пайсці aistudio.google.com і абярыце «Gemma 3» са спісу мадэляў. З гэтага моманту вы можаце пачаць размаўляць з мадэллю, як калі б гэта была пашыраная версія Bard або ChatGPT, уключаючы ўвод малюнкаў.

Воблачная ўстаноўка з дапамогай NodeShift (неабавязкова)

Для тых, хто шукае больш магутнасці або прафесійна разгортвае мадэль, ёсць магчымасць выкарыстання хмарных сэрвісаў, такіх як NodeShift. З імі вы можаце арандаваць машыны з магутнымі графічнымі працэсарамі і наладзіць ідэальнае асяроддзе для запуску Gemma 3 без абмежаванняў.

Асноўныя крокі ў NodeShift:

1. Стварыце ўліковы запіс па адрасе app.nodeshift.com.
2. Запусціце карыстальніцкі GPU Node (напрыклад, з 2x RTX 4090).
3. Выберыце загадзя сканфігураваны вобраз з Ubuntu + Nvidia CUDA або Jupyter Notebook у залежнасці ад таго, ці будзеце вы выкарыстоўваць Ollama або Transformers.
4. Падключыцеся праз SSH і ўсталюйце мадэль з каманднага радка.

Гэты тып ўстаноўкі дае вам доступ да прафесійных канфігурацый, ідэальна падыходзіць для навучання мадэлям, ацэнкі прадукцыйнасці і г. д. Хоць гэта і не важна для хатніх карыстальнікаў, але карысна для тых, хто хоча глыбока эксперыментаваць або ствараць прыкладанні на прасунутых LLM.

Сістэмныя патрабаванні і тэхнічныя рэкамендацыі

Не ўсе мадэлі Gemma 3 будуць працаваць на любым ПК. Ніжэй мы пакідаем вам агульную даведку ў залежнасці ад тыпу мадэлі:

• да мадэлі 1B да 7B: мінімум ГБ аператыўнай памяці 8. Яны працуюць практычна на любым сучасным ПК, нават без графічнага працэсара.
• да Мадэлі 13В: рэкамендуюцца Ад 16 ГБ да 24 ГБ аператыўнай памяці.
• да Мадэлі 27В: патрэбныя мінімум 32 ГБ аператыўнай памяці і пажадана спецыяльны графічны працэсар.

Больш аператыўнай памяці паскарае працу і прадухіляе памылкі з-за недахопу памяці. У той час як Ollama і LM Studio спрабуюць эфектыўна выкарыстоўваць рэсурсы, гэта будзе шмат у чым залежаць ад вашага абсталявання. Акрамя таго, хуткасць водгуку значна паляпшаецца, калі замест цэнтральнага працэсара выкарыстоўваецца графічны працэсар.

Усталяваць Gemma 3 на Windows 11 прасцей, чым здаецца.. Не мае значэння, вырашыце вы выкарыстоўваць Ollama з-за яго прастаты, LM Studio з-за яго графічнага інтэрфейсу або Google AI Studio для бяспечнай гульні ў воблаку. Важна тое, што кожны метад адаптуецца да розных узроўняў вопыту і тэхнічных магчымасцей. Цяпер, калі вы ведаеце ўсе варыянты і тое, што вам трэба для пачатку, вы можаце пачаць эксперыментаваць з гэтым уражлівым мясцовым штучным інтэлектам сёння.