Како да инсталирате Gemma 3 LLM на Windows 11 чекор по чекор

Јазичните модели со отворен код еволуираа со скокови и граници, и Денес е можно да уживате во нив директно од персонален компјутер без да зависите од облак услугите.. Еден од најперспективните моментално е Gemma 3, новиот LLM на Google базиран на технологијата Gemini, кој се издвојува по неговата способност да обработува текст и слики, како и по огромниот контекстен прозорец до 128 илјади токени во неговите напредни верзии. За повеќе информации за ова издание, можете да ја посетите нашата статија на презентацијата на Гема 3.

Ако користите Windows 11 и сакате да инсталирате Gemma 3 за експериментирање или дури и локално производство, дојдовте на вистинското место. Ајде да ги разгледаме детално сите можни начини да го вклучите и да работи на вашиот компјутер, вклучувајќи ги и најпрепорачливите опции како Ollama, LM Studio, а исто така и алтернатива базирана на облак со Google AI Studio. Дополнително, ќе се осврнеме на техничките барања, предностите на секој метод и Како да го искористите максимумот од потенцијалот на оваа моќна вештачка интелигенција.

Што е Gemma 3 и зошто да го инсталирате?

Gemma 3 е третата генерација на LLM модели објавени од Google под лиценца со отворен код.. За разлика од претходните решенија како Llama или Mistral, тој нуди директна поддршка за внесување слики, многу поширок контекст и поддршка за над 140 јазици. Во зависност од вашите потреби, можете да изберете од неколку верзии на моделот кои се движат од 1B до 27B параметри:

• Гема 3:1Б: Лесен модел идеален за основни задачи и средини со ограничени ресурси.
• Гема 3:4Б: Балансирање на перформансите и ефикасноста за средни апликации.
• Гема 3:12Б: Се препорачува за сложена анализа, програмирање и повеќејазична обработка.
• Гема 3:27Б: Најмоќната опција, дизајнирана за интензивна, мултимодална употреба со голем контекстуален капацитет.

Можноста за извршување на таков напреден модел од вашиот компјутер Ги менува правилата на играта во однос на приватноста, брзината на одговор и зависноста од трети страни. Повеќе не треба да плаќате месечни претплати или да се откажувате од вашите податоци. Потребна е само малку подготовка и желба за учење. Ако сакате да дознаете повеќе за придобивките од овие модели, проверете ја нашата статија за модели со вештачка интелигенција со отворена тежина.

Опција 1: Инсталација со Олама

Олама е веројатно најлесниот начин да се изврши LLM како Gemma 3 од Windows 11. Неговиот интерфејс базиран на терминал ви овозможува да инсталирате и стартувате модели со едноставна командна линија. Плус, тој е компатибилен со macOS, Linux и Windows, што го прави лесен за користење во различни средини.

Чекори за инсталирање на Olama и стартување на Gemma 3:

1. Пристапете до официјалната веб-страница: ollama.com.
2. Преземете го инсталаторот за Windows и стартувајте ја како и секоја друга програма.
3. Отворете ја командната линија (CMD) или PowerShell и потврдете ја инсталацијата со:

ollama --version

Ако сè оди добро, сега можете да преземете кој било од достапните Gemma 3 шаблони. Едноставно извршете една од овие команди во зависност од шаблонот што го сакате:

ollama run gemma3:1b
ollama run gemma3:4b
ollama run gemma3:12b
ollama run gemma3:27b

Откако ќе се преземе, можете лесно да го стартувате моделот.. За да го направите ова, стартувајте:

ollama init gemma3

Од тој момент, можете да започнете да комуницирате со LLM со:

ollama query gemma3 "¿Cuál es la capital de Japón?"

Ако сакате да ги искористите предностите на мултимодалните функции, можете исто така да користите слики во вашите прашања:

ollama query gemma3 --image "ruta-de-la-imagen.jpg"

Што ви е потребно за да функционира добро? Иако Ollama не наметнува строги минимални барања, поголемите модели (како 27B) бараат најмалку 32 GB RAM меморија. Со 16GB можете да работите без проблеми со моделот 7B, а иако користењето на графичкиот процесор не е задолжително, тоа многу помага во брзината.

Опција 2: Користете LM Studio

LM Studio е уште една бесплатна алатка која ви овозможува локално да инсталирате и стартувате LLM модели од графички интерфејс.. Компатибилен е со Windows, macOS и Linux, а неговата голема предност е што не бара техничко знаење за работа.

Instrucciones:

1. Преземете го LM Studio од неговата официјална веб-страница: lmstudio.ai.
2. Instálalo y ejecútalo.
3. Кликнете на иконата со лупа што вели „Откриј“.
4. Внесете „Gemma 3“ во пребарувачот за да ги видите достапните модели.

Пред да го инсталирате, проверете дали моделот е компатибилен со вашата опрема. Ако го видите предупредувањето „Веројатно премногу големо за оваа машина“, сепак можете да го инсталирате, но оптималните перформанси не се загарантирани.

Откако ќе се преземе компатибилен модел:

• Притиснете „Load Model“ за да го вчитате.
• Или отворете нов разговор и изберете го моделот од паѓачкото мени.

Најдоброто нешто за LM Studio е тоа што делува како еден вид локален ChatGPT, офлајн и на вашиот јазик. Ако сакате, можете да креирате повеќе разговори и да ги зачувате вашите разговори. Дополнително, ако ја овозможите опцијата „Локален сервер“, можете да ја интегрирате со вашите Python апликации користејќи го OpenAI-компатибилен API.

Опција 3: Користете Google AI Studio (онлајн)

Ако не можете или не сакате да инсталирате ништо, можете да го користите Gemma 3 директно од облакот со Google AI Studio. Не е потребна инсталација, но потребна е интернет конекција и сметка на Google.

Вие само треба да одите на aistudio.google.com и изберете „Gemma 3“ од листата на модели. Од тој момент, можете да започнете да разговарате со моделот како да е напредна верзија на Bard или ChatGPT, вклучувајќи внесување слика.

Инсталација на облак со NodeShift (опционално)

За оние кои бараат повеќе моќ или професионално да го применат моделот, постои опција за користење облак услуги како NodeShift. Со нив, можете да изнајмите машини со моќни графички процесори и да ја конфигурирате вашата идеална околина да работи Gemma 3 без ограничувања.

Основни чекори во NodeShift:

1. Crear una cuenta en app.nodeshift.com.
2. Стартувајте приспособен јазол на графичкиот процесор (на пр. со 2x RTX 4090).
3. Изберете претходно конфигурирана слика со Ubuntu + Nvidia CUDA или Jupyter Notebook, во зависност од тоа дали ќе користите Ollama или Transformers.
4. Поврзете се преку SSH и инсталирајте го моделот од командната линија.

Овој тип на инсталација ви дава пристап до професионални конфигурации, идеален за модели за обука, оценување на перформансите итн. Иако не е од суштинско значење за домашните корисници, корисно е за оние кои сакаат да експериментираат во длабочина или да градат апликации на напредни LLM.

Системски барања и технички препораки

Не сите модели на Gemma 3 ќе работат на кој било компјутер. Подолу ви оставаме општа референца според типот на моделот:

• За модели од 1B до 7B: минимум 8 GB RAM меморија. Тие работат на речиси секој модерен компјутер, дури и без графички процесор.
• За 13B модели: се препорачуваат 16 GB до 24 GB RAM меморија.
• За 27B модели: се потребни al menos 32 GB de RAM и по можност посветен графички процесор.

Имањето повеќе RAM ја забрзува работата и ги спречува грешките поради недостаток на меморија. Додека Олама и LM Studio се обидуваат ефикасно да ги користат ресурсите, тоа многу ќе зависи од вашиот хардвер. Покрај тоа, брзината на одговор значително се подобрува ако се користи графичкиот процесор наместо процесорот.

Инсталирањето на Gemma 3 на Windows 11 е полесно отколку што изгледа.. Не е важно дали ќе одлучите да го користите Ollama поради неговата едноставност, LM Studio за неговиот графички интерфејс или Google AI Studio за да го користите безбедно во облакот. Важно е секој метод да се прилагодува на различни нивоа на искуство и технички можности. Сега кога ги знаете сите опции и што ви треба за да започнете, можете да започнете да експериментирате со оваа импресивна локална вештачка интелигенција денес.