Gemma 3 LLM-ni Windows 11-də addım-addım necə quraşdırmaq olar

Açıq mənbə dil modelləri sıçrayış və sərhədlərlə inkişaf etmişdir və Bu gün bulud xidmətlərindən asılı olmadan birbaşa fərdi kompüterdən onlardan istifadə etmək mümkündür.. Hal-hazırda ən perspektivlilərdən biri Google-un Gemini texnologiyasına əsaslanan yeni LLM-i Gemma 3-dür ki, bu da mətn və şəkilləri emal etmək qabiliyyəti, eləcə də qabaqcıl versiyalarında 128k tokendən ibarət nəhəng kontekst pəncərəsi ilə seçilir. Bu buraxılış haqqında daha çox məlumat üçün bizim məqaləmizə müraciət edə bilərsiniz Gemma 3 təqdimatı.

Windows 11 istifadə edirsinizsə və təcrübə və ya hətta yerli istehsal üçün Gemma 3 quraşdırmaq istəyirsinizsə, doğru yerə gəldiniz. Ollama, LM Studio kimi ən çox tövsiyə olunan seçimlər və həmçinin Google AI Studio ilə bulud əsaslı alternativ daxil olmaqla, onu kompüterinizdə işə salmağın bütün mümkün yollarını ətraflı nəzərdən keçirək. Bundan əlavə, biz texniki tələblər, hər bir metodun üstünlükləri və Bu güclü süni intellektin potensialından necə maksimum yararlanmaq olar.

Gemma 3 nədir və onu niyə quraşdırırsınız?

Gemma 3, Google tərəfindən açıq mənbə lisenziyası əsasında buraxılan üçüncü nəsil LLM modelləridir.. Llama və ya Mistral kimi əvvəlki həllərdən fərqli olaraq, o, şəkil daxil etmək üçün birbaşa dəstək, daha geniş kontekst və 140-dan çox dil üçün dəstək təklif edir. Ehtiyaclarınızdan asılı olaraq, 1B ilə 27B parametrləri arasında dəyişən modelin bir neçə versiyası arasından seçim edə bilərsiniz:

• Cemma 3:1B: Yüngül model əsas tapşırıqlar və məhdud resurs mühitləri üçün idealdır.
• Cemma 3:4B: Ara tətbiqlər üçün performans və səmərəliliyin tarazlaşdırılması.
• Cemma 3:12B: Kompleks təhlil, proqramlaşdırma və çoxdilli emal üçün tövsiyə olunur.
• Cemma 3:27B: Böyük kontekst qabiliyyəti ilə intensiv, multimodal istifadə üçün nəzərdə tutulmuş ən güclü seçim.

Belə inkişaf etmiş bir modeli kompüterinizdən idarə etmək imkanı Gizlilik, cavab sürəti və üçüncü tərəflərdən asılılıq baxımından oyun qaydalarını dəyişir. Artıq aylıq abunə haqqını ödəməyə və ya məlumatlarınızdan imtina etməyə ehtiyac yoxdur. Bunun üçün bir az hazırlıq və öyrənmək istəyi lazımdır. Bu modellərin üstünlükləri haqqında daha çox bilmək istəyirsinizsə, məqaləmizə baxın açıq çəki AI modelləri.

Seçim 1: Ollama ilə quraşdırma

Ollama, ehtimal ki, Windows 3-dən Gemma 11 kimi LLM-i işə salmağın ən asan yoludur. Onun terminal əsaslı interfeysi sadə əmr xətti ilə modelləri quraşdırmağa və işə salmağa imkan verir. Üstəlik, o, müxtəlif mühitlərdə istifadəni asanlaşdıran macOS, Linux və Windows ilə uyğun gəlir.

Ollama quraşdırmaq və Gemma 3-ü işə salmaq üçün addımlar:

1. Rəsmi veb saytına daxil olun: ollama.com.
2. Windows üçün quraşdırıcını yükləyin və hər hansı digər proqram kimi işlədin.
3. Əmr əmrini (CMD) və ya PowerShell-i açın və quraşdırmanı aşağıdakılarla yoxlayın:

ollama --version

Hər şey yaxşı olarsa, indi mövcud Gemma 3 şablonlarından hər hansı birini endirə bilərsiniz. Sadəcə istədiyiniz şablondan asılı olaraq bu əmrlərdən birini yerinə yetirin:

ollama run gemma3:1b
ollama run gemma3:4b
ollama run gemma3:12b
ollama run gemma3:27b

Yüklədikdən sonra modeli asanlıqla başlaya bilərsiniz.. Bunu etmək üçün çalıştırın:

ollama init gemma3

Həmin andan etibarən siz LLM ilə əlaqə qurmağa başlaya bilərsiniz:

ollama query gemma3 "¿Cuál es la capital de Japón?"

Multimodal funksiyalardan yararlanmaq istəyirsinizsə, siz həmçinin sorğularınızda şəkillərdən istifadə edə bilərsiniz:

ollama query gemma3 --image "ruta-de-la-imagen.jpg"

Onun yaxşı işləməsi üçün nə lazımdır? Ollama ciddi minimum tələblər qoymasa da, daha böyük modellər (27B kimi) ən azı 32 GB RAM tələb edir. 16GB ilə 7B modeli ilə problemsiz işləyə bilərsiniz və GPU-nun istifadəsi məcburi olmasa da, sürətdə çox kömək edir.

Seçim 2: LM Studio istifadə edin

LM Studio, LLM modellərini qrafik interfeysdən yerli olaraq quraşdırmağa və işə salmağa imkan verən başqa bir pulsuz vasitədir.. Windows, macOS və Linux ilə uyğun gəlir və onun böyük üstünlüyü ondan ibarətdir ki, işləmək üçün texniki bilik tələb etmir.

Təlimat:

1. LM Studio-nu rəsmi saytından yükləyin: lmstudio.ai.
2. Quraşdırın və işə salın.
3. "Kəşf et" deyən böyüdücü şüşə işarəsinə klikləyin.
4. Mövcud modelləri görmək üçün axtarış sisteminə “Gemma 3” yazın.

Quraşdırmadan əvvəl modelin avadanlıqlarınıza uyğun olub olmadığını yoxlayın. “Bu maşın üçün çox böyük ola bilər” xəbərdarlığını görsəniz, onu hələ də quraşdıra bilərsiniz, lakin optimal performansa zəmanət verilmir.

Uyğun model yükləndikdən sonra:

• Yükləmək üçün "Modeli Yüklə" düyməsini basın.
• Və ya yeni söhbət açın və açılan menyudan modeli seçin.

LM Studio ilə bağlı ən yaxşı cəhət ondan ibarətdir ki, o, oflayn və sizin dilinizdə bir növ yerli ChatGPT kimi fəaliyyət göstərir.. İstəyirsinizsə, birdən çox söhbət yarada və söhbətlərinizi saxlaya bilərsiniz. Əlavə olaraq, “Yerli Server” seçimini aktiv etsəniz, OpenAI uyğun API istifadə edərək onu Python proqramlarınızla birləşdirə bilərsiniz.

Seçim 3: Google AI Studio istifadə edin (onlayn)

Əgər heç nə quraşdıra bilmirsinizsə və ya quraşdırmaq istəmirsinizsə, Google AI Studio ilə Gemma 3-dən birbaşa buluddan istifadə edə bilərsiniz.. Quraşdırma tələb olunmur, lakin İnternet bağlantısı və Google hesabı tələb olunur.

Sadəcə getmək lazımdır aistudio.google.com və modellər siyahısından “Gemma 3” seçin. Həmin andan siz modellə Bard və ya ChatGPT-nin təkmil versiyası kimi söhbətə başlaya bilərsiniz, o cümlədən şəkil daxil edə bilərsiniz.

NodeShift ilə bulud quraşdırılması (isteğe bağlı)

Daha çox güc axtaranlar və ya modeli peşəkar şəkildə yerləşdirmək istəyənlər üçün, NodeShift kimi bulud xidmətlərindən istifadə seçimi var. Onlarla siz güclü GPU-ları olan maşınları icarəyə götürə və Gemma 3-ü məhdudiyyətsiz işlətmək üçün ideal mühitinizi konfiqurasiya edə bilərsiniz.

NodeShift-də əsas addımlar:

1. Hesabı yaradın app.nodeshift.com.
2. Fərdi GPU Düyününü işə salın (məsələn, 2x RTX 4090 ilə).
3. Ollama və ya Transformers istifadə etməyinizdən asılı olaraq Ubuntu + Nvidia CUDA və ya Jupyter Notebook ilə əvvəlcədən konfiqurasiya edilmiş təsviri seçin.
4. SSH vasitəsilə qoşulun və modeli komanda xəttindən quraşdırın.

Bu cür quraşdırma sizə peşəkar konfiqurasiyalara giriş imkanı verir, təlim modelləri, performansın qiymətləndirilməsi və s. üçün idealdır. Ev istifadəçiləri üçün vacib olmasa da, dərin təcrübələr aparmaq və ya qabaqcıl LLM-lərdə tətbiqlər qurmaq istəyənlər üçün faydalıdır.

Sistem tələbləri və texniki tövsiyələr

Bütün Gemma 3 modelləri heç bir kompüterdə işləməyəcək. Aşağıda sizə modelin növünə görə ümumi istinad buraxırıq:

• qədər 1B - 7B modelləri: minimum GB RAM 8. Onlar demək olar ki, istənilən müasir kompüterdə, hətta GPU olmadan da işləyirlər.
• qədər 13B modelləri: tövsiyə olunur 16 GB - 24 GB RAM.
• qədər 27B modelləri: lazımdır ən azı 32 GB RAM və tercihen xüsusi bir GPU.

Daha çox RAM olması əməliyyatı sürətləndirir və yaddaş çatışmazlığı səbəbindən səhvlərin qarşısını alır. Ollama və LM Studio resurslardan səmərəli istifadə etməyə çalışsa da, bu, sizin aparatınızdan çox şey asılı olacaq. Bundan əlavə, CPU yerinə GPU istifadə edilərsə, cavab sürəti əhəmiyyətli dərəcədə yaxşılaşır.

Gemma 3-ü Windows 11-də quraşdırmaq göründüyündən daha asandır.. Sadəliyi üçün Ollama-dan, qrafik interfeysi üçün LM Studio-dan və ya onu buludda təhlükəsiz oynamaq üçün Google AI Studio-dan istifadə etməyinizin fərqi yoxdur. Əsas odur ki, hər bir metod müxtəlif səviyyəli təcrübə və texniki imkanlara uyğunlaşır. İndi bütün variantları və işə başlamaq üçün nə lazım olduğunu bildiyiniz üçün bu gün bu təsir edici yerli süni intellektlə təcrübə keçirməyə başlaya bilərsiniz.