כיצד להוריד ולהפעיל את המודל הראשון שלך עם Ollama

איך להוריד ולהריץ את המודל הראשון שלך עם Ollama? דמיינו לעצמכם מוח מלאכותי רב עוצמה שחי ישירות במחשב שלכם, מבלי שתצטרכו לשלם מנויים חודשיים או לדאוג שחברה בקליפורניה תקרא את הסודות שלכם. הפעלת מודלים של שפה מקומית זה הפך לפשוט באופן מפתיע בזכות כלים שמבטלים כל חיכוך טכני, ומאפשרים לנו לעבור מאפס לשיחה חכמה תוך דקות ספורות.

כאן נכנסת לתמונה אולמה, פלטפורמה שבעצם מתפקדת כ... דוקר לבינה מלאכותיתהקסם שלה טמון בניהול כל התהליך המייגע: החל מהורדת המודל ואופטימיזציה של הזיכרון ועד לביצוע, ומציע חוויה חלקה הן למתכנתים והן לאלו שרק רוצים לנסות בינה מלאכותית מבלי לשבור דבר בדרך.

למה לטרוח להתקין בינה מלאכותית באופן מקומי?

הסיבה העיקרית היא, ללא ספק, פרטיות מוחלטתכשאתם משתמשים בשירותי ענן, הנתונים שלכם עוברים דרך האינטרנט; עם Ollama, המידע לעולם לא עוזב את המחשב שלכם, וזה חיוני אם אתם מטפלים במסמכים סודיים או בנתונים רגישים. בנוסף, אתם שוכחים את... עלויות לכל אסימון או את העמלות החודשיות של 20 יורו, שכן לאחר הורדת המודל, השימוש בו הוא בחינם לחלוטין.

נקודה חזקה נוספת היא היכולת ל עבודה בלי אינטרנטאתם יכולים לקחת את המחשב הנייד שלכם למטוס או לאזור כפרי ועדיין לקבל עוזר שיכול לתכנת או לכתוב טקסטים. לבסוף, הגמישות היא מוחלטת: אתם יכולים ליצור דגמים בהתאמה אישית באמצעות קבצי תצורה הנקראים Modelfiles, התאמת האישיות וההתנהגות של הבינה המלאכותית לטעמכם.

חומרה: מה צריך כדי שזה לא יפעל על דוושות?

אתם לא צריכים מחשב-על, אבל אתם צריכים להיות מציאותיים לגבי המשאבים שלכם. צוואר הבקבוק תמיד יהיה... כרטיס מסך VRAMאם יש לכם כרטיס מסך של NVIDIA או AMD, Ollama ינצל זאת לתגובות מיידיות. אם יש לכם רק מעבד, זה יעבוד, אבל המהירות תרד באופן דרסטי, מיצירת עשרות מילים בשנייה למספר מילים ספורות בלבד.

• דגמים קלים (1-3B): עם 8 ג'יגה-בייט של זיכרון RAM ו-4 ג'יגה-בייט של זיכרון VRAM, יהיה לכם יותר ממספיק. דוגמאות כמו Gemma 2 2B אידיאליות למשימות פשוטות.
• דגמים בינוניים (7-8B): כאן, הסטנדרט הוא 16 ג'יגה-בייט של זיכרון RAM ו-8 ג'יגה-בייט של זיכרון VRAM. זהו הטריטוריה של ה-Llama 3.1 8B או ה-Mistral, המציעים את... איזון מושלם בין איכות למהירות.
• דגמים גדולים (13-70B+): עכשיו אנחנו נכנסים לטריטוריה מקצועית. עבור דגם 70B, תצטרכו לפחות 64 ג'יגה-בייט של זיכרון RAM וכרטיסי מסך עם 40 ג'יגה-בייט של זיכרון VRAM או יותר.

למי שמשתמש סיליקון של אפל (M1, M2, M3, M4)החוויה פנטסטית בזכות הזיכרון המאוחד, המאפשר לכרטיס המסך גישה לכל זיכרון ה-RAM של המערכת.

מדריך התקנה שלב אחר שלב

התקנת Ollama היא כמעט תהליך של לחיצה אחת, תלוי במערכת ההפעלה שלך:

• בחלונות: הורידו את קובץ ה-.exe מהאתר הרשמי, התקינו אותו, ותראו את סמל אולמה במגש המערכת. אם תרצו שנה את הנתיב שבו נשמרים המודלים (מכיוון שכונן C מתמלא במהירות), עליך ליצור משתנה סביבה בשם דגמי_תנור עם הנתיב לתיקייה המועדפת עליך.
• ב-macOS: פשוט הורידו את קובץ ה-dmg וגררו את היישום לתיקיית היישומים.
• בלינוקס: זה נעשה באמצעות שורת פקודה אחת: curl -fsSL https://ollama.com/install.sh | shפעולה זו מגדירה באופן אוטומטי את שירות systemd.

כדי לבדוק שהכל תקין, פתחו טרמינל והקלידו ollama --versionאם זה מחזיר את מספר הגרסה, אתה בפנים.

הצעדים הראשונים שלך עם מודלים

כדי להפעיל בינה מלאכותית, אינך צריך להגדיר שום דבר מורכב, פשוט השתמש בפקודה לָרוּץ. למשל, אם אתה כותב ollama run llama3.1המערכת תוריד אוטומטית את התבנית ותפתח צ'אט אינטראקטיבי בטרמינל. כדי לצאת, פשוט הקלד /bye.

קטלוג דגמים מומלצים

לא כל המודלים מתאימים לאותה מטרה. בהתאם למטרה שלך, אחד מהם יתאים יותר:

• שימוש כללי: Llama 3.3 70B הוא החיה לחשיבה מורכבת, בעוד ש-Llama 3.1 8B הוא האפשרות הרב-תכליתית יותר לשימוש יומיומי.
• תִכנוּת: DeepSeek Coder ו-Qwen 2.5 Coder הם כלים אכזריים עבור שגיאות קוד השלמה אוטומטית וניפוי באגים ישירות בעורך שלך.
• חשיבה מתקדמת: DeepSeek-R1 הוא הבחירה האידיאלית אם אתם זקוקים לבינה מלאכותית שתחשוב צעד אחר צעד לפני שתגיב, ותתקרב ליכולות של הדגמים המובילים בשוק.
• רב-מודאליות: LLaVA מושלם אם אתם רוצים בינה מלאכותית ניתוח תמונות ולתאר מה יש בהם.

לוקחים את אולמה לשלב הבא: ממשקים וממשקי API

אם הטרמינל נראה לכם ספרטני מדי, תוכלו להתקין פתח את ממשק המשתמש של האינטרנטזהו ממשק אינטרנט שמשכפל את חוויית ChatGPT אך מתחבר לאולמה המקומי שלך. הוא מותקן בקלות באמצעות Docker ומאפשר לך לנהל היסטוריות, להעלות קבצי PDF לשאילת שאלות (RAG) ולעבור בין מודלים בלחיצה אחת.

עבור מפתחים, Ollama מציגה ממשק REST API בפורט 11434 אשר תואם לחלוטין ל-OpenAI. משמעות הדבר היא שתוכלו לשלב את הבינה המלאכותית המקומית שלכם בכל יישום Python או JavaScript פשוט על ידי שינוי כתובת ה-URL של השרת. ישנן אפילו הרחבות כמו המשך.dev עבור קוד VS שהופך את אולמה לטייס משנה פרטי משלך.

טיפים לאופטימיזציה ותחזוקה

כדי שהמערכת תטוס, מומלץ להשתמש מודלים כמותיים (כמו Q4_K_M), אשר מקטין את גודל המודל עם אובדן מינימלי של איכות. אם שמתם לב שחסרים דברים במודל, תוכלו להרחיב את חלון ההקשר באמצעות הפרמטר --num-ctxיתר על כן, שמירה על מנהלי ההתקן של NVIDIA מעודכנים חיונית כדי לנצל טכנולוגיות כגון תשומת לב מהירה, מה שמפחית את צריכת הזיכרון.

Ollama הפכה את הבינה המלאכותית המקומית לנגישה, ומאפשרת לכל מי שיש לו מחשב אישי סביר לפרוס הכל, החל מעוזרי תכנות ועד מערכות ניתוח מסמכים פרטיות. הודות לארכיטקטורת שורת הפקודה הפשוטה שלה, שילוב עם ממשקים חזותיים כמו Open WebUI ותאימות עם ספריית מודלים עצומה בקוד פתוח, אין עוד צורך להסתמך על הענן כדי לרתום את העוצמה של תוכניות לימודי משפטים (LLMs).