- Sen avulla voit suorittaa tehokkaita kielimalleja (LLM) paikallisesti, mikä takaa täydellisen yksityisyyden ja toiminnan ilman internetyhteyttä.
- Se on yhteensopiva Windowsin, macOS:n ja Linuxin kanssa, mutta vaatii ensisijaisesti hyvän määrän VRAM-muistia näytönohjaimessa optimaalisen suorituskyvyn saavuttamiseksi.
- Se tarjoaa laajan kirjaston malleja, jotka ovat erikoistuneet yleiseen keskusteluun, ohjelmointiin ja edistyneeseen päättelyyn, ja jotka voidaan integroida API-rajapintojen tai graafisten käyttöliittymien kautta.
Kuinka ladata ja ajaa ensimmäinen mallisi Ollamalla? Kuvittele, että sinulla olisi tehokkaat tekoälyt suoraan tietokoneessasi ilman kuukausimaksuja tai huolta siitä, että jokin kalifornialainen yritys lukisi salaisuuksiasi. Suorita paikallisia kielimalleja Siitä on tullut yllättävän yksinkertaista työkalujen ansiosta, jotka poistavat kaiken teknisen kitkan ja mahdollistavat siirtymisen nollasta älykkääseen keskusteluun muutamassa minuutissa.
Tässä kohtaa Ollama astuu kuvaan, alustana, joka toimii pohjimmiltaan Docker tekoälyä vartenSen taika piilee koko työlään prosessin hallinnassa: mallin lataamisesta ja muistin optimoinnista suoritukseen asti, mikä tarjoaa sujuvan kokemuksen sekä ohjelmoijille että niille, jotka haluavat vain kokeilla tekoälyä rikkomatta mitään matkan varrella.
Miksi vaivautua asentamaan tekoälyä paikallisesti?
Tärkein syy on epäilemättä se, ehdoton yksityisyysKun käytät pilvipalveluita, tietosi kulkevat internetin kautta; Ollaman avulla tiedot eivät koskaan poistu koneeltasi, mikä on elintärkeää, jos käsittelet luottamuksellisia asiakirjoja tai arkaluonteista tietoa. Lisäksi unohdat... kustannukset per token tai 20 euron kuukausimaksut, koska mallin lataamisen jälkeen sen käyttö on täysin ilmaista.
Toinen vahva puoli on kyky työskentele ilman internetiäVoit ottaa kannettavan tietokoneen mukaan lentokoneeseen tai maaseudulle ja sinulla on silti avustaja, joka pystyy ohjelmoimaan tai kirjoittamaan tekstejä. Lopuksi, joustavuus on täydellinen: voit luoda mukautetut mallit Modelfiles-nimisten määritystiedostojen avulla, säätämällä tekoälyn persoonallisuutta ja toimintaa mieleiseksesi.
Laitteisto: Mitä tarvitset, jotta se ei pyöri polkimilla?
Et tarvitse supertietokonetta, mutta sinun on oltava realistinen resurssiesi suhteen. Pullonkaulana on aina... näytönohjaimen VRAM-muistiJos sinulla on NVIDIA- tai AMD-näytönohjain, Ollama hyödyntää sitä välittömiin vastauksiin. Jos sinulla on vain suoritin, se toimii, mutta nopeus laskee rajusti kymmenistä sanoista sekunnissa vain muutamaan.
- Kevyet mallit (1-3B): 8 Gt:n RAM-muistilla ja 4 Gt:n VRAM-muistilla sinulla on enemmän kuin tarpeeksi. Esimerkiksi Gemma 2 2B on ihanteellinen yksinkertaisiin tehtäviin.
- Keskikokoiset mallit (7-8B): Tässä standardina on 16 Gt RAM-muistia ja 8 Gt VRAM-muistia. Tämä on Llama 3.1 8B:n eli Mistralin aluetta, jotka tarjoavat... Täydellinen tasapaino laadun ja nopeuden välillä.
- Suuret mallit (13-70B+): Nyt siirrymme ammattilaisten maailmaan. 70B-malliin tarvitset vähintään 64 Gt RAM-muistia ja näytönohjaimen, jossa on vähintään 40 Gt VRAM-muistia.
Niille, jotka käyttävät Applen piilevy (M1, M2, M3, M4)Kokemus on fantastinen yhtenäisen muistin ansiosta, jonka avulla näytönohjain voi käyttää kaikkea järjestelmän RAM-muistia.
Vaiheittainen asennusopas
Ollaman asentaminen on lähes yhden napsautuksen prosessi käyttöjärjestelmästäsi riippuen:
- Windowsissa: Lataa .exe-tiedosto viralliselta verkkosivustolta, asenna se ja näet Ollama-kuvakkeen ilmaisinalueella. Jos haluat muuta polkua, johon mallit tallennetaan (koska C-asema täyttyy nopeasti), sinun on luotava ympäristömuuttuja nimeltä UUNI_MALLIT haluamasi kansion polun kanssa.
- macOS:ssä: Lataa vain .dmg-tiedosto ja vedä sovellus Sovellukset-kansioon.
- Linuxissa: Se tehdään yhdellä komentorivillä:
curl -fsSL https://ollama.com/install.sh | shTämä konfiguroi systemd-palvelun automaattisesti.
Tarkistaaksesi, että kaikki on kunnossa, avaa pääte ja kirjoita ollama --versionJos se palauttaa versionumeron, olet mukana.
Ensimmäiset askeleesi mallien kanssa
Tekoälyn käynnistämiseksi sinun ei tarvitse määrittää mitään monimutkaista, käytä vain komentoa juosta. Esimerkiksi jos kirjoitat ollama run llama3.1Järjestelmä lataa mallin automaattisesti ja avaa interaktiivisen chatin terminaalissa. Poistuaksesi kirjoita /bye.
Suositeltujen mallien luettelo
Kaikki mallit eivät sovellu samaan tarkoitukseen. Tavoitteestasi riippuen jompikumpi sopii paremmin:
- Yleinen käyttö: Llama 3.3 70B on monimutkaisen päättelyn peto, kun taas Llama 3.1 8B on monipuolisempi vaihtoehto jokapäiväiseen käyttöön.
- Ohjelmointi: DeepSeek Coder ja Qwen 2.5 Coder ovat raakoja työkaluja automaattisen täydennyksen koodi ja debuggausvirheet suoraan editorissasi.
- Edistynyt päättely: DeepSeek-R1 on ihanteellinen valinta, jos tarvitset tekoälyn ajattelevan askel askeleelta ennen vastaamista, lähestyen markkinoiden huippumallien ominaisuuksia.
- Multimodaalisuus: LLaVA on täydellinen, jos haluat tekoälyä analysoida kuvia ja kuvaile niiden sisältöä.
Ollaman vieminen seuraavalle tasolle: Rajapinnat ja API:t
Jos terminaali tuntuu liian yksinkertaiselta, voit asentaa Avoin verkkokäyttöliittymäSe on verkkokäyttöliittymä, joka kopioi ChatGPT-kokemuksen, mutta yhdistyy paikalliseen Ollamaan. Se on helppo asentaa Dockerin avulla ja sen avulla voit hallita historiaa, ladata PDF-tiedostoja kysymysten esittämistä varten (RAG) ja vaihtaa mallia yhdellä napsautuksella.
Kehittäjille Ollama tarjoaa REST-rajapinta portissa 11434 joka on täysin yhteensopiva OpenAI:n kanssa. Tämä tarkoittaa, että voit integroida paikallisen tekoälysi mihin tahansa Python- tai JavaScript-sovellukseen yksinkertaisesti muuttamalla palvelimen URL-osoitetta. Saatavilla on jopa laajennuksia, kuten Continue.dev VS Codelle, joka muuttaa Ollaman omaksi yksityiseksi kopiopilotiksi.
Optimointi- ja ylläpitovinkkejä
Jotta järjestelmä toimisi, on suositeltavaa käyttää kvantisoidut mallit (kuten Q4_K_M), mikä pienentää mallin kokoa ja minimoi laadun heikkenemisen. Jos huomaat mallista puuttuvan asioita, voit laajentaa konteksti-ikkunaa parametrilla --num-ctxLisäksi NVIDIA-ajureiden pitäminen ajan tasalla on tärkeää, jotta voit hyödyntää teknologioita, kuten Salamahuomio, mikä vähentää muistin kulutusta.
Ollama on tehnyt paikallisesta tekoälystä helposti saatavilla, minkä ansiosta kuka tahansa kunnollisen tietokoneen omistaja voi ottaa käyttöön kaikkea ohjelmointiavustajista yksityisiin asiakirja-analyysijärjestelmiin. Yksinkertaisen komentoriviarkkitehtuurin, integroinnin visuaalisiin käyttöliittymiin, kuten Open WebUI, ja yhteensopivuuden laajan avoimen lähdekoodin mallikirjaston kanssa ansiosta ei ole enää tarpeen luottaa pilveen LLM-ohjelmien tehon hyödyntämiseksi.
Intohimoinen teknologiaan pienestä pitäen. Rakastan olla ajan tasalla alalla ja ennen kaikkea viestiä siitä. Siksi olen omistautunut viestintään teknologia- ja videopelisivustoilla useiden vuosien ajan. Löydät minut kirjoittamasta Androidista, Windowsista, MacOS:sta, iOS:stä, Nintendosta tai mistä tahansa muista mieleen tulevista aiheista.