- A lemezterület-kezelés kritikus fontosságú a helyi LLM-ek futtatásakor a súlyfájlok nagy mérete miatt.
- A konfiguráció elsősorban az OLLAMA_MODELS környezeti változó használatán alapul, az operációs rendszertől függően.
- A már letöltött modellek migrálhatók a mappák fizikai áthelyezésével az elérési út módosításainak alkalmazása előtt.
Hogyan tudom megváltoztatni azt a mappát, ahová az Ollama modelleket ment? Ha már próbálkoztál nyelvi modellek futtatásával a saját számítógépeden, akkor észrevehetted, hogy az Ollama egy fantasztikus eszköz az egész folyamat leegyszerűsítésére. Van azonban egy apró hátránya, ami gyakran gyorsan felszínre kerül: lemezterületAlapértelmezés szerint a program a modelleket arra a meghajtóra menti, ahol az operációs rendszer található, és mint tudjuk, ezek a fájlok több tíz gigabájtot is nyomhatnak, pillanatok alatt megtöltve a fő SSD-t.
Ezen fájlok áthelyezése egy másodlagos meghajtóra vagy egy nagyobb tárhellyel rendelkező partícióra az egyik első optimalizálási lépés, amit meg kell tennünk annak érdekében, hogy megakadályozzuk a számítógép lefagyását, vagy azt, hogy ne tudja letölteni azt a 70B-s modellt, amire annyira vágyunk. Nem kell ehhez számítógépes szakértőnek lenned; elég, ha állítson be néhány változót és indítsa újra a szolgáltatást, hogy Ollama pontosan tudja, hol keresse a kincseit.
Alapértelmezett helyek a rendszer alapján
Mielőtt bármit is mozgatnánk, elengedhetetlen tudni, hogy hol "rejtekeznek" a modellek. AblakokÁltalában megtalálod őket a C:\Users\TU_USUARIO\.ollama\models. Ha használja macOSaz útvonal általában ~/.ollama/modelsAbban az esetben, ha LinuxA helyzet attól függ, hogyan telepítetted: ha a hivatalos szervizszkripten keresztül tetted, akkor valószínűleg benne vannak. /usr/share/ollama/.ollama/models, bár manuális telepítések esetén általában a felhasználó saját mappájában maradnak.
Konfiguráció Windows környezetben
Ha Windowst használsz, többféleképpen is megközelítheted ezt. A leginkább ajánlott a következő: rendszerkörnyezeti változókEhhez a Start menüben meg kell keresni a „Rendszerkörnyezeti változók szerkesztése” lehetőséget, és be kell lépni a változók részbe. Itt kell létrehozni egy új változó, az OLLAMA_MODELS és a másodlagos lemez teljes elérési útját rendelje hozzá értékként, például D:\OllamaModelsLétfontosságú, hogy a mappa már létezzen a lépés megtétele előtt.
Ha már letöltött sablonokat, és nem szeretné azokat újra letölteni a nulláról, akkor teheti a következőt: manuális migrációElőször zárd be teljesen az Ollam alkalmazást (győződj meg róla, hogy nincsenek aktív folyamatok a Feladatkezelőben). Ezután vágd ki a mappát .ollama a felhasználói fiókodból, és illeszd be az új célhelyre. Ha ez megtörtént, konfiguráld a fent említett környezeti változót, és indítsa újra a szervert hogy felismerje az új helyet.
A konzolt előnyben részesítő legbátrabbak számára lehetőség van az Ollama telepítésére egy adott útvonalon a legelejétől a következő parancs használatával: OllamaSetup.exe /DIR="D:\OllamaDir"ami lehetővé teszi mind az alkalmazás, mind a modellek a C egységen kívül laknak.
Részletes beállítások Linux felhasználók számára
Linuxon a kezelés teljes mértékben attól függ, hogy az Ollama-t normál felhasználóként vagy rendszerszolgáltatásként futtatod-e. Ha a hivatalos szkripttel telepítetted, a legtisztább megközelítés a konfiguráció szerkesztése. rendszerezettFutás sudo systemctl edit ollama.serviceHozzáadhat egy sort a szakasz alá ami azt mondja Environment="OLLAMA_MODELS=/ruta/especial/ollama/models"Mentés után ne felejtsd el futtatni sudo systemctl daemon-reload és indítsa újra a szolgáltatást a sudo systemctl restart ollama.
Ha manuálisabb telepítést szeretne, vagy közvetlenül a terminálban futtatja a szervert, hozzáadhatja a következő sort: export OLLAMA_MODELS=/tu/ruta/personalizada a fájlodba .bashrc o .zshrcEzáltal a beállítások minden alkalommal véglegesek lesznek, amikor megnyit egy munkamenetet. Az egyik fontos részlet az, hogy ellenőrzési engedélyekAz Ollama programot futtató felhasználónak teljes hozzáféréssel kell rendelkeznie az új mappa felett a letöltési hibák elkerülése érdekében.
Legyen óvatos, ha partíciót használ. NTFS formátum LinuxbanEz azért van, mert a beszámolók szerint a modellek betöltése jelentősen lelassulhat, ami a natív formátumokhoz, például az EXT4-hez képest több mint 20%-os teljesítményveszteséget eredményezhet.
macOS-felhasználók számára készült eljárás
Mac gépeken a módosítandó változó ugyanaz, de az alkalmazásának módja más. Ha szüksége van egy ideiglenes változás csak a következő újraindításig tart, használhatja a terminált a következő paranccsal launchctl setenv OLLAMA_MODELS /ruta/al/disco/externoEz ideális gyors tesztek végrehajtására a globális rendszerkonfiguráció módosítása nélkül.
A módosítás véglegesítéséhez a legjobb, ha szerkeszted a shell konfigurációs fájlját (általában ~/.zshrc) a sor hozzáadásával export OLLAMA_MODELS="/Users/tuusuario/modelos"Mentés után futtassa source ~/.zshrc y Indítsa újra az Ollama alkalmazást a menüsor ikonjára a módosítások érvénybe léptetéséhez.
Docker és kötetcsatlakozók használata
Azok számára, akik a tiszta konténereket részesítik előnyben, a Docker az ideális választás. Annak érdekében, hogy a modellek ne törlődjenek a konténer eltávolításakor, kötelező a használata. állandó kötetekA konténer dobásakor a zászlót kell használni. -v ollama_data:/root/.ollamaHa azt szeretné, hogy az adatok a merevlemez egy adott mappájába kerüljenek, egyszerűen módosítsa a kötet nevét egy abszolút elérési útra a gazdagépen.
Ezenkívül további környezeti változókat is átadhat a flag használatával. -elehetővé teszi a konfigurálást OLLAMA_HOST para exponer la API en tu red local o ajustar el OLLAMA_KEEP_ALIVE para decidir cuánto tiempo permanece el modelo en VRAM antes de descargarse, optimizando así la memoria de tu GPU.
Hibaelhárítás és optimalizálás
Előfordul, hogy az Ollama még a teljes konfigurálás után is folytatja az írást a fő meghajtóra. Ilyen esetekben ellenőrizze, hogy a változó egy rendszerváltozó és nem egy ideiglenes felhasználói fiók. Ha a következő hibát tapasztalja: address already in use A 11434-es porton valószínűleg egy ghost példány fut; használd a következőt: netstat o lsof hogy megtalálja a folyamatot és leállítsa azt az újraindítás előtt.
Ha a teljesítmény csökkenését észleli, ellenőrizze a parancsot ollama ps hogy a jelzett processzor GPU és nem CPU. Ha a modellt SSD helyett mechanikus merevlemezre (HDD) helyezték át, akkor normális, ha a kezdeti betöltési idő sokkal hosszabb, bár ha a modell RAM-ban vagy VRAM-ban van, a szöveggenerálási sebességet ez nem befolyásolja. Ha több helyet kell felszabadítania, ne feledje Hogyan törölhetsz olyan modelleket az Ollama-ban, amelyeket már nem használsz.
A modell elérési útjának megfelelő konfigurálása az OLLAMA_MODELS környezeti változó használatával kritikus helyet szabadít fel a rendszermeghajtón, és az LLM könyvtárat nagyobb lemezeken rendszerezi, biztosítva, hogy a helyi infrastruktúra skálázható és hatékony legyen, függetlenül attól, hogy Windows, Linux, macOS vagy Docker konténereket használnak.
Kiskora óta szenvedélyes a technológia iránt. Szeretek naprakész lenni a szektorban, és mindenekelőtt azt kommunikálni. Ezért foglalkozom évek óta a technológiai és videojáték-weboldalak kommunikációjával. Androidról, Windowsról, MacOS-ról, iOS-ről, Nintendóról vagy bármilyen más kapcsolódó témáról írok, ami eszembe jut.