Jak změnit složku, kam Ollama ukládá modely, aby se ušetřilo místo

Dochází vám místo na hlavním disku kvůli velikosti velkých jazykových modelů? Řešením by mohla být změna složky, kam Ollama modely ukládá. V tomto článku vám ukážeme, jak na to. Jak změnit výchozí cestu k jiné jednotce pomocí proměnných prostředí ve Windows, Linuxu a macOS, takže váš systém bude optimalizován bez nutnosti odinstalování.

Proč měnit složku, kam Ollama ukládá modely?

Opravdu změna složky, kam Ollama ukládá modely, šetří místo? Ano. Ale s důležitou výhradou: ve skutečnosti nezmenšujete velikost modelů, ale spíše uvolňujete místo na hlavním disku. Jazykové modely (LLM) jsou binární soubory o velikosti několika gigabajtů a nelze je kvantizací komprimovat dále, než už jsou.

Ještě, Změnou složky, kam Ollama ukládá modely, dosáhnete následujícího: 

• Uvolněte systémový disk (obvykle C: nebo kořenový oddíl /): Zabraňujete zaplnění disku, na kterém je nainstalován operační systém. To často zpomaluje počítač nebo brání důležitým aktualizacím.
• Používáte jiné disky: Změna složky, kam Ollama ukládá modely, umožňuje přesunout složky o velikosti 20 GB nebo 50 GB a více na mechanický pevný disk, sekundární SSD disk nebo externí úložiště s větší kapacitou.

Pokud chcete zmenšit celkový prostor, který modely zabírají, máte dvě účinné alternativy: na jedné straně můžete použijte verze s vyšší kvantizací, které jsou menší modelyJe lepší stáhnout si varianty jako q4_K_M místo q8_0 nebo fp16. A na druhou stranu se doporučuje Smazat šablony, které již nepoužíváte nebo testy, které již nepoužíváte přímo z konzole s ollama rm nombre_del_modelo.

Jak změnit složku, kam Ollama ukládá modely, aby se ušetřilo místo

Změna složky, kam Ollama ukládá modely (která se ve výchozím nastavení obvykle nachází na hlavním disku). C:\Users\Usuario\.ollama\models), musíš definovat proměnnou prostředí OLLAMA_MODELSNíže vysvětlíme, jak to udělat ve Windows, Linuxu a macOS.

Ve Windows

Postupujte podle těchto pokynů Kroky pro změnu složky, kam Ollama ukládá modely ve Windows:

1. Úplně zavři Ollamu: Klikněte pravým tlačítkem myši na ikonu Ollama na hlavním panelu (v oznamovací oblasti) a vyberte možnost Ukončit Ollamu, abyste zabránili uzamčení souborů během přenosu.
2. Přesunout aktuální složku (volitelné): Pokud již máte šablony staženy a nechcete je stahovat znovu, přejděte na C:\Users\TuUsuario\.ollama a přesuňte složku models do nového umístění (například D:\Ollama\models o E:\ModelosIA).
3. Vytvořte proměnnou prostředí ve Windows:
   • Stiskněte klávesu Windows + R, píše sysdm.cpl a stiskněte Vstupte.
   • Přejděte na kartu Pokročilé možnosti a klikněte na tlačítko Proměnné prostředí…
   • V sekci Uživatelské proměnné (nebo systémové proměnné) klikněte na Nový…
   • Vyplňte pole následujícími informacemi:
     • Název proměnné: MODELY_TROUB
     • Hodnota proměnné: D:\Ollama\models (nebo přesná cesta, kam chcete modely odteď ukládat).
     • Klikněte na Přijmout ve všech oknech.
4. Restartujte Ollamamu: Znovu otevřete aplikaci Ollama. Od této chvíle všechny příkazy ollama run o ollama pull Soubory si stáhnou a načtou přímo z nově zvolené cesty.

V Linuxu

V Linuxu, Změna se provede definováním proměnné prostředí OLLAMA_MODELS před spuštěním služby Ollama. Pokud jste nainstalovali Ollama Pomocí oficiálního skriptu běží jako služba na pozadí spravovaná systemdChcete-li změnit složku, kam Ollama ukládá modely v systému Linux, postupujte takto.

1. Upravte službu Ollama: sudo systemctl edit ollama.service.
2. Přidejte proměnnou prostředí. Do souboru, který se otevře, přidejte následující řádky a nahraďte cestu novou složkou: [Service]
Environment="OLLAMA_MODELS=/ruta/deseada/ollama/models".
3. Přiřaďte oprávnění k nové složce. Ujistěte se, že má uživatel ollama přístup k novému umístění: sudo chown -R ollama:ollama /ruta/deseada/ollama/models.
4. Dobijte si kredit a restartujte službu: sudo systemctl daemon-reload
sudo systemctl restart ollama.

V systému macOS

Pokud používáte grafickou aplikaci Ollama v systému macOS, nejčistší způsob, jak definovat proměnnou globálně pro systém, je pomocí launchctlZměna složky, kam Ollama ukládá modely v systému macOS Postupujte podle následujících kroků:

1. Úplně zavřete Ollamu z horního panelu nabídek.
2. Nastavte trvalou proměnnou prostředí. Chcete-li to provést, otevřete Terminál a spusťte příkaz: launchctl setenv OLLAMA_MODELS "/Ruta/Deseada/ollama/models".
3. Restartujte Ollamu ze složky Aplikace.

Pokud ale spouštíte Ollamu přímo z terminálu místo z grafické aplikace, stačí přidat export OLLAMA_MODELS="/Ruta/Deseada/ollama/models" do vašeho souboru ~/.zshrc o ~/.bashrc.

Další tipy pro úsporu místa

Změna složky, kam Ollama ukládá modely, není jediná věc, kterou můžete udělat pro úsporu místa na disku. I když je pravda, že se jedná o jedno z hlavních opatření, které můžete podniknout, pokud máte velmi rozsáhlé jazykové modely, Existují i ​​další praktická opatření, která vám pomohou optimalizovat váš prostorToto jsou některé z nich:

• Vyberte efektivní kvantizace: Pokud nepotřebujete velmi striktní matematickou nebo kódovací přesnost, stáhněte si verze q4_K_M nebo q4_0. Ty nabízejí optimální rovnováhu mezi kvalitou a velikostí a snižují hmotnost modelu až o 60–70 % ve srovnání s FP16 s minimální ztrátou přesnosti.
• Vyberte si moderní modely „Malé/Střední“:  Novější modely s nižšími parametry (například parametry 3B až 8B) často překonávají starší modely 14B nebo 30B tím, že zabírají polovinu místa.
• Nepoužívejte tolik jazykových modelů: Místo několika specializovaných modelů (jeden pro psaní, jeden pro překlad, další pro chatování…) zvolte jeden model, který je obecnější, ale dostatečně všestranný, aby vám sloužil pro většinu každodenních úkolů.
• Odstranění osiřelých objektů blob: Ollama ukládá vrstvy do složky manifests y blobsPokud stahování zrušíte v průběhu, mohou v něm zůstat zbytkové soubory. Starou verzi smažte pomocí ollama rmzajištění odstranění souvisejících souborů.

Stručně řečeno, změňte složku, kam Ollama ukládá modely Je to jednoduchý a přímočarý postup, který zabraňuje přetížení hlavního pevného disku.Změnou konfigurace proměnné prostředí uvolníte nezbytný prostor v operačním systému a budete moci flexibilněji spravovat modely umělé inteligence na discích s větší kapacitou, aniž byste museli obětovat výkon.