- Ağırlık dosyalarının büyük boyutu nedeniyle, yerel LLM'ler çalıştırılırken disk alanı yönetimi kritik öneme sahiptir.
- Yapılandırma, işletim sistemine bağlı olarak öncelikle OLLAMA_MODELS ortam değişkeninin kullanımına dayanmaktadır.
- İndirilmiş modelleri, yol değişikliklerini uygulamadan önce klasörleri fiziksel olarak taşıyarak taşımak mümkündür.
Ollama'nın modelleri kaydettiği klasörü nasıl değiştirebilirim? Kendi bilgisayarınızda dil modelleri çalıştırmaya giriştiyseniz, Ollama'nın tüm süreci basitleştirmek için harika bir araç olduğunu fark etmişsinizdir. Ancak, sıklıkla ortaya çıkan küçük bir dezavantajı var: disk alanıVarsayılan olarak, program modelleri işletim sisteminin bulunduğu sürücüye kaydetme eğilimindedir ve bildiğimiz gibi, bu dosyalar onlarca gigabayt ağırlığında olabilir ve ana SSD'nizi kısa sürede doldurabilir.
Bu dosyaları ikincil bir sürücüye veya daha fazla alana sahip bir bölüme taşımak, bilgisayarın donmasını veya çok istediğimiz 70B modelini indirememesini önlemek için yapmamız gereken ilk optimizasyonlardan biridir. Bunu yapmak için bilgisayar uzmanı olmanıza gerek yok; sadece şunları yapmanız yeterli: birkaç değişkeni ayarlayın ve Ollama'nın hazinelerini nerede arayacağını tam olarak bilmesi için hizmeti yeniden başlatın.
Sisteminize göre varsayılan konumlar
Herhangi bir şeyi taşımadan önce, modellerin şu anda nerede "saklandığını" bilmek çok önemlidir. WindowsGenellikle onları şurada bulabilirsiniz: C:\Users\TU_USUARIO\.ollama\models. Eğer kullanırsan macOSRota genellikle şöyledir: ~/.ollama/modelsBu durumuda LinuxDurum, nasıl yüklediğinize bağlı olarak değişir: eğer resmi servis komut dosyası aracılığıyla yüklediyseniz, muhtemelen şu aşamadalar: /usr/share/ollama/.ollama/modelsAncak manuel kurulumlarda genellikle kullanıcının ana klasöründe kalırlar.
Windows ortamlarında yapılandırma
Windows kullanıyorsanız, bunu çözmek için birkaç yolunuz var. En çok önerilen yöntem ise şudur: sistem ortamı değişkenleriBunu yapmak için Başlat menüsünde "Sistem ortam değişkenlerini düzenle" seçeneğini arayın ve değişkenler bölümüne girin. Burada bir değişken oluşturmalısınız. OLLAMA_MODELS adlı yeni bir değişken ve ona ikincil diskinizin tam yolunu değer olarak atayın, örneğin, D:\OllamaModelsBu adımı atmadan önce klasörün zaten mevcut olması hayati önem taşımaktadır.
Eğer daha önce şablon indirdiyseniz ve bunları tekrar baştan indirmek istemiyorsanız, şunu yapabilirsiniz: manuel göçÖncelikle Ollam'ı tamamen kapatın (Görev Yöneticisi'nde aktif işlem olmadığından emin olun). Ardından klasörü kesin. .ollama Kullanıcı hesabınızdan kopyalayıp yeni hedef klasöre yapıştırın. Bu işlem tamamlandıktan sonra, yukarıda belirtilen ortam değişkenini yapılandırın ve sunucuyu yeniden başlat Böylece yeni konumu tanıyabilir.
Konsolu tercih eden cesur kullanıcılarımız için, Ollama'yı baştan itibaren belirli bir yola şu komutla kurmak mümkündür: OllamaSetup.exe /DIR="D:\OllamaDir"bu da izin verir hem uygulama hem de modeller C biriminin dışında ikamet etmek.
Linux kullanıcıları için detaylı ayarlar
Linux'ta yönetim, Ollama'yı normal bir kullanıcı olarak mı yoksa sistem hizmeti olarak mı çalıştırdığınıza tamamen bağlıdır. Resmi betiği kullanarak kurduysanız, en temiz yaklaşım yapılandırmayı düzenlemektir. sistemdKoşma sudo systemctl edit ollama.serviceBölümün altına bir çizgi ekleyebilirsiniz. diyor ki Environment="OLLAMA_MODELS=/ruta/especial/ollama/models"Kaydettikten sonra çalıştırmayı unutmayın. sudo systemctl daemon-reload ve hizmeti şu şekilde yeniden başlatın: sudo systemctl restart ollama.
Daha manuel bir kurulum tercih ediyorsanız veya sunucuyu doğrudan terminalde çalıştırmak istiyorsanız, şu satırı ekleyebilirsiniz: export OLLAMA_MODELS=/tu/ruta/personalizada dosyanıza .bashrc o .zshrcBu, oturumu her açtığınızda ayarların kalıcı olmasını sağlayacaktır. Önemli bir ayrıntı ise şudur: izleme tapu izinleriİndirme hatalarını önlemek için Ollama'yı çalıştıran kullanıcının yeni klasör üzerinde tam kontrole sahip olması gerekir.
Bölümleme kullanmaya karar verirseniz dikkatli olun. Linux'ta NTFS formatıÇünkü yükleme modellerinin önemli ölçüde yavaşlayabileceği ve EXT4 gibi yerel formatlara kıyasla %20'den fazla performans kaybına yol açabileceği bildirilmiştir.
macOS kullanıcıları için prosedür
Mac'lerde ayarlanacak değişken aynıdır, ancak uygulama şekli değişir. Eğer bir şeye ihtiyacınız varsa... geçici değişiklik Yalnızca bir sonraki yeniden başlatmaya kadar geçerli olmasını istiyorsanız, terminali şu komutla kullanabilirsiniz: launchctl setenv OLLAMA_MODELS /ruta/al/disco/externoBu, genel sistem yapılandırmasını değiştirmeden hızlı testler yapmak için idealdir.
Değişikliği kalıcı hale getirmek için, kabuğunuzun yapılandırma dosyasını (genellikle) düzenlemeniz en iyisidir. ~/.zshrc) satırı ekleyerek export OLLAMA_MODELS="/Users/tuusuario/modelos"Kaydedildikten sonra çalıştırın. source ~/.zshrc y Ollama uygulamasını yeniden başlatın. Değişikliklerin geçerli olması için menü çubuğundaki simgeye tıklayın.
Docker ve disk bağlama işlemlerini kullanma
Temiz konteynerleri tercih edenler için Docker ideal bir seçenektir. Konteyner kaldırılırken modellerin silinmesini önlemek için, Docker'ın kullanılması zorunludur. kalıcı hacimlerKonteyneri fırlatırken bayrak kullanılmalıdır. -v ollama_data:/root/.ollamaVerilerin sabit diskinizdeki belirli bir klasöre gitmesini istiyorsanız, disk adını ana sisteminizdeki mutlak bir yola değiştirmeniz yeterlidir.
Ayrıca, bayrağı kullanarak ek ortam değişkenleri de iletebilirsiniz. -eyapılandırmanıza olanak tanır OLLAMA_HOST para exponer la API en tu red local o ajustar el OLLAMA_KEEP_ALIVE para decidir cuánto tiempo permanece el modelo en VRAM antes de descargarse, optimizando así la memoria de tu GPU.
Sorun giderme ve optimizasyon
Bazen, her şeyi yapılandırdıktan sonra bile Ollama ana sürücüye yazmaya devam eder. Bu durumlarda, değişkenin doğru olduğundan emin olun. sistem değişkeni ve geçici bir kullanıcı hesabı değil. Eğer şu hatayla karşılaşırsanız: address already in use 11434 numaralı portta büyük olasılıkla hayalet bir örnek çalışıyor; bunu kullanın. netstat o lsof Yeniden başlatmadan önce işlemi bulup sonlandırmak.
Performansta düşüş fark ederseniz, komutu kullanarak kontrol edin. ollama ps belirtilen işlemcinin GPU ve işlemci değil. Model SSD yerine mekanik bir sabit diske (HDD) taşındıysa, ilk yükleme süresinin çok daha uzun olması normaldir; ancak model RAM veya VRAM'e yerleştirildikten sonra metin oluşturma hızı etkilenmeyecektir. Daha fazla alan açmanız gerekiyorsa, şunu unutmayın: Ollama'da artık kullanmadığınız modelleri nasıl silersiniz?.
OLLAMA_MODELS ortam değişkenini kullanarak model yolunu doğru şekilde yapılandırmak, sistem sürücüsündeki kritik alanı boşaltır ve LLM kütüphanesini daha büyük disklere yerleştirerek, Windows, Linux, macOS veya Docker konteynerleri kullanılıp kullanılmadığına bakılmaksızın yerel altyapının ölçeklenebilir ve verimli olmasını sağlar.
Küçüklüğünden beri teknolojiye meraklı. Sektörde güncel olmayı ve her şeyden önemlisi iletişim kurmayı seviyorum. Bu yüzden uzun yıllardır teknoloji ve video oyunu web sitelerinde iletişime adadım. Beni Android, Windows, MacOS, iOS, Nintendo veya aklınıza gelen diğer ilgili konular hakkında yazarken bulabilirsiniz.