- GGUF formatı, gelişmiş niceleme teknikleri kullanarak büyük dil modellerini ev tipi donanımlarda çalıştırmaya olanak tanır.
- Yanıtların doğruluğu ile VRAM ve RAM bellek tüketimi arasında esnek bir denge sunar.
- Llama.cpp, Ollama ve LM Studio gibi popüler araçlarla uyumludur ve yerel çıkarımı kolaylaştırır.
Güçlü bir dil modelini kendi bilgisayarınızda çalıştırmayı denediyseniz ve belleğe sığmadığını fark ettiyseniz, muhtemelen GGUF terimiyle karşılaşmışsınızdır. Temel olarak, bu format, size şu imkanı sağlayan can simididir: devasa yapay zeka modelleri Tüketici donanımında çalıştırılabilmesi, NASA sunucusunun yerel olarak bir yapay zeka ile iletişim kurma ihtiyacını ortadan kaldırıyor. Ev bilgisayarında yapay zeka çalıştırmak için gerekenler.
GGUF'u bu kadar özel kılan şey, sadece bir dosya kapsayıcısı olmaması, aynı zamanda eski GGML'nin bir evrimi olmasıdır. Tasarım amacı şudur: sağlam ve esnekBu sayede modeller çok daha hızlı yüklenir ve çıkarım işlemleri, yalnızca CPU kullanmanız veya CUDA aracılığıyla grafik kartınızın gücünden yararlanmanız fark etmeksizin verimli olur.
GGUF formatı tam olarak nedir ve nasıl çalışır?
GGUF (GGML Universal Format'ın kısaltması), makine öğrenimi model ağırlıklarını depolamak için optimize edilmiş ikili bir standarttır. Mimarisi, modelin ağırlıkları depolamasına olanak tanır. meta veriler ve talimat şablonları Aynı dosya içinde yer alması, önceki sürümlerin yaşadığı birçok uyumluluk sorununu çözüyor.
Sihir, şunlar sayesinde gerçekleşiyor: Ağırlıkların verimli yönetimiGGUF, modelin tamamını büyük bir formatta yüklemek yerine, son derece hızlı yükleme ve kaydetme olanağı sunar; bu da, sorunsuz bir kullanıcı deneyimi sağlamak ve veri kaybını önlemek için her milisaniyenin önemli olduğu etkileşimli uygulamalar veya gerçek zamanlı çevirmenler geliştiriyorsanız hayati önem taşır. SSD bir darboğaz oluşturuyor..
Dahası, bu format bir bukalemun gibidir: yeni işlevlere uyum sağlamak Eski sürümlerle uyumluluğu bozmadan. Bu, yapay zeka geliştikçe ve yeni veri türleri ortaya çıktıkça, GGUF'un indirdiğiniz tüm modelleri atmak zorunda kalmadan bunları entegre edebileceği anlamına gelir.
GGUF'un kalbi: Nicelleştirme
24 GB'lık bir modeli mütevazı bir GPU'ya sığdırmak için niceleme kullanılır. Bu işlem, modelin bilgisini (ağırlıkları) temsil eden sayıların hassasiyetini azaltmayı, 16 bitlik kayan noktalı biçimden (FP16) 8, 4 hatta 2 bit gibi çok daha hafif biçimlere geçmeyi içerir. Kısacası, Kalite konusunda biraz karşılıklı alışverişte bulunduk. Dosya boyutunda ciddi bir azalma ve çok daha hızlı yanıt süresi sayesinde.
Ekipmanınıza bağlı olarak seçebileceğiniz çeşitli nicelleştirme seviyeleri vardır:
- Q8_0: Kaliteden ödün vermek istemeyenler için ideal bir seçenek. Doğruluk neredeyse orijinaliyle aynı, ancak çok fazla hafıza gerektiriyor.
- Q5_K_M: Bol miktarda VRAM'iniz varsa ve yapay zekanın görevlerde çok hassas olması gerekiyorsa idealdir. karmaşık akıl yürütme.
- Q4_K_M: Ollama gibi aletlerde ideal denge noktası ve standarttır. Günlük işlerde kalite kaybı olmadan hız ve hassasiyeti mükemmel bir şekilde dengeler.
- IQ4_XS: VRAM'iniz birkaç gigabayt eksik olduğunda ve modelin kesinlikle uyumlu olması gerektiğinde çok kullanışlı.
- Q2 ve Q3: Burada tehlikeli bir bölgeye giriyoruz, çünkü Kalitedeki düşüş çok ani. ve model tutarsızlıklar göstermeye başlayabilir.
Bunun dışında, GGUF aşağıdaki gibi gelişmiş teknikleri de desteklemektedir: LoRA, QLoRA ve AWQBu da sistem kaynaklarının kullanımını daha da optimize ederek, mobil cihazlar veya uç bilişim gibi enerji kısıtlamalı donanımların bu yapay zekaları aşırı ısınmadan çalıştırmasına olanak tanır.
Veri türlerinin ve doğruluğun karşılaştırılması
Teknik konulara daha yatkın olanlar için, GGUF'un çok çeşitli veri türlerini işlediğini bilmek önemlidir. Standarttan başlayarak IEEE 754 Çift Hassasiyetli (F64) BF16 gibi çok daha optimize edilmiş sürümlere kadar. Ayrıca sözde "..." sürümleri de var. K-KantlarBu yöntemlerin doğruluğu, model katmanının önemine bağlı olarak değişir.
Örneğin, formatlar IQ (Önem Nicelendirmesi) Modelin bozulmasına neden olmadan hangi ağırlıkların daha da sıkıştırılabileceğine karar vermek için bir önem matrisi kullanırlar. Bu, Q4 veya Q5'in çok yönlülüğüne kıyasla kullanışlılıkları sınırlı olsa da, son derece küçük olan IQ1_S gibi sürümlere olanak tanır.
Ollama, LM Studio ve Llama.cpp ile pratik uygulama
.gguf dosyasına sahip olmak işin sadece yarısı; daha sonra onu çalıştırmanız gerekiyor. En basit araç ise şudur: lama.cppBu da temelde tüm bunları çalıştıran motor görevi görüyor. Daha görsel bir şey tercih ederseniz, LM Stüdyosu Bu harika çünkü Hugging Face modellerini aramanıza, kantifikasyonu seçmenize ve onlarla temiz bir arayüzde sohbet etmenize olanak tanıyor, hatta şunları yapmanıza bile izin veriyor: Modellerin kaydedildiği klasörü değiştirin..
Öte yandan Ollama, yapay zekayı iş akışlarına entegre etmek isteyenler için tercih edilen seçenektir. Hugging Face'te resmi Ollama kütüphanesinde bulunmayan bir model bulursanız, kendiniz bir dosya oluşturarak onu içe aktarabilirsiniz. Model dosyasıKomutla birlikte dosya yolunu belirtmeniz yeterli. FROM ve yürüt ollama create Kendi özel yerel modelinizi oluşturmak için.
Gelişmiş Örnekler: Vektörleştirme ve Gömme Modelleri
GGUF formatı sadece sohbet için değil. Aynı zamanda jina-embeddings-v4 gibi vektörleştirme modellerinde de kullanılıyor. Bu modeller şunlardır: Üretken yerine ayrımcıBu, bilgi alma görevleri (RAG) için metni sayısal vektörlere dönüştürdükleri anlamına gelir.
Bu modelleri GGUF'a dönüştürmek inanılmaz hızlar sağlayabilir. Bir L4 GPU ve optimize edilmiş bir derleme kullanılarak... alevle gömmeSaniyede 4000 token'a ulaşmak mümkündür. Bunu optimize etmek için, aşağıdaki ayarların yapılması önerilir. fiziksel parti boyutu (-ub) ve VRAM'in aşırı yüklenmesini önlemek için bağlam penceresi (-c).
İlginç bir ayrıntı da şu ki, bu vektörleştirme modellerinde, önekler gibi unsurlar yer alıyor. "Sorgu:" veya "Paragraf:" Girişlere, modelin bir soru mu sorduğumuzu yoksa bir belge mi sağladığımızı anlaması için gerekli değişiklikleri uyguluyoruz, çünkü basitleştirilmiş GGUF formatı bazen standart dönüştürücülerin otomatik ön işlemesini atlıyor.
GGUF'un kullanımı, yapay zekaya erişimi demokratikleştirdi ve iyi bir bilgisayara sahip herkesin onunla deney yapmasına olanak sağladı. optimize edilmiş nicelemeler ve yerel dağıtımlar. Q4_K_M veya Q8_0 arasında seçim yapma becerisini geliştirerek ve bu dosyaları Ollama veya LM Studio gibi araçlara entegre etmeyi bilerek, donanım performansı ve model zekası arasında ideal bir denge sağlanır ve yapay zeka gerçekten erişilebilir ve özel hale gelir.
Ben "inek" merakını mesleğe dönüştürmüş bir teknoloji tutkunuyum. Hayatımın 10 yıldan fazlasını en son teknolojiyi kullanarak ve sırf merakımdan dolayı her türlü programı kurcalayarak geçirdim. Artık bilgisayar teknolojisi ve video oyunları konusunda uzmanlaştım. Bunun nedeni, 5 yılı aşkın bir süredir teknoloji ve video oyunlarıyla ilgili çeşitli web sitelerinde yazılar yazıyor olmam ve ihtiyacınız olan bilgileri herkesin anlayabileceği bir dilde size vermeye çalışan makaleler oluşturmamdır.
Sorularınız varsa bilgim Windows işletim sistemi ve cep telefonları için Android ile ilgili her şeyi kapsar. Ve size olan bağlılığımdır, her zaman birkaç dakikamı ayırmaya ve bu internet dünyasında aklınıza gelebilecek her türlü soruyu çözmenize yardımcı olmaya hazırım.