Raspberry Pi AI HAT+ 2: Bu, Raspberry Pi 5 için yeni yerel yapay zeka çözümüdür.

Gelişi Raspberry Pi AI HAT+ 2 Bu, yapay zekâ ile doğrudan çalışmak isteyenler için yeni bir adım anlamına geliyor. Raspberry Pi 5 Buluta sürekli bağımlı kalmadan. Bu genişletme kartı, özel bir nöral hızlandırıcı ve kendi belleğini ekleyerek, yapay zeka işlemesinin büyük bir kısmını ana CPU'dan uzaklaştırır ve daha iddialı üretken yapay zeka ve bilgisayar görüşü projelerine olanak tanır.

Yaklaşık tavsiye edilen fiyatla 130 dolar (İspanya ve Avrupa'nın geri kalanındaki nihai fiyat, vergilere ve resmi dağıtımcı kar marjlarına bağlı olarak değişecektir.) AI ​​HAT+ 2, gömülü yapay zeka ekosisteminde nispeten uygun fiyatlı bir seçenek olarak konumlanıyor. Büyük sunucular veya özel GPU'larla rekabet etmiyor, ancak maliyet, güç tüketimi ve performans arasında ilginç bir denge sunuyor. Nesnelerin interneti, otomasyon, eğitim ve prototipleme.

Raspberry Pi AI HAT+ 2 nedir ve birinci nesilden farkı nedir?

Raspberry Pi AI HAT+ 2 bir resmi uzatma plakası Raspberry Pi 5 için tasarlanan bu ürün, anakartın entegre PCI Express arayüzü üzerinden bağlanır ve ayrıca montaj için GPIO konektörünü kullanır. 2024 yılında piyasaya sürülen ve hızlandırıcılarla birlikte sunulan ilk AI HAT+'ın doğrudan halefidir. Hailo‑8L (13 TOPS) ve Hailo‑8 (26 TOPS) ve bilgisayarla görme görevlerine çok odaklanmıştı.

Raspberry Pi, bu ikinci nesilde şuna odaklanıyor: Hailo-10H sinir ağı hızlandırıcısı eşlik ederek 8 GB LPDDR4X bellek Kartın kendisinde özel olarak tasarlanmıştır. Bu kombinasyon, aşağıdaki iş yüklerini desteklemek üzere tasarlanmıştır: uç noktada üretken yapay zekaBunlara örnek olarak, kompakt dil modelleri, görüntü-dil modelleri ve görüntü ile metni birleştiren çok modlu uygulamalar verilebilir.

Birleştirme gerçeği entegre DRAM Bu, yapay zeka modellerinin çalıştırılmasının Raspberry Pi 5'in ana belleğini doğrudan tüketmediği anlamına gelir. Anakart uygulama mantığına, kullanıcı arayüzüne, bağlantıya veya depolamaya odaklanabilirken, NPU çıkarım işlemlerinin büyük kısmını üstlenir. Pratikte bu, yapay zeka modelleri arka planda çalışırken sistemin kullanılabilirliğini korumaya yardımcı olur.

Raspberry Pi'nin kendi açıklamasına göre, ilk AI HAT+'tan bu yeni modele geçiş şu şekildedir: neredeyse şeffaf Halihazırda Hailo-8 hızlandırıcılarını kullanan projeler için, şirketin kamera ortamı ve yazılım yığınıyla entegrasyon korunarak, büyük çaplı yeniden yazma işlemlerinin önüne geçiliyor.

Donanım, performans ve güç tüketimi: Hailo-10H NPU ile 40 TOPS'a kadar.

AI ​​HAT+ 2'nin kalbi şudur: Hailo-10HDüşük güç tüketimli cihazlarda çıkarım işlemlerini verimli bir şekilde yürütmek için tasarlanmış özel bir sinir ağı hızlandırıcı. Raspberry Pi ve Hailo, %20'ye kadar performanstan bahsediyor. 40 TOP performans (saniyede teraişlem), nicelleştirme ile elde edilen rakamlar INT4 ve INT8Modellerin uç noktalarda konuşlandırıldığı durumlarda çok yaygındır.

Önemli noktalardan biri, çipin gücünün yaklaşık olarak şu seviyeyle sınırlı olmasıdır. 3W güç tüketimiBu, özellikle 7/24 aktif olabilecek cihazlar için önemli olan, soğutma gereksinimlerini veya elektrik faturalarını önemli ölçüde artırmadan kompakt muhafazalara ve gömülü projelere entegre edilmesini sağlar. Ancak bu kısıtlama, brüt verim Belirli yüksek optimizasyonlu iş yüklerinde, işlemcisi ve grafik işlemcisi sınırlarına kadar zorlandığında, bu her zaman Raspberry Pi 5'in kendi sunduğundan üstün olmayacaktır.

Önceki modele kıyasla, sıçrama açıkça ortada: şuradan şuraya geçiyor: Hailo‑8L/Hailo‑8 ile 13/26 TOPS Hailo-10H ile 40 TOPS performansa ulaşan bu cihazda, ilk defa 8 GB özel dahili bellek eklenmiştir. İlk AI HAT+, nesne tespiti, poz tahmini ve sahne bölümlendirme gibi görevlerde üstün başarı göstermişti; yeni sürüm bu tür uygulamaları korurken odak noktasını genişletiyor. dil modelleri ve çok modlu kullanımlar.

Bununla birlikte, Raspberry Pi'nin kendisi de belirli görüntüleme işlemlerinde Hailo-10H'nin pratik performansının yetersiz kalabileceğini açıklıyor. 26 TOPS'a benzer Hailo-8'in özellikleri, iş yükünün dağıtım şekli ve mimari farklılıklar nedeniyle farklılık gösterir. En büyük gelişme, ham bilgisayar görüşü gücünden ziyade, LLM ve yerel üretken modeller için açtığı olanaklarda yatmaktadır.

Tabak, bir isteğe bağlı soğutucu NPU için. Güç tüketimi sınırlı olsa da, özellikle uzun süre yoğun yapay zeka görevleri veya zorlu performans testleri çalıştıracaksanız, çipin sıcaklık nedeniyle frekans düşürmesini önlemek için onu kurmanız önerilir.

Desteklenen dil modelleri ve yerel LLM kullanımı

AI ​​HAT+ 2'nin en dikkat çekici özelliklerinden biri, sahip olduğu yetenektir. Dil modellerini yerel olarak çalıştırın Raspberry Pi 5 üzerinde, harici sunuculara veri göndermeden. Sunum sırasında Raspberry Pi ve Hailo, aşağıdakiler de dahil olmak üzere bir dizi modeli öne çıkardı. 1.000 ve 1.500 milyon parametre başlangıç ​​noktası olarak.

Lansman sırasında sunulan uyumlu LLM'ler arasında şunlar yer almaktadır: DeepSeek-R1-Distill, Llama 3.2, Qwen2, Qwen2.5-Instruct ve Qwen2.5-CoderBunlar, temel sohbet, metin yazma ve düzeltme, kod oluşturma, basit çeviriler veya görüntü ve metin girdilerinden sahne açıklamaları gibi görevler için tasarlanmış nispeten kompakt modellerdir.

Şirket tarafından gösterilen ilk testler, aşağıdaki örnekleri içermektedir: Diller arası çeviri ve basit sorulara verilen yanıtlar, düşük gecikmeyle ve genel sistem kullanılabilirliğini önemli ölçüde etkilemeden, AI ​​HAT+ 2 tarafından desteklenen Raspberry Pi 5 üzerinde tamamen yürütülür. İşlem, Hailo-10H yardımcı işlemcisinde gerçekleştirilir ve cihazın buluta bağlanmasını gerektirmez.

Şunu açıkça belirtmek gerekir ki, bu çözüm, tam sürümler gibi seri üretim modelleri için tasarlanmamıştır. ChatGPT, Claude veya Meta'daki daha büyük LLM'lerBoyutları yüz milyarlarca hatta trilyonlarca parametreyle ölçülen bu durumlarda sorun sadece işlem gücü değil, her şeyden önce... hafıza gerekli modeli ve bağlamlarını barındırmak için.

Raspberry Pi'nin kendisi de kullanıcıların ne tür bir cihazla çalıştıklarının farkında olmaları gerektiğini ısrarla belirtiyor. daha sınırlı veri kümeleri üzerinde eğitilmiş daha küçük modellerBu kısıtlamayı telafi etmek için, aşağıdaki gibi tekniklere odaklanılmaktadır: LoRA (Düşük Seviyeli Adaptasyon)Bu sayede modeller, tamamen yeniden eğitilmeye gerek kalmadan, mevcut temelin üzerine hafif uyarlama katmanları eklenerek belirli kullanım durumlarına göre ayarlanabilir.

Bellek, sınırlamalar ve 16 GB Raspberry Pi 5 ile karşılaştırma

Dahil edilmesi 8 GB özel LPDDR4X RAM Bu, AI HAT+ 2'nin en önemli yeni özelliklerinden biri olmakla birlikte, çalıştırılabilecek model türlerini de açıkça tanımlıyor. Özellikle geniş bir bağlamı ele almak istiyorsanız, birçok orta ölçekli nicelleştirilmiş LLM modeli, birden fazla modele ihtiyaç duyabilir. 10 GB hafızaBu nedenle, bu aksesuar daha hafif modeller veya daha dar bağlam aralığına sahip modeller için tasarlanmıştır.

Eğer bunu bir ile karşılaştırırsanız... Raspberry Pi 5 16GB HAT olmasa bile, nispeten büyük modelleri doğrudan RAM'e yüklerken, belleğin önemli bir kısmı yalnızca yapay zekaya ayrılmış ve diğer görevlerden fedakarlık yapılmışsa, daha fazla belleğe sahip anakartlar yine de avantajlıdır. Bu senaryoda, entegre CPU ve GPU tüm çıkarım işlemlerini gerçekleştirir ve bu da iş yükünün artmasına neden olur.

AI ​​HAT+ 2 önerisi, arayış içindeyken daha mantıklı geliyor. ayrı sorumluluklarHailo-10H NPU'nun yapay zeka hesaplamalarını halletmesine izin verin ve Raspberry Pi 5'i hafif bir masaüstü ortamı, web servisleri, veritabanları, otomasyonlar veya bir uygulamanın sunum katmanını sürdürmek için serbest bırakın.

Sadece bir tane isteyenler için yerel asistan Nispeten basit yapısı ve üçüncü taraflara veri göndermeden sohbet etme, metin çevirme veya küçük programlama görevlerinde yardımcı olma yeteneğiyle AI ​​HAT+ 2'nin güç, tüketim ve maliyet dengesi yeterli olabilir. Bununla birlikte, büyük modeller veya son derece kapsamlı bağlamlar gerektiren projeler için, daha fazla belleğe sahip cihazlar veya bulut altyapısı kullanmak daha pratik olacaktır.

Dikkate alınması gereken bir diğer nokta ise, HAT'ın 8 GB'lık kapasitesinin bellek yükünü azaltmaya yardımcı olmasına rağmen, sürümünün Raspberry Pi 5'in 16 GB'lık belleği Toplam kapasite açısından eklenti kartından hala daha iyi performans gösteriyor, bu nedenle belirli RAM yoğun iş akışlarında bu yapılandırma tercih edilmeye devam edecektir.

Bilgisayar görüşü ve eş zamanlı model yürütme

AI ​​HAT+ 2, ilk nesli popüler yapan özelliği terk etmiyor: bilgisayar görüşü uygulamalarıHailo-10H, nesne algılama ve izleme modelleri, insan pozisyonu tahmini veya sahne bölümlendirme işlemlerini, pratikte Hailo-8'in 26 TOPS'ta sunduğu performansa paralel bir performansla gerçekleştirebilmektedir.

Raspberry Pi, yeni kartın şunları yapabileceğini belirtiyor: eş zamanlı olarak görme ve dil modellerini çalıştırınBu durum, kamera ve metin işlemenin birlikte çalışması gereken projeler için onu cazip hale getiriyor. Örneğin, olayları sınıflandıran ve açıklamalar üreten gözetim sistemleri, bir sahnede neler olup bittiğini açıklayan akıllı kameralar veya görsel tanımayı rapor oluşturmayla birleştiren cihazlar.

Belirli senaryolarda aile modellerinden bahsediliyor. YOLO Gerçek zamanlı nesne algılama için, çözünürlüğe ve modelin karmaşıklığına bağlı olarak saniyede yaklaşık 30 kareye ulaşabilen yenileme hızları kullanılabilir. Buradaki fikir, NPU'nun bu görevi üstlenmesi, Raspberry Pi 5'in ise depolama, ağ, bildirimler ve ekran yönetimini üstlenmesidir.

Raspberry Pi üzerindeki yapay zekâyı çevreleyen yazılım ekosistemi hala olgunlaşma aşamasındadır. Her ne kadar bir dizi yazılım mevcut olsa da... örnekler, çerçeveler ve araçlar Hem Raspberry Pi hem de Hailo için, birden fazla modelin (görsel, dil, çok modlu) paralel yürütülmesi, sürekli gelişen bir alan olmaya devam ediyor ve her projede ince ayar gerektirebilir.

Her halükarda, entegrasyon resmi Raspberry Pi kamera yığını Bu, markanın kamera modülleriyle halihazırda çalışanlar için hayatı kolaylaştırıyor. AI ​​HAT+ 2, bu ortamla doğrudan entegre oluyor, bu nedenle mevcut birçok görüntüleme projesi nispeten küçük değişikliklerle yeni karta taşınabiliyor.

İspanya ve Avrupa'daki kullanım örnekleri: endüstri, IoT ve eğitim projeleri

Düşük güç tüketimi, küçük boyut ve yerel yapay zeka işleme Bu durum, İspanya ve diğer Avrupa ülkelerinde uygulanan dijitalleşme trendleriyle de uyumludur. İstikrarlı bulut erişiminin her zaman garanti edilemediği veya katı gizlilik gereksinimlerinin bulunduğu endüstriyel sektörlerde, bu tür bir çözüm özellikle cazip olabilir.

Resmi belgelerde en sık kullanılan terimler arasında projeler yer almaktadır. endüstriyel otomasyon, proses kontrolü ve tesis yönetimiÜretim hatlarındaki görsel denetim sistemleri, gerçek zamanlı anormallik tespiti, erişim kontrolü veya binalardaki insan sayımı, çok daha pahalı yapay zeka altyapıları kurmaya gerek kalmadan, görme ve hafif dil modellerinin birleşiminin değer katabileceği örneklerdir.

Alanında Ev ve iş yerleri için IoTAI ​​HAT+ 2, Raspberry Pi 5 üzerinde çalışan yerel asistanlar, sensör verilerini yorumlayan kontrol panelleri, sahneleri tanımlayan kameralar veya görüntüleri harici sunuculara yüklemeden video analiz eden cihazlar için bir temel görevi görebilir. Bu yaklaşım, Avrupa Birliği'nde giderek daha katı hale gelen veri koruma düzenlemelerine uyum sağlamaya yardımcı olur.

Aynı zamanda ilginç bir araç da olabilir çünkü geliştirme kiti Hailo-10H çipini nihai ürünlerine entegre etmeyi düşünen Avrupalı ​​şirketler ve girişimler için. Raspberry Pi üzerinde performans ve kararlılık testleri, özel donanım tasarımlarına yatırım yapmadan önce konseptlerin doğrulanmasını sağlar.

Eğitim alanında, İspanya'daki meslek eğitim merkezleri, üniversiteler ve uzmanlaşmış akademiler, AI HAT+ 2'yi bir uygulama platformu olarak kullanabilir ve bu sayede Gömülü yapay zeka ve üretken yapay zeka Öğrencilere diğer daha pahalı sistemlere kıyasla erişilebilir ve nispeten ucuz donanımlar sunmak.

Kullanıcı profili ve hedeflenen proje türleri

Raspberry Pi AI HAT+ 2, çeşitli kullanıcı profillerini hedefliyor. Bir yandan, geniş bir topluluk üreticiler ve meraklılar Raspberry Pi 5'i zaten kullanan ve projelerine üretken yapay zeka veya gelişmiş görüntü işleme özelliklerini entegre etmek isteyen, ancak özel GPU'lu iş istasyonlarına geçmek veya tamamen bulut hizmetlerine bağımlı kalmak istemeyenler için.

Öte yandan, o da baştan çıkarmaya çalışır. profesyonel geliştiriciler ve girişimciler Gömülü yapay zekâ için bir test platformuna ihtiyaç duyan uygulamalar için tasarlanmıştır. Endüstriyel bilgisayarlara entegre edilmiş eGPU veya NPU'lara sahip çözümlerle karşılaştırıldığında, bu kart kompakt bir form faktörü, çok düşük güç tüketimi ve daha düşük genel maliyet sunar; ancak çok daha pahalı platformlara göre daha düşük bir performans sınırına sahiptir.

İlk AI HAT+'ı daha önce kullanmış olanlar için geçiş nispeten basit görünüyor: mevcut yazılımlarla entegrasyon Kamera yığını, gerekli değişiklikleri en aza indirgemek için özenle tasarlanmıştır. Bu, her şeyi yeniden yazmadan performans artışından yararlanmak isteyen, halihazırda devam eden projeler için önemlidir.

Diğer uçta ise, dil modellerini yerel olarak ve mümkün olan en yüksek bellek marjıyla çalıştırmak isteyen kullanıcılar yine de bir çözüm bulabilirler. Raspberry Pi 5 16GB HAT olmadan, entegre CPU ve GPU'nun tüm çıkarım işlemlerini üstleneceğini ve güç tüketiminin biraz daha yüksek olacağını varsayarsak.

Özetle, bu aksesuar, ara bir çözüm olarak kendine bir niş oluşturuyor gibi görünüyor: belirli yapay zeka görevlerinde tek başına çalışan bir Raspberry Pi 5'ten daha güçlü ve esnek, ancak sunucuların veya özel GPU'ların performansından çok uzak ve odak noktası şu şekilde: düşük güç tüketimi, gizlilik ve maliyet kontrolü.

Hailo yazılım entegrasyonu, kaynakları ve desteği

Yazılım açısından bakıldığında, Raspberry Pi kurulum sürecini olabildiğince basitleştirmeyi hedeflemiştir. AI ​​HAT+ 2, şu şekilde bağlanır: PCIe arayüzü Raspberry Pi 5'in bir parçasıdır ve resmi işletim sistemi tarafından doğal olarak tanınır; bu da yapay zeka uygulamalarının, ortamı zaten bilenler için aşırı karmaşık kurulum adımlarına gerek kalmadan çalışmasına olanak tanır.

Hailo kullanıcılara şunları sağlar: GitHub'da bir depo ve bir Geliştirici Bölgesi İçeriğinde hem üretken yapay zeka hem de bilgisayar görüşü için tasarlanmış kod örnekleri, önceden yapılandırılmış modeller, eğitimler ve çerçeveler bulunmaktadır. Ayrıca niceleme yönetimi, üçüncü taraf modellerin yüklenmesi ve belirli iş akışlarının optimize edilmesi için araçlar da içerir.

Şirket, lansman sırasında çeşitli olanakları kullanıma sundu. kurulumu hazır dil modelleriKataloğu daha büyük varyantlarla veya çok özel kullanım durumlarına uyarlanmış olanlarla genişletme vaadiyle birlikte, ayrıca LoRa gibi tekniklerin kullanımını teşvik ederek modelleri devasa veri kümeleri üzerinde sıfırdan eğitmek zorunda kalmadan her projenin ihtiyaçlarına göre ayarlamayı mümkün kılıyor.

Bu tür çözümlerde sıklıkla olduğu gibi, gerçek deneyim şunlara bağlı olacaktır: yazılım ekosisteminin olgunluk düzeyiBazı analistler, araçlar, istikrar ve birden fazla modelin eş zamanlı yürütülmesine yönelik destek konusunda hala iyileştirme alanları olduğunu belirtiyor, ancak Raspberry Pi ekosistemindeki eğilim giderek daha kusursuz bir entegrasyona doğru ilerliyor.

Her halükarda, İspanya'da veya diğer Avrupa ülkelerinde projeler geliştirmek için resmi dokümantasyona, pratik örneklere ve aktif bir topluluğa sahip olmak, düşük maliyetli cihazlarda gömülü ve üretken yapay zekâ ile deney yapmanın önündeki engeli önemli ölçüde azaltır.

İspanya ve Avrupa'da fiyat, bulunabilirlik ve pratik hususlar

Raspberry Pi AI HAT+ 2, referans fiyatıyla piyasaya sürüldü. 130 dolarİspanya'da ve Avrupa'nın geri kalanında nihai tutar şunlara bağlı olacaktır: döviz kuru, vergiler ve her dağıtımcının politikasıBu nedenle, mağazalar ve ülkeler arasında küçük farklılıklar olması beklenmektedir.

Anakart, aşağıdaki ürün serisinin tamamıyla uyumludur: Raspberry Pi 51 GB RAM'li modellerden 16 GB'lık sürümlere kadar, uyumlu Raspberry Pi, bilindik HAT formatı kullanılarak monte edilir: karta vidalanır ve GPIO başlığı ve PCIe arayüzü üzerinden bağlanır. Bu nedenle, bu arayüze sahip olmayan önceki Raspberry Pi modelleri uyumluluk listesinden çıkarılmıştır.

Duyuruyu takip eden ilk aşamalarda, bazı uzman dağıtımcılar şunları bildirdi: Stok sınırlıBu, resmi Raspberry Pi donanım sürümlerinde artık yaygın bir uygulamadır. Kısa vadede bir cihaz edinmek isteyenlerin, yetkili Avrupa distribütörlerinden temin edilebilirlik durumunu ve olası bekleme listelerini takip etmeleri gerekecektir.

Donanımın yanı sıra, satın alma işlemine Raspberry Pi ve Hailo için teknik dokümantasyon ve yazılım kaynaklarına erişim de dahildir; bunlar arasında GitHub örnekleri, adım adım kılavuzlar ve gömülü yapay zekâya yeni başlayanlar için materyaller yer almaktadır. Bu sayede hem bireysel kullanıcılar hem de küçük işletmeler, ek geliştirme araçlarına yatırım yapmaya gerek kalmadan denemelere kolayca başlayabilirler.

Avrupa bağlamında, veri gizliliği Enerji verimliliği giderek daha önemli hale gelirken, AI ​​HAT+ 2 bu ihtiyacı karşılayan bir parça olarak sunuluyor. hassas bilgileri yerel olarak işleyin Uzak veri merkezlerine olan bağımlılığın azaltılması, daha kontrollü yapay zeka çözümleri arayan idareler, KOBİ'ler ve bağımsız geliştiriciler için cazip olabilir.

Raspberry Pi AI HAT+ 2, bulut ve büyük yapay zeka sunucuları arasında ara bir çözüm olarak konumlanıyor: Bilgisayar görüşü ve hafif dil modellerini tek bir cihazda birleştirmenin makul derecede erişilebilir bir yolunu sunarken, güç tüketimini düşük tutuyor ve gizliliğe saygı gösteriyor; ancak karşılığında projelerin tasarlanmasını gerektiriyor. güç ve hafıza sınırları dahilinde Düşük güç tüketimi ve düşük maliyet için tasarlanmış donanımların tipik özelliği.

İlgili makale:

Xiaomi Smart Camera 3 3K: Akıllı ev dünyasını fethetmeyi hedefleyen yeni 3K güvenlik kamerası.

Alberto Navarro

Ben "inek" merakını mesleğe dönüştürmüş bir teknoloji tutkunuyum. Hayatımın 10 yıldan fazlasını en son teknolojiyi kullanarak ve sırf merakımdan dolayı her türlü programı kurcalayarak geçirdim. Artık bilgisayar teknolojisi ve video oyunları konusunda uzmanlaştım. Bunun nedeni, 5 yılı aşkın bir süredir teknoloji ve video oyunlarıyla ilgili çeşitli web sitelerinde yazılar yazıyor olmam ve ihtiyacınız olan bilgileri herkesin anlayabileceği bir dilde size vermeye çalışan makaleler oluşturmamdır.

Sorularınız varsa bilgim Windows işletim sistemi ve cep telefonları için Android ile ilgili her şeyi kapsar. Ve size olan bağlılığımdır, her zaman birkaç dakikamı ayırmaya ve bu internet dünyasında aklınıza gelebilecek her türlü soruyu çözmenize yardımcı olmaya hazırım.