Raspberry Pi AI HAT+ 2: To nowa oferta lokalnej sztucznej inteligencji dla Raspberry Pi 5

Przybycie Raspberry Pi AI HAT+ 2 Oznacza to nowy krok dla tych, którzy chcą pracować bezpośrednio ze sztuczną inteligencją Raspberry Pi 5 bez stałego polegania na chmurze. Ta karta rozszerzeń dodaje dedykowany akcelerator neuronowy i własną pamięć, dzięki czemu znaczna część przetwarzania AI jest przenoszona z głównego procesora, co umożliwia realizację bardziej ambitnych projektów generatywnej AI i wizji komputerowej.

Przy sugerowanej cenie około 130 dolarów (Cena końcowa w Hiszpanii i pozostałych krajach Europy będzie się różnić w zależności od podatków i oficjalnych marż dystrybutorów). AI HAT+ 2 pozycjonuje się jako stosunkowo przystępna cenowo opcja w ekosystemie wbudowanych rozwiązań AI. Nie konkuruje z dużymi serwerami ani dedykowanymi procesorami graficznymi, ale oferuje interesujący balans między ceną, zużyciem energii i wydajnością. IoT, automatyzacja, edukacja i prototypowanie.

Czym jest Raspberry Pi AI HAT+ 2 i czym różni się od pierwszej generacji?

Raspberry Pi AI HAT+ 2 to oficjalna płyta przedłużająca Zaprojektowany dla Raspberry Pi 5, łączy się przez zintegrowany interfejs PCI Express płyty głównej i wykorzystuje złącze GPIO do montażu. Jest bezpośrednim następcą pierwszego modułu AI HAT+, wydanego w 2024 roku, który był oferowany w wariantach z akceleratorami. Hailo-8L (13 TOPÓW) i Hailo-8 (26 TOPÓW) i był bardzo skupiony na zadaniach związanych z przetwarzaniem obrazu komputerowego.

W tej drugiej generacji Raspberry Pi stawia na Akcelerator sieci neuronowej Hailo-10H w towarzystwie 8 GB pamięci LPDDR4X dedykowanej samej karcie. Ta kombinacja została zaprojektowana z myślą o obsłudze obciążeń generatywna sztuczna inteligencja na krawędzitakie jak kompaktowe modele językowe, modele wizyjno-językowe i aplikacje multimodalne łączące obraz i tekst.

Fakt włączenia zintegrowana pamięć DRAM Oznacza to, że uruchamianie modeli AI nie zużywa bezpośrednio pamięci głównej Raspberry Pi 5. Płyta główna może skupić się na logice aplikacji, interfejsie użytkownika, łączności lub pamięci masowej, podczas gdy NPU zajmuje się większością wnioskowania. W praktyce pomaga to utrzymać użyteczność systemu, podczas gdy modele AI działają w tle.

Według samego Raspberry Pi przejście z pierwszego AI HAT+ na ten nowy model jest praktycznie przezroczysty W przypadku projektów, które już wykorzystywały akceleratory Hailo-8, zachowana jest integracja ze środowiskiem kamer i stosem oprogramowania firmy, co pozwala uniknąć konieczności masowego przepisywania kodu.

Sprzęt, wydajność i zużycie energii: do 40 TOPS z NPU Hailo-10H

Sercem AI HAT+ 2 jest Hailo-10HSpecjalistyczny akcelerator sieci neuronowej zaprojektowany do efektywnego wnioskowania na urządzeniach o niskim poborze mocy. Raspberry Pi i Hailo rozmawiają o… 40 TOPS wydajności (teraoperacje na sekundę), liczby uzyskane za pomocą kwantyzacji w INT4 i INT8, bardzo powszechne, gdy modele są wdrażane na brzegu sieci.

Jednym z kluczowych punktów jest to, że moc układu jest ograniczona do około Pobór mocy 3WPozwala to na integrację z kompaktowymi obudowami i projektami wbudowanymi bez znaczącego zwiększenia zapotrzebowania na chłodzenie lub rachunków za prąd, co jest ważne w przypadku urządzeń, które mogą być aktywne 24/7. Jednak to ograniczenie oznacza, że plon brutto Nie zawsze będzie on lepszy od tego, co może zaoferować sam Raspberry Pi 5, gdy jego procesor CPU i GPU zostaną wykorzystane do granic możliwości w przypadku niektórych wysoce zoptymalizowanych obciążeń.

W porównaniu z poprzednim modelem skok jest wyraźny: przechodzi z 13/26 TOPS z Hailo-8L/Hailo-8 Osiąga 40 TOPS z Hailo-10H i po raz pierwszy dodano 8 GB dedykowanej pamięci wbudowanej. Pierwszy AI HAT+ znakomicie radził sobie z takimi zadaniami, jak wykrywanie obiektów, szacowanie pozycji i segmentacja sceny; nowa wersja zachowuje te typy aplikacji, ale rozszerza zakres działania na… modele językowe i zastosowania multimodalne.

Mimo to samo Raspberry Pi wyjaśnia, że ​​w przypadku niektórych operacji wizyjnych praktyczna wydajność Hailo-10H może być podobne do 26 TOPS Hailo-8, ze względu na sposób rozłożenia obciążenia i różnice architektoniczne. Najważniejsza poprawa, wykraczająca poza moc obliczeniową przetwarzania obrazu, tkwi w możliwościach, jakie otwiera dla LLM i lokalnych modeli generatywnych.

Talerz jest dostarczany z opcjonalny radiator dla NPU. Chociaż pobór mocy jest ograniczony, zazwyczaj zaleca się jego instalację, zwłaszcza jeśli planujesz wykonywać intensywne zadania AI przez długi czas lub wymagające testy wydajności, aby zapobiec spadkowi częstotliwości pracy układu z powodu temperatury.

Obsługiwane modele językowe i lokalne wykorzystanie LLM

Jednym z najbardziej uderzających aspektów AI HAT+ 2 jest jego zdolność do uruchamiaj modele językowe lokalnie na Raspberry Pi 5, bez przesyłania danych na serwery zewnętrzne. Podczas prezentacji Raspberry Pi i Hailo zaprezentowały szereg modeli, w tym 1.000 i 1.500 milionów parametrów jako punkt wyjścia.

Wśród kompatybilnych programów LLM oferowanych na początku znajdują się: DeepSeek‑R1‑Distill, Llama 3.2, Qwen2, Qwen2.5‑Instruct i Qwen2.5‑CoderSą to stosunkowo kompaktowe modele, zaprojektowane do takich zadań, jak podstawowe rozmowy, pisanie i korygowanie tekstu, generowanie kodów, proste tłumaczenia lub opisywanie scen na podstawie obrazów i tekstu.

Wstępne testy pokazane przez firmę obejmują przykłady tłumaczenie między językami i odpowiedzi na proste pytania wykonywane w całości na Raspberry Pi 5 z obsługą AI HAT+ 2, z niskim opóźnieniem i bez znaczącego wpływu na ogólną użyteczność systemu. Przetwarzanie odbywa się na koprocesorze Hailo-10H i nie wymaga połączenia urządzenia z chmurą.

Należy wyraźnie zaznaczyć, że rozwiązanie to nie jest przeznaczone do modeli przeznaczonych na rynek masowy, takich jak pełne wersje ChatGPT, Claude lub większe studia LLM w Metaktórych rozmiary mierzone są w setkach miliardów, a nawet bilionach parametrów. W takich przypadkach problemem jest nie tylko moc obliczeniowa, ale przede wszystkim wymagana pamięć do hostowania modelu i jego kontekstów.

Sama firma Raspberry Pi podkreśla, że ​​użytkownicy powinni mieć świadomość, że pracują z mniejsze modele trenowane na bardziej ograniczonych zestawach danychAby zrekompensować to ograniczenie, nacisk kładzie się na takie techniki, jak: LoRA (adaptacja niskiego rzędu)które umożliwiają dostosowanie modeli do konkretnych przypadków użycia bez potrzeby ich całkowitego ponownego uczenia, poprzez dodanie lekkich warstw adaptacyjnych do istniejącej bazy.

Pamięć, ograniczenia i porównanie z Raspberry Pi 5 o pojemności 16 GB

Włączenie 8 GB dedykowanej pamięci RAM LPDDR4X To jedna z głównych nowych funkcji AI HAT+ 2, ale jednocześnie jasno definiuje typy modeli, które można uruchamiać. Wiele średniej wielkości skwantyzowanych modeli LLM, zwłaszcza w przypadku obsługi szerokiego kontekstu, może z łatwością wymagać więcej niż 10 GB pamięciDlatego też akcesorium to jest przeznaczone do modeli lekkich lub o węższym zakresie okien kontekstowych.

Jeśli porównasz to do Raspberry Pi 5 16 GB Nawet bez HAT, płyty główne z większą pamięcią nadal mają przewagę, ładując stosunkowo duże modele bezpośrednio do pamięci RAM, pod warunkiem, że znaczna część tej pamięci jest przeznaczona wyłącznie na potrzeby sztucznej inteligencji, a inne zadania są poświęcane. W takim scenariuszu zintegrowane procesory CPU i GPU zajmują się całym wnioskowaniem, co skutkuje zwiększonym obciążeniem.

Propozycja AI HAT+ 2 ma większy sens, gdy szukasz oddzielne obowiązkiPozwól, aby układ NPU Hailo-10H zajął się obliczeniami sztucznej inteligencji, a Raspberry Pi 5 mógł obsługiwać lekkie środowisko pulpitu, usługi sieciowe, bazy danych, automatyzacje lub warstwę prezentacyjną aplikacji.

Dla tych, którzy chcą mieć tylko jedno asystent lokalny Stosunkowo prosty i zdolny do prowadzenia rozmów, tłumaczenia tekstów czy wspomagania drobnych zadań programistycznych bez konieczności przesyłania danych do osób trzecich, AI HAT+ 2 oferuje równowagę między mocą obliczeniową, zużyciem energii i ceną, co może okazać się wystarczające. Jednak w przypadku projektów wymagających dużych modeli lub niezwykle rozbudowanych kontekstów, bardziej praktyczne będzie korzystanie z urządzeń z większą pamięcią lub infrastruktury chmurowej.

Kolejną kwestią wartą rozważenia jest to, że chociaż 8 GB pamięci HAT pomaga odciążyć pamięć, wersja 16 GB Raspberry Pi 5 Nadal przewyższa płytę rozszerzeń pod względem całkowitej pojemności, więc w pewnych procesach wymagających dużej ilości pamięci RAM taka konfiguracja będzie nadal preferowana.

Wizja komputerowa i jednoczesne wykonywanie modeli

W AI HAT+ 2 nie zrezygnowano z funkcji, która zapewniła popularność pierwszej generacji: aplikacje widzenia komputerowegoHailo-10H może obsługiwać modele wykrywania i śledzenia obiektów, szacować pozę człowieka lub segmentować scenę, a jego wydajność w praktyce dorównuje wydajności oferowanej przez Hailo-8, wynoszącej 26 TOPS.

Raspberry Pi wskazuje, że nowa płytka może jednoczesne uruchamianie modeli wizji i językaTo czyni go atrakcyjnym dla projektów, w których kamera i przetwarzanie tekstu muszą ze sobą współdziałać. Na przykład w systemach monitoringu, które klasyfikują zdarzenia i generują opisy, inteligentnych kamerach, które wyjaśniają, co dzieje się na scenie, lub urządzeniach łączących rozpoznawanie obrazu z generowaniem raportów.

W konkretnych scenariuszach wspominane są modele rodzinne. YOLO Do wykrywania obiektów w czasie rzeczywistym, z częstotliwością odświeżania sięgającą około 30 klatek na sekundę, w zależności od rozdzielczości i złożoności modelu. Koncepcja polega na tym, że NPU zajmie się tym zadaniem, podczas gdy Raspberry Pi 5 będzie zarządzać pamięcią masową, siecią, powiadomieniami i wyświetlaniem.

Ekosystem oprogramowania wokół sztucznej inteligencji na Raspberry Pi wciąż się rozwija. Chociaż zbiór przykłady, ramy i narzędzia Zarówno w przypadku Raspberry Pi, jak i Hailo równoległe wykonywanie wielu modeli (wizji, języka, multimodalnych) jest wciąż rozwijającą się dziedziną i może wymagać dopracowania w każdym projekcie.

W każdym razie integracja z oficjalny stos kamer Raspberry Pi Ułatwia to życie osobom, które już pracują z modułami kamer tej marki. AI HAT+ 2 integruje się bezpośrednio z tym środowiskiem, dzięki czemu wiele istniejących projektów wizyjnych można przenieść na nową płytę z relatywnie niewielkimi zmianami.

Przykłady zastosowań w Hiszpanii i Europie: projekty przemysłowe, IoT i edukacyjne

Połączenie niskiego zużycia energii, małych rozmiarów i lokalne przetwarzanie AI Wpisuje się to w trendy cyfryzacji wdrażane w Hiszpanii i innych krajach europejskich. W sektorach przemysłowych, w których stabilny dostęp do chmury nie zawsze jest gwarantowany lub gdzie obowiązują surowe wymogi poufności, rozwiązanie tego typu może być szczególnie atrakcyjne.

Do najczęściej używanych terminów w oficjalnej dokumentacji należą projekty automatyka przemysłowa, sterowanie procesami i zarządzanie obiektamiSystemy kontroli wizualnej na liniach produkcyjnych, wykrywanie anomalii w czasie rzeczywistym, kontrola dostępu czy liczenie osób w budynkach to przykłady miejsc, w których połączenie wizji i lekkich modeli językowych może dodać wartości bez konieczności wdrażania znacznie droższej infrastruktury AI.

W dziedzinie IoT dla domu i firmyAI HAT+ 2 może służyć jako podstawa dla lokalnych asystentów działających na Raspberry Pi 5, pulpitów interpretujących dane z czujników, kamer opisujących sceny lub urządzeń analizujących wideo bez przesyłania obrazów na serwery zewnętrzne. Takie podejście pomaga w przestrzeganiu coraz bardziej rygorystycznych przepisów o ochronie danych w Unii Europejskiej.

Może to być również ciekawe narzędzie, ponieważ zestaw deweloperski Dla europejskich firm i startupów rozważających integrację układu Hailo-10H z produktami końcowymi. Testowanie wydajności i stabilności na Raspberry Pi pozwala na weryfikację koncepcji przed zainwestowaniem w niestandardowe projekty sprzętowe.

W sektorze edukacji centra kształcenia zawodowego, uniwersytety i specjalistyczne akademie w Hiszpanii mogą wykorzystać platformę praktyczną AI HAT+ 2, Wbudowana sztuczna inteligencja i sztuczna inteligencja generatywna dla studentów na dostępnym i stosunkowo niedrogim sprzęcie w porównaniu do innych, droższych systemów.

Profil użytkownika i rodzaj projektów docelowych

Raspberry Pi AI HAT+ 2 jest przeznaczony dla kilku profili. Z jednej strony szeroka społeczność twórcy i entuzjaści którzy już korzystają z Raspberry Pi 5 i chcą włączyć generatywną sztuczną inteligencję lub zaawansowaną wizję do swoich projektów, bez konieczności przechodzenia na stacje robocze z dedykowanymi procesorami GPU lub całkowitego polegania na usługach w chmurze.

Z drugiej strony próbuje uwieść profesjonalnych programistów i startupów które potrzebują platformy testowej dla wbudowanej sztucznej inteligencji. W porównaniu z rozwiązaniami z eGPU lub NPU zintegrowanymi w komputerach przemysłowych, ta płyta oferuje kompaktowy rozmiar, bardzo niskie zużycie energii i niższy koszt całkowity, choć z niższym limitem wydajności niż znacznie droższe platformy.

Dla tych, którzy mieli już styczność z pierwszym AI HAT+, przejście wydaje się stosunkowo proste: integracja z istniejącym oprogramowaniem Stos kamer został starannie zaprojektowany, aby zminimalizować konieczność wprowadzania zmian. Jest to istotne w przypadku projektów już w toku, które chcą skorzystać ze wzrostu wydajności bez konieczności przepisywania wszystkiego.

W drugim skrajnym przypadku użytkownicy, którzy chcą uruchamiać modele językowe lokalnie, wykorzystując maksymalny możliwy margines pamięci, mogą nadal znaleźć Raspberry Pi 5 16 GB Bez HAT-a założono, że zintegrowany procesor CPU i GPU obsłuży wszystkie wnioskowania, a pobór mocy będzie nieco wyższy.

Krótko mówiąc, akcesorium wydaje się tworzyć niszę jako rozwiązanie pośrednie: mocniejsze i bardziej elastyczne niż Raspberry Pi 5, pracujące samodzielnie nad pewnymi zadaniami AI, ale dalekie od wydajności serwerów lub dedykowanych procesorów graficznych i skupiające się na niskie zużycie energii, prywatność i ograniczenie kosztów.

Integracja oprogramowania Hailo, zasoby i wsparcie

Z perspektywy oprogramowania Raspberry Pi dążyło do maksymalnego uproszczenia procesu konfiguracji. Moduł AI HAT+ 2 łączy się za pomocą Interfejs PCIe Raspberry Pi 5 i jest natywnie rozpoznawany przez oficjalny system operacyjny, co pozwala na uruchamianie aplikacji AI bez nadmiernie skomplikowanych kroków konfiguracji dla użytkowników już zaznajomionych ze środowiskiem.

Hailo zapewnia użytkownikom repozytorium na GitHub i Strefa Dewelopera Zawiera przykłady kodu, wstępnie skonfigurowane modele, samouczki i frameworki przeznaczone zarówno dla generatywnej sztucznej inteligencji, jak i przetwarzania obrazu. Zawiera również narzędzia do zarządzania kwantyzacją, ładowania modeli zewnętrznych i optymalizacji określonych przepływów pracy.

Na początku firma udostępniła kilka gotowe do zainstalowania modele językowez obietnicą rozszerzenia katalogu o większe warianty lub te dostosowane do bardzo specyficznych przypadków użycia. Ponadto zachęca do stosowania technik takich jak LoRa, aby dostosować modele do potrzeb każdego projektu, bez konieczności trenowania ich od podstaw na ogromnych zbiorach danych.

Jak to często bywa w przypadku tego typu rozwiązań, rzeczywiste doświadczenie będzie zależeć od poziom dojrzałości ekosystemu oprogramowaniaNiektórzy analitycy wskazują, że nadal istnieje potrzeba udoskonalenia narzędzi, stabilności i obsługi jednoczesnego wykonywania wielu modeli, ale trend w ekosystemie Raspberry Pi zmierza w kierunku coraz bardziej dopracowanej integracji.

W każdym razie, aby rozwijać projekty w Hiszpanii lub innych krajach europejskich, posiadanie oficjalnej dokumentacji, praktycznych przykładów i aktywnej społeczności znacznie obniża barierę wejścia na rynek eksperymentów z wbudowaną i generatywną sztuczną inteligencją w niedrogich urządzeniach.

Cena, dostępność i aspekty praktyczne w Hiszpanii i Europie

Raspberry Pi AI HAT+ 2 został wprowadzony na rynek w cenie referencyjnej 130 dolarówW Hiszpanii i pozostałych krajach Europy ostateczna kwota będzie zależeć od kurs walut, podatki i polityka każdego dystrybutoraW związku z tym można się spodziewać niewielkich różnic pomiędzy sklepami i krajami.

Płyta główna jest kompatybilna z całą linią Raspberry Pi 5Od modeli z 1 GB pamięci RAM do wersji z 16 GB, kompatybilny Raspberry Pi montowany jest w znanym formacie HAT: przykręca się go do płytki i łączy za pomocą złącza GPIO oraz interfejsu PCIe. Wcześniejsze modele Raspberry Pi pozbawione tego interfejsu zostały zatem wykluczone z listy kompatybilnych modeli.

Na wczesnym etapie po ogłoszeniu niektórzy dystrybutorzy specjalizujący się w dystrybucji donieśli, że Ograniczona ilośćJest to obecnie powszechna praktyka w przypadku oficjalnych wydań sprzętowych Raspberry Pi. Osoby chcące zabezpieczyć urządzenie w krótkim czasie, muszą śledzić dostępność u autoryzowanych dystrybutorów w Europie i potencjalne listy oczekujących.

Oprócz sprzętu, zakup obejmuje dostęp do dokumentacji technicznej i zasobów oprogramowania dla Raspberry Pi i Hailo, w tym przykładów z GitHub, przewodników krok po kroku oraz materiałów dla osób rozpoczynających przygodę z wbudowaną sztuczną inteligencją. Ułatwia to zarówno użytkownikom indywidualnym, jak i małym firmom rozpoczęcie eksperymentów bez konieczności inwestowania w dodatkowe narzędzia programistyczne.

W kontekście europejskim, gdzie prywatność danych W miarę jak efektywność energetyczna staje się coraz ważniejsza, AI HAT+ 2 jest prezentowany jako element, który pozwala przetwarzaj poufne informacje lokalnie zmniejszenie zależności od zdalnych centrów danych, co może być atrakcyjne dla administracji, małych i średnich przedsiębiorstw oraz niezależnych deweloperów poszukujących bardziej kontrolowanych rozwiązań z zakresu sztucznej inteligencji.

Raspberry Pi AI HAT+ 2 pozycjonuje się jako rozwiązanie pośrednie między chmurą a dużymi serwerami AI: oferuje stosunkowo przystępny sposób łączenia przetwarzania obrazu z lekkimi modelami językowymi w jednym urządzeniu, utrzymując niskie zużycie energii i szanując prywatność, ale w zamian wymagając, aby projekty były projektowane w granicach mocy i pamięci typowe dla sprzętu zaprojektowanego z myślą o niskim zużyciu energii i niskich kosztach.

Powiązany artykuł:

Xiaomi Smart Camera 3 3K: nowa kamera monitorująca 3K, która ma podbić rynek podłączonego domu

Alberto Navarro

Jestem entuzjastą technologii, który swoje „geekowskie” zainteresowania przekształcił w zawód. Spędziłem ponad 10 lat mojego życia, korzystając z najnowocześniejszych technologii i majsterkując przy wszelkiego rodzaju programach z czystej ciekawości. Teraz specjalizuję się w technologii komputerowej i grach wideo. Dzieje się tak dlatego, że od ponad 5 lat piszę dla różnych serwisów poświęconych technologii i grom wideo, tworząc artykuły, których celem jest dostarczenie potrzebnych informacji w języku zrozumiałym dla każdego.

Jeśli masz jakieś pytania, moja wiedza obejmuje wszystko, co jest związane z systemem operacyjnym Windows, a także Androidem dla telefonów komórkowych. Moje zaangażowanie jest wobec Ciebie. Zawsze jestem gotowy poświęcić kilka minut i pomóc Ci rozwiązać wszelkie pytania, jakie możesz mieć w tym internetowym świecie.