Raspberry Pi AI HAT+ 2: To je nova lokalna ponudba umetne inteligence za Raspberry Pi 5.

Prihod Raspberry Pi AI HAT+ 2 To pomeni nov korak za tiste, ki želijo neposredno delati z umetno inteligenco v Raspberry Pi 5 brez trajnega zanašanja na oblak. Ta razširitvena plošča doda namenski nevronski pospeševalnik in lasten pomnilnik, tako da se velik del obdelave umetne inteligence premakne z glavnega procesorja, kar omogoča ambicioznejše generativne projekte umetne inteligence in računalniškega vida.

S priporočeno ceno okoli 130 $ (Končna cena v Španiji in preostali Evropi se bo razlikovala glede na davke in uradne marže distributerjev.) AI ​​HAT+ 2 se pozicionira kot relativno cenovno ugodna možnost znotraj vgrajenega ekosistema umetne inteligence. Ne konkurira velikim strežnikom ali namenskim grafičnim procesorjem, vendar ponuja zanimivo ravnovesje med stroški, porabo energije in zmogljivostjo. Internet stvari, avtomatizacija, izobraževanje in izdelava prototipov.

Kaj je Raspberry Pi AI HAT+ 2 in kako se razlikuje od prve generacije?

Raspberry Pi AI HAT+ 2 je uradna razširitvena tablica Zasnovan je za Raspberry Pi 5 in se povezuje prek integriranega vmesnika PCI Express matične plošče, za montažo pa uporablja tudi priključek GPIO. Je neposredni naslednik prvega AI HAT+, izdanega leta 2024, ki je bil na voljo v različicah s pospeševalniki. Hailo‑8L (13 TOPS) in Hailo‑8 (26 TOPS) in se je zelo osredotočal na naloge računalniškega vida.

V tej drugi generaciji Raspberry Pi stavi na Pospeševalnik nevronskih mrež Hailo-10H spremlja 8 GB pomnilnika LPDDR4X namensko na sami kartici. Ta kombinacija je zasnovana za podporo delovnih obremenitev generativna umetna inteligenca na robu, kot so kompaktni jezikovni modeli, modeli vizualnega jezika in multimodalne aplikacije, ki združujejo sliko in besedilo.

Dejstvo vključitve integriran DRAM To pomeni, da izvajanje modelov umetne inteligence ne porablja neposredno glavnega pomnilnika Raspberry Pi 5. Matična plošča se lahko osredotoči na logiko aplikacije, uporabniški vmesnik, povezljivost ali shranjevanje, medtem ko NPU obravnava večino sklepanja. V praksi to pomaga ohranjati sistem uporabljiv, medtem ko modeli umetne inteligence delujejo v ozadju.

Po navedbah samega Raspberry Pija je prehod s prvega AI HAT+ na ta novi model praktično prozoren Pri projektih, ki so že uporabljali pospeševalnike Hailo-8, se ohranja integracija z okoljem kamer in programskim skladom podjetja, s čimer se izognemo obsežnim prepisovanjem.

Strojna oprema, zmogljivost in poraba energije: do 40 TOPS z nevronsko enoto Hailo-10H

Srce AI HAT+ 2 je Hailo-10HSpecializiran pospeševalnik nevronskih mrež, zasnovan za učinkovito izvajanje sklepanja na napravah z nizko porabo energije. Raspberry Pi in Hailo govorita o do 40 VRHUNSKIH VRHUNOV zmogljivosti (teraoperacij na sekundo), številke, pridobljene s kvantizacijo v INT4 in INT8, zelo pogosto, ko so modeli nameščeni na robu.

Ena ključnih točk je, da je čip omejen na moč okoli Poraba energije 3 WTo omogoča integracijo v kompaktna ohišja in vgrajene projekte brez bistvenega povečanja zahtev glede hlajenja ali računov za elektriko, kar je pomembno za naprave, ki so lahko aktivne 24 ur na dan, 7 dni v tednu. Vendar pa ta omejitev pomeni, da bruto donos Ne bo vedno boljše od tega, kar lahko ponudi sam Raspberry Pi 5, ko bosta njegov procesor in grafični procesor pri določenih visoko optimiziranih delovnih obremenitvah potisnjena do svojih meja.

V primerjavi s prejšnjim modelom je preskok očiten: gre za 13/26 TOPS s Hailo‑8L/Hailo‑8 S Hailo-10H doseže 40 TOPS, prvič pa je dodanih 8 GB namenskega vgrajenega pomnilnika. Prvi AI HAT+ se je odlično izkazal pri nalogah, kot so zaznavanje objektov, ocenjevanje položaja in segmentacija prizora; nova različica ohranja te vrste aplikacij, vendar širi svoj fokus na jezikovni modeli in multimodalne uporabe.

Kljub temu Raspberry Pi sam pojasnjuje, da je pri določenih operacijah vida lahko praktična zmogljivost Hailo-10H podobno kot 26 TOPS Hailo-8 zaradi načina porazdelitve delovne obremenitve in arhitekturnih razlik. Glavna izboljšava, bolj kot v surovi moči računalniškega vida, je v možnostih, ki jih odpira za LLM in lokalne generativne modele.

Plošča je opremljena z opcijski hladilnik za NPU. Čeprav je poraba energije omejena, je običajno priporočilo, da ga namestite, še posebej, če boste dlje časa izvajali intenzivne naloge umetne inteligence ali zahtevali teste zmogljivosti, da preprečite znižanje frekvenc čipa zaradi temperature.

Podprti jezikovni modeli in lokalna uporaba LLM

Eden najbolj presenetljivih vidikov AI HAT+ 2 je njegova sposobnost, da lokalno izvajanje jezikovnih modelov na Raspberry Pi 5, brez pošiljanja podatkov na zunanje strežnike. Med predstavitvijo sta Raspberry Pi in Hailo izpostavila vrsto modelov, vključno z 1.000 in 1.500 milijonov parametrov kot izhodišče.

Med združljivimi programi LLM, ki so na voljo ob lansiranju, so DeepSeek‑R1‑Distill, Llama 3.2, Qwen2, Qwen2.5‑Instruct in Qwen2.5‑CoderGre za relativno kompaktne modele, zasnovane za naloge, kot so osnovni klepet, pisanje in popravljanje besedil, ustvarjanje kode, preprosti prevodi ali opisi prizorov iz vnosov slik in besedila.

Začetni testi, ki jih je podjetje pokazalo, vključujejo primere prevajanje med jeziki in odgovori na preprosta vprašanja, ki se v celoti izvajajo na Raspberry Pi 5, podprtem z AI HAT+ 2, z nizko zakasnitvijo in brez večjega vpliva na splošno uporabnost sistema. Obdelava se izvaja na koprocesorju Hailo-10H in ne zahteva povezave naprave z oblakom.

Treba je pojasniti, da ta rešitev ni namenjena modelom za množični trg, kot so polne različice ChatGPT, Claude ali večji programi LLM na Metikaterih velikosti se merijo v stotinah milijard ali celo bilijonih parametrov. V teh primerih problem ni le računalniška moč, temveč predvsem potreben pomnilnik za gostovanje modela in njegovih kontekstov.

Raspberry Pi sam vztraja, da se morajo uporabniki zavedati, da delajo z manjši modeli, usposobljeni na omejenejših naborih podatkovDa bi nadomestili to omejitev, se poudarek daje tehnikam, kot so LoRA (nizko rangirana prilagoditev)ki omogočajo prilagajanje modelov specifičnim primerom uporabe, ne da bi jih bilo treba popolnoma preučiti, z dodajanjem lahkih prilagoditvenih slojev na obstoječo osnovo.

Pomnilnik, omejitve in primerjava s 16GB Raspberry Pi 5

Vključitev 8 GB namenskega LPDDR4X RAM-a To je ena glavnih novih funkcij AI HAT+ 2, hkrati pa jasno opredeljuje vrste modelov, ki jih je mogoče izvajati. Številni srednje veliki kvantizirani LLM-ji, še posebej, če želite obravnavati širok kontekst, bodo morda potrebovali več kot 10 GB pomnilnikaZato je dodatna oprema namenjena lahkim modelom ali tistim z ožjimi kontekstnimi okni.

Če ga primerjate z Raspberry Pi 5 16GB Tudi brez HAT imajo matične plošče z več pomnilnika še vedno prednost pri nalaganju relativno velikih modelov neposredno v RAM, pod pogojem, da je znaten del tega pomnilnika namenjen izključno umetni inteligenci in so druge naloge žrtvovane. V tem primeru integrirana CPU in GPU obravnavata vse sklepanje, kar ima za posledico povečano delovno obremenitev.

Predlog AI HAT+ 2 je bolj smiseln, če iščete ločene odgovornostiNaj Hailo-10H NPU opravi izračune umetne inteligence in sprosti Raspberry Pi 5 za vzdrževanje lahkega namiznega okolja, spletnih storitev, baz podatkov, avtomatizacije ali predstavitvene plasti aplikacije.

Za tiste, ki želijo imeti samo enega lokalni asistent AI HAT+ 2 je relativno preprost in omogoča klepet, prevajanje besedil ali pomoč pri manjših programerskih nalogah brez pošiljanja podatkov tretjim osebam, zato se lahko izkaže, da je ravnovesje med močjo, porabo in stroški zadostno. Vendar pa bo za projekte, ki zahtevajo velike modele ali izjemno obsežne kontekste, uporaba naprav z več pomnilnika ali oblačne infrastrukture ostala bolj praktična.

Upoštevati je treba tudi, da čeprav 8 GB HAT-a pomaga pri razbremenitvi pomnilnika, različica 16 GB pomnilnika Raspberry Pi 5 Še vedno prekaša dodatno ploščo v skupni zmogljivosti, zato bo ta konfiguracija pri nekaterih delovnih procesih, ki zahtevajo veliko RAM-a, še naprej bolj zaželena.

Računalniški vid in sočasno izvajanje modelov

AI HAT+ 2 ne opušča funkcije, zaradi katere je bila prva generacija priljubljena: aplikacije računalniškega vidaHailo-10H je sposoben izvajati modele za zaznavanje in sledenje objektov, ocenjevanje človeške drže ali segmentacijo prizora z zmogljivostjo, ki v praksi ostaja skladna s tisto, kar je ponujal Hailo-8 pri 26 TOPS.

Raspberry Pi nakazuje, da nova plošča zmore hkrati izvajati modele vida in jezikaZaradi tega je privlačen za projekte, kjer morata kamera in obdelava besedila delovati skupaj. Na primer, nadzorni sistemi, ki razvrščajo dogodke in ustvarjajo opise, pametne kamere, ki pojasnjujejo, kaj se dogaja v prizoru, ali naprave, ki združujejo vizualno prepoznavanje z ustvarjanjem poročil.

V posebnih scenarijih so omenjeni družinski modeli. YOLO Za zaznavanje objektov v realnem času, s hitrostjo osveževanja, ki lahko doseže približno 30 sličic na sekundo, odvisno od ločljivosti in kompleksnosti modela. Ideja je, da bo to nalogo opravljal NPU, medtem ko bo Raspberry Pi 5 upravljal shranjevanje, omrežje, obvestila in prikaz.

Programski ekosistem, ki obdaja umetno inteligenco na Raspberry Pi, še vedno dozoreva. Čeprav zbirka primeri, ogrodja in orodja Tako za Raspberry Pi kot za Hailo je vzporedno izvajanje več modelov (vid, jezik, multimodalni) še naprej razvijajoče se področje in lahko zahteva natančne nastavitve v vsakem projektu.

V vsakem primeru, integracija z uradni sklad kamer Raspberry Pi To poenostavi življenje tistim, ki že delajo z moduli kamer te blagovne znamke. AI ​​HAT+ 2 se neposredno integrira s tem okoljem, tako da se lahko številni obstoječi projekti vida prenesejo na novo ploščo z relativno majhnimi spremembami.

Primeri uporabe v Španiji in Evropi: industrija, internet stvari in izobraževalni projekti

Kombinacija nizke porabe energije, majhne velikosti in lokalna obdelava z umetno inteligenco To se dobro ujema s trendi digitalizacije, ki se uvajajo v Španiji in drugih evropskih državah. V industrijskih sektorjih, kjer stabilen dostop do oblaka ni vedno zagotovljen ali kjer obstajajo stroge zahteve glede zaupnosti, je lahko tovrstna rešitev še posebej privlačna.

Med najpogosteje uporabljenimi izrazi v uradni dokumentaciji so projekti za industrijska avtomatizacija, nadzor procesov in upravljanje objektovSistemi za vizualni pregled na proizvodnih linijah, zaznavanje anomalij v realnem času, nadzor dostopa ali štetje ljudi v stavbah so primeri, kjer lahko kombinacija vida in lahkih jezikovnih modelov doda vrednost brez potrebe po uvedbi veliko dražje infrastrukture umetne inteligence.

Na področju Domači in poslovni internet stvariAI HAT+ 2 lahko služi kot osnova za lokalne asistente, ki delujejo na Raspberry Pi 5, nadzorne plošče, ki interpretirajo podatke senzorjev, kamere, ki opisujejo prizore, ali naprave, ki analizirajo video brez nalaganja slik na zunanje strežnike. Ta pristop pomaga pri izpolnjevanju vse strožjih predpisov o varstvu podatkov v Evropski uniji.

Lahko je tudi zanimivo orodje, kot je razvojni komplet Za evropska podjetja in zagonska podjetja, ki razmišljajo o integraciji čipa Hailo-10H v končne izdelke. Testiranje zmogljivosti in stabilnosti na Raspberry Pi omogoča potrditev konceptov pred naložbo v zasnovo strojne opreme po meri.

Na področju izobraževanja bi lahko centri za poklicno usposabljanje, univerze in specializirane akademije v Španiji uporabljali AI HAT+ 2 kot platformo za prakso, s čimer bi združili Vgrajena umetna inteligenca in generativna umetna inteligenca študentom na dostopni in relativno poceni strojni opremi v primerjavi z drugimi dražjimi sistemi.

Uporabniški profil in vrsta ciljnih projektov

Raspberry Pi AI HAT+ 2 je namenjen več profilom. Po eni strani široka skupnost ustvarjalci in navdušenci ki že uporabljajo Raspberry Pi 5 in želijo v svoje projekte vključiti generativno umetno inteligenco ali napredni vid, ne da bi morali preiti na delovne postaje z namenskimi grafičnimi procesorji ali biti v celoti odvisni od storitev v oblaku.

Po drugi strani pa poskuša zapeljati profesionalni razvijalci in zagonska podjetja ki potrebujejo platformo za testiranje vgrajene umetne inteligence. V primerjavi z rešitvami z eGPU-ji ali NPU-ji, integriranimi v industrijske računalnike, ta plošča ponuja kompaktno obliko, zelo nizko porabo energije in nižje skupne stroške, čeprav z nižjo zgornjo mejo zmogljivosti kot veliko dražje platforme.

Za tiste, ki že imajo izkušnje s prvim AI HAT+, se zdi prehod relativno preprost: integracija z obstoječo programsko opremo In sklad kamer je bil skrbno zasnovan tako, da so potrebne spremembe čim manjše. To je pomembno za projekte, ki so že v teku in želijo izkoristiti povečanje zmogljivosti, ne da bi morali vse prepisati.

Na drugi skrajnosti pa lahko uporabniki, ki želijo jezikovne modele izvajati le lokalno z največjo možno rezervo pomnilnika, še vedno najdejo Raspberry Pi 5 16GB Brez HAT-a, ob predpostavki, da bosta integrirana CPU in GPU obdelala vse sklepanje in da bo poraba energije nekoliko višja.

Skratka, zdi se, da si dodatna oprema ustvarja nišo kot vmesna rešitev: zmogljivejša in prilagodljivejša od Raspberry Pi 5, ki deluje samostojno pri določenih nalogah umetne inteligence, vendar daleč od zmogljivosti strežnikov ali namenskih grafičnih procesorjev in s poudarkom na nizka poraba energije, zasebnost in omejevanje stroškov.

Integracija programske opreme Hailo, viri in podpora

Z vidika programske opreme si je Raspberry Pi prizadeval čim bolj poenostaviti postopek nastavitve. AI HAT+ 2 se poveže prek Vmesnik PCIe Raspberry Pi 5 in ga uradni operacijski sistem izvorno prepozna, kar omogoča delovanje aplikacij umetne inteligence brez preveč zapletenih korakov nastavitve za tiste, ki so z okoljem že seznanjeni.

Hailo uporabnikom ponuja repozitorij na GitHubu in cona za razvijalce Vključuje primere kode, vnaprej konfigurirane modele, vadnice in ogrodja, zasnovana tako za generativno umetno inteligenco kot za računalniški vid. Vključuje tudi orodja za upravljanje kvantizacije, nalaganje modelov drugih ponudnikov in optimizacijo določenih delovnih procesov.

Ob lansiranju je podjetje dalo na voljo več jezikovni modeli, pripravljeni za namestitevz obljubo širitve kataloga z večjimi različicami ali tistimi, ki so prilagojene zelo specifičnim primerom uporabe. Poleg tega spodbuja uporabo tehnik, kot je LoRa, za prilagoditev modelov potrebam vsakega projekta, ne da bi jih bilo treba učiti iz nič na ogromnih naborih podatkov.

Kot je pogosto pri tovrstnih rešitvah, bo dejanska izkušnja odvisna od stopnja zrelosti programskega ekosistemaNekateri analitiki poudarjajo, da je še vedno prostor za izboljšave orodij, stabilnosti in podpore za sočasno izvajanje več modelov, vendar se trend v ekosistemu Raspberry Pi premika k vse bolj dodelani integraciji.

V vsakem primeru pa uradna dokumentacija, praktični primeri in aktivna skupnost za razvoj projektov v Španiji ali drugih evropskih državah znatno zmanjšajo oviro za vstop v eksperimentiranje z vgrajeno in generativno umetno inteligenco v nizkocenovnih napravah.

Cena, razpoložljivost in praktični vidiki v Španiji in Evropi

Raspberry Pi AI HAT+ 2 je bil predstavljen po referenčni ceni ... 130 $V Španiji in preostali Evropi bo končni znesek odvisen od menjalni tečaj, davki in politika posameznega distributerjaZato se pričakuje, da bodo med trgovinami in državami majhne razlike.

Matična plošča je združljiva s celotno linijo Raspberry Pi 5Od modelov z 1 GB RAM-a do različic s 16 GB je združljiv Raspberry Pi nameščen z uporabo znanega formata HAT: privije se na ploščo in se poveže prek priključka GPIO in vmesnika PCIe. Prejšnji modeli Raspberry Pi, ki nimajo tega vmesnika, so zato izključeni s seznama združljivih.

V začetnih fazah po objavi so nekateri specializirani distributerji poročali, da Omejena zalogaTo je zdaj običajna praksa pri uradnih izdajah strojne opreme Raspberry Pi. Tisti, ki želijo enoto zagotoviti v kratkem času, bodo morali spremljati razpoložljivost pri pooblaščenih evropskih distributerjih in morebitnih čakalnih seznamih.

Poleg strojne opreme nakup vključuje dostop do tehnične dokumentacije in programskih virov za Raspberry Pi in Hailo, vključno s primeri na GitHubu, navodili po korakih in gradivi za tiste, ki se šele srečujejo z vgrajeno umetno inteligenco. To tako posameznim uporabnikom kot malim podjetjem olajša začetek eksperimentiranja, ne da bi morali vlagati v dodatna razvojna orodja.

V evropskem kontekstu, kjer zasebnost podatkov In ker postaja energetska učinkovitost vse bolj pomembna, je AI ​​HAT+ 2 predstavljen kot del, ki omogoča obdelovati občutljive podatke lokalno zmanjšanje odvisnosti od oddaljenih podatkovnih centrov, kar je lahko privlačno za uprave, mala in srednje velika podjetja ter neodvisne razvijalce, ki iščejo bolj nadzorovane rešitve umetne inteligence.

Raspberry Pi AI HAT+ 2 se pozicionira kot vmesna rešitev med oblakom in velikimi strežniki umetne inteligence: ponuja razmeroma dostopen način za združevanje računalniškega vida in lahkih jezikovnih modelov v eni sami napravi, pri čemer ohranja nizko porabo energije in spoštuje zasebnost, vendar v zameno zahteva, da so projekti zasnovani znotraj meja moči in spomina tipično za strojno opremo, zasnovano za nizko porabo energije in nizke stroške.

Povezani članek:

Xiaomi Smart Camera 3 3K: nova 3K nadzorna kamera, ki želi osvojiti povezani dom

Alberto Navarro

Sem tehnološki navdušenec, ki je svoja "geek" zanimanja spremenil v poklic. Več kot 10 let svojega življenja sem porabil za uporabo vrhunske tehnologije in premleval najrazličnejše programe iz čiste radovednosti. Zdaj sem se specializiral za računalniško tehnologijo in video igre. To je zato, ker že več kot 5 let pišem za različna spletna mesta o tehnologiji in video igrah ter ustvarjam članke, ki vam želijo dati informacije, ki jih potrebujete, v jeziku, ki je razumljiv vsem.

Če imate kakršna koli vprašanja, moje znanje sega od vsega v zvezi z operacijskim sistemom Windows kot tudi Androidom za mobilne telefone. In moja zaveza je vam, vedno sem pripravljen porabiti nekaj minut in vam pomagati razrešiti kakršna koli vprašanja, ki jih morda imate v tem internetnem svetu.