Raspberry Pi AI HAT+ 2: Šis ir jaunais lokālais AI piedāvājums Raspberry Pi 5

Ierašanās Raspberry Pi mākslīgā intelekta HAT+ 2 Tas iezīmē jaunu soli tiem, kas vēlas strādāt tieši ar mākslīgo intelektu. Raspberry Pi 5 nepaļaujoties pastāvīgi uz mākoņpakalpojumiem. Šī paplašināšanas plate pievieno īpašu neironu paātrinātāju un savu atmiņu, lai liela daļa mākslīgā intelekta apstrādes tiktu pārvietota prom no galvenā centrālā procesora, ļaujot īstenot ambiciozākus ģeneratīvā mākslīgā intelekta un datorredzes projektus.

Ar ieteicamo cenu aptuveni 50 000 ASV dolāru (Galīgā cena Spānijā un pārējā Eiropā atšķirsies atkarībā no nodokļiem un oficiālajām izplatītāju peļņas normām.) AI HAT+ 2 sevi pozicionē kā relatīvi pieejamu iespēju iegulto mākslīgā intelekta ekosistēmā. Tas nekonkurē ar lieliem serveriem vai īpašiem grafiskajiem procesoriem, taču piedāvā interesantu līdzsvaru starp izmaksām, enerģijas patēriņu un veiktspēju. IoT, automatizācija, izglītība un prototipu veidošana.

Kas ir Raspberry Pi AI HAT+ 2 un kā tas atšķiras no pirmās paaudzes?

Raspberry Pi AI HAT+ 2 ir… oficiālā pagarinājuma plāksne Paredzēts Raspberry Pi 5, tas izveido savienojumu, izmantojot mātesplates integrēto PCI Express saskarni, un montāžai izmanto arī GPIO savienotāju. Tas ir tiešais pēctecis pirmajam AI HAT+, kas tika izlaists 2024. gadā un tika piedāvāts variantos ar paātrinātājiem. Hailo-8L (13 TOPS) un Hailo-8 (26 TOPS) un bija ļoti koncentrējies uz datorredzes uzdevumiem.

Šajā otrajā paaudzē Raspberry Pi liek likmes uz a Hailo-10H neironu tīkla paātrinātājs kopā ar 8 GB LPDDR4X atmiņas veltīta pašai kartei. Šī kombinācija ir paredzēta, lai atbalstītu darba slodzes, kas Ģeneratīvais mākslīgais intelekts perifērijā, piemēram, kompakti valodu modeļi, redzes valodas modeļi un multimodālas lietojumprogrammas, kas apvieno attēlu un tekstu.

Iekļaušanas fakts integrēta DRAM Tas nozīmē, ka mākslīgā intelekta modeļu darbība tieši nepatērē Raspberry Pi 5 galveno atmiņu. Mātesplate var koncentrēties uz lietojumprogrammu loģiku, lietotāja saskarni, savienojamību vai krātuvi, kamēr NPU apstrādā lielāko daļu secinājumu. Praksē tas palīdz saglabāt sistēmas lietojamību, kamēr mākslīgā intelekta modeļi darbojas fonā.

Saskaņā ar pašu Raspberry Pi, pāreja no pirmā AI HAT+ uz šo jauno modeli ir praktiski caurspīdīgs Projektiem, kuros jau tika izmantoti Hailo-8 paātrinātāji, tiek saglabāta integrācija ar uzņēmuma kameru vidi un programmatūras steku, izvairoties no masveida pārrakstīšanas.

Aparatūra, veiktspēja un enerģijas patēriņš: līdz 40 TOPS ar Hailo-10H NPU

AI HAT+ 2 sirds ir Hailo-10HSpecializēts neironu tīkla paātrinātājs, kas paredzēts efektīvai secinājumu veikšanai ierīcēs ar mazu enerģijas patēriņu. Raspberry Pi un Hailo runā par līdz pat 40 labāko sniegumu (teraoperācijas sekundē), skaitļi, kas iegūti ar kvantizāciju INT4 un INT8, ļoti bieži, ja modeļi tiek izvietoti perifērijā.

Viens no galvenajiem punktiem ir tas, ka mikroshēma ir ierobežota līdz aptuveni 3 W enerģijas patēriņšTas ļauj to integrēt kompaktos korpusos un iegultos projektos, būtiski nepalielinot dzesēšanas prasības vai elektrības rēķinus, kas ir svarīgi ierīcēm, kuras var būt aktīvas visu diennakti. Tomēr šis ierobežojums nozīmē, ka bruto ienesīgums Tas ne vienmēr būs pārāks par to, ko var piedāvāt pats Raspberry Pi 5, kad tā centrālais procesors un grafiskais procesors tiks izmantoti līdz galam noteiktās ļoti optimizētās darba slodzēs.

Salīdzinot ar iepriekšējo modeli, lēciens ir skaidrs: tas notiek no 13/26 TOPS ar Hailo‑8L/Hailo‑8 Tas sasniedz 40 TOPS ar Hailo-10H, un pirmo reizi tiek pievienotas 8 GB īpašas iebūvētās atmiņas. Pirmais AI HAT+ izcēlās ar tādiem uzdevumiem kā objektu noteikšana, pozas novērtēšana un ainas segmentācija; jaunā versija saglabā šāda veida lietojumprogrammas, bet paplašina savu darbības jomu, lai valodu modeļi un multimodāli lietojumi.

Pat ja tā, Raspberry Pi pats precizē, ka noteiktās redzes operācijās Hailo-10H praktiskā veiktspēja var būt līdzīgs 26 TOPS Hailo-8, pateicoties darba slodzes sadalījuma veidam un arhitektūras atšķirībām. Galvenais uzlabojums, kas vairāk nekā tikai datorredzes jauda, ​​slēpjas iespējās, ko tas paver LLM un lokālajiem ģeneratīvajiem modeļiem.

Šķīvim līdzi nāk papildu radiators NPU. Lai gan enerģijas patēriņš ir ierobežots, parasti ieteicams to instalēt, īpaši, ja plānojat ilgstoši veikt intensīvus mākslīgā intelekta uzdevumus vai veikt prasīgus veiktspējas testus, lai novērstu mikroshēmas frekvenču samazināšanos temperatūras dēļ.

Atbalstītie valodu modeļi un lokālā LLM lietošana

Viens no pārsteidzošākajiem AI HAT+ 2 aspektiem ir tā spēja palaist valodu modeļus lokāli uz Raspberry Pi 5, nesūtot datus uz ārējiem serveriem. Prezentācijas laikā Raspberry Pi un Hailo izcēla virkni modeļu, tostarp 1.000 un 1.500 miljoni parametru kā sākumpunktu.

Starp saderīgajām LLM programmām, kas tika piedāvātas palaišanas brīdī, ir DeepSeek-R1-Distill, Llama 3.2, Qwen2, Qwen2.5-Instruct un Qwen2.5-CoderTie ir samērā kompakti modeļi, kas paredzēti tādiem uzdevumiem kā pamata tērzēšana, teksta rakstīšana un labošana, koda ģenerēšana, vienkārša tulkošana vai ainu apraksti no attēlu un teksta ievades.

Uzņēmuma iesniegtajos sākotnējos testos ir iekļauti piemēri tulkošana starp valodām un atbildes uz vienkāršiem jautājumiem, kas pilnībā izpildītas uz Raspberry Pi 5, ko atbalsta AI ​​HAT+ 2, ar zemu latentumu un būtiski neietekmējot sistēmas lietojamību kopumā. Apstrādi veic Hailo-10H līdzprocesors, un ierīcei nav jāpieslēdzas mākonim.

Jāprecizē, ka šis risinājums nav paredzēts masveida tirgus modeļiem, piemēram, pilnām versijām. ChatGPT, Claude vai lielākas LLM programmas Metakuru izmēri tiek mērīti simtos miljardu vai pat triljonos parametru. Šādos gadījumos problēma ir ne tikai skaitļošanas jauda, ​​bet galvenokārt nepieciešamā atmiņa lai mitinātu modeli un tā kontekstus.

Pats Raspberry Pi uzstāj, ka lietotājiem jāapzinās, ka viņi strādā ar mazāki modeļi, kas apmācīti ar ierobežotākām datu kopāmLai kompensētu šo ierobežojumu, uzmanība tiek pievērsta tādām metodēm kā LoRA (zemas pakāpes adaptācija)kas ļauj pielāgot modeļus konkrētiem lietošanas gadījumiem bez nepieciešamības tos pilnībā pārkvalificēt, pievienojot vieglus adaptācijas slāņus esošajai bāzei.

Atmiņa, ierobežojumi un salīdzinājums ar 16 GB Raspberry Pi 5

Iekļaušana 8 GB īpašas LPDDR4X RAM atmiņas Šī ir viena no galvenajām jaunajām AI HAT+ 2 funkcijām, taču tā arī skaidri definē modeļu veidus, kurus var palaist. Daudziem vidēja lieluma kvantizētiem LLM, īpaši, ja vēlaties apstrādāt plašu kontekstu, var būt nepieciešams vairāk nekā 10 GB atmiņasTāpēc aksesuārs ir paredzēts viegliem modeļiem vai modeļiem ar šaurākiem konteksta logiem.

Ja salīdzina to ar Raspberry Pi 5 16GB Pat bez HAT mātesplatēm ar lielāku atmiņu joprojām ir priekšrocības, ielādējot relatīvi lielus modeļus tieši RAM, ja vien ievērojama šīs atmiņas daļa ir paredzēta tikai mākslīgajam intelektam un tiek upurēti citi uzdevumi. Šādā gadījumā integrētais centrālais procesors un grafiskais procesors apstrādā visus secinājumus, kā rezultātā palielinās darba slodze.

AI HAT+ 2 priekšlikums ir saprātīgāks, meklējot atsevišķas atbildībasĻaujiet Hailo-10H NPU veikt mākslīgā intelekta aprēķinus un atbrīvojiet Raspberry Pi 5 vietu vieglas darbvirsmas vides, tīmekļa pakalpojumu, datubāzu, automatizācijas vai lietojumprogrammas prezentācijas slāņa uzturēšanai.

Tiem, kas vēlas tikai vienu vietējais asistents Salīdzinoši vienkārši un spējīgi tērzēt, tulkot tekstus vai palīdzēt nelielos programmēšanas uzdevumos, nesūtot datus trešajām personām, AI HAT+ 2 jaudas, patēriņa un izmaksu attiecība var izrādīties pietiekama. Tomēr projektiem, kuriem nepieciešami lieli modeļi vai ārkārtīgi plaši konteksti, praktiskāka būs izmantot ierīces ar lielāku atmiņu vai mākoņinfrastruktūru.

Vēl viens apsvērums ir tāds, ka, lai gan HAT 8 GB palīdz atbrīvot atmiņu, versija 16 GB Raspberry Pi 5 atmiņas Tas joprojām pārspēj pievienojumprogrammas plati kopējās ietilpības ziņā, tāpēc noteiktās RAM ietilpīgās darbplūsmās šī konfigurācija joprojām būs vēlama.

Datorredze un vienlaicīga modeļa izpilde

AI HAT+ 2 neatsakās no funkcijas, kas padarīja pirmo paaudzi populāru: datorredzes lietojumprogrammasHailo-10H spēj darbināt objektu noteikšanas un izsekošanas modeļus, cilvēka pozas novērtēšanu vai ainas segmentāciju ar veiktspēju, kas praksē atbilst Hailo-8 piedāvātajai veiktspējai 26 TOPS līmenī.

Raspberry Pi norāda, ka jaunā plate var vienlaikus palaist redzes un valodas modeļusTas padara to pievilcīgu projektiem, kuros kamerai un teksta apstrādei ir jādarbojas kopā. Piemēram, novērošanas sistēmas, kas klasificē notikumus un ģenerē aprakstus, viedās kameras, kas izskaidro notiekošo ainā, vai ierīces, kas apvieno vizuālo atpazīšanu ar atskaišu ģenerēšanu.

Konkrētos gadījumos tiek minēti ģimenes modeļi. YOLO Objektu noteikšanai reāllaikā ar atsvaidzes intensitāti, kas var sasniegt aptuveni 30 kadrus sekundē atkarībā no modeļa izšķirtspējas un sarežģītības. Ideja ir tāda, ka NPU veiks šo uzdevumu, kamēr Raspberry Pi 5 pārvaldīs krātuvi, tīklu, paziņojumus un displeju.

Raspberry Pi mākslīgā intelekta programmatūras ekosistēma joprojām attīstās. Lai gan kolekcija piemēri, ietvari un rīki Gan Raspberry Pi, gan Hailo gadījumā vairāku modeļu (redzes, valodas, multimodālo) paralēla izpilde turpina attīstīties un katrā projektā var būt nepieciešama precizēšana.

Jebkurā gadījumā integrācija ar Oficiālā Raspberry Pi kameru stekne Tas vienkāršo dzīvi tiem, kas jau strādā ar zīmola kameru moduļiem. AI HAT+ 2 tieši integrējas ar šo vidi, tāpēc daudzus esošos redzes projektus var migrēt uz jauno plati ar salīdzinoši nelielām izmaiņām.

Lietošanas gadījumi Spānijā un Eiropā: rūpniecība, lietu internets un izglītības projekti

Zema enerģijas patēriņa, maza izmēra un lokālā mākslīgā intelekta apstrāde Tas labi atbilst digitalizācijas tendencēm, kas tiek īstenotas Spānijā un citās Eiropas valstīs. Rūpniecības nozarēs, kur ne vienmēr tiek garantēta stabila piekļuve mākonim vai kur pastāv stingras konfidencialitātes prasības, šāda veida risinājums var būt īpaši pievilcīgs.

Starp oficiālajā dokumentācijā visbiežāk lietotajiem terminiem ir projekti, kas paredzēti rūpnieciskā automatizācija, procesu vadība un iekārtu pārvaldībaVizuālās pārbaudes sistēmas ražošanas līnijās, anomāliju noteikšana reāllaikā, piekļuves kontrole vai cilvēku skaitīšana ēkās ir piemēri, kur redzes un vieglo valodas modeļu kombinācija var sniegt pievienoto vērtību bez nepieciešamības izvietot daudz dārgākas mākslīgā intelekta infrastruktūras.

Šajā jomā Mājas un biznesa lietu internets (IoT)Mākslīgais intelekts HAT+ 2 var kalpot par pamatu lokālajiem asistentiem, kas darbojas uz Raspberry Pi 5, informācijas paneļiem, kas interpretē sensoru datus, kamerām, kas apraksta ainas, vai ierīcēm, kas analizē video, neaugšupielādējot attēlus ārējos serveros. Šī pieeja palīdz ievērot arvien stingrākos datu aizsardzības noteikumus Eiropas Savienībā.

Tas var būt arī interesants rīks, piemēram, izstrādes komplekts Eiropas uzņēmumiem un jaunuzņēmumiem, kas apsver Hailo-10H mikroshēmas integrēšanu gala produktos. Veiktspējas un stabilitātes testēšana uz Raspberry Pi ļauj validēt koncepcijas pirms ieguldījumu veikšanas pielāgotos aparatūras dizainos.

Izglītības jomā profesionālās apmācības centri, universitātes un specializētās akadēmijas Spānijā varētu izmantot AI HAT+ 2 kā prakses platformu, nodrošinot Iegultais mākslīgais intelekts un ģeneratīvais mākslīgais intelekts studentiem, izmantojot pieejamu un salīdzinoši lētu aparatūru salīdzinājumā ar citām dārgākām sistēmām.

Lietotāja profils un mērķa projektu veids

Raspberry Pi AI HAT+ 2 ir paredzēts vairākiem profiliem. No vienas puses, plašajai lietotāju kopienai... veidotāji un entuziasti kuri jau izmanto Raspberry Pi 5 un vēlas savos projektos iekļaut ģeneratīvo mākslīgo intelektu vai uzlaboto redzi, nepārejot uz darbstacijām ar īpašiem grafiskajiem procesoriem vai pilnībā nepaļaujoties uz mākoņpakalpojumiem.

No otras puses, viņš cenšas pavedināt profesionāli izstrādātāji un jaunuzņēmumi kam nepieciešama testēšanas platforma iegultajam mākslīgajam intelektam. Salīdzinot ar risinājumiem ar industriālajos datoros integrētiem eGPU vai NPU, šī plate piedāvā kompaktu formas faktoru, ļoti zemu enerģijas patēriņu un zemākas kopējās izmaksas, lai gan ar zemāku veiktspējas ierobežojumu nekā daudz dārgākām platformām.

Tiem, kam jau ir pieredze ar pirmo AI HAT+, pāreja šķiet samērā vienkārša: integrācija ar esošo programmatūru Un kameru bloks ir rūpīgi izstrādāts, lai samazinātu nepieciešamās izmaiņas. Tas ir svarīgi jau iesāktiem projektiem, kuros vēlas izmantot veiktspējas pieaugumu, nepārrakstot visu.

Otrā galējībā lietotāji, kuri vēlas lokāli palaist valodas modeļus ar maksimāli iespējamo atmiņas rezervi, joprojām var atrast Raspberry Pi 5 16GB Bez HAT, pieņemot, ka integrētais centrālais procesors un grafiskais procesors apstrādās visus secinājumus un ka enerģijas patēriņš būs nedaudz lielāks.

Īsāk sakot, šķiet, ka šis piederums iekaro nišu kā starpposma risinājums: jaudīgāks un elastīgāks nekā Raspberry Pi 5, kas darbojas atsevišķi noteiktos AI uzdevumos, taču tālu no serveru vai īpašu GPU veiktspējas un koncentrējas uz zems enerģijas patēriņš, privātums un izmaksu ierobežošana.

Hailo programmatūras integrācija, resursi un atbalsts

No programmatūras viedokļa Raspberry Pi ir centies pēc iespējas vienkāršot iestatīšanas procesu. AI ​​HAT+ 2 izveido savienojumu, izmantojot PCIe saskarne no Raspberry Pi 5 un to automātiski atpazīst oficiālā operētājsistēma, ļaujot mākslīgā intelekta lietojumprogrammām darboties bez pārāk sarežģītām iestatīšanas darbībām tiem, kas jau ir iepazinušies ar vidi.

Hailo nodrošina lietotājiem repozitorijs GitHub un izstrādātāju zonā Tas ietver koda piemērus, iepriekš konfigurētus modeļus, pamācības un ietvarus, kas izstrādāti gan ģeneratīvajam mākslīgajam intelektam, gan datorredzei. Tas ietver arī rīkus kvantizācijas pārvaldībai, trešo pušu modeļu ielādei un specifisku darbplūsmu optimizēšanai.

Uzņēmuma darbības uzsākšanas laikā tas bija darījis pieejamus vairākus instalēšanai gatavi valodu modeļiar solījumu paplašināt katalogu ar lielākiem variantiem vai tādiem, kas pielāgoti ļoti specifiskiem lietošanas gadījumiem. Turklāt tas veicina tādu metožu kā LoRa izmantošanu, lai pielāgotu modeļus katra projekta vajadzībām, neapmācot tos no nulles, izmantojot milzīgus datu kopumus.

Kā tas bieži notiek ar šāda veida risinājumiem, faktiskā pieredze būs atkarīga no programmatūras ekosistēmas brieduma līmenisDaži analītiķi norāda, ka joprojām ir iespējams uzlabot rīkus, stabilitāti un atbalstu vairāku modeļu vienlaicīgai izpildei, taču Raspberry Pi ekosistēmas tendence virzās uz arvien noslīpētāku integrāciju.

Jebkurā gadījumā projektu izstrāde Spānijā vai citās Eiropas valstīs, oficiālas dokumentācijas, praktisku piemēru un aktīvas kopienas esamība ievērojami samazina šķēršļus eksperimentiem ar iegulto un ģeneratīvo mākslīgo intelektu zemas cenas ierīcēs.

Cena, pieejamība un praktiskie aspekti Spānijā un Eiropā

Raspberry Pi AI HAT+ 2 ir laists klajā ar atsauces cenu 50 000 ASV dolāruSpānijā un pārējā Eiropā galīgā summa būs atkarīga no valūtas kurss, nodokļi un katra izplatītāja politikaTāpēc sagaidāms, ka starp veikaliem un valstīm būs nelielas atšķirības.

Mātesplate ir saderīga ar visu produktu līniju. Raspberry Pi 5Sākot ar modeļiem ar 1 GB RAM līdz versijām ar 16 GB, saderīgais Raspberry Pi tiek uzstādīts, izmantojot pazīstamo HAT formātu: tas tiek pieskrūvēts pie plates un savienots, izmantojot GPIO galveni un PCIe saskarni. Tāpēc iepriekšējie Raspberry Pi modeļi, kuriem nav šīs saskarnes, nav iekļauti saderības sarakstā.

Pēc paziņojuma daži specializētie izplatītāji ziņoja, ka pirmajos posmos Ierobežots krājumsTā tagad ir ierasta prakse oficiālu Raspberry Pi aparatūras izlaidumu gadījumā. Tiem, kas vēlas īstermiņā nodrošināt ierīci, būs jāseko līdzi pieejamībai no pilnvarotiem Eiropas izplatītājiem un potenciālajiem gaidīšanas sarakstiem.

Papildus aparatūrai pirkums ietver piekļuvi Raspberry Pi un Hailo tehniskajai dokumentācijai un programmatūras resursiem, tostarp GitHub piemēriem, soli pa solim sniegtām rokasgrāmatām un materiāliem tiem, kas ir jauni iegultajā mākslīgajā intelektā. Tas atvieglo gan individuāliem lietotājiem, gan mazajiem uzņēmumiem eksperimentu sākšanu, neieguldot papildu izstrādes rīkos.

Eiropas kontekstā, kur datu privātums Un, tā kā energoefektivitāte kļūst arvien aktuālāka, AI HAT+ 2 tiek prezentēts kā elements, kas to ļauj apstrādāt sensitīvu informāciju lokāli samazinot atkarību no attāliem datu centriem, kas varētu būt pievilcīgi administrācijām, MVU un neatkarīgiem izstrādātājiem, kas meklē kontrolētākus mākslīgā intelekta risinājumus.

Raspberry Pi AI HAT+ 2 pozicionē sevi kā starpposma risinājumu starp mākoņpakalpojumiem un lieliem mākslīgā intelekta serveriem: tas piedāvā samērā pieejamu veidu, kā apvienot datorredzi un vieglus valodas modeļus vienā ierīcē, saglabājot zemu enerģijas patēriņu un ievērojot privātumu, taču pretī pieprasot, lai projekti tiktu izstrādāti jaudas un atmiņas robežās tipiska aparatūrai, kas paredzēta zemam enerģijas patēriņam un zemām izmaksām.

Saistīts raksts:

Xiaomi Smart Camera 3 3K: jaunā 3K novērošanas kamera, kuras mērķis ir iekarot savienoto māju

Alberto Navarro

Esmu tehnoloģiju entuziasts, kurš savas "geek" intereses ir pārvērtis profesijā. Es esmu pavadījis vairāk nekā 10 gadus no savas dzīves, izmantojot jaunākās tehnoloģijas un tīri ziņkārības vadīts ar visu veidu programmām. Tagad esmu specializējies datortehnoloģijās un videospēlēs. Tas ir tāpēc, ka vairāk nekā 5 gadus esmu rakstījis dažādām tīmekļa vietnēm par tehnoloģijām un videospēlēm, veidojot rakstus, kuru mērķis ir sniegt jums nepieciešamo informāciju ikvienam saprotamā valodā.

Ja jums ir kādi jautājumi, manas zināšanas svārstās no visa, kas saistīts ar Windows operētājsistēmu, kā arī Android mobilajiem tālruņiem. Un mana apņemšanās ir jums, es vienmēr esmu gatavs veltīt dažas minūtes un palīdzēt jums atrisināt visus jautājumus, kas jums varētu rasties šajā interneta pasaulē.