Raspberry Pi AI HAT+ 2: See on uus kohalik tehisintellekti pakkumine Raspberry Pi 5-le

Saabumine Raspberry Pi tehisintellekt HAT+ 2 See tähistab uut sammu neile, kes soovivad tehisintellektiga otse töötada. Raspberry Pi 5 ilma püsivalt pilvele toetumata. See laiendusplaat lisab spetsiaalse närvikiirendi ja oma mälu, nii et suur osa tehisintellekti töötlemisest viiakse põhiprotsessorist välja, võimaldades ambitsioonikamaid genereeriva tehisintellekti ja arvutinägemise projekte.

Soovitusliku hinnaga umbes 20 000 dollarit (Lõplik hind Hispaanias ja mujal Euroopas varieerub sõltuvalt maksudest ja ametlike edasimüüjate marginaalidest.) AI HAT+ 2 positsioneerib end suhteliselt taskukohase valikuna manustatud tehisintellekti ökosüsteemis. See ei konkureeri suurte serverite ega spetsiaalsete graafikaprotsessoritega, kuid pakub huvitavat tasakaalu hinna, energiatarbimise ja jõudluse vahel. Asjade internet, automatiseerimine, haridus ja prototüüpimine.

Mis on Raspberry Pi AI HAT+ 2 ja mille poolest see erineb esimesest põlvkonnast?

Raspberry Pi AI HAT+ 2 on... ametlik pikendusplaat See on loodud Raspberry Pi 5 jaoks ning ühendub emaplaadi integreeritud PCI Expressi liidese kaudu ja kasutab kinnitamiseks ka GPIO-pistikut. See on otsene järeltulija esimesele AI HAT+-ile, mis ilmus 2024. aastal ja mida pakuti kiirenditega variantides. Hailo-8L (13 TOPS) ja Hailo-8 (26 TOPS) ja oli väga keskendunud arvutinägemise ülesannetele.

Selles teises põlvkonnas panustab Raspberry Pi a-le Hailo-10H närvivõrgu kiirendi kaasas 8 GB LPDDR4X mälu kaardile endale pühendatud. See kombinatsioon on loodud toetama töökoormusi, mis on generatiivne tehisintellekt servas, näiteks kompaktsed keelemudelid, nägemiskeele mudelid ja multimodaalsed rakendused, mis ühendavad pilti ja teksti.

Kaasamise fakt integreeritud DRAM See tähendab, et tehisintellekti mudelite käitamine ei tarbi otseselt Raspberry Pi 5 põhimälu. Emaplaat saab keskenduda rakenduste loogikale, kasutajaliidesele, ühenduvusele või salvestusruumile, samal ajal kui NPU tegeleb suurema osa järeldustest. Praktikas aitab see süsteemi kasutatavana hoida, samal ajal kui tehisintellekti mudelid taustal töötavad.

Raspberry Pi enda sõnul on üleminek esimeselt tehisintellektilt HAT+ sellele uuele mudelile praktiliselt läbipaistev Projektide puhul, mis juba kasutasid Hailo-8 kiirendeid, säilitatakse integratsioon ettevõtte kaamerakeskkonna ja tarkvarapaketiga, vältides massilist ümberkirjutamist.

Riistvara, jõudlus ja energiatarve: kuni 40 TOPS Hailo-10H NPU-ga

AI HAT+ 2 süda on Hailo-10HSpetsiaalne närvivõrgu kiirendi, mis on loodud järelduste tõhusaks tegemiseks väikese energiatarbega seadmetel. Raspberry Pi ja Hailo räägivad kuni ... 40 parimat sooritusvõimet (teraoperatsiooni sekundis), kvantiseerimisega saadud arvud INT4 ja INT8, väga levinud, kui mudeleid juurutatakse servas.

Üks põhipunkte on see, et kiip on piiratud umbes astmega 3W energiatarveSee võimaldab seda integreerida kompaktsetesse korpustesse ja manussüsteemide projektidesse ilma jahutusvajadust või elektriarveid oluliselt suurendamata, mis on oluline seadmete puhul, mis võivad olla aktiivsed ööpäevaringselt. See piirang tähendab aga seda, et brutotulu See ei ole alati parem kui see, mida Raspberry Pi 5 ise pakkuda suudab, kui selle protsessor ja graafikakaart teatud ülimalt optimeeritud töökoormuste korral oma piirini viiakse.

Võrreldes eelmise mudeliga on hüpe selge: see läheb edasi 13/26 TOPS koos Hailo-8L/Hailo-8-ga See saavutab Hailo-10H-ga 40 TOPS-i ja esmakordselt lisandub 8 GB spetsiaalset sisseehitatud mälu. Esimene tehisintellektiga HAT+ paistis silma selliste ülesannetega nagu objektide tuvastamine, poosi hindamine ja stseeni segmenteerimine; uus versioon säilitab need rakendustüübid, kuid laiendab oma fookust... keelemudelid ja multimodaalsed kasutusviisid.

Sellegipoolest selgitab Raspberry Pi ise, et teatud nägemistoimingute puhul võib Hailo-10H praktiline jõudlus olla sarnane 26 TOPS-iga Hailo-8 puhul, mis on tingitud töökoormuse jaotusest ja arhitektuurilistest erinevustest. Suurim edasiminek, mis on suurem kui arvutinägemise toores võimsus, seisneb võimalustes, mida see avab LLM-i ja lokaalsete generatiivsete mudelite jaoks.

Taldrikuga on kaasas valikuline jahutusradiaator NPU jaoks. Kuigi energiatarve on piiratud, on tavaline soovitus see paigaldada, eriti kui kavatsete pikka aega intensiivseid tehisintellekti ülesandeid või nõudlikke jõudlusteste käivitada, et vältida kiibi sageduste vähenemist temperatuuri tõttu.

Toetatud keelemudelid ja kohaliku LLM-i kasutamine

Üks AI HAT+ 2 silmatorkavamaid aspekte on selle võime käivita keelemudeleid lokaalselt Raspberry Pi 5 peal, ilma andmeid välistele serveritele saatmata. Esitluse käigus tõid Raspberry Pi ja Hailo esile mitmesuguseid mudeleid, sealhulgas 1.000 ja 1.500 miljonit parameetrit lähtepunktina.

Turuletoomisel pakutavate ühilduvate õigusteaduse programmide hulgas on DeepSeek-R1-Distill, Llama 3.2, Qwen2, Qwen2.5-Instruct ja Qwen2.5-CoderNeed on suhteliselt kompaktsed mudelid, mis on loodud selliste ülesannete jaoks nagu lihtne vestlus, teksti kirjutamine ja parandamine, koodi genereerimine, lihtsad tõlked või stseenide kirjeldamine piltide ja teksti sisenditest.

Ettevõtte esitatud esialgsed testid sisaldavad näiteid tõlkimine keelte vahel ja vastused lihtsatele küsimustele, mis täidetakse täielikult Raspberry Pi 5-l, mida toetab tehisintellekt HAT+ 2, madala latentsusega ja ilma süsteemi üldist kasutatavust oluliselt mõjutamata. Töötlemine toimub Hailo-10H kaasprotsessoril ja see ei nõua seadme ühendamist pilvega.

Tuleks selgelt öelda, et see lahendus ei ole mõeldud massituru mudelitele, näiteks täisversioonidele ChatGPT, Claude või suuremad õigusteaduse magistriõppe programmid Metasmille suurusi mõõdetakse sadades miljardites või isegi triljonites parameetrites. Sellistel juhtudel pole probleemiks mitte ainult arvutusvõimsus, vaid ennekõike vajalik mälu mudeli ja selle kontekstide majutamiseks.

Raspberry Pi ise nõuab, et kasutajad oleksid teadlikud, et nad töötavad koos väiksemate mudelite treenimine piiratud andmekogumite põhjalSelle piirangu kompenseerimiseks keskendutakse sellistele tehnikatele nagu LoRA (madala astme kohanemine)mis võimaldavad mudeleid kohandada konkreetsetele kasutusjuhtudele ilma neid täielikult ümber õpetamata, lisades olemasolevale alusele kergeid kohandamiskihte.

Mälu, piirangud ja võrdlus 16 GB Raspberry Pi 5-ga

Lisamine 8 GB eraldatud LPDDR4X RAM-i See on üks AI HAT+ 2 peamisi uusi funktsioone, kuid see määratleb selgelt ka käivitatavate mudelite tüübid. Paljud keskmise suurusega kvantiseeritud LLM-id, eriti kui soovite käsitleda laia konteksti, võivad kergesti vajada rohkem kui 10 GB mäluSeetõttu on see lisatarvik suunatud kergetele mudelitele või neile, millel on kitsamad kontekstiaknad.

Kui võrrelda seda a-ga Raspberry Pi 5 16GB Isegi ilma HAT-ita on suurema mälumahuga emaplaatidel eelis suhteliselt suurte mudelite otse muutmälusse laadimisel, eeldusel, et märkimisväärne osa sellest mälust on pühendatud ainult tehisintellektile ja ohverdatakse muud ülesanded. Sellisel juhul tegelevad integreeritud protsessor ja graafikaprotsessor kogu järeldusega, mille tulemuseks on suurem töökoormus.

AI HAT+ 2 ettepanek on otsimisel mõistlikum eraldi kohustusedLaske Hailo-10H NPU-l tehisintellekti arvutused hallata ja vabastage Raspberry Pi 5 ruumi kerge töölauakeskkonna, veebiteenuste, andmebaaside, automatiseerimise või rakenduse esitluskihi haldamiseks.

Neile, kes tahavad ainult ühte kohalik assistent Suhteliselt lihtne ja võimeline vestlema, tekste tõlkima või väiksemate programmeerimisülesannetega abistama ilma andmeid kolmandatele osapooltele saatmata, võib AI HAT+ 2 võimsuse, tarbimise ja hinna tasakaal osutuda piisavaks. Suuri mudeleid või äärmiselt ulatuslikke kontekste nõudvate projektide puhul on aga praktilisem kasutada suurema mälumahuga või pilveinfrastruktuuriga seadmeid.

Teine kaalutlusväärne punkt on see, et kuigi HAT-i 8 GB aitab mälu vabastada, on selle versioon 16 GB Raspberry Pi 5 mälu See edestab endiselt lisandmoodulit kogumahu poolest, seega on teatud RAM-mahukates töövoogudes see konfiguratsioon jätkuvalt eelistatav.

Arvutinägemine ja mudeli samaaegne käivitamine

AI HAT+ 2 ei hülga funktsiooni, mis tegi esimese põlvkonna populaarseks: arvutinägemise rakendusedHailo-10H on võimeline käivitama objektide tuvastamise ja jälgimise mudeleid, inimese poosi hindamist või stseeni segmenteerimist jõudlusega, mis praktikas jääb vastavusse sellega, mida Hailo-8 pakkus 26 TOPS-il.

Raspberry Pi näitab, et uus tahvel suudab samaaegselt käitada nägemis- ja keelemudeleidSee muudab selle atraktiivseks projektide jaoks, kus kaamera ja tekstitöötlus peavad koos töötama. Näiteks valvesüsteemid, mis klassifitseerivad sündmusi ja genereerivad kirjeldusi, nutikad kaamerad, mis selgitavad stseenis toimuvat, või seadmed, mis ühendavad visuaalse tuvastamise aruannete genereerimisega.

Konkreetsetes stsenaariumides mainitakse peremudeleid. YOLO Reaalajas objektide tuvastamiseks värskendussagedusega, mis võib olenevalt mudeli eraldusvõimest ja keerukusest ulatuda umbes 30 kaadrit sekundis. Idee seisneb selles, et NPU täidab seda ülesannet, samal ajal kui Raspberry Pi 5 haldab salvestusruumi, võrku, teavitusi ja ekraani.

Raspberry Pi tehisintellekti ümbritsev tarkvaraökosüsteem on alles küpsemas faasis. Kuigi kogumik näited, raamistikud ja tööriistad Nii Raspberry Pi kui ka Hailo puhul on mitme mudeli (nägemine, keel, multimodaalne) paralleelne käivitamine jätkuvalt arenev valdkond ja võib igas projektis vajada peenhäälestamist.

Igal juhul integratsioon ametlik Raspberry Pi kaameravirn See lihtsustab elu neile, kes juba töötavad brändi kaameramoodulitega. AI HAT+ 2 integreerub otse selle keskkonnaga, nii et paljud olemasolevad nägemisprojektid saavad suhteliselt väikeste muudatustega uuele tahvlile üle minna.

Kasutusjuhud Hispaanias ja Euroopas: tööstus, asjade internet ja haridusprojektid

Madala energiatarbimise, väikese suuruse ja kohalik tehisintellekti töötlemine See on kooskõlas Hispaanias ja teistes Euroopa riikides rakendatavate digitaliseerimistrendidega. Tööstussektorites, kus stabiilne pilvejuurdepääs pole alati tagatud või kus kehtivad ranged konfidentsiaalsusnõuded, võib selline lahendus olla eriti atraktiivne.

Ametlikus dokumentatsioonis enimkasutatavate terminite hulgas on projektid tööstusautomaatika, protsesside juhtimine ja rajatiste haldusTootmisliinide visuaalsed kontrollisüsteemid, reaalajas anomaaliate tuvastamine, juurdepääsu kontroll või inimeste loendamine hoonetes on näited, kus nägemise ja kergete keelemudelite kombinatsioon võib lisada väärtust ilma vajaduseta juurutada palju kallimaid tehisintellekti infrastruktuure.

Valdkonnas Kodu ja ettevõtte asjade internetTehisintellekt HAT+ 2 saab olla aluseks Raspberry Pi 5-l töötavatele kohalikele assistentidele, andurite andmeid tõlgendavatele juhtpaneelidele, stseene kirjeldavatele kaameratele või seadmetele, mis analüüsivad videot ilma pilte välistele serveritele üles laadimata. See lähenemisviis aitab järgida Euroopa Liidu üha rangemaid andmekaitse-eeskirju.

See võib olla ka huvitav tööriist, kuna arenduskomplekt Euroopa ettevõtetele ja idufirmadele, kes kaaluvad Hailo-10H kiibi integreerimist lõpptoodetesse. Raspberry Pi jõudluse ja stabiilsuse testimine võimaldab kontseptsioone valideerida enne kohandatud riistvaradisainidesse investeerimist.

Haridusvaldkonnas võiksid Hispaania kutseõppekeskused, ülikoolid ja spetsialiseeritud akadeemiad kasutada tehisintellekti HAT+ 2 praktikaplatvormina, mis toob kaasa Sisseehitatud tehisintellekt ja genereeriv tehisintellekt õpilastele ligipääsetava ja suhteliselt odava riistvara abil võrreldes teiste kallimate süsteemidega.

Kasutajaprofiil ja sihtrühma kuuluvate projektide tüüp

Raspberry Pi AI HAT+ 2 on suunatud mitmele kasutajaprofiilile. Ühelt poolt on see suunatud laiale kasutajate kogukonnale. tegijad ja entusiastid kes juba kasutavad Raspberry Pi 5 ja soovivad oma projektidesse lisada generatiivse tehisintellekti või täiustatud nägemise ilma, et peaksid üle minema spetsiaalsete graafikaprotsessoritega tööjaamadele või täielikult pilveteenustest sõltuma.

Teisest küljest püüab ta võrgutada professionaalsed arendajad ja idufirmad mis vajavad testimisplatvormi manustatud tehisintellekti jaoks. Võrreldes lahendustega, kus tööstusarvutitesse on integreeritud eGPU-d või NPU-d, pakub see plaat kompaktset vormitegurit, väga väikest energiatarbimist ja madalamat üldkulu, kuigi jõudluse ülemmäär on madalam kui palju kallimatel platvormidel.

Neile, kellel on juba kogemusi esimese AI HAT+-iga, tundub üleminek suhteliselt lihtne: integratsioon olemasoleva tarkvaraga Ja kaameravirn on hoolikalt kavandatud, et minimeerida vajalikke muudatusi. See on oluline juba käimasolevate projektide jaoks, mis soovivad jõudluse kasvu ära kasutada ilma kõike ümber kirjutamata.

Teises äärmuses võivad kasutajad, kes soovivad keelemudeleid käitada ainult lokaalselt maksimaalse võimaliku mäluvaruga, siiski leida lahenduse. Raspberry Pi 5 16GB Ilma HAT-ita, eeldades, et integreeritud protsessor ja graafikaprotsessor tegelevad kõigi järeldustega ning et energiatarve on mõnevõrra suurem.

Lühidalt öeldes näib lisaseade otsivat nišši vahepealse lahendusena: võimsam ja paindlikum kui Raspberry Pi 5, mis töötab teatud tehisintellekti ülesannete täitmisel üksi, kuid on serverite või spetsiaalsete GPU-de jõudlusest kaugel ning keskendub väike energiatarve, privaatsus ja kulude piiramine.

Hailo tarkvara integratsioon, ressursid ja tugi

Tarkvara seisukohast on Raspberry Pi eesmärk olnud seadistamisprotsessi võimalikult palju lihtsustada. AI HAT+ 2 ühendub läbi PCIe-liides Raspberry Pi 5-st ja ametlik operatsioonisüsteem tunneb selle natiivselt ära, võimaldades tehisintellekti rakendustel töötada ilma üleliia keerukate seadistustoiminguteta neile, kes on keskkonnaga juba tuttavad.

Hailo pakub kasutajatele GitHubi repositoorium ja arendaja tsoon See sisaldab koodinäiteid, eelkonfigureeritud mudeleid, õpetusi ja raamistikke, mis on loodud nii generatiivse tehisintellekti kui ka arvutinägemise jaoks. Samuti sisaldab see tööriistu kvantiseerimise haldamiseks, kolmandate osapoolte mudelite laadimiseks ja konkreetsete töövoogude optimeerimiseks.

Turuletoomise ajal tegi ettevõte kättesaadavaks mitu paigaldusvalmis keelemudelidlubadusega laiendada kataloogi suuremate või väga spetsiifilistele kasutusjuhtudele kohandatud variantidega. Lisaks julgustab see kasutama selliseid tehnikaid nagu LoRa, et kohandada mudeleid iga projekti vajadustele ilma, et neid peaks nullist tohutute andmekogumite peal treenima.

Nagu seda tüüpi lahenduste puhul sageli, sõltub tegelik kogemus sellest, tarkvara ökosüsteemi küpsusasteMõned analüütikud toovad välja, et tööriistade, stabiilsuse ja mitme mudeli samaaegse käivitamise toe osas on veel arenguruumi, kuid Raspberry Pi ökosüsteemi trend liigub üha lihvituma integratsiooni poole.

Igal juhul vähendab projektide arendamine Hispaanias või teistes Euroopa riikides ametliku dokumentatsiooni, praktiliste näidete ja aktiivse kogukonna olemasolu märkimisväärselt sisenemisbarjääri odavates seadmetes manustatud ja generatiivse tehisintellektiga katsetamiseks.

Hind, saadavus ja praktilised aspektid Hispaanias ja Euroopas

Raspberry Pi AI HAT+ 2 on turule tulnud võrdlushinnaga 20 000 dollaritHispaanias ja mujal Euroopas sõltub lõplik summa vahetuskurss, maksud ja iga turustaja poliitikaSeetõttu on oodata väikeseid erinevusi kaupluste ja riikide vahel.

Emaplaat ühildub kogu tootesarjaga Raspberry Pi 5Alates 1 GB muutmäluga mudelitest kuni 16 GB muutmäluga versioonideni paigaldatakse ühilduv Raspberry Pi tuttava HAT-vormingu abil: see kruvitakse plaadile ja ühendub GPIO-pesa ja PCIe-liidese kaudu. Seetõttu on varasemad Raspberry Pi mudelid, millel see liides puudub, ühilduvusloendist välja jäetud.

Teadaande järgses esialgses etapis teatasid mõned spetsialiseerunud turustajad, et Piiratud laoseisSee on nüüdseks ametlike Raspberry Pi riistvara väljalasete puhul tavapärane praktika. Need, kes soovivad seadet lühiajaliselt kindlustada, peavad jälgima volitatud Euroopa edasimüüjate saadavust ja võimalikke ootenimekirju.

Lisaks riistvarale hõlmab ost juurdepääsu Raspberry Pi ja Hailo tehnilisele dokumentatsioonile ja tarkvararessurssidele, sealhulgas GitHubi näidistele, samm-sammult juhenditele ja materjalidele neile, kes on manustatud tehisintellektiga alles alustamas. See teeb nii üksikkasutajatele kui ka väikeettevõtetele katsetamise alustamise lihtsaks ilma täiendavatesse arendustööriistadesse investeerimata.

Euroopa kontekstis, kus andmekaitse Ja kuna energiatõhusus muutub üha olulisemaks, esitletakse tehisintellekti HAT+ 2 kui elementi, mis võimaldab töödelda tundlikku teavet lokaalselt vähendades sõltuvust kaugandmekeskustest, mis võib olla atraktiivne haldusasutustele, VKEdele ja sõltumatutele arendajatele, kes otsivad kontrollitumaid tehisintellekti lahendusi.

Raspberry Pi AI HAT+ 2 positsioneerib end pilve ja suurte tehisintellekti serverite vahepealse lahendusena: see pakub mõistlikult ligipääsetavat viisi arvutinägemise ja kergete keelemudelite ühendamiseks ühes seadmes, hoides energiatarbimist madalal ja austades privaatsust, kuid nõudes vastutasuks, et projektid oleksid kavandatud võimsuse ja mälu piires tüüpiline riistvarale, mis on loodud madala energiatarbe ja madala hinna jaoks.

Seotud artikkel:

Xiaomi Smart Camera 3 3K: uus 3K valvekaamera, mille eesmärk on vallutada ühendatud kodu

Alberto Navarro

Olen tehnoloogiahuviline, kes on muutnud oma "nohikese" huvidest elukutse. Olen veetnud üle 10 aasta oma elust tipptehnoloogiat kasutades ja puhtast uudishimust igasuguste programmide kallal nokitsenud. Nüüd olen spetsialiseerunud arvutitehnoloogiale ja videomängudele. Seda seetõttu, et rohkem kui 5 aastat olen kirjutanud erinevatele tehnoloogia ja videomängude veebisaitidele, luues artikleid, mille eesmärk on anda teile vajalikku teavet kõigile arusaadavas keeles.

Kui teil on küsimusi, siis minu teadmised ulatuvad kõigest, mis on seotud nii Windowsi operatsioonisüsteemiga kui ka Androidiga mobiiltelefonidele. Ja ma olen pühendunud teile, olen alati nõus kulutama paar minutit ja aitama teil lahendada kõik küsimused, mis teil selles Interneti-maailmas tekkida võivad.