Raspberry Pi AI HAT+ 2: Tämä on uusi paikallinen tekoälytarjonta Raspberry Pi 5:lle

Saapuminen Raspberry Pi AI HAT+ 2 Tämä on uusi askel niille, jotka haluavat työskennellä suoraan tekoälyn kanssa Raspberry Pi 5 ilman pysyvää pilveen turvautumista. Tämä laajennuskortti lisää erillisen neurokiihdyttimen ja oman muistin, joten suuri osa tekoälyn prosessoinnista siirretään pois pääprosessorilta, mikä mahdollistaa kunnianhimoisempia generatiivisia tekoäly- ja konenäköprojekteja.

Suositeltu hinta noin 130 dollaria (Lopullinen hinta Espanjassa ja muualla Euroopassa vaihtelee verojen ja virallisten jakelijoiden katteista riippuen.) AI HAT+ 2 asemoituu suhteellisen edulliseksi vaihtoehdoksi sulautettujen tekoälyjärjestelmien ekosysteemissä. Se ei kilpaile suurten palvelimien tai erillisten näytönohjainten kanssa, mutta tarjoaa mielenkiintoisen tasapainon kustannusten, virrankulutuksen ja suorituskyvyn välillä. IoT, automaatio, koulutus ja prototyyppien luominen.

Mikä on Raspberry Pi AI HAT+ 2 ja miten se eroaa ensimmäisestä sukupolvesta?

Raspberry Pi AI HAT+ 2 on virallinen jatkolevy Raspberry Pi 5:lle suunniteltu laite kytketään emolevyn integroidun PCI Express -liitännän kautta ja sitä käytetään myös GPIO-liittimeen kiinnityksessä. Se on suora seuraaja ensimmäiselle vuonna 2024 julkaistulle AI HAT+:lle, jota tarjottiin kiihdyttimillä varustetuissa versioissa. Hailo-8L (13 TOPS) ja Hailo-8 (26 TOPS) ja oli hyvin keskittynyt konenäkötehtäviin.

Tässä toisessa sukupolvessa Raspberry Pi panostaa a:han Hailo-10H-hermoverkkokiihdytin seurassa 8 Gt LPDDR4X-muistia kortille itselleen. Tämä yhdistelmä on suunniteltu tukemaan työkuormia, jotka ovat generatiivinen tekoäly reunalla, kuten kompaktit kielimallit, visio-kielimallit ja multimodaaliset sovellukset, jotka yhdistävät kuvaa ja tekstiä.

Yhdistäminen integroitu DRAM Tämä tarkoittaa, että tekoälymallien suorittaminen ei kuluta suoraan Raspberry Pi 5:n päämuistia. Emolevy voi keskittyä sovelluslogiikkaan, käyttöliittymään, liitettävyyteen tai tallennukseen, kun taas NPU hoitaa suurimman osan päättelystä. Käytännössä tämä auttaa pitämään järjestelmän käyttökelpoisena tekoälymallien suorittaessa taustalla.

Raspberry Pi:n itsensä mukaan siirtyminen ensimmäisestä tekoäly HAT+:sta tähän uuteen malliin on käytännössä läpinäkyvä Projekteissa, joissa jo käytettiin Hailo-8-kiihdyttimiä, integrointi yrityksen kameraympäristöön ja ohjelmistopinoon säilyy, jolloin vältetään massiiviset uudelleenkirjoitukset.

Laitteisto, suorituskyky ja virrankulutus: jopa 40 TOPS Hailo-10H NPU:lla

AI HAT+ 2:n ydin on Hailo-10HErikoistunut neuroverkkokiihdytin, joka on suunniteltu suorittamaan tehokkaasti päätelmiä vähän virtaa kuluttavilla laitteilla. Raspberry Pi ja Hailo puhuvat jopa ... 40 huippusuorituskykyä (teraoperaatiota sekunnissa), kvantisoinnilla saadut luvut INT4 ja INT8, hyvin yleistä, kun malleja otetaan käyttöön reunalla.

Yksi keskeisistä seikoista on, että siru on rajoitettu noin 1/2:n potenssiin 3 W:n virrankulutusTämä mahdollistaa sen integroinnin kompakteihin koteloihin ja sulautettuihin projekteihin ilman, että jäähdytysvaatimukset tai sähkölaskut kasvavat merkittävästi, mikä on tärkeää laitteille, jotka voivat olla aktiivisia 24/7. Tämä rajoitus tarkoittaa kuitenkin sitä, että bruttotuotto Se ei aina ole Raspberry Pi 5:n omaa potentiaalia parempi, kun sen suoritin ja näytönohjain joutuvat äärirajoille tietyissä erittäin optimoiduissa työkuormissa.

Verrattuna edelliseen malliin, harppaus on selvä: se siirtyy 13/26 TOPS kanssa Hailo-8L/Hailo-8 Se saavuttaa 40 TOPS:ia Hailo-10H:lla, ja ensimmäistä kertaa siihen lisätään 8 Gt erillistä sisäistä muistia. Ensimmäinen tekoäly-HAT+ loisti tehtävissä, kuten kohteiden tunnistuksessa, asennon arvioinnissa ja kohtauksen segmentoinnissa; uusi versio säilyttää nämä sovellustyypit, mutta laajentaa painopistettään... kielimallit ja multimodaaliset käyttötavat.

Silti Raspberry Pi itse selventää, että tietyissä konenäkötoiminnoissa Hailo-10H:n käytännön suorituskyky voi olla samanlainen kuin 26 TOPS Hailo-8:n osalta johtuen työmäärän jakautumisesta ja arkkitehtuurieroista. Merkittävin parannus, enemmän kuin pelkästään raa'an konenäön tehokkuudessa, on mahdollisuudet, jotka se avaa LLM:lle ja paikallisille generatiivisille malleille.

Lautasen mukana tulee valinnainen jäähdytyselementti NPU:lle. Vaikka virrankulutus on rajallinen, sen asentamista suositellaan yleensä, varsinkin jos aiot suorittaa intensiivisiä tekoälytehtäviä pitkään tai vaativia suorituskykytestejä, jotta siru ei alenna taajuuksiaan lämpötilan vuoksi.

Tuetut kielimallit ja paikallinen LLM-käyttö

Yksi tekoälyn HAT+ 2 silmiinpistävimmistä puolista on sen kyky aja kielimalleja paikallisesti Raspberry Pi 5:llä ilman datan lähettämistä ulkoisille palvelimille. Esityksen aikana Raspberry Pi ja Hailo esittelivät useita malleja, mukaan lukien 1 000 ja 1 500 miljoonaa parametria lähtökohtana.

Lanseerauksessa tarjottavien yhteensopivien oikeustieteen maisteriohjelmien joukossa ovat DeepSeek-R1-Distill, Llama 3.2, Qwen2, Qwen2.5-Instruct ja Qwen2.5-CoderNe ovat suhteellisen kompakteja malleja, jotka on suunniteltu tehtäviin, kuten peruskeskusteluun, tekstin kirjoittamiseen ja korjaamiseen, koodin luomiseen, yksinkertaisiin käännöksiin tai kohtausten kuvailuihin kuva- ja tekstisyötteistä.

Yrityksen esittämät alustavat testit sisältävät esimerkkejä käännös kielten välillä ja vastauksia yksinkertaisiin kysymyksiin, jotka suoritetaan kokonaan Raspberry Pi 5:llä tekoälyn HAT+ 2 tuella, pienellä viiveellä ja vaikuttamatta merkittävästi järjestelmän yleiseen käytettävyyteen. Prosessointi suoritetaan Hailo-10H-apuprosessorilla, eikä laitteen yhdistämistä pilveen tarvita.

On tehtävä selväksi, että tätä ratkaisua ei ole tarkoitettu massamarkkinamalleille, kuten täysversioille ChatGPT, Claude tai suuremmat Metan LLM-ohjelmatjoiden kokoja mitataan sadoissa miljardeissa tai jopa biljoonissa parametreissa. Näissä tapauksissa ongelma ei ole pelkästään laskentateho, vaan ennen kaikkea vaadittu muisti mallin ja sen kontekstien isännöimiseksi.

Raspberry Pi itse vaatii, että käyttäjien tulisi olla tietoisia siitä, että he työskentelevät pienempiä malleja, joita on koulutettu rajoitetummilla tietojoukoillaTämän rajoituksen kompensoimiseksi keskitytään tekniikoihin, kuten LoRA (matala-arvoinen adaptaatio)jotka mahdollistavat mallien mukauttamisen tiettyihin käyttötapauksiin ilman, että niitä tarvitsee kouluttaa kokonaan uudelleen, lisäämällä kevyitä mukautuskerroksia olemassa olevan pohjan päälle.

Muisti, rajoitukset ja vertailu 16 Gt:n Raspberry Pi 5:een

Sisällyttäminen 8 Gt erillistä LPDDR4X RAM-muistia Tämä on yksi AI HAT+ 2:n tärkeimmistä uusista ominaisuuksista, mutta se myös määrittelee selvästi, minkä tyyppisiä malleja voidaan ajaa. Monet keskikokoiset kvantisoidut oikeustieteen mallit (LLM) saattavat helposti tarvita enemmän kuin... 10 Gt muistiaSiksi lisävaruste on suunnattu kevyille malleille tai malleille, joissa on kapeammat konteksti-ikkunat.

Jos vertaat sitä johonkin Raspberry Pi 5 16GB Ilman HATia emolevyillä, joissa on enemmän muistia, on silti etulyöntiasema suhteellisen suurien mallien lataamisessa suoraan RAM-muistiin, edellyttäen, että merkittävä osa tästä muistista on varattu yksinomaan tekoälylle ja muita tehtäviä uhrataan. Tässä skenaariossa integroitu suoritin ja näytönohjain hoitavat kaiken päättelyn, mikä johtaa lisääntyneeseen työmäärään.

AI HAT+ 2 -ehdotus on järkevämpi etsittäessä erilliset vastuutAnna Hailo-10H NPU:n hoitaa tekoälylaskelmat ja vapauta Raspberry Pi 5:n tilaa kevyen työpöytäympäristön, verkkopalveluiden, tietokantojen, automaatioiden tai sovelluksen esityskerroksen ylläpitämiseen.

Niille, jotka haluavat vain yhden paikallinen avustaja Suhteellisen yksinkertainen ja pystyy keskustelemaan, kääntämään tekstejä tai avustamaan pienissä ohjelmointitehtävissä lähettämättä tietoja kolmansille osapuolille, AI HAT+ 2:n tehon, kulutuksen ja kustannusten tasapaino saattaa osoittautua riittäväksi. Suuria malleja tai erittäin laajoja konteksteja vaativissa projekteissa enemmän muistia tai pilvi-infrastruktuuria sisältävien laitteiden käyttö on kuitenkin edelleen käytännöllisempää.

Toinen huomioitava seikka on, että vaikka HAT:n 8 Gt auttaakin muistin purkamisessa, versio 16 Gt Raspberry Pi 5:tä Se on edelleen kokonaiskapasiteetissa lisäkorttia parempi, joten tietyissä RAM-intensiivisissä työnkuluissa kyseinen kokoonpano on edelleen parempi.

Konenäkö ja samanaikainen mallin suoritus

AI HAT+ 2 ei hylkää ominaisuutta, joka teki ensimmäisestä sukupolvesta suositun: konenäön sovelluksetHailo-10H pystyy suorittamaan kohteiden tunnistus- ja seurantamalleja, ihmisen asennon arviointia tai kohtauksen segmentointia suorituskyvyllä, joka käytännössä pysyy linjassa Hailo-8:n 26 TOPS:n tarjoaman kanssa.

Raspberry Pi ilmoittaa, että uusi levy pystyy ajaa samanaikaisesti näkö- ja kielimallejaTämä tekee siitä houkuttelevan projekteille, joissa kameran ja tekstinkäsittelyn on toimittava yhdessä. Esimerkiksi valvontajärjestelmät, jotka luokittelevat tapahtumia ja luovat kuvauksia, älykkäät kamerat, jotka selittävät, mitä kohtauksessa tapahtuu, tai laitteet, jotka yhdistävät visuaalisen tunnistuksen raporttien luomiseen.

Erityistilanteissa mainitaan perhemallit. YOLO Reaaliaikaiseen objektien tunnistukseen, jonka virkistystaajuus voi olla jopa noin 30 kuvaa sekunnissa mallin resoluutiosta ja monimutkaisuudesta riippuen. Ajatuksena on, että NPU hoitaa tämän tehtävän, kun taas Raspberry Pi 5 hallinnoi tallennustilaa, verkkoa, ilmoituksia ja näyttöä.

Raspberry Pi:n tekoälyn ympärillä oleva ohjelmistoekosysteemi on vielä kypsymässä. Vaikka kokoelma esimerkkejä, viitekehyksiä ja työkaluja Sekä Raspberry Pillä että Hailolla useiden mallien (näkö, kieli, multimodaalinen) rinnakkainen suorittaminen on edelleen kehittyvä ala ja saattaa vaatia hienosäätöä jokaisessa projektissa.

Joka tapauksessa integrointi mm. virallinen Raspberry Pi -kamerapino Tämä yksinkertaistaa niiden elämää, jotka jo työskentelevät merkin kameramoduulien kanssa. AI HAT+ 2 integroituu suoraan kyseiseen ympäristöön, joten monet olemassa olevat konenäköprojektit voidaan siirtää uudelle piirilevylle suhteellisen pienillä muutoksilla.

Käyttötapauksia Espanjassa ja Euroopassa: teollisuus, IoT ja koulutusprojektit

Alhaisen virrankulutuksen, pienen koon ja paikallinen tekoälykäsittely Tämä on hyvin linjassa Espanjassa ja muissa Euroopan maissa toteutettavien digitalisaatiotrendien kanssa. Teollisuudenaloilla, joilla vakaata pilvipalveluiden käyttöä ei aina taata tai joilla on tiukat luottamuksellisuusvaatimukset, tämäntyyppinen ratkaisu voi olla erityisen houkutteleva.

Virallisissa dokumenteissa yleisimmin käytettyjä termejä ovat projektit, jotka teollisuusautomaatio, prosessien ohjaus ja kiinteistönhallintaTuotantolinjojen visuaaliset tarkastusjärjestelmät, reaaliaikainen poikkeavuuksien havaitseminen, kulunvalvonta tai ihmisten laskeminen rakennuksissa ovat esimerkkejä siitä, miten näkökyvyn ja kevyiden kielimallien yhdistelmä voi tuoda lisäarvoa ilman paljon kalliimpien tekoälyinfrastruktuurien käyttöönottoa.

Alalla Koti- ja yrityskäyttöön tarkoitettu IoTTekoäly HAT+ 2 voi toimia pohjana Raspberry Pi 5:llä toimiville paikallisille avustajille, anturitietoja tulkitseville kojelaudoille, kohtauksia kuvaaville kameroille tai videota lataamatta kuvia ulkoisille palvelimille analysoiville laitteille. Tämä lähestymistapa auttaa noudattamaan yhä tiukempia tietosuojasäännöksiä Euroopan unionissa.

Se voi olla myös mielenkiintoinen työkalu, kuten kehityspaketti Eurooppalaisille yrityksille ja startup-yrityksille, jotka harkitsevat Hailo-10H-sirun integrointia lopputuotteisiin. Raspberry Pin suorituskyvyn ja vakauden testaaminen mahdollistaa konseptien validoinnin ennen räätälöityihin laitteistosuunnitelmiin investoimista.

Koulutusalalla ammatilliset koulutuskeskukset, yliopistot ja erikoistuneet akatemiat Espanjassa voisivat käyttää tekoäly HAT+ 2:ta harjoitusalustana, mikä tuo Sulautettu tekoäly ja generatiivinen tekoäly opiskelijoille helposti saatavilla olevalla ja suhteellisen edullisella laitteistolla verrattuna muihin kalliimpiin järjestelmiin.

Käyttäjäprofiili ja kohdennettujen projektien tyyppi

Raspberry Pi AI HAT+ 2 on suunnattu useille eri käyttäjille. Toisaalta laajalle käyttäjäkunnalle tekijät ja harrastajat jotka jo käyttävät Raspberry Pi 5:tä ja haluavat sisällyttää generatiivisen tekoälyn tai edistyneen näköteknologian projekteihinsa siirtymättä työasemiin, joissa on erilliset näytönohjaimet, tai olematta täysin riippuvaisia ​​pilvipalveluista.

Toisaalta hän yrittää vietellä ammattimaiset kehittäjät ja startupit jotka tarvitsevat testausalustan sulautetulle tekoälylle. Verrattuna ratkaisuihin, joissa eGPU:t tai NPU:t on integroitu teollisuustietokoneisiin, tämä emolevy tarjoaa kompaktin kokoluokan, erittäin alhaisen virrankulutuksen ja alhaisemmat kokonaiskustannukset, vaikkakin suorituskyky on alhaisempi kuin paljon kalliimmilla alustoilla.

Niille, joilla on jo kokemusta ensimmäisen tekoäly HAT+:n kanssa, siirtyminen vaikuttaa suhteellisen yksinkertaiselta: integrointi olemassa olevien ohjelmistojen kanssa Kamerapino on suunniteltu huolellisesti tarvittavien muutosten minimoimiseksi. Tämä on olennaista jo käynnissä oleville projekteille, joissa halutaan hyödyntää suorituskyvyn kasvua ilman, että kaikkea tarvitsee kirjoittaa uudelleen.

Toisessa ääripäässä käyttäjät, jotka haluavat ajaa kielimalleja paikallisesti mahdollisimman suurella muistimarginaalilla, saattavat silti löytää ratkaisun. Raspberry Pi 5 16GB Ilman HATia olettaen, että integroitu CPU ja GPU hoitavat kaiken päättelyn ja että virrankulutus on jonkin verran suurempi.

Lyhyesti sanottuna lisävaruste näyttää löytävän paikkansa väliratkaisuna: tehokkaampi ja joustavampi kuin yksinään toimiva Raspberry Pi 5 tietyissä tekoälytehtävissä, mutta kaukana palvelimien tai erillisten näytönohjainten suorituskyvystä ja keskittyen alhainen virrankulutus, yksityisyys ja kustannusten hallinta.

Hailo-ohjelmistointegraatio, resurssit ja tuki

Ohjelmiston näkökulmasta Raspberry Pi on pyrkinyt yksinkertaistamaan asennusprosessia mahdollisimman paljon. AI HAT+ 2 muodostaa yhteyden PCIe-liitäntä Raspberry Pi 5:n ja virallinen käyttöjärjestelmä tunnistaa sen natiivisti, minkä ansiosta tekoälysovellukset voivat toimia ilman liian monimutkaisia ​​asennusvaiheita niille, jotka ovat jo perehtyneet ympäristöön.

Hailo tarjoaa käyttäjille GitHubissa ja kehittäjävyöhykkeellä oleva arkisto Se sisältää koodiesimerkkejä, valmiiksi konfiguroituja malleja, tutoriaaleja ja kehyksiä, jotka on suunniteltu sekä generatiiviselle tekoälylle että konenäölle. Se sisältää myös työkaluja kvantisoinnin hallintaan, kolmansien osapuolten mallien lataamiseen ja tiettyjen työnkulkujen optimointiin.

Lanseerauksen yhteydessä yritys on tarjonnut useita asennusvalmiit kielimallitlupauksella laajentaa luetteloa suuremmilla varianteilla tai erittäin erityisiin käyttötapauksiin mukautetuilla. Lisäksi se kannustaa LoRa-tekniikoiden käyttöön mallien mukauttamiseksi kunkin projektin tarpeisiin ilman, että niitä tarvitsee kouluttaa tyhjästä valtavilla tietojoukoilla.

Kuten usein tällaisten ratkaisujen kohdalla, todellinen kokemus riippuu ohjelmistoekosysteemin kypsyystasoJotkut analyytikot huomauttavat, että työkaluissa, vakaudessa ja useiden mallien samanaikaisen suorituksen tuessa on vielä parantamisen varaa, mutta Raspberry Pi -ekosysteemin trendi on menossa kohti yhä hiotumpaa integraatiota.

Joka tapauksessa projektien kehittäminen Espanjassa tai muissa Euroopan maissa, virallisen dokumentaation, käytännön esimerkkien ja aktiivisen yhteisön olemassaolo, vähentää huomattavasti kynnystä kokeilla sulautettua ja generatiivista tekoälyä edullisissa laitteissa.

Hinta, saatavuus ja käytännön näkökohdat Espanjassa ja Euroopassa

Raspberry Pi AI HAT+ 2 on lanseerattu viitehinnalla 130 dollariaEspanjassa ja muualla Euroopassa lopullinen summa riippuu valuuttakurssi, verot ja kunkin jakelijan käytäntöSiksi on odotettavissa, että kauppojen ja maiden välillä on pieniä eroja.

Emolevy on yhteensopiva koko malliston kanssa Raspberry Pi 51 Gt:n RAM-muistilla varustetuista malleista 16 Gt:n versioihin yhteensopiva Raspberry Pi asennetaan tutulla HAT-formaatilla: se ruuvataan piirilevyyn ja kytketään GPIO-liitännän ja PCIe-liitännän kautta. Aiemmat Raspberry Pi -mallit, joissa tätä liitäntää ei ole, on siksi suljettu pois yhteensopivuusluettelosta.

Ilmoituksen jälkeisissä alkuvaiheissa jotkut erikoistuneet jakelijat kertoivat, että Rajoitettu eräTämä on nykyään yleinen käytäntö virallisissa Raspberry Pi -laitteistojulkaisuissa. Niiden, jotka haluavat varmistaa laitteen lyhyellä aikavälillä, on pidettävä silmällä saatavuutta valtuutetuilta eurooppalaisilta jakelijoilta ja mahdollisia odotuslistoja.

Laitteiston lisäksi hankintaan sisältyy pääsy Raspberry Pi:n ja Hailon tekniseen dokumentaatioon ja ohjelmistoresursseihin, mukaan lukien GitHub-esimerkkejä, vaiheittaisia ​​oppaita ja materiaaleja sulautetun tekoälyn uusille käyttäjille. Tämä helpottaa sekä yksittäisten käyttäjien että pienten yritysten kokeilujen aloittamista ilman, että heidän tarvitsee investoida lisäkehitystyökaluihin.

Eurooppalaisessa kontekstissa, jossa tietosuoja Ja energiatehokkuuden tullessa yhä tärkeämmäksi, tekoäly HAT+ 2 esitellään kappaleena, joka mahdollistaa käsitellä arkaluonteisia tietoja paikallisesti vähentämällä riippuvuutta etädatakeskuksista, mikä voi olla houkuttelevaa hallinnoille, pk-yrityksille ja itsenäisille kehittäjille, jotka etsivät hallitumpia tekoälyratkaisuja.

Raspberry Pi AI HAT+ 2 asemoituu pilvipalvelun ja suurten tekoälypalvelimien välimuotona: se tarjoaa kohtuullisen helppokäyttöisen tavan yhdistää konenäkö ja kevyet kielimallit yhteen laitteeseen pitäen virrankulutuksen alhaisena ja kunnioittaen yksityisyyttä, mutta vastineeksi edellyttää, että projektit suunnitellaan tehon ja muistin rajoissa tyypillistä vähän virtaa kuluttavalle ja edulliselle laitteistolle.

Aiheeseen liittyvä artikkeli:

Xiaomi Smart Camera 3 3K: uusi 3K-valvontakamera, jonka tavoitteena on valloittaa verkottunut koti

Alberto Navarro

Olen teknologian harrastaja, joka on muuttanut "nörtti"-harrastuksensa ammatiksi. Olen käyttänyt yli 10 vuotta elämästäni uusinta teknologiaa käyttäen ja kaikenlaisten ohjelmien parissa puhtaasta uteliaisuudesta. Nyt olen erikoistunut tietotekniikkaan ja videopeleihin. Tämä johtuu siitä, että yli 5 vuoden ajan olen työskennellyt kirjoittaen useille teknologiaa ja videopelejä käsitteleville verkkosivustoille ja luonut artikkeleita, jotka pyrkivät antamaan sinulle tarvitsemaasi tietoa kielellä, jota kaikki ymmärtävät.

Jos sinulla on kysyttävää, tietoni ulottuu kaikesta Windows-käyttöjärjestelmään liittyvästä sekä matkapuhelimien Androidista. Ja sitoumukseni on sinulle, olen aina valmis käyttämään muutaman minuutin ja auttamaan sinua ratkaisemaan kaikki kysymyksesi, joita sinulla saattaa olla tässä Internet-maailmassa.