Kuidas käivitada DeepSeek R1 oma Raspberry Pi 5-s samm-sammult

Kuidas käivitada DeepSeek R1 oma Raspberry Pi 5-s? Kas saab? Vaatame seda. Alates avatud lähtekoodiga AI mudelite tulekust on paljud entusiastid otsinud viise, kuidas neid oma seadmetes käitada. Üks paljutõotavamaid on Hiinas välja töötatud mudel DeepSeek R1, mis on tõestanud konkurentsi OpenAI kõige arenenumate võimalustega. Suur küsimus on aga selles.

Kiire vastus on jah, kuid teatud piirangutega. Selles artiklis analüüsime üksikasjalikult, mida on vaja selle toimimiseks, kuidas seda seadistada y millist tulemust võib oodata olenevalt saadaolevast riistvarast. Siin on artikkel selle kohta, kuidas DeepSeek R1 oma Raspberry Pi 5-s käivitada. Pidage meeles, et kasutades otsingumootorit Tecnobits, leiate lisateavet Raspberry ja muu riist- või tarkvara kohta.

Mis on DeepSeek R1 ja mis teeb selle eriliseks?

DeepSeek R1 on avatud lähtekoodiga AI mudel, mis on kogukonda üllatanud tänu oma efektiivsuse y jõudlus. Erinevalt paljudest teistest mudelitest pakub see võimalust töötada kohaliku riistvaraga, muutes selle huvitavaks alternatiiviks lahendused pilves nagu ChatGPT.

Kõige täiuslikum mudel DeepSeek R1 671B võtab aga rohkem kui 400 GB ja korralikuks töötamiseks on vaja mitut suure jõudlusega graafikakaarti. Kuigi täisversioon on enamiku jaoks kättesaamatu, on neid destilleeritud versioonid mis võib töötada tagasihoidlikuma riistvaraga nagu Raspberry Pi.

Kui teile meeldib Raspberry maailm Tecnobits Meil on selle riistvara kohta palju teavet. Näiteks toome teieni selle uudise, millest räägime Raspberry Pi Pico: uus plaat, mis maksab vaid 4 eurot.

DeepSeek R1 töötamine Raspberry Pi 5-ga

Raspberry Pi 5 on a võimas miniarvuti võrreldes oma eelkäijatega, kuid sellel on tehisintellekti osas siiski olulisi piiranguid. DeepSeek R1 selle seadmega töötamiseks peate kasutama kergemad versioonid mudelist.

Eeltingimused

• A. Raspberry Pi 5 vähemalt 8 GB muutmäluga.
• MicroSD-kaart suur võimsus ja kiirus vajalike failide salvestamiseks.
• Linuxi-põhine operatsioonisüsteem, nt Vaarika Pi OS või Ubuntu.
• Interneti-ühendus mudelifailide allalaadimiseks.
• Juurdepääs terminalile, et installida ja käitada vajalik tarkvara.

Nüüd on meil kõik, mida vajame, et alustada õppimist, kuidas oma Raspberry Pi 1-s DeepSeek R5 käivitada.

Põhikomponentide paigaldamine

DeepSeek R1 käitamiseks Raspberry Pi-s peate installima a võtmetööriistade komplekt. Allpool selgitame samm-sammult, kuidas seda teha.

1. Llama.cpp installimine

Llama.cpp on tarkvara, mis võimaldab teil AI-mudeleid tõhusalt käitada seadmetes piiratud ressursid. Selle installimiseks kasutage järgmisi käske:

sudo apt update && sudo apt upgrade -y sudo apt install git cmake build-essential -y git kloon https://github.com/ggerganov/llama.cpp.git cd llama.cpp make

See protsess laaditakse alla ja hakkab koostama oma Raspberry Pi tööriista.

2. Destilleeritud DeepSeek R1 mudeli allalaadimine

Raspberry Pi 5 juhitava jõudluse tagamiseks on soovitatav kasutada versiooni DeepSeek R1 1.5B, mis on umbes 1 GB suurune.

Saate selle alla laadida Hugging Face'ist, kasutades Pythonis järgmist käsku:

from huggingface_hub import snapshot_download snapshot_download(repo_id='DeepSeek-R1-1.5B', local_dir='DeepSeek-R1')

3. Serveri seadistamine ja käitamine

Kui mudel on alla laaditud, on järgmine samm selle käivitamine rakendusega Llama.cpp. Kasutage järgmist käsku:

./llama-server --mudel /tee_teie_mudelisse/DeepSeek-R1-1.5B.gguf --port 10000 --ctx-size 1024 --n-gpu-kihid 40

Kui kõik läks hästi, töötab server sisse http://127.0.0.1:10000.

4. Integreerimine Open WebUI-ga

Et hõlbustada Koostoime Mudeliga on Open WebUI graafiline liides, mis võimaldab saata küsimusi ja saada vastuseid ilma käske kirjutamata käsitsi. Llama.cpp serveriga ühenduse loomiseks toimige järgmiselt.

1. Avage Ava WebUI.
2. Avage Seaded > Ühendused > OpenAI.
3. Sisestage URL http://127.0.0.1:10000 seadetes.
4. Salvestage muudatused ja alustage veebiliidese kaudu DeepSeek R1 kasutamist.

Kas on selge, kuidas DeepSeek R1 oma Raspberry Pi 5-s käivitada? Sinu jaoks on veel rohkem.

milliseid tulemusi võib oodata?

Kuigi DeepSeek R1 võib töötada ka Raspberry Pi 5-ga, tuleb arvestada mitmete hoiatustega: peamised piirangud:

• Esinemine väga piiratud võrreldes mudeli täisversiooniga.
• Teksti genereerimine aeglane, eriti mudelite puhul, mille parameetrid on üle 7B.
• Vastuseid vähem täpne võrreldes suuremate mudelitega, mis töötavad võimsa riistvaraga.

Mudeli erinevate versioonidega tehtud katsetes leiti, et versioon 1.5B on kõige soovitatavam Raspberry Pi 5 jaoks, kuigi jõudlus on endiselt tagasihoidlik. Enne kui lõpetame selle artikli DeepSeek R1 käivitamise kohta oma Raspberry Pi 5-s, on meil veel midagi rääkida kergete mudelite erinevate kasutusjuhtude kohta.

Kasutage kohvreid kergete mudelite jaoks

Kuigi Raspberry Pi ei saa hakkama hiiglaslike mudelitega, võivad vähendatud versioonid teatud juhtudel siiski kasulikud olla stsenaariumid:

• Põhikoodi genereerimine ja matemaatika abi.
• Automatiseerimine koduautomaatika projektides.
• Manussüsteemide konkreetsete ülesannete tugi.

Täiustatud tehisintellekti mudelite käitamine taskukohasel riistvaral on kindlasti suur samm edasi avatud lähtekoodiga maailmas. Kuigi Raspberry Pi 5 ei paku mitme GPU-ga serveriga võrreldavat kogemust, nende valikute uurimine avab uusi võimalused odavate arvutite jaoks. Kui olete huvitatud selle proovimisest, järgige selles juhendis toodud juhiseid ja katsetage mudeli erinevate versioonidega häälestuse esitus teie vajadustele. Loodame, et see artikkel DeepSeek R1 käivitamise kohta oma Raspberry Pi 5-s oli teile kasulik.