Kaip žingsnis po žingsnio paleisti „DeepSeek R1“ savo Raspberry Pi 5

Kaip paleisti „DeepSeek R1“ savo Raspberry Pi 5? Ar gali? Pažiūrėkime. Nuo tada, kai atsirado atvirojo kodo AI modeliai, daugelis entuziastų ieško būdų, kaip juos paleisti savo įrenginiuose. Vienas iš perspektyviausių – Kinijoje sukurtas modelis „DeepSeek R1“, įrodęs, kad konkuruoja su pažangiausiomis OpenAI galimybėmis. Tačiau didelis klausimas yra toks.

Greitas atsakymas yra taip, bet su tam tikrais apribojimais. Šiame straipsnyje mes išsamiai išanalizuosime, ko reikia, kad jis veiktų, kaip jį nustatyti y kokio rezultato galima tikėtis priklausomai nuo turimos aparatūros. Toliau pateikiame straipsnį apie tai, kaip paleisti DeepSeek R1 savo Raspberry Pi 5. Atminkite, kad naudojant paieškos variklį Tecnobits, rasite daugiau informacijos apie Raspberry ir kitą techninę ar programinę įrangą.

Kas yra „DeepSeek R1“ ir kuo jis ypatingas?

DeepSeek R1 yra atvirojo kodo AI modelis, kuris nustebino bendruomenę savo dėka efektyvumas y spektaklis. Skirtingai nuo daugelio kitų modelių, jis siūlo galimybę paleisti vietinę aparatinę įrangą, todėl tai yra įdomi alternatyva debesų sprendimai kaip ChatGPT.

Tačiau pats išsamiausias modelis „DeepSeek R1 671B“ užima daugiau nei 400 LT ir norint tinkamai veikti, reikia kelių didelio našumo vaizdo plokščių. Nors pilna versija daugumai nepasiekiama, yra distiliuotos versijos kuri gali veikti naudojant kuklesnę aparatinę įrangą, pvz., Raspberry Pi.

Jei jums patinka Raspberry pasaulis Tecnobits Turime daug informacijos apie šią aparatinę įrangą. Pavyzdžiui, pateikiame jums šią naujieną, apie kurią kalbame Raspberry Pi Pico: nauja lenta kainuoja tik 4 eurus.

„DeepSeek R1“ paleidimas naudojant Raspberry Pi 5

Raspberry Pi 5 yra a galingas mini kompiuteris palyginti su savo pirmtakais, tačiau vis dar turi didelių apribojimų, susijusių su dirbtiniu intelektu. Norint, kad „DeepSeek R1“ veiktų šiame įrenginyje, būtina pasinaudoti lengvesnės versijos modelio.

Būtinos sąlygos

• A Aviečių Pi 5 su mažiausiai 8 GB RAM.
• „microSD“ kortelė didelis pajėgumas ir greitis reikiamiems failams saugoti.
• Linux pagrindu veikianti operacinė sistema, pvz Raspberry Pi OS arba Ubuntu.
• Interneto ryšys modelio failams atsisiųsti.
• Prieiga prie terminalo, kad įdiegtumėte ir paleistumėte reikalinga programinė įranga.

Dabar turime viską, ko reikia norint pradėti mokytis, kaip paleisti DeepSeek R1 savo Raspberry Pi 5.

Pagrindinių komponentų montavimas

Norėdami paleisti DeepSeek R1 naudodami Raspberry Pi, turite įdiegti a raktų įrankių rinkinys. Žemiau žingsnis po žingsnio paaiškiname, kaip tai padaryti.

1. Llama.cpp diegimas

Llama.cpp yra programinė įranga, leidžianti efektyviai paleisti AI modelius įrenginiuose su riboti ištekliai. Norėdami jį įdiegti, naudokite šias komandas:

sudo apt atnaujinimas ir sudo apt atnaujinimas -y sudo apt įdiegti git cmake build-essential -y git klonas https://github.com/ggerganov/llama.cpp.git cd llama.cpp make

Šis procesas bus atsisiųstas ir sukompiliuos įrankį savo Raspberry Pi.

2. Distiliuoto DeepSeek R1 modelio atsisiuntimas

Norint užtikrinti valdomą Raspberry Pi 5 veikimą, rekomenduojama naudoti versiją DeepSeek R1 1.5B, kurio dydis yra apie 1 GB.

Galite atsisiųsti jį iš Hugging Face naudodami šią Python komandą:

iš huggingface_hub importo snapshot_download snapshot_download(repo_id='DeepSeek-R1-1.5B', local_dir='DeepSeek-R1')

3. Serverio nustatymas ir paleidimas

Kai modelis atsisiunčiamas, kitas žingsnis yra paleisti jį naudojant Llama.cpp. Naudokite šią komandą:

./llama-server --model /path_to_your_model/DeepSeek-R1-1.5B.gguf --port 10000 --ctx-size 1024 --n-gpu-layers 40

Jei viskas gerai, serveris veiks http://127.0.0.1:10000.

4. Integracija su Open WebUI

Palengvinti sąveika Su šiuo modeliu Open WebUI yra grafinė sąsaja, leidžianti siųsti klausimus ir gauti atsakymus nerašant komandų rankiniu būdu. Norėdami prisijungti prie Llama.cpp serverio, atlikite šiuos veiksmus:

1. Atidarykite Open WebUI.
2. Eikite į Nustatymai > Ryšiai > OpenAI.
3. Įveskite URL http://127.0.0.1:10000 nustatymuose.
4. Išsaugokite pakeitimus ir pradėkite naudoti DeepSeek R1 iš žiniatinklio sąsajos.

Ar aišku, kaip paleisti „DeepSeek R1“ savo Raspberry Pi 5? Jums dar yra daugiau.

kokių rezultatų galima tikėtis?

Nors DeepSeek R1 gali veikti naudojant Raspberry Pi 5, reikia atsižvelgti į keletą įspėjimų: pagrindiniai apribojimai:

• Spektaklis labai ribotas palyginti su pilna modelio versija.
• teksto generavimas lėtas, ypač su modeliais su daugiau nei 7B parametrais.
• Atsakymai mažiau tikslūs palyginti su didesniais modeliais, veikiančiais galinga aparatūra.

Atliekant bandymus su skirtingomis modelio versijomis buvo nustatyta, kad versija 1.5B yra labiausiai rekomenduojamas Raspberry Pi 5, nors našumas vis dar yra kuklus. Prieš baigdami šį straipsnį apie tai, kaip paleisti DeepSeek R1 savo Raspberry Pi 5, turime dar kai ką papasakoti apie skirtingus lengvų modelių naudojimo atvejus.

Naudokite dėklus lengviems modeliams

Nors Raspberry Pi negali valdyti milžiniškų modelių, sumažintos versijos vis tiek gali būti naudingos tam tikrais atvejais scenarijus:

• Pagrindinė kodo generavimo ir matematikos pagalba.
• Automatika namų automatikos projektuose.
• Konkrečių užduočių palaikymas įterptosiose sistemose.

Galimybė paleisti pažangius AI modelius naudojant prieinamą aparatinę įrangą yra didelis žingsnis į priekį atvirojo kodo pasaulyje. Nors Aviečių Pi 5 nesuteiks patirties, panašios į serverio su keliais GPU, tyrinėjant šias parinktis atsiveria naujos šansai pigiems skaičiavimams. Jei norite tai išbandyti, atlikite šiame vadove nurodytus veiksmus ir eksperimentuokite su skirtingomis modelio versijomis melodijų atlikimas jūsų poreikiams. Tikimės, kad šis straipsnis apie tai, kaip „DeepSeek R1“ paleisti „Raspberry Pi 5“, buvo naudingas.