Ako spustiť DeepSeek R1 na vašom Raspberry Pi 5 krok za krokom

Ako spustiť DeepSeek R1 na vašom Raspberry Pi 5? Môžem? Pozrime sa na to. Od nástupu modelov AI s otvoreným zdrojovým kódom mnohí nadšenci hľadajú spôsoby, ako ich spustiť na vlastných zariadeniach. Jedným z najsľubnejších je DeepSeek R1, model vyvinutý v Číne, ktorý dokázal konkurovať najpokročilejším možnostiam OpenAI. Veľkou otázkou však je toto.

Rýchla odpoveď je áno, ale s určitými obmedzeniami. V tomto článku budeme podrobne analyzovať, čo je potrebné, aby to fungovalo, ako to nastaviť y aký výsledok možno očakávať v závislosti od dostupného hardvéru. Tu je článok o tom, ako spustiť DeepSeek R1 na vašom Raspberry Pi 5. Nezabudnite, že pomocou vyhľadávača Tecnobits, nájdete viac informácií o Raspberry a inom hardvéri alebo softvéri.

Čo je DeepSeek R1 a čím je výnimočný?

DeepSeek R1 je open source model AI, ktorý komunitu prekvapil vďaka svojmu efektívnosť y výkon. Na rozdiel od mnohých iných modelov ponúka možnosť behu na lokálnom hardvéri, čo z neho robí zaujímavú alternatívu k cloudové riešenia ako ChatGPT.

Najkompletnejší model, DeepSeek R1 671B, však zaberá viac ako 400 GB a na správne fungovanie vyžaduje viacero vysokovýkonných grafických kariet. Hoci je plná verzia pre väčšinu nedostupná, existujú destilované verzie ktorý môže bežať na skromnejšom hardvéri, ako je Raspberry Pi.

Ak máte radi svet Raspberry in Tecnobits O tomto hardvéri máme veľa informácií. Prinášame vám napríklad túto novinku, o ktorej hovoríme Raspberry Pi Pico: nová doska, ktorá stojí len 4 eurá.

Spustenie DeepSeek R1 na Raspberry Pi 5

Raspberry Pi 5 je a výkonný mini počítač v porovnaní so svojimi predchodcami, ale stále má značné obmedzenia, pokiaľ ide o umelú inteligenciu. Ak chcete, aby DeepSeek R1 fungoval na tomto zariadení, je potrebné sa uchýliť ľahšie verzie modelu.

predpoklady

• Una Raspberry Pi 5 s minimálne 8 GB RAM.
• Karta microSD o vysoká kapacita a rýchlosť na uloženie potrebných súborov.
• Operačný systém založený na Linuxe, ako napr Raspberry Pi OS alebo Ubuntu.
• Internetové pripojenie na stiahnutie modelových súborov.
• Prístup k terminálu na inštaláciu a spustenie potrebný softvér.

Teraz máme všetko, čo potrebujeme, aby sme sa začali učiť, ako spustiť DeepSeek R1 na vašom Raspberry Pi 5.

Inštalácia kľúčových komponentov

Ak chcete spustiť DeepSeek R1 na Raspberry Pi, musíte nainštalovať a sada kľúčových nástrojov. Nižšie vám krok za krokom vysvetlíme, ako na to.

1. Inštalácia Llama.cpp

Llama.cpp je softvér, ktorý vám umožňuje efektívne spúšťať modely AI na zariadeniach s obmedzené zdroje. Ak ho chcete nainštalovať, použite nasledujúce príkazy:

sudo apt update && sudo apt upgrade -y sudo apt install git cmake build-essential -y git clone https://github.com/ggerganov/llama.cpp.git cd llama.cpp make

Tento proces stiahne a bude zostavovať nástroj na vašom Raspberry Pi.

2. Stiahnutie destilovaného modelu DeepSeek R1

Na zabezpečenie zvládnuteľného výkonu na Raspberry Pi 5 sa odporúča použiť verziu DeepSeek R1 1.5B, ktorý má veľkosť približne 1 GB.

Môžete si ho stiahnuť z Hugging Face pomocou nasledujúceho príkazu v Pythone:

z huggingface_hub import snapshot_download snapshot_download(repo_id='DeepSeek-R1-1.5B', local_dir='DeepSeek-R1')

3. Nastavenie a spustenie servera

Po stiahnutí modelu je ďalším krokom jeho spustenie pomocou Llama.cpp. Použite nasledujúci príkaz:

./llama-server --model /path_to_your_model/DeepSeek-R1-1.5B.gguf --port 10000 --ctx-size 1024 --n-gpu-layers 40

Ak všetko pôjde dobre, server bude spustený http://127.0.0.1:10000.

4. Integrácia s Open WebUI

Na uľahčenie interakcie Open WebUI s modelom je grafické rozhranie, ktoré vám umožňuje posielať otázky a prijímať odpovede bez toho, aby ste museli písať príkazy ručné. Ak sa chcete pripojiť k serveru Llama.cpp, postupujte takto:

1. Otvorte Open WebUI.
2. Prejdite do časti Nastavenia > Pripojenia > OpenAI.
3. Zadajte adresu URL http://127.0.0.1:10000 v nastaveniach.
4. Uložte zmeny a začnite používať DeepSeek R1 z webového rozhrania.

Je jasné, ako spustiť DeepSeek R1 na vašom Raspberry Pi 5? Stále je tu pre vás viac.

aké výsledky možno očakávať?

Hoci DeepSeek R1 môže bežať na Raspberry Pi 5, je potrebné zvážiť niekoľko upozornení: veľké obmedzenia:

• Predstavenie veľmi obmedzené v porovnaní s plnou verziou modelu.
• Generovanie textu pomaly, najmä pri modeloch s viac ako 7B parametrami.
• odpovede menej presné v porovnaní s väčšími modelmi bežiacimi na výkonnom hardvéri.

Pri testoch vykonaných s rôznymi verziami modelu sa zistilo, že verzia Najviac sa odporúča 1.5B pre Raspberry Pi 5, aj keď výkon je stále skromný. Predtým, ako dokončíme tento článok o tom, ako spustiť DeepSeek R1 na vašom Raspberry Pi 5, máme ešte niečo, čo vám povieme o rôznych prípadoch použitia v ľahkých modeloch.

Puzdrá na použitie pre ľahké modely

Aj keď Raspberry Pi nezvládne obrovské modely, zmenšené verzie môžu byť stále užitočné scenáre:

• Základné generovanie kódu a matematická pomoc.
• Automatizácia v projektoch domácej automatizácie.
• Podpora špecifických úloh vo vstavaných systémoch.

Schopnosť prevádzkovať pokročilé modely AI na cenovo dostupnom hardvéri je určite veľkým krokom vpred vo svete open source. Hoci Raspberry Pi 5 neponúkne zážitok porovnateľný so serverom s viacerými GPU, skúmanie týchto možností otvára nové možnosti pravdepodobnosť pre nízkonákladovú výpočtovú techniku. Ak máte záujem si to vyskúšať, postupujte podľa krokov v tejto príručke a experimentujte s rôznymi verziami modelu vyladiť výkon vašim potrebám. Dúfame, že vám tento článok o tom, ako spustiť DeepSeek R1 na vašom Raspberry Pi 5, pomohol.