Kako pokrenuti DeepSeek R1 na vašem Raspberry Pi 5 korak po korak

Kako pokrenuti DeepSeek R1 na vašem Raspberry Pi 5? može? Da vidimo. Od pojave modela AI otvorenog koda, mnogi su entuzijasti tražili načine kako ih pokrenuti na vlastitim uređajima. Jedan od onih koji najviše obećavaju je DeepSeek R1, model razvijen u Kini koji se pokazao konkurentnim najnaprednijim opcijama OpenAI-ja. Međutim, veliko je pitanje sljedeće.

Brzi odgovor je da, ali uz određena ograničenja. U ovom članku ćemo detaljno analizirati što je potrebno da bi to funkcioniralo, kako ga konfigurirati y kakav se rezultat može očekivati ovisno o dostupnom hardveru. Idemo sa člankom o tome kako pokrenuti DeepSeek R1 na vašem Raspberry Pi 5. Zapamtite da pomoću tražilice Tecnobits, naći ćete više informacija o Raspberry i drugom hardveru ili softveru.

Što je DeepSeek R1 i što ga čini posebnim?

DeepSeek R1 je model AI otvorenog koda koji je iznenadio zajednicu zahvaljujući svom učinkovitost y performanse. Za razliku od mnogih drugih modela, nudi mogućnost rada na lokalnom hardveru, što ga čini zanimljivom alternativom rješenja u oblaku poput ChatGPT-a.

Međutim, najpotpuniji model, DeepSeek R1 671B, zauzima više od 400 GB i zahtijeva više grafičkih kartica visokih performansi za pravilan rad. Iako je puna verzija većini nedostižna, postoje destilirane verzije koji može raditi na skromnijem hardveru kao što je Raspberry Pi.

Ako vam se sviđa svijet Raspberry in Tecnobits Imamo mnogo informacija o ovom hardveru. Na primjer, donosimo vam ovu vijest u kojoj govorimo o Raspberry Pi Pico: nova ploča koja košta samo 4 eura.

Pokretanje DeepSeek R1 na Raspberry Pi 5

Raspberry Pi 5 je moćno mini računalo u odnosu na svoje prethodnike, ali još uvijek ima značajna ograničenja kada je u pitanju umjetna inteligencija. Da bi DeepSeek R1 radio na ovom uređaju, potrebno je pribjeći lakše verzije modela.

Preduvjeti

• A Raspberry Pi 5 s najmanje 8 GB RAM-a.
• MicroSD kartica od veliki kapacitet i brzina za pohranu potrebnih datoteka.
• Operativni sustav temeljen na Linuxu, kao što je Raspberry Pi OS ili Ubuntu.
• Internetska veza za preuzimanje datoteka modela.
• Pristup terminalu za instalaciju i pokretanje potreban softver.

Sada imamo sve što nam je potrebno da počnemo učiti kako pokrenuti DeepSeek R1 na vašem Raspberry Pi 5.

Ugradnja ključnih komponenti

Za pokretanje DeepSeek R1 na Raspberry Pi, trebate instalirati a ključni set alata. U nastavku objašnjavamo korak po korak kako to učiniti.

1. Instaliranje Llama.cpp

Llama.cpp je softver koji vam omogućuje učinkovito pokretanje AI modela na uređajima s ograničeni resursi. Da biste ga instalirali, koristite sljedeće naredbe:

sudo apt update && sudo apt upgrade -y sudo apt install git cmake build-essential -y git clone https://github.com/ggerganov/llama.cpp.git cd llama.cpp make

Ovaj proces će preuzeti i će sastaviti alat na vašem Raspberry Piju.

2. Preuzimanje destiliranog modela DeepSeek R1

Kako bi se osigurala upravljiva izvedba na Raspberry Pi 5, preporučuje se korištenje verzije DeepSeek R1 1.5B, koji je velik oko 1 GB.

Možete ga preuzeti s Hugging Face sljedećom naredbom u Pythonu:

from huggingface_hub import snapshot_download snapshot_download(repo_id='DeepSeek-R1-1.5B', local_dir='DeepSeek-R1')

3. Postavljanje i pokretanje poslužitelja

Nakon što se model preuzme, sljedeći korak je njegovo pokretanje s Llama.cpp. Koristite sljedeću naredbu:

./llama-server --model /path_to_your_model/DeepSeek-R1-1.5B.gguf --port 10000 --ctx-size 1024 --n-gpu-layers 40

Ako je sve prošlo dobro, poslužitelj će biti pokrenut http://127.0.0.1:10000.

4. Integracija s Open WebUI

Kako bi se olakšalo interakcija Uz model, Open WebUI je grafičko sučelje koje vam omogućuje slanje pitanja i primanje odgovora bez potrebe za pisanjem naredbi ručno. Za povezivanje s poslužiteljem Llama.cpp slijedite ove korake:

1. Otvorite Open WebUI.
2. Idite na Postavke > Veze > OpenAI.
3. Unesite URL http://127.0.0.1:10000 u postavkama.
4. Spremite promjene i počnite koristiti DeepSeek R1 s web sučelja.

Je li jasno kako pokrenuti DeepSeek R1 na vašem Raspberry Pi 5? Ima još toga za vas.

Kakvi se rezultati mogu očekivati?

Iako DeepSeek R1 može raditi na Raspberry Pi 5, potrebno je uzeti u obzir nekoliko upozorenja: važna ograničenja:

• Izvedba vrlo ograničeno u usporedbi s punom verzijom modela.
• Generiranje teksta usporiti, posebno kod modela s više od 7B parametara.
• Odgovori manje precizna u usporedbi s većim modelima koji rade na moćnom hardveru.

U testovima provedenim s različitim verzijama modela, utvrđeno je da verzija 1.5B se najviše preporučuje za Raspberry Pi 5, iako su performanse još uvijek skromne. Prije nego završimo ovaj članak o tome kako pokrenuti DeepSeek R1 na vašem Raspberry Pi 5, imamo vam još nešto za reći o različitim slučajevima upotrebe u laganim modelima.

Koristite slučajeve za lagane modele

Iako Raspberry Pi ne može podnijeti divovske modele, smanjene verzije još uvijek mogu biti korisne u određenim slučajevima scenariji:

• Generiranje osnovnog koda i matematička pomoć.
• Automatizacija u projektima kućne automatizacije.
• Podrška za specifične zadatke u ugrađenim sustavima.

Mogućnost pokretanja naprednih AI modela na pristupačnom hardveru svakako je veliki korak naprijed u svijetu otvorenog koda. Iako je Raspberry Pi 5 neće ponuditi iskustvo usporedivo s iskustvom poslužitelja s više GPU-ova, istraživanje ovih opcija otvara nove izgledi za jeftino računalstvo. Ako ste zainteresirani za isprobavanje, slijedite korake u ovom vodiču i eksperimentirajte s različitim verzijama modela prilagoditi performanse svojim potrebama. Nadamo se da vam je ovaj članak o tome kako pokrenuti DeepSeek R1 na vašem Raspberry Pi 5 bio od pomoći.