Kako pokrenuti DeepSeek R1 na vašem Raspberry Pi 5 korak po korak

Kako pokrenuti DeepSeek R1 na vašem Raspberry Pi 5? Može? Da vidimo. Od pojave AI modela otvorenog koda, mnogi entuzijasti su tražili načine da ih pokrenu na vlastitim uređajima. Jedan od najperspektivnijih je DeepSeek R1, model razvijen u Kini koji se pokazao kao konkurencija najnaprednijim opcijama OpenAI-a. Veliko pitanje je, međutim, ovo.

Brzi odgovor je da, ali uz određena ograničenja. U ovom članku ćemo detaljno analizirati šta je potrebno da bi to funkcioniralo, cómo configurarlo y kakav rezultat se može očekivati ovisno o dostupnom hardveru. Ovdje idemo sa člankom o tome kako pokrenuti DeepSeek R1 na vašem Raspberry Pi 5. Zapamtite da koristite tražilicu Tecnobits, naći ćete više informacija o Raspberryju i drugom hardveru ili softveru.

Šta je DeepSeek R1 i šta ga čini posebnim?

DeepSeek R1 je AI model otvorenog koda koji je iznenadio zajednicu zahvaljujući svom efikasnost y performanse. Za razliku od mnogih drugih modela, nudi mogućnost rada na lokalnom hardveru, što ga čini zanimljivom alternativom soluciones en la nube como ChatGPT.

Međutim, najkompletniji model, DeepSeek R1 671B, zauzima više od 400 GB i zahtijeva više grafičkih kartica visokih performansi da bi ispravno radile. Iako je puna verzija većini nedostižna, postoje destilirane verzije koji može raditi na skromnijem hardveru kao što je Raspberry Pi.

Ako volite svijet Raspberry in Tecnobits Imamo mnogo informacija o ovom hardveru. Na primjer, donosimo vam ovu vijest u kojoj govorimo o Raspberry Pi Pico: la nueva placa que vale solo 4 euros.

Pokretanje DeepSeek R1 na Raspberry Pi 5

Raspberry Pi 5 je a moćan mini računar u odnosu na svoje prethodnike, ali i dalje ima značajna ograničenja kada je u pitanju umjetna inteligencija. Da bi DeepSeek R1 radio na ovom uređaju, potrebno je pribjeći versiones más ligeras del modelo.

Preduslovi

• A Raspberry Pi 5 con al menos 8 GB de RAM.
• MicroSD kartica od veliki kapacitet i brzina za pohranjivanje potrebnih datoteka.
• Operativni sistem zasnovan na Linuxu, kao što je Raspberry Pi OS o Ubuntu.
• Internet veza za preuzimanje datoteka modela.
• Pristup terminalu za instaliranje i pokretanje software necesario.

Sada imamo sve što nam je potrebno da počnemo učiti kako pokrenuti DeepSeek R1 na vašem Raspberry Pi 5.

Instaliranje ključnih komponenti

Da biste pokrenuli DeepSeek R1 na Raspberry Pi, morate instalirati a set ključnih alata. U nastavku objašnjavamo korak po korak kako to učiniti.

1. Instaliranje Llama.cpp

Llama.cpp je softver koji vam omogućava da efikasno pokrećete AI modele na uređajima sa recursos limitados. Da biste ga instalirali, koristite sljedeće naredbe:

sudo apt update && sudo apt upgrade -y sudo apt install git cmake build-essential -y git clone https://github.com/ggerganov/llama.cpp.git cd llama.cpp make

Ovaj proces će preuzeti i će kompajlirati alat na vašem Raspberry Pi.

2. Preuzimanje destilovanog modela DeepSeek R1

Da biste osigurali performanse koje se mogu upravljati na Raspberry Pi 5, preporučuje se korištenje verzije DeepSeek R1 1.5B, što je veličine oko 1 GB.

Možete ga preuzeti sa Hugging Face sa sljedećom komandom u Pythonu:

from huggingface_hub import snapshot_download snapshot_download(repo_id='DeepSeek-R1-1.5B', local_dir='DeepSeek-R1')

3. Postavljanje i pokretanje servera

Nakon što se model preuzme, sljedeći korak je da ga pokrenete sa Llama.cpp. Koristite sljedeću naredbu:

./llama-server --model /path_to_your_model/DeepSeek-R1-1.5B.gguf --port 10000 --ctx-size 1024 --n-gpu-layers 40

Ako je sve prošlo kako treba, server će raditi http://127.0.0.1:10000.

4. Integracija sa Open WebUI

Para facilitar la interakcija Uz model, Open WebUI je grafički interfejs koji vam omogućava da šaljete pitanja i primate odgovore bez potrebe za pisanjem komandi ručno. Da biste se povezali na Llama.cpp server, slijedite ove korake:

1. Otvorite Open WebUI.
2. Idite na Postavke > Veze > OpenAI.
3. Introduce la URL http://127.0.0.1:10000 u postavkama.
4. Sačuvajte promjene i počnite koristiti DeepSeek R1 sa web sučelja.

Je li jasno kako pokrenuti DeepSeek R1 na vašem Raspberry Pi 5? Ima još za tebe.

¿Qué resultados se pueden esperar?

Iako DeepSeek R1 može raditi na Raspberry Pi 5, postoji nekoliko upozorenja koje treba uzeti u obzir: važna ograničenja:

• Predstava muy limitado u poređenju sa punom verzijom modela.
• Generación de texto lenta, posebno kod modela sa više od 7B parametara.
• Odgovori manje precizno u poređenju sa većim modelima koji rade na moćnom hardveru.

U testovima sprovedenim sa različitim verzijama modela, ustanovljeno je da verzija 1.5B je najpreporučljiviji za Raspberry Pi 5, iako su performanse i dalje skromne. Prije nego što završimo ovaj članak o tome kako pokrenuti DeepSeek R1 na vašem Raspberry Pi 5, imamo još nešto za reći o različitim slučajevima korištenja u lakim modelima.

Korišteni slučajevi za lagane modele

Iako Raspberry Pi ne može podnijeti gigantske modele, smanjene verzije i dalje mogu biti korisne u određenim escenarios:

• Osnovna generacija koda i matematička pomoć.
• Automatizacija u projektima kućne automatizacije.
• Podrška za specifične zadatke u ugrađenim sistemima.

Mogućnost pokretanja naprednih AI modela na pristupačnom hardveru svakako je veliki korak naprijed u svijetu otvorenog koda. Iako je Raspberry Pi 5 neće ponuditi iskustvo usporedivo s iskustvom servera s više GPU-ova, istraživanje ovih opcija otvara nove posibilidades za jeftino računarstvo. Ako ste zainteresirani da ga isprobate, slijedite korake u ovom vodiču i eksperimentirajte s različitim verzijama modela ajustar el rendimiento Vašim potrebama. Nadamo se da vam je ovaj članak o tome kako pokrenuti DeepSeek R1 na vašem Raspberry Pi 5 pomogao.