Hur du kör DeepSeek R1 på din Raspberry Pi 5 steg för steg

Hur kör man DeepSeek R1 på din Raspberry Pi 5? Burk? Låt oss se det. Sedan tillkomsten av AI-modeller med öppen källkod har många entusiaster letat efter sätt att köra dem på sina egna enheter. En av de mest lovande är DeepSeek R1, en modell utvecklad i Kina som har visat sig konkurrera med OpenAI:s mest avancerade alternativ. Den stora frågan är dock denna.

Det snabba svaret är ja, men med vissa begränsningar. I den här artikeln kommer vi att analysera i detalj vad som behövs för att få det att fungera, hur man konfigurerar det y vilket resultat som kan förväntas beroende på tillgänglig hårdvara. Här går vi med artikeln om hur du kör DeepSeek R1 på din Raspberry Pi 5. Kom ihåg att använda sökmotorn Tecnobits, hittar du mer information om Raspberry och annan hårdvara eller mjukvara.

Vad är DeepSeek R1 och vad gör den speciell?

DeepSeek R1 är en AI-modell med öppen källkod som har överraskat samhället tack vare sin effektivitet y prestanda. Till skillnad från många andra modeller erbjuder den möjligheten att köra på lokal hårdvara, vilket gör det till ett intressant alternativ till soluciones en la nube como ChatGPT.

Den mest kompletta modellen, DeepSeek R1 671B, tar dock upp mer än 400 GB och kräver flera högpresterande grafikkort för att fungera korrekt. Även om den fullständiga versionen är ouppnåelig för de flesta, finns det destillerade versioner som kan köras på mer blygsam hårdvara som en Raspberry Pi.

Om du gillar hallonvärlden i Tecnobits Vi har mycket information om denna hårdvara. Till exempel ger vi dig den här nyheten som vi pratar om Raspberry Pi Pico: la nueva placa que vale solo 4 euros.

Kör DeepSeek R1 på en Raspberry Pi 5

Raspberry Pi 5 är en kraftfull mini pc jämfört med sina föregångare, men har fortfarande betydande begränsningar när det kommer till artificiell intelligens. För att få DeepSeek R1 att fungera på den här enheten är det nödvändigt att ta till versiones más ligeras av modellen.

Förkunskapskrav

• En Raspberry Pi 5 con al menos 8 GB de RAM.
• Ett microSD-kort på hög kapacitet och hastighet för att lagra nödvändiga filer.
• Ett Linux-baserat operativsystem, som t.ex Raspberry Pi OS o Ubuntu.
• Internetanslutning för att ladda ner modellfiler.
• Tillgång till en terminal för att installera och köra software necesario.

Nu har vi allt vi behöver för att börja lära oss hur man kör DeepSeek R1 på din Raspberry Pi 5.

Installation av nyckelkomponenter

För att köra DeepSeek R1 på Raspberry Pi måste du installera en nyckelverktygsuppsättning. Nedan förklarar vi steg för steg hur man gör.

1. Installera Llama.cpp

Llama.cpp är en programvara som låter dig köra AI-modeller effektivt på enheter med recursos limitados. För att installera det, använd följande kommandon:

sudo apt update && sudo apt upgrade -y sudo apt install git cmake build-essential -y git clone https://github.com/ggerganov/llama.cpp.git cd llama.cpp make

Denna process kommer att ladda ner och kommer att kompilera verktyget på din Raspberry Pi.

2. Ladda ner den destillerade DeepSeek R1-modellen

För att säkerställa hanterbar prestanda på Raspberry Pi 5, rekommenderas att använda versionen DeepSeek R1 1.5B, vilket är cirka 1 GB i storlek.

Du kan ladda ner det från Hugging Face med följande kommando i Python:

från huggingface_hub import snapshot_download snapshot_download(repo_id='DeepSeek-R1-1.5B', local_dir='DeepSeek-R1')

3. Installera och köra servern

När modellen har laddats ner är nästa steg att köra den med Llama.cpp. Använd följande kommando:

./llama-server --model /path_to_your_model/DeepSeek-R1-1.5B.gguf --port 10000 --ctx-size 1024 --n-gpu-lager 40

Om allt gick bra kommer servern att köras in http://127.0.0.1:10000.

4. Integration med Open WebUI

Para facilitar la interaktion Med modellen är Open WebUI ett grafiskt gränssnitt som låter dig skicka frågor och ta emot svar utan att behöva skriva kommandon manuellt. Följ dessa steg för att ansluta till Llama.cpp-servern:

1. Öppna Öppna WebUI.
2. Gå till Inställningar > Anslutningar > OpenAI.
3. Ange URL:en http://127.0.0.1:10000 i inställningarna.
4. Spara ändringarna och börja använda DeepSeek R1 från webbgränssnittet.

Är det klart hur man kör DeepSeek R1 på din Raspberry Pi 5? Det finns fortfarande mer för dig.

¿Qué resultados se pueden esperar?

Även om DeepSeek R1 kan köras på Raspberry Pi 5, finns det flera varningar att tänka på: viktiga begränsningar:

• En föreställning muy limitado jämfört med den fullständiga versionen av modellen.
• Generación de texto lenta, speciellt med modeller med fler än 7B parametrar.
• Respuestas mindre exakt jämfört med större modeller som körs på kraftfull hårdvara.

I tester utförda med olika versioner av modellen visade det sig att versionen 1.5B är det mest rekommenderade för Raspberry Pi 5, även om prestandan fortfarande är blygsam. Innan vi avslutar den här artikeln om hur du kör DeepSeek R1 på din Raspberry Pi 5 har vi något annat att berätta om olika användningsfall i lättviktsmodeller.

Använd fodral för lätta modeller

Även om en Raspberry Pi inte kan hantera jättemodeller, kan nedskalade versioner fortfarande vara användbara i vissa fall scenarier:

• Grundläggande kodgenerering och matematikhjälp.
• Automation i hemautomationsprojekt.
• Stöd för specifika uppgifter i inbyggda system.

Att kunna köra avancerade AI-modeller på prisvärd hårdvara är verkligen ett stort steg framåt i världen med öppen källkod. Även om Raspberry Pi 5 kommer inte att erbjuda en upplevelse som är jämförbar med den för en server med flera GPU:er, att utforska dessa alternativ öppnar ny posibilidades för lågkostnadsberäkningar. Om du är intresserad av att testa det, följ stegen i den här guiden och experimentera med de olika versionerna av modellen för att ajustar el rendimiento till dina behov. Vi hoppas att du tyckte att den här artikeln om hur du kör DeepSeek R1 på din Raspberry Pi 5 var användbar.