A DeepSeek R1 futtatása a Raspberry Pi 5-ön lépésről lépésre

Hogyan kell futtatni a DeepSeek R1-et a Raspberry Pi 5-ön? Tud? Lássuk csak. A nyílt forráskódú mesterséges intelligencia modellek megjelenése óta sok rajongó keresi a módját, hogyan futtassa őket saját eszközén. Az egyik legígéretesebb a DeepSeek R1, egy Kínában kifejlesztett modell, amely bizonyítottan felveszi a versenyt az OpenAI legfejlettebb lehetőségeivel. A nagy kérdés azonban ez.

A gyors válasz igen, de bizonyos korlátozásokkal. Ebben a cikkben részletesen elemezzük, mire van szükség a működéséhez, hogyan kell beállítani y milyen eredmény várható a rendelkezésre álló hardvertől függően. A DeepSeek R1 Raspberry Pi 5-ön való futtatásáról szóló cikk következik. Ne feledje, hogy a keresőmotor használatával Tecnobits, további információkat talál a Raspberry-ről és más hardverekről vagy szoftverekről.

Mi az a DeepSeek R1, és mitől különleges?

A DeepSeek R1 egy nyílt forráskódú mesterséges intelligencia modell, aminek köszönhetően meglepte a közösséget hatékonyság y teljesítmény. Sok más modelltől eltérően lehetőséget kínál a helyi hardveren való futtatásra, így érdekes alternatívát jelent felhőmegoldások mint a ChatGPT.

A legteljesebb modell, a DeepSeek R1 671B azonban többet foglal el 400 GB és több nagy teljesítményű grafikus kártya szükséges a megfelelő működéshez. Bár a teljes verzió a legtöbb számára elérhetetlen, vannak desztillált változatok amely olyan szerényebb hardvereken is futhat, mint a Raspberry Pi.

Ha szereted a Raspberry világát Tecnobits Nagyon sok információnk van az említett hardverről. Például hozzuk ezt a hírt, amiben beszélünk Raspberry Pi Pico: az új tábla, amely mindössze 4 euróba kerül.

A DeepSeek R1 futtatása Raspberry Pi 5-ön

A Raspberry Pi 5 egy erős mini pc elődeihez képest, de még mindig jelentős korlátai vannak a mesterséges intelligencia terén. Ahhoz, hogy a DeepSeek R1 működjön ezen az eszközön, ehhez igénybe kell vennie könnyebb verziók a modellről.

előfeltételek

• egy Málna Pi 5 legalább 8 GB RAM-mal.
• Egy microSD kártya nagy kapacitás és sebesség a szükséges fájlok tárolására.
• Linux alapú operációs rendszer, mint pl Raspberry Pi OS vagy Ubuntu.
• Internetkapcsolat a modellfájlok letöltéséhez.
• Hozzáférés egy terminálhoz a telepítéshez és futtatáshoz szükséges szoftver.

Most minden megvan, ami ahhoz kell, hogy megtanuljuk, hogyan futtassuk a DeepSeek R1-et Raspberry Pi 5-ön.

A legfontosabb alkatrészek telepítése

A DeepSeek R1 Raspberry Pi rendszeren való futtatásához telepítenie kell a kulcs szerszámkészlet. Az alábbiakban lépésről lépésre elmagyarázzuk, hogyan kell csinálni.

1. A Llama.cpp telepítése

A Llama.cpp egy olyan szoftver, amely lehetővé teszi a mesterséges intelligencia modellek hatékony futtatását olyan eszközökön, amelyeken korlátozott erőforrások. A telepítéshez használja a következő parancsokat:

sudo apt frissítés && sudo apt frissítés -y sudo apt telepítés git cmake build-essential -y git klón https://github.com/ggerganov/llama.cpp.git cd llama.cpp make

Ez a folyamat letöltődik és összeállítja a Raspberry Pi eszközön.

2. A desztillált DeepSeek R1 modell letöltése

A Raspberry Pi 5 kezelhető teljesítményének biztosítása érdekében javasolt a verzió használata DeepSeek R1 1.5B, ami körülbelül 1 GB méretű.

Letöltheti a Hugging Face webhelyről a következő Python paranccsal:

from huggingface_hub import snapshot_download snapshot_download(repo_id='DeepSeek-R1-1.5B', local_dir='DeepSeek-R1')

3. A szerver beállítása és futtatása

A modell letöltése után a következő lépés a Llama.cpp segítségével történő futtatás. Használja a következő parancsot:

./llama-server --model /útvonal a_modellhez/DeepSeek-R1-1.5B.gguf --port 10000 --ctx-size 1024 --n-gpu-layers 40

Ha minden jól megy, a szerver be fog futni http://127.0.0.1:10000.

4. Integráció Open WebUI-val

A kölcsönhatás A modell segítségével az Open WebUI egy grafikus felület, amely lehetővé teszi kérdések küldését és válaszok fogadását anélkül, hogy parancsokat kellene írnia. manuálisan. A Llama.cpp szerverhez való csatlakozáshoz kövesse az alábbi lépéseket:

1. Nyissa meg a WebUI megnyitását.
2. Nyissa meg a Beállítások > Kapcsolatok > OpenAI menüpontot.
3. Írja be az URL-t http://127.0.0.1:10000 a beállításokban.
4. Mentse el a változtatásokat, és kezdje el használni a DeepSeek R1 használatát a webes felületről.

Világos, hogyan kell futtatni a DeepSeek R1-et a Raspberry Pi 5-ön? Még mindig több van az Ön számára.

milyen eredmények várhatók?

Bár a DeepSeek R1 futhat Raspberry Pi 5-ön, számos figyelmeztetést figyelembe kell venni: főbb korlátozások:

• Egy előadás nagyon limitált a modell teljes verziójához képest.
• Szöveggenerálás lassú, különösen a 7B-nél több paraméterrel rendelkező modelleknél.
• Válaszok kevésbé pontos az erős hardveren futó nagyobb modellekhez képest.

A modell különböző verzióival végzett tesztek során azt találták, hogy a változat Az 1.5B a leginkább ajánlott a Raspberry Pi 5 esetében, bár a teljesítmény még mindig szerény. Mielőtt befejeznénk ezt a cikket a DeepSeek R1 futtatásáról a Raspberry Pi 5-ön, még valamit el kell mondanunk a könnyű modellek különböző használati eseteiről.

Használható tokok könnyű modellekhez

Bár a Raspberry Pi nem képes kezelni az óriási modelleket, a kicsinyített verziók bizonyos esetekben hasznosak lehetnek forgatókönyvek:

• Alapvető kódgenerálás és matematikai segítség.
• Automatizálás az otthoni automatizálási projektekben.
• Adott feladatok támogatása beágyazott rendszerekben.

A fejlett mesterséges intelligencia modellek megfizethető hardveren való futtatása minden bizonnyal jelentős előrelépés a nyílt forráskódú világban. Bár a Raspberry Pi Az 5 nem fog olyan élményt nyújtani, mint egy több GPU-val rendelkező szerver, ezeknek a lehetőségeknek a felfedezése új lehetőségeket nyit meg esély alacsony költségű számítástechnikához. Ha szeretné kipróbálni, kövesse az útmutató lépéseit, és kísérletezzen a modell különböző verzióival dallam előadás az Ön igényei szerint. Reméljük, hasznosnak találta ezt a cikket a DeepSeek R1 futtatásáról Raspberry Pi 5-ön.