Jak spustit DeepSeek R1 na Raspberry Pi 5 krok za krokem

Jak spustit DeepSeek R1 na vašem Raspberry Pi 5? Může? Podívejme se na to. Od příchodu open source modelů umělé inteligence mnoho nadšenců hledalo způsoby, jak je spustit na vlastních zařízeních. Jedním z nejslibnějších je DeepSeek R1, model vyvinutý v Číně, který dokázal konkurovat nejpokročilejším možnostem OpenAI. Velká otázka však zní.

Rychlá odpověď je ano, ale s určitými omezeními. V tomto článku podrobně rozebereme, co je potřeba, aby to fungovalo, jak to nakonfigurovat y jaký výsledek lze očekávat v závislosti na dostupném hardwaru. Zde je článek o tom, jak spustit DeepSeek R1 na Raspberry Pi 5. Pamatujte, že pomocí vyhledávače Tecnobits, najdete více informací o Raspberry a dalším hardwaru nebo softwaru.

Co je DeepSeek R1 a čím je výjimečný?

DeepSeek R1 je open source model umělé inteligence, který komunitu překvapil díky svému účinnost y výkon. Na rozdíl od mnoha jiných modelů nabízí možnost běhu na lokálním hardwaru, což z něj dělá zajímavou alternativu k cloudová řešení jako ChatGPT.

Nejúplnější model, DeepSeek R1 671B, však zabírá více než 400 GB a ke správnému fungování vyžaduje několik vysoce výkonných grafických karet. Přestože je plná verze pro většinu nedosažitelná, existují destilované verze který může běžet na skromnějším hardwaru, jako je Raspberry Pi.

Pokud máte rádi svět Raspberry in Tecnobits O uvedeném hardwaru máme mnoho informací. Přinášíme vám například tuto novinku, o které mluvíme Raspberry Pi Pico: nová deska, která stojí pouhé 4 eura.

Spuštění DeepSeek R1 na Raspberry Pi 5

Raspberry Pi 5 je a výkonný mini pc ve srovnání se svými předchůdci, ale stále má značná omezení, pokud jde o umělou inteligenci. Aby DeepSeek R1 na tomto zařízení fungoval, je nutné se uchýlit lehčí verze modelu.

Předpoklady

• A Raspberry Pi 5 s alespoň 8 GB RAM.
• Karta microSD o vysoká kapacita a rychlost pro uložení potřebných souborů.
• Operační systém založený na Linuxu, jako např Operační systém Raspberry Pi nebo Ubuntu.
• Připojení k internetu pro stahování souborů modelu.
• Přístup k terminálu pro instalaci a spuštění požadovaný software.

Nyní máme vše, co potřebujeme, abychom se mohli začít učit, jak spustit DeepSeek R1 na vašem Raspberry Pi 5.

Instalace klíčových komponent

Chcete-li spustit DeepSeek R1 na Raspberry Pi, musíte nainstalovat a sada klíčových nástrojů. Níže krok za krokem vysvětlíme, jak na to.

1. Instalace Llama.cpp

Llama.cpp je software, který vám umožňuje efektivně provozovat modely AI na zařízeních s omezené zdroje. Chcete-li jej nainstalovat, použijte následující příkazy:

sudo apt update && sudo apt upgrade -y sudo apt install git cmake build-essential -y git clone https://github.com/ggerganov/llama.cpp.git cd llama.cpp make

Tento proces stáhne a bude kompilovat nástroj na vašem Raspberry Pi.

2. Stažení destilovaného modelu DeepSeek R1

Pro zajištění ovladatelného výkonu na Raspberry Pi 5 se doporučuje používat verzi DeepSeek R1 1.5B, která má velikost asi 1 GB.

Můžete si jej stáhnout z Hugging Face pomocí následujícího příkazu v Pythonu:

z huggingface_hub import snapshot_download snapshot_download(repo_id='DeepSeek-R1-1.5B', local_dir='DeepSeek-R1')

3. Nastavení a spuštění serveru

Jakmile je model stažen, dalším krokem je jeho spuštění pomocí Llama.cpp. Použijte následující příkaz:

./llama-server --model /path_to_your_model/DeepSeek-R1-1.5B.gguf --port 10000 --ctx-size 1024 --n-gpu-layers 40

Pokud vše proběhlo v pořádku, server bude spuštěn http://127.0.0.1:10000.

4. Integrace s Open WebUI

Pro usnadnění interakce S modelem je Open WebUI grafické rozhraní, které vám umožňuje posílat otázky a přijímat odpovědi, aniž byste museli psát příkazy ručně. Chcete-li se připojit k serveru Llama.cpp, postupujte takto:

1. Otevřete Open WebUI.
2. Přejděte do Nastavení > Připojení > OpenAI.
3. Zadejte URL adresu http://127.0.0.1:10000 v nastavení.
4. Uložte změny a začněte používat DeepSeek R1 z webového rozhraní.

Je jasné, jak spustit DeepSeek R1 na vašem Raspberry Pi 5? Je toho pro vás ještě víc.

Jaké výsledky lze očekávat?

Ačkoli DeepSeek R1 může běžet na Raspberry Pi 5, je třeba zvážit několik upozornění: důležitá omezení:

• Představení velmi omezené ve srovnání s plnou verzí modelu.
• Generování textu pomalý, zejména u modelů s více než 7B parametry.
• Odpovědi méně přesné ve srovnání s většími modely běžícími na výkonném hardwaru.

Při testech prováděných s různými verzemi modelu bylo zjištěno, že verze 1.5B je nejvíce doporučeno pro Raspberry Pi 5, i když výkon je stále skromný. Než dokončíme tento článek o tom, jak spustit DeepSeek R1 na vašem Raspberry Pi 5, máme ještě něco, co vám řekneme o různých případech použití u lehkých modelů.

Případy použití pro lehké modely

Přestože Raspberry Pi nezvládne obří modely, zmenšené verze mohou být v určitých případech užitečné scénáře:

• Základní generování kódu a matematická nápověda.
• Automatizace v projektech domácí automatizace.
• Podpora specifických úloh ve vestavěných systémech.

Možnost provozovat pokročilé modely umělé inteligence na cenově dostupném hardwaru je jistě velkým krokem vpřed ve světě open source. Ačkoli Raspberry Pi 5 nenabídne zážitek srovnatelný se serverem s více GPU, zkoumání těchto možností otevírá nové kurzy pro nízkonákladovou výpočetní techniku. Máte-li zájem si to vyzkoušet, postupujte podle kroků v této příručce a experimentujte s různými verzemi modelu upravit výkon vašim potřebám. Doufáme, že vám tento článek o tom, jak spustit DeepSeek R1 na vašem Raspberry Pi 5, pomohl.