Com executar DeepSeek R1 al teu Raspberry Pi 5 pas a pas

Com executar DeepSeek R1 a la teva Raspberry Pi 5? Es pot fer? Ho veurem. Des de l'arribada dels models d'intel·ligència artificial open source, molts entusiastes han buscat maneres d'executar-los als dispositius propis. Un dels més prometedors és DeepSeek R1, un model desenvolupat a la Xina que ha demostrat competir amb les opcions més avançades de l'OpenAI. Tot i això, la gran pregunta és la següent.

La resposta ràpida és sí, però amb certes limitacions. En aquest article analitzarem en detall què es necessita per fer-ho funcionar, com configurar-ho y quin resultat es pot esperar depenent del maquinari disponible. Anem allà amb l'article sobre com executar DeepSeek R1 a la teva Raspberry Pi 5. Recorda que usant el cercador de Tecnobits, trobaràs més informació sobre Raspberry i altre maquinari o programari.

Què és DeepSeek R1 i què ho fa especial?

DeepSeek R1 és un model d'IA de codi obert que ha sorprès la comunitat gràcies a la seva eficiència y rendiment. A diferència de molts altres models, ofereix la possibilitat d'executar-se en maquinari local, cosa que el converteix en una alternativa interessant a solucions al núvol com ChatGPT.

No obstant això, el model més complet, el DeepSeek R1 671B, ocupa més de 400 GB i necessita múltiples targetes gràfiques dalt rendiment per funcionar correctament. Encara que la versió completa és inassolible per a la majoria, existeixen versions destil·lades que es poden executar en maquinari més modest com una Raspberry Pi.

Si t'agrada el món de les Raspberry a Tecnobits tenim molta informació sobre aquest maquinari. Per exemple, et portem aquesta notícia en què parlem sobre Raspberry Pi Pico: la nova placa que val només 4 euros.

Executant DeepSeek R1 a una Raspberry Pi 5

La Raspberry Pi 5 és un minipc potent en comparació de les seves predecessores, però encara té limitacions significatives quan es tracta d'intel·ligència artificial. Per fer que DeepSeek R1 funcioni en aquest dispositiu, cal recórrer a versions més lleugeres del model.

Requisits previs

• Una Raspberry Pi 5 amb almenys 8 GB de RAM.
• Una targeta microSD de alta capacitat i velocitat per emmagatzemar els fitxers necessaris.
• Un sistema operatiu basat en Linux, com Raspberry Pi OS o Ubuntu.
• Connexió a internet per descarregar els fitxers del model.
• Accés a una terminal per instal·lar i executar el programari necessari.

Ara ja tenim tot el necessari per començar a saber com executar DeepSeek R1 al teu Raspberry Pi 5.

Instal·lació dels components clau

Per executar DeepSeek R1 a Raspberry Pi, cal instal·lar un conjunt d'eines clau. A continuació, expliquem pas a pas com fer-ho.

1. Instal·lació de Flama.cpp

Llama.cpp és un programari que permet executar models de IA de manera eficient en dispositius amb recursos limitats. Per instal·lar-lo, utilitza les ordres següents:

sudo apt update && sudo apt upgrade -i sudo apt install git cmake build-essential -i git clone https://github.com/ggerganov/llama.cpp.git cd llama.cpp make

Aquest procés descarregarà i compilarà l'eina al teu Raspberry Pi.

2. Descàrrega del model DeepSeek R1 destil·lat

Per garantir un rendiment manejable a Raspberry Pi 5, es recomana fer servir la versió DeepSeek R1 1.5B, que té una mida d'aproximadament 1 GB.

Pots descarregar-lo des de Hugging Face amb la següent comanda a Python:

from huggingface_hub import snapshot_download snapshot_download(repo_id='DeepSeek-R1-1.5B', local_dir='DeepSeek-R1')

3. Configuració i execució del servidor

Un cop descarregat el model, el pas següent és executar-lo amb Llama.cpp. Fes servir la següent ordre:

./crida-server --model /ruta_a_el teu_model/DeepSeek-R1-1.5B.gguf --port 10000 --ctx-size 1024 --n-gpu-layers 40

Si tot ha anat bé, el servidor estarà corrent a http://127.0.0.1:10000.

4. Integració amb Open WebUI

Per facilitar la interacció amb el model, Open WebUI és una interfície gràfica que permet enviar preguntes i rebre respostes sense necessitat d'escriure ordres manualment. Per connectar-lo amb el servidor Truca.cpp, seguiu aquests passos:

1. Obre Open WebUI.
2. Aneu a Configuració > Connexions > OpenAI.
3. Introdueix la URL http://127.0.0.1:10000 a la configuració.
4. Desa els canvis i comença a utilitzar DeepSeek R1 des de la interfície web.

T'ha quedat clar com executar DeepSeek R1 al teu Raspberry Pi 5? Encara n'hi ha més per a tu.

Quins resultats es poden esperar?

Encara que DeepSeek R1 pot executar-se a Raspberry Pi 5, cal tenir en compte diverses limitacions importants:

• Un rendiment molt limitat en comparació de la versió completa del model.
• Generació de text lenta, especialment amb models de més de 7B paràmetres.
• Respostes menys precises en comparació amb models més grans executats en maquinari potent.

En proves realitzades amb diferents versions del model, es va trobar que la versió 1.5B és la més recomanable per a Raspberry Pi 5, encara que tot i així el rendiment és modest. Abans d'acabar aquest article sobre com executar DeepSeek R1 al teu Raspberry Pi 5 tenim alguna cosa més a dir sobre diferents casos d'ús en models lleugers.

Casos d'ús per a models lleugers

Encara que una Raspberry Pi no pot manejar models gegants, les versions reduïdes encara poden ser útils en certs escenaris:

• Generació bàsica de codi i ajut matemàtic.
• Automatització en projectes de domòtica.
• Assistència per a tasques específiques en sistemes encastats.

Poder executar models d'IA avançats en maquinari accessible és sens dubte un gran avenç al món de l'open source. Encara que la Raspberry Pi 5 no oferirà una experiència comparable a la d'un servidor amb múltiples GPU, explorar aquestes opcions obre noves possibilitats per a la informàtica de baix cost. Si estàs interessat a provar-ho, segueix els passos d'aquesta guia i experimenta amb les diferents versions del model per ajustar el rendiment a les teves necessitats. Esperem que aquest article sobre com executar DeepSeek R1 a la teva Raspberry Pi 5 t'hagi estat d'ajuda.