Jinsi ya kuendesha DeepSeek R1 kwenye Raspberry Pi 5 yako hatua kwa hatua

Jinsi ya kuendesha DeepSeek R1 kwenye Raspberry Pi 5 yako? Je! Hebu tuone. Tangu ujio wa mifano ya AI ya chanzo wazi, washiriki wengi wamekuwa wakitafuta njia za kuziendesha kwenye vifaa vyao wenyewe. Mojawapo ya inayotia matumaini ni DeepSeek R1, kielelezo kilichotengenezwa nchini China ambacho kimethibitisha kushindana na chaguo za juu zaidi za OpenAI. Swali kubwa, hata hivyo, ni hili.

Jibu la haraka ni ndiyo, lakini kwa mapungufu fulani. Katika nakala hii tutachambua kwa undani kile kinachohitajika kuifanya ifanye kazi, cómo configurarlo y matokeo gani yanaweza kutarajiwa kulingana na vifaa vinavyopatikana. Hapa tunaenda na kifungu cha jinsi ya kuendesha DeepSeek R1 kwenye Raspberry Pi 5 yako. Kumbuka kwamba kwa kutumia injini ya utaftaji. Tecnobits, utapata taarifa zaidi kuhusu Raspberry na maunzi au programu nyingine.

DeepSeek R1 ni nini na ni nini hufanya iwe maalum?

DeepSeek R1 ni mfano wa chanzo wazi wa AI ambao umeshangaza jamii shukrani kwa wake ufanisi y utendaji. Tofauti na mifano mingine mingi, inatoa uwezekano wa kukimbia kwenye vifaa vya ndani, na kuifanya kuwa mbadala ya kuvutia soluciones en la nube como ChatGPT.

Hata hivyo, mfano kamili zaidi, DeepSeek R1 671B, inachukua zaidi ya GB 400 na inahitaji kadi nyingi za michoro ya utendaji wa juu ili kufanya kazi ipasavyo. Ingawa toleo kamili haliwezi kupatikana kwa wengi, zipo matoleo distilled ambayo inaweza kukimbia kwenye vifaa vya kawaida zaidi kama Raspberry Pi.

Ikiwa unapenda ulimwengu wa Raspberry ndani Tecnobits Tuna habari nyingi kuhusu vifaa hivi. Kwa mfano, tunakuletea habari hii ambayo tunazungumzia Raspberry Pi Pico: la nueva placa que vale solo 4 euros.

Kuendesha DeepSeek R1 kwenye Raspberry Pi 5

Raspberry Pi 5 ni a nguvu mini pc ikilinganishwa na watangulizi wake, lakini bado ina mapungufu makubwa linapokuja akili ya bandia. Ili kupata DeepSeek R1 kufanya kazi kwenye kifaa hiki, ni muhimu kuamua versiones más ligeras ya modeli.

Masharti ya awali

• A Raspberry Pi 5 con al menos 8 GB de RAM.
• Kadi ya microSD ya uwezo wa juu na kasi kuhifadhi faili zinazohitajika.
• Mfumo wa uendeshaji unaotegemea Linux, kama vile Mfumo wa Uendeshaji wa Raspberry Pi o Ubuntu.
• Muunganisho wa Mtandao ili kupakua faili za muundo.
• Ufikiaji wa terminal ili kusakinisha na kuendesha software necesario.

Sasa tuna kila kitu tunachohitaji ili kuanza kujifunza jinsi ya kuendesha DeepSeek R1 kwenye Raspberry Pi 5 yako.

Kuweka vipengele muhimu

Ili kuendesha DeepSeek R1 kwenye Raspberry Pi, unahitaji kusakinisha a seti ya zana muhimu. Hapo chini tunaelezea hatua kwa hatua jinsi ya kuifanya.

1. Kusakinisha Llama.cpp

Llama.cpp ni programu inayokuruhusu kuendesha miundo ya AI kwa ufanisi kwenye vifaa vilivyo na rasilimali chache. Ili kuiweka, tumia amri zifuatazo:

sasisho la sudo apt && sudo apt upgrade -y sudo apt install git cmake build-essential -y git clone https://github.com/ggerganov/llama.cpp.git cd llama.cpp tengeneza

Utaratibu huu utapakua na itakusanya chombo kwenye Raspberry Pi yako.

2. Inapakua muundo wa DeepSeek R1 uliosafishwa

Ili kuhakikisha utendaji unaoweza kudhibitiwa kwenye Raspberry Pi 5, inashauriwa kutumia toleo DeepSeek R1 1.5B, ambayo ni takriban 1 GB kwa ukubwa.

Unaweza kuipakua kutoka kwa Hugging Face na amri ifuatayo kwenye Python:

kutoka kwa huggingface_hub kuleta snapshot_download snapshot_download(repo_id='DeepSeek-R1-1.5B', local_dir='DeepSeek-R1')

3. Kuweka na kuendesha seva

Mara tu modeli inapopakuliwa, hatua inayofuata ni kuiendesha kwa Llama.cpp. Tumia amri ifuatayo:

./llama-server --model /path_to_your_model/DeepSeek-R1-1.5B.gguf --port 10000 --ctx-size 1024 --n-gpu-layers 40

Ikiwa kila kitu kilikwenda vizuri, seva itakuwa inaingia http://127.0.0.1:10000.

4. Kuunganishwa na Open WebUI

Para facilitar la mwingiliano Ukiwa na kielelezo, Open WebUI ni kiolesura cha picha ambacho hukuruhusu kutuma maswali na kupokea majibu bila kulazimika kuandika amri. kwa mkono. Ili kuunganisha kwenye seva ya Llama.cpp, fuata hatua hizi:

1. Fungua Fungua WebUI.
2. Nenda kwa Mipangilio > Viunganishi > OpenAI.
3. Ingiza URL http://127.0.0.1:10000 katika mipangilio.
4. Hifadhi mabadiliko na anza kutumia DeepSeek R1 kutoka kwa kiolesura cha wavuti.

Ni wazi jinsi ya kuendesha DeepSeek R1 kwenye Raspberry Pi 5 yako? Bado kuna zaidi kwa ajili yako.

¿Qué resultados se pueden esperar?

Ingawa DeepSeek R1 inaweza kukimbia kwenye Raspberry Pi 5, kuna tahadhari kadhaa za kuzingatia: vikwazo muhimu:

• Utendaji muy limitado ikilinganishwa na toleo kamili la mfano.
• Uundaji wa maandishi lenta, haswa na mifano iliyo na vigezo zaidi ya 7B.
• Respuestas chini sahihi ikilinganishwa na miundo mikubwa inayotumia maunzi yenye nguvu.

Katika vipimo vilivyofanywa na matoleo tofauti ya mfano, iligundua kuwa toleo hilo 1.5B ndiyo inayopendekezwa zaidi kwa Raspberry Pi 5, ingawa utendaji bado ni wa kawaida. Kabla hatujamaliza nakala hii ya jinsi ya kuendesha DeepSeek R1 kwenye Raspberry Pi 5 yako tuna kitu kingine cha kukuambia juu ya visa tofauti vya utumiaji katika mifano nyepesi.

Tumia kesi kwa mifano nyepesi

Ingawa Raspberry Pi haiwezi kushughulikia mifano mikubwa, matoleo yaliyopunguzwa bado yanaweza kuwa muhimu kwa hakika matukio:

• Usaidizi wa kuunda kanuni za msingi na hesabu.
• Automatisering katika miradi ya otomatiki ya nyumbani.
• Msaada kwa kazi maalum katika mifumo iliyoingia.

Kuwa na uwezo wa kuendesha mifano ya hali ya juu ya AI kwenye maunzi ya bei nafuu hakika ni hatua kubwa mbele katika ulimwengu wa chanzo huria. Ingawa Raspberry Pi 5 haitatoa uzoefu kulinganishwa na ule wa seva iliyo na GPU nyingi, kuchunguza chaguo hizi hufungua mpya. uwezekano kwa kompyuta ya bei ya chini. Ikiwa una nia ya kuijaribu, fuata hatua katika mwongozo huu na ujaribu matoleo tofauti ya modeli ajustar el rendimiento kwa mahitaji yako. Tunatumahi umepata nakala hii ya jinsi ya kuendesha DeepSeek R1 kwenye Raspberry Pi 5 yako ikiwa inasaidia.