Otu esi agba DeepSeek R1 na Raspberry Pi 5 gị site na nzọụkwụ

Otu esi agba DeepSeek R1 na Raspberry Pi 5 gị? Nwere ike? Ka anyị hụ ya. Kemgbe mmalite nke ụdị AI mepere emepe, ọtụtụ ndị na-anụ ọkụ n'obi na-achọ ụzọ ha ga-esi na-agba ọsọ na ngwaọrụ nke ha. Otu n'ime ihe na-ekwe nkwa bụ DeepSeek R1, ihe nlereanya emepụtara na China nke gosipụtara na ọ na-asọmpi na nhọrọ OpenAI kachasị elu. Otú ọ dị, ajụjụ buru ibu bụ nke a.

Azịza ya ngwa ngwa bụ ee, mana nwere oke ụfọdụ. N'isiokwu a, anyị ga-enyocha n'ụzọ zuru ezu ihe dị mkpa iji mee ka ọ rụọ ọrụ, otu esi edobe ya y kedu ihe a ga-atụ anya ya dabere na ngwaike dị. N'ebe a, anyị na-aga n'isiokwu banyere otu esi agba ọsọ DeepSeek R1 na Raspberry Pi 5 gị. Cheta na iji search engine. Tecnobits, ị ga-ahụ ozi ndị ọzọ gbasara Raspberry na ngwaike ndị ọzọ ma ọ bụ ngwanrọ.

Kedu ihe bụ DeepSeek R1 na gịnị mere ọ pụrụ iche?

DeepSeek R1 bụ ihe ngosi AI mepere emepe nke tụrụ ndị obodo anya n'ihi ekele ya arụmọrụ y arụ ọrụ. N'adịghị ka ọtụtụ ụdị ndị ọzọ, ọ na-enye ohere nke na-agba ọsọ na ngwaike mpaghara, na-eme ka ọ bụrụ ihe ọzọ na-adọrọ mmasị ngwọta igwe ojii dị ka ChatGPT.

Agbanyeghị, ụdị zuru oke, DeepSeek R1 671B, na-ewe karịa 400 GB ma na-achọ ọtụtụ kaadị eserese arụmọrụ dị elu ka ọ na-agba ọsọ nke ọma. Ọ bụ ezie na ụdị zuru ezu enweghị ike inweta maka ọtụtụ, enwere ụdị distilled nke nwere ike na-agba ọsọ na ngwaike dị obere ka Raspberry Pi.

Ọ bụrụ na-amasị gị ụwa nke Raspberry na Tecnobits Anyị nwere ọtụtụ ozi gbasara ngwaike kwuru. Dịka ọmụmaatụ, anyị na-ewetara gị akụkọ a anyị na-ekwu maka ya Raspberry Pi Pico: bọọdụ ọhụrụ na-efu naanị euro 4.

Na-agba DeepSeek R1 na Raspberry Pi 5

Raspberry Pi 5 bụ a mini PC dị ike tụnyere ndị bu ya ụzọ, mana ọ ka nwere oke oke ma a bịa na ọgụgụ isi. Iji nweta DeepSeek R1 na-arụ ọrụ na ngwaọrụ a, ọ dị mkpa ịmalite Mkpa ọkụ nsụgharị nke ihe nlereanya.

Ihe ndị ị ga-eme tupu oge eruo

• una Utu Pi 5 na ọ dịkarịa ala 8 GB nke RAM.
• Kaadị microSD nke nnukwu ikike na ọsọ ọsọ iji chekwaa faịlụ ndị dị mkpa.
• Sistemụ arụmọrụ dabere na Linux, dịka Utu Pi OS ma ọ bụ Ubuntu.
• Njikọ ịntanetị iji budata faịlụ ụdị.
• Ịnweta ọnụ ọnụ iji wụnye ma mee ya dị mkpa software.

Ugbu a, anyị nwere ihe niile anyị kwesịrị ịmalite ịmụ ka esi agba DeepSeek R1 na Raspberry Pi 5 gị.

Ịwụnye akụrụngwa isi

Iji mee DeepSeek R1 na Raspberry Pi, ịkwesịrị ịwụnye a igodo ngwá ọrụ set. N'okpuru ebe a, anyị na-akọwa nzọụkwụ site nzọụkwụ otu esi eme ya.

1. Ịwụnye Llama.cpp

Llama.cpp bụ ngwanrọ na-enye gị ohere ịme ụdị AI nke ọma na ngwaọrụ nwere obere ihe. Iji tinye ya, jiri iwu ndị a:

sudo apt update && sudo apt upgrade -y sudo apt install git cmake build-essential -y git clone https://github.com/ggerganov/llama.cpp.git cd llama.cpp make

Usoro a ga-ebudata na ga-achịkọta ngwá ọrụ dị na Raspberry Pi gị.

2. Nbudata ụdị DeepSeek R1 distilled

Iji hụ na arụmọrụ enwere ike ijikwa na Raspberry Pi 5, a na-atụ aro ka iji ụdị ahụ DeepSeek R1 1.5B, nke dị ihe dịka 1 GB n'ogo.

Ị nwere ike ibudata ya site na ịmakụ ihu site na iji iwu a na Python:

site na huggingface_hub mbubata snapshot_download snapshot_download(repo_id='DeepSeek-R1-1.5B', local_dir='DeepSeek-R1')

3. Ịtọlite ​​​​ma na-arụ ọrụ nkesa

Ozugbo ebudatara ihe nlereanya ahụ, nzọụkwụ ọzọ bụ iji Llama.cpp mee ya. Jiri iwu a:

./llama-server --model /path_to_your_model/DeepSeek-R1-1.5B.gguf --ọdụ ụgbọ mmiri 10000 --ctx-size 1024 --n-gpu-layers 40

Ọ bụrụ na ihe niile gara nke ọma, sava ahụ ga-abanye http://127.0.0.1:10000.

4. Mmekọrịta na Open WebUI

Ikwado mmekorita Site na ihe nlereanya ahụ, Open WebUI bụ interface eserese na-enye gị ohere izipu ajụjụ wee nweta azịza na-enweghị ide iwu. aka. Iji jikọọ na sava Llama.cpp, soro usoro ndị a:

1. Mepee WebUI.
2. Gaa na Ntọala> Njikọ> OpenAI.
3. Tinye URL http://127.0.0.1:10000 na ntọala.
4. Chekwaa mgbanwe ndị ahụ wee malite iji DeepSeek R1 site na interface weebụ.

O doro anya ka esi agba DeepSeek R1 na Raspberry Pi 5 gị? A ka nwere ihe ọzọ maka gị.

Kedu ihe a ga-atụ anya ya?

Ọ bụ ezie na DeepSeek R1 nwere ike na-agba ọsọ na Raspberry Pi 5, enwere ọtụtụ caveats ị ga-atụle: nnukwu oke:

• Arụmọrụ dị oke oke tụnyere ụdị zuru ezu nke ihe nlereanya.
• Ọgbọ ederede jiri nwayọ, karịsịa na ụdị nwere ihe karịrị 7B parameters.
• Azịza obere nkenke tụnyere ibu ụdị na-agba ọsọ na ike ngwaike.

Na ule ndị e mere na nsụgharị dị iche iche nke ihe nlereanya ahụ, a chọpụtara na nsụgharị ahụ 1.5B kacha akwadoro maka Raspberry Pi 5, n'agbanyeghị na arụmọrụ ka dị ntakịrị. Tupu anyị emechaa akụkọ a maka otu esi agba ọsọ DeepSeek R1 na Raspberry Pi 5 gị, anyị nwere ihe ọzọ ịgwa gị gbasara ụdị ojiji dị iche iche na ụdị dị fechaa.

Jiri ikpe maka ụdị dị arọ

Agbanyeghị na Raspberry Pi enweghị ike ijikwa nnukwu ụdị, ụdị agbadata ka nwere ike ịba uru na ụfọdụ ndapụta:

• Ọgbọ koodu isi na enyemaka mgbakọ na mwepụ.
• Akpaaka na ọrụ akpaaka ụlọ.
• Nkwado maka ọrụ ndị akọwapụtara na sistemu agbakwunyere.

Inwe ike iji ụdị AI dị elu na ngwaike dị ọnụ ala bụ n'ezie nnukwu nzọụkwụ na-aga n'ihu na ụwa mepere emepe. Agbanyeghị na Ntu Pi 5 agaghị enye ahụmịhe yiri nke ihe nkesa nwere ọtụtụ GPU, ịgagharị nhọrọ ndị a ga-emepe ọhụrụ. ohere maka kọmpụta dị ọnụ ala. Ọ bụrụ na ị nwere mmasị ịnwale ya, soro usoro ndị dị na ntuziaka a wee nwalee ụdị dị iche iche nke ihe nlereanya ahụ tune arụmọrụ maka mkpa gị. Anyị na-atụ anya na ịchọtara akụkọ a maka otu esi agba ọsọ DeepSeek R1 na Raspberry Pi 5 gị na-enyere aka.