Kif tħaddem DeepSeek R1 fuq il-Raspberry Pi 5 tiegħek pass pass

Kif tħaddem DeepSeek R1 fuq Raspberry Pi 5 tiegħek? Jista? Ejja narawha. Mill-miġja ta’ mudelli ta’ AI ta’ sors miftuħ, ħafna dilettanti ilhom ifittxu modi kif imexxuhom fuq it-tagħmir tagħhom stess. Wieħed mill-aktar promettenti huwa DeepSeek R1, mudell żviluppat fiċ-Ċina li wera li jikkompeti mal-għażliet l-aktar avvanzati ta 'OpenAI. Il-mistoqsija l-kbira, madankollu, hija din.

It-tweġiba mgħaġġla hija iva, iżda b'ċerti limitazzjonijiet. F'dan l-artikolu se nanalizzaw fid-dettall dak li hu meħtieġ biex jaħdem, kif tikkonfigurah y x'riżultat jista' jkun mistenni skond il-ħardwer disponibbli. Hawn immorru bl-artiklu dwar kif tħaddem DeepSeek R1 fuq Raspberry Pi 5 tiegħek. Ftakar li billi tuża l-magna tat-tiftix Tecnobits, issib aktar informazzjoni dwar Raspberry u hardware jew software ieħor.

X'inhu DeepSeek R1 u x'jagħmilha speċjali?

DeepSeek R1 huwa mudell AI ta 'sors miftuħ li ssorprenda lill-komunità bis-saħħa tiegħu effiċjenza y prestazzjoni. B'differenza għal ħafna mudelli oħra, toffri l-possibbiltà li taħdem fuq hardware lokali, li jagħmilha alternattiva interessanti għal soluzzjonijiet tal-cloud bħal ChatGPT.

Madankollu, l-aktar mudell komplut, il-DeepSeek R1 671B, jieħu aktar minn 400 GB u teħtieġ karti tal-grafika ta' prestazzjoni għolja multipli biex taħdem sew. Għalkemm il-verżjoni sħiħa ma tistax tintlaħaq għal ħafna, hemm verżjonijiet distillati li jistgħu jaħdmu fuq ħardwer aktar modest bħal Raspberry Pi.

Jekk tħobb id-dinja tal-Raspberry fi Tecnobits Għandna ħafna informazzjoni dwar dan il-ħardwer. Pereżempju, inwasslulkom din l-aħbar li fiha nitkellmu Raspberry Pi Pico: il-bord il-ġdid li jiswa biss 4 ewro.

Tmexxi DeepSeek R1 fuq Raspberry Pi 5

Il-Raspberry Pi 5 huwa a mini pc b'saħħtu meta mqabbla mal-predeċessuri tagħha, iżda xorta għandha limitazzjonijiet sinifikanti fejn tidħol l-intelliġenza artifiċjali. Biex tikseb DeepSeek R1 jaħdem fuq dan l-apparat, huwa meħtieġ li tirrikorri għal verżjonijiet eħfef tal-mudell.

Prerekwiżiti

• A Lampun Pi 5 b'mill-inqas 8 GB ta' RAM.
• Kard microSD ta kapaċità u veloċità għolja biex taħżen il-fajls meħtieġa.
• Sistema operattiva bbażata fuq Linux, bħal Sistema Operattiva tal-Raspberry Pi jew Ubuntu.
• Konnessjoni tal-Internet biex tniżżel fajls tal-mudell.
• Aċċess għal terminal biex tinstalla u tħaddem il- softwer meħtieġ.

Issa għandna dak kollu li neħtieġu biex nibdew nitgħallmu kif tħaddem DeepSeek R1 fuq Raspberry Pi 5 tiegħek.

Installazzjoni ta 'komponenti ewlenin

Biex tħaddem DeepSeek R1 fuq Raspberry Pi, għandek bżonn tinstalla a sett ta 'għodda ewlenija. Hawn taħt nispjegaw pass pass kif tagħmel dan.

1. Installazzjoni ta 'Llama.cpp

Llama.cpp huwa softwer li jippermettilek tmexxi mudelli AI b'mod effiċjenti fuq apparati bi riżorsi limitati. Biex tinstallah, uża l-kmandi li ġejjin:

sudo apt update && sudo apt upgrade -y sudo apt install git cmake build-essential -y git clone https://github.com/ggerganov/llama.cpp.git cd llama.cpp make

Dan il-proċess se tniżżel u se jikkompila l-għodda fuq Raspberry Pi tiegħek.

2. Niżżel il-mudell distillat DeepSeek R1

Biex tiżgura prestazzjoni maniġġabbli fuq Raspberry Pi 5, huwa rakkomandat li tuża l-verżjoni DeepSeek R1 1.5B, li huwa madwar 1 GB fid-daqs.

Tista 'tniżżlu minn Hugging Face bil-kmand li ġej f'Python:

minn huggingface_hub importazzjoni snapshot_download snapshot_download(repo_id='DeepSeek-R1-1.5B', local_dir='DeepSeek-R1')

3. Twaqqif u tħaddim tas-server

Ladarba l-mudell jitniżżlu, il-pass li jmiss huwa li titħaddem ma 'Llama.cpp. Uża l-kmand li ġej:

./llama-server --model /path_to_your_model/DeepSeek-R1-1.5B.gguf --port 10000 --ctx-size 1024 --n-gpu-layers 40

Jekk kollox mar tajjeb, is-server ikun qed jaħdem http://127.0.0.1:10000.

4. Integrazzjoni ma 'Open WebUI

Biex tiġi ffaċilitata l- interazzjoni Bil-mudell, Open WebUI hija interface grafika li tippermettilek tibgħat mistoqsijiet u tirċievi tweġibiet mingħajr ma jkollok tikteb kmandi manwalment. Biex tikkonnettja mas-server Llama.cpp, segwi dawn il-passi:

1. Iftaħ Open WebUI.
2. Mur Settings > Konnessjonijiet > OpenAI.
3. Daħħal il-URL http://127.0.0.1:10000 fis-settings.
4. Issejvja l-bidliet u ibda uża DeepSeek R1 mill-interface tal-web.

Huwa ċar kif tħaddem DeepSeek R1 fuq Raspberry Pi 5 tiegħek? Għad hemm aktar għalik.

X'riżultati jistgħu jkunu mistennija?

Għalkemm DeepSeek R1 jista' jaħdem fuq Raspberry Pi 5, hemm diversi twissijiet li għandek tikkonsidra: limitazzjonijiet importanti:

• Prestazzjoni limitat ħafna meta mqabbla mal-verżjoni sħiħa tal-mudell.
• Ġenerazzjoni tat-test bil-mod, speċjalment ma 'mudelli b'aktar minn parametri 7B.
• Tweġibiet inqas preċiż meta mqabbla ma 'mudelli akbar li jaħdmu fuq ħardwer b'saħħtu.

Fit-testijiet imwettqa b'verżjonijiet differenti tal-mudell, instab li l-verżjoni 1.5B huwa l-aktar rakkomandat għal Raspberry Pi 5, għalkemm il-prestazzjoni għadha modesta. Qabel ma nispiċċaw dan l-artikolu dwar kif tħaddem DeepSeek R1 fuq Raspberry Pi 5 tiegħek għandna xi ħaġa oħra x'ngħidlek dwar każijiet ta 'użu differenti f'mudelli ħfief.

Każijiet ta 'użu għal mudelli ħfief

Għalkemm Raspberry Pi ma jistax jimmaniġġja mudelli ġganti, verżjonijiet imnaqqsa xorta jistgħu jkunu utli f'ċerti xenarji:

• Ġenerazzjoni ta 'kodiċi bażiku u għajnuna fil-matematika.
• Awtomazzjoni fi proġetti ta 'awtomazzjoni tad-dar.
• Appoġġ għal kompiti speċifiċi f'sistemi inkorporati.

Li tkun kapaċi tħaddem mudelli AI avvanzati fuq ħardwer affordabbli huwa ċertament pass kbir 'il quddiem fid-dinja tas-sors miftuħ. Għalkemm il- Lampun Pi 5 mhux se joffri esperjenza komparabbli ma' dik ta' server b'diversi GPUs, l-esplorazzjoni ta' dawn l-għażliet tiftaħ ġdida probabbiltà għall-kompjuters bi prezz baxx. Jekk inti interessat li tipprovaha, segwi l-passi f'din il-gwida u esperimenta bil-verżjonijiet differenti tal-mudell biex aġġusta l-prestazzjoni għall-bżonnijiet tiegħek. Nittamaw li sibt dan l-artikolu dwar kif tħaddem DeepSeek R1 fuq Raspberry Pi 5 tiegħek utli.