Sut i redeg DeepSeek R1 ar eich Raspberry Pi 5 gam wrth gam

Sut i redeg DeepSeek R1 ar eich Raspberry Pi 5? Gall? Gadewch i ni ei weld. Ers dyfodiad modelau AI ffynhonnell agored, mae llawer o selogion wedi bod yn chwilio am ffyrdd i'w rhedeg ar eu dyfeisiau eu hunain. Un o'r rhai mwyaf addawol yw DeepSeek R1, model a ddatblygwyd yn Tsieina sydd wedi profi i gystadlu ag opsiynau mwyaf datblygedig OpenAI. Y cwestiwn mawr, fodd bynnag, yw hyn.

Yr ateb cyflym yw ydy, ond gyda rhai cyfyngiadau. Yn yr erthygl hon byddwn yn dadansoddi'n fanwl yr hyn sydd ei angen i wneud iddo weithio, sut i'w ffurfweddu y pa ganlyniad y gellir ei ddisgwyl yn dibynnu ar y caledwedd sydd ar gael. Yma rydym yn mynd gyda'r erthygl ar sut i redeg DeepSeek R1 ar eich Raspberry Pi 5. Cofiwch fod defnyddio'r peiriant chwilio Tecnobits, fe welwch ragor o wybodaeth am Raspberry a chaledwedd neu feddalwedd arall.

Beth yw DeepSeek R1 a beth sy'n ei wneud yn arbennig?

Mae DeepSeek R1 yn fodel AI ffynhonnell agored sydd wedi synnu'r gymuned diolch i'w effeithlonrwydd y perfformiad. Yn wahanol i lawer o fodelau eraill, mae'n cynnig y posibilrwydd o redeg ar galedwedd lleol, gan ei wneud yn ddewis arall diddorol i atebion cwmwl fel ChatGPT.

Fodd bynnag, mae'r model mwyaf cyflawn, y DeepSeek R1 671B, yn cymryd mwy na 400 GB ac mae angen nifer o gardiau graffeg perfformiad uchel i redeg yn iawn. Er bod y fersiwn lawn yn anghyraeddadwy i'r mwyafrif, mae yna fersiynau distylliedig sy'n gallu rhedeg ar galedwedd mwy cymedrol fel Raspberry Pi.

Os ydych chi'n hoffi byd Mafon yn Tecnobits Mae gennym lawer o wybodaeth am y caledwedd hwn. Er enghraifft, rydyn ni'n dod â'r newyddion hwn i chi rydyn ni'n siarad amdano Raspberry Pi Pico: y bwrdd newydd sy'n costio dim ond 4 ewro.

Rhedeg DeepSeek R1 ar Raspberry Pi 5

Mae'r Raspberry Pi 5 yn a pc mini pwerus o'i gymharu â'i ragflaenwyr, ond mae ganddo gyfyngiadau sylweddol o hyd o ran deallusrwydd artiffisial. Er mwyn cael DeepSeek R1 i weithio ar y ddyfais hon, mae angen troi ato fersiynau ysgafnach o'r model.

Rhagofynion

• A Raspberry Pi 5 gydag o leiaf 8 GB o RAM.
• Mae cerdyn microSD o gallu uchel a chyflymder i storio'r ffeiliau angenrheidiol.
• System weithredu sy'n seiliedig ar Linux, fel System Weithredu Raspberry Pi neu Ubuntu.
• Cysylltiad rhyngrwyd i lawrlwytho ffeiliau model.
• Mynediad i derfynell i osod a rhedeg y meddalwedd sydd ei angen.

Nawr mae gennym ni bopeth sydd ei angen arnom i ddechrau dysgu sut i redeg DeepSeek R1 ar eich Raspberry Pi 5.

Gosod cydrannau allweddol

I redeg DeepSeek R1 ar Raspberry Pi, mae angen i chi osod a set offer allweddol. Isod rydym yn esbonio cam wrth gam sut i wneud hynny.

1. Gosod Llama.cpp

Meddalwedd yw Llama.cpp sy'n eich galluogi i redeg modelau AI yn effeithlon ar ddyfeisiau adnoddau cyfyngedig. I'w osod, defnyddiwch y gorchmynion canlynol:

diweddariad sudo apt && uwchraddio sudo apt -y sudo apt install git cmake build-hanfodol -y git clôn https://github.com/ggerganov/llama.cpp.git cd llama.cpp make

Bydd y broses hon yn llwytho i lawr a bydd llunio yr offeryn ar eich Raspberry Pi.

2. Lawrlwytho model DeepSeek R1 distylliedig

Er mwyn sicrhau perfformiad hylaw ar Raspberry Pi 5, argymhellir defnyddio'r fersiwn DeepSeek R1 1.5B, sydd tua 1 GB o faint.

Gallwch ei lawrlwytho o Hugging Face gyda'r gorchymyn canlynol yn Python:

o huggingface_hub mewnforio snapshot_download snapshot_download(repo_id='DeepSeek-R1-1.5B', local_dir='DeepSeek-R1')

3. Sefydlu a rhedeg y gweinydd

Unwaith y bydd y model wedi'i lawrlwytho, y cam nesaf yw ei redeg gyda Llama.cpp. Defnyddiwch y gorchymyn canlynol:

./llama-server --model /path_to_your_model/DeepSeek-R1-1.5B.gguf --port 10000 --ctx-size 1024 --n-gpu-haenau 40

Os aeth popeth yn iawn, bydd y gweinydd yn rhedeg i mewn http://127.0.0.1:10000.

4. Integreiddio â WebUI Agored

Er mwyn hwyluso'r rhyngweithio Gyda'r model, mae Open WebUI yn rhyngwyneb graffigol sy'n eich galluogi i anfon cwestiynau a derbyn atebion heb orfod ysgrifennu gorchmynion â llaw. I gysylltu â gweinydd Llama.cpp, dilynwch y camau hyn:

1. Agor Open WebUI.
2. Ewch i Gosodiadau> Cysylltiadau> OpenAI.
3. Rhowch yr URL http://127.0.0.1:10000 yn y gosodiadau.
4. Arbedwch y newidiadau a dechreuwch ddefnyddio DeepSeek R1 o'r rhyngwyneb gwe.

A yw'n glir sut i redeg DeepSeek R1 ar eich Raspberry Pi 5? Mae dal mwy i chi.

Pa ganlyniadau y gellir eu disgwyl?

Er y gall DeepSeek R1 redeg ar Raspberry Pi 5, mae sawl cafeat i'w hystyried: cyfyngiadau pwysig:

• Perfformiad cyfyngedig iawn o'i gymharu â fersiwn lawn y model.
• Cynhyrchu testun araf, yn enwedig gyda modelau gyda mwy na pharamedrau 7B.
• Atebion llai manwl gywir o'i gymharu â modelau mwy sy'n rhedeg ar galedwedd pwerus.

Mewn profion a gynhaliwyd gyda gwahanol fersiynau o'r model, canfuwyd bod y fersiwn 1.5B yw'r un a argymhellir fwyaf ar gyfer Raspberry Pi 5, er bod perfformiad yn dal yn gymedrol. Cyn i ni orffen yr erthygl hon ar sut i redeg DeepSeek R1 ar eich Raspberry Pi 5 mae gennym rywbeth arall i'w ddweud wrthych am wahanol achosion defnydd mewn modelau ysgafn.

Defnyddiwch gasys ar gyfer modelau ysgafn

Er na all Raspberry Pi drin modelau anferth, gall fersiynau llai o faint fod yn ddefnyddiol o hyd senarios:

• Cynhyrchu cod sylfaenol a chymorth mathemateg.
• Awtomatiaeth mewn prosiectau awtomeiddio cartref.
• Cefnogaeth ar gyfer tasgau penodol mewn systemau gwreiddio.

Mae gallu rhedeg modelau AI uwch ar galedwedd fforddiadwy yn sicr yn gam mawr ymlaen yn y byd ffynhonnell agored. Er bod y Raspberry Pi Ni fydd 5 yn cynnig profiad tebyg i brofiad gweinydd gyda GPUs lluosog, gan archwilio'r opsiynau hyn yn agor yn newydd ods ar gyfer cyfrifiadura cost isel. Os oes gennych ddiddordeb mewn rhoi cynnig arno, dilynwch y camau yn y canllaw hwn ac arbrofwch gyda'r fersiynau gwahanol o'r model i addasu perfformiad i'ch anghenion. Gobeithio bod yr erthygl hon ar sut i redeg DeepSeek R1 ar eich Raspberry Pi 5 wedi bod yn ddefnyddiol i chi.