- DeepSeek R1 ialah model AI sumber terbuka yang boleh dijalankan pada perkakasan tempatan dengan batasan tertentu.
- Raspberry Pi 5 hanya boleh menjalankan versi cut-down daripada model, kerana model penuh memerlukan perkakasan yang berkuasa.
- Model suling boleh digunakan untuk meningkatkan kecekapan dan menyesuaikannya kepada peranti dengan sumber yang lebih sedikit.
- Llama.cpp dan Buka WebUI ialah alatan utama untuk menjalankan DeepSeek R1 secara tempatan dengan cara yang boleh diakses.
Bagaimana untuk menjalankan DeepSeek R1 pada Raspberry Pi 5 anda? boleh? Jom tengok. Sejak kemunculan model AI sumber terbuka, ramai peminat telah mencari cara untuk menjalankannya pada peranti mereka sendiri. Salah satu yang paling menjanjikan ialah DeepSeek R1, model yang dibangunkan di China yang telah terbukti bersaing dengan pilihan OpenAI yang paling maju. Persoalan besar, bagaimanapun, adalah ini.
Jawapan pantas adalah ya, tetapi dengan batasan tertentu. Dalam artikel ini kami akan menganalisis secara terperinci apa yang diperlukan untuk menjadikannya berfungsi, cara mengkonfigurasinya y apakah keputusan yang boleh dijangkakan bergantung kepada perkakasan yang ada. Di sini kita pergi dengan artikel tentang cara menjalankan DeepSeek R1 pada Raspberry Pi 5 anda. Ingat bahawa menggunakan enjin carian Tecnobits, anda akan mendapat lebih banyak maklumat tentang Raspberry dan perkakasan atau perisian lain.
Apakah DeepSeek R1 dan apakah yang menjadikannya istimewa?
DeepSeek R1 ialah model AI sumber terbuka yang telah mengejutkan komuniti terima kasih kepadanya kecekapan y prestasi. Tidak seperti kebanyakan model lain, ia menawarkan kemungkinan berjalan pada perkakasan tempatan, menjadikannya alternatif yang menarik untuk penyelesaian awan seperti ChatGPT.
Walau bagaimanapun, model paling lengkap, DeepSeek R1 671B, mengambil lebih daripada 400 GB dan memerlukan berbilang kad grafik berprestasi tinggi untuk berjalan dengan betul. Walaupun versi penuh tidak dapat dicapai oleh kebanyakan orang, terdapat versi suling yang boleh berjalan pada perkakasan yang lebih sederhana seperti Raspberry Pi.
Jika anda suka dunia Raspberry Tecnobits Kami mempunyai banyak maklumat tentang perkakasan tersebut. Sebagai contoh, kami membawakan anda berita ini yang kami bincangkan Raspberry Pi Pico: papan baharu yang hanya berharga 4 euro.
Menjalankan DeepSeek R1 pada Raspberry Pi 5
Raspberry Pi 5 ialah a pc mini yang berkuasa berbanding pendahulunya, tetapi masih mempunyai had yang ketara apabila melibatkan kecerdasan buatan. Untuk membolehkan DeepSeek R1 berfungsi pada peranti ini, anda perlu menggunakan versi yang lebih ringan model tersebut.
Prasyarat
- A Rasberi Pi 5 dengan sekurang-kurangnya 8 GB RAM.
- Kad microSD daripada kapasiti dan kelajuan tinggi untuk menyimpan fail yang diperlukan.
- Sistem pengendalian berasaskan Linux, seperti Sistem Operasi Raspberry Pi atau Ubuntu.
- Sambungan Internet untuk memuat turun fail model.
- Akses kepada terminal untuk memasang dan menjalankan perisian diperlukan.
Kini kami mempunyai semua yang kami perlukan untuk mula mempelajari cara menjalankan DeepSeek R1 pada Raspberry Pi 5 anda.
Memasang komponen utama
Untuk menjalankan DeepSeek R1 pada Raspberry Pi, anda perlu memasang a set alat kunci. Di bawah ini kami menerangkan langkah demi langkah bagaimana untuk melakukannya.
1. Memasang Llama.cpp
Llama.cpp ialah perisian yang membolehkan anda menjalankan model AI dengan cekap pada peranti dengan sumber terhad. Untuk memasangnya, gunakan arahan berikut:
sudo apt update && sudo apt upgrade -y sudo apt install git cmake build-essential -y git clone https://github.com/ggerganov/llama.cpp.git cd llama.cpp make
Proses ini akan memuat turun dan akan menyusun alat pada Raspberry Pi anda.
2. Memuat turun model DeepSeek R1 suling
Untuk memastikan prestasi terurus pada Raspberry Pi 5, adalah disyorkan untuk menggunakan versi tersebut DeepSeek R1 1.5B, yang bersaiz kira-kira 1 GB.
Anda boleh memuat turunnya dari Hugging Face dengan arahan berikut dalam Python:
daripada huggingface_hub import snapshot_download snapshot_download(repo_id='DeepSeek-R1-1.5B', local_dir='DeepSeek-R1')
3. Menyediakan dan menjalankan pelayan
Setelah model dimuat turun, langkah seterusnya ialah menjalankannya dengan Llama.cpp. Gunakan arahan berikut:
./llama-server --model /path_to_your_model/DeepSeek-R1-1.5B.gguf --port 10000 --ctx-size 1024 --n-gpu-layers 40
Jika semuanya berjalan lancar, pelayan akan berjalan masuk http://127.0.0.1:10000.
4. Integrasi dengan Open WebUI
Untuk memudahkan interaksi Dengan model, Open WebUI ialah antara muka grafik yang membolehkan anda menghantar soalan dan menerima jawapan tanpa perlu menulis arahan secara manual. Untuk menyambung ke pelayan Llama.cpp, ikut langkah berikut:
- Buka Buka WebUI.
- Pergi ke Tetapan > Sambungan > OpenAI.
- Masukkan URL http://127.0.0.1:10000 dalam tetapan.
- Simpan perubahan dan mula menggunakan DeepSeek R1 daripada antara muka web.
Adakah jelas cara menjalankan DeepSeek R1 pada Raspberry Pi 5 anda? Masih ada lagi untuk anda.
Apakah hasil yang boleh dijangkakan?
Walaupun DeepSeek R1 boleh dijalankan pada Raspberry Pi 5, terdapat beberapa kaveat yang perlu dipertimbangkan: batasan penting:
- Satu persembahan sangat terhad berbanding dengan versi penuh model.
- Penjanaan teks perlahan, terutamanya dengan model dengan lebih daripada 7B parameter.
- Jawapan kurang tepat berbanding model yang lebih besar yang dijalankan pada perkakasan berkuasa.
Dalam ujian yang dijalankan dengan versi berbeza model, didapati bahawa versi 1.5B adalah yang paling disyorkan untuk Raspberry Pi 5, walaupun prestasi masih sederhana. Sebelum kami menyelesaikan artikel ini tentang cara menjalankan DeepSeek R1 pada Raspberry Pi 5 anda, kami mempunyai sesuatu yang lain untuk memberitahu anda tentang kes penggunaan yang berbeza dalam model ringan.
Gunakan bekas untuk model ringan
Walaupun Raspberry Pi tidak boleh mengendalikan model gergasi, versi yang diperkecilkan masih boleh berguna dalam keadaan tertentu senario:
- Penjanaan kod asas dan bantuan matematik.
- Automasi dalam projek automasi rumah.
- Sokongan untuk tugas tertentu dalam sistem terbenam.
Mampu menjalankan model AI lanjutan pada perkakasan mampu milik sudah tentu merupakan satu langkah besar ke hadapan dalam dunia sumber terbuka. Walaupun Rasberi Pi 5 tidak akan menawarkan pengalaman yang setanding dengan pelayan dengan berbilang GPU, meneroka pilihan ini membuka peluang baharu kemungkinan untuk pengkomputeran kos rendah. Jika anda berminat untuk mencubanya, ikuti langkah dalam panduan ini dan bereksperimen dengan versi model yang berbeza laraskan prestasi kepada keperluan anda. Kami harap anda dapati artikel ini tentang cara menjalankan DeepSeek R1 pada Raspberry Pi 5 anda membantu.
Minat teknologi sejak kecil lagi. Saya suka mengikuti perkembangan terkini dalam sektor ini dan, terutama sekali, menyampaikannya. Itulah sebabnya saya telah berdedikasi untuk komunikasi di tapak web teknologi dan permainan video selama bertahun-tahun. Anda boleh menemui saya menulis tentang Android, Windows, MacOS, iOS, Nintendo atau sebarang topik berkaitan lain yang terlintas di fikiran.