Компьютерээ орон нутгийн AI төв болгон хэрхэн ашиглах вэ: Практик ба харьцуулсан гарын авлага

¿Компьютерээ орон нутгийн AI төв болгон хэрхэн ашиглах вэ? Хиймэл оюун ухаан нь томоохон корпорацууд эсвэл үүлэн мэргэжилтнүүдийн онцгой домэйн байхаа больсон. Илүү олон хэрэглэгчид хувийн компьютерээсээ хиймэл оюун ухааны шийдлүүдийг ашиглан текст үүсгэхээс эхлээд бүтээлч эсвэл техникийн процессуудыг автоматжуулах хүртэл хамгийн их нууцлалтайгаар, гадны серверт найдахгүйгээр хийхээр эрэлхийлж байна. Компьютерээ орон нутгийн AI төв болгон хувиргаарай Энэ нь боломжийн бодит байдал бөгөөд таны тоног төхөөрөмж хамгийн сүүлийн үеийн биш байсан ч бараг бүх сонирхогч, мэргэжлийн эсвэл оюутанд хүрэх боломжтой.

Энэ нийтлэлд та өөрийн компьютерээ AI экосистемийн гол цөм болгон хэрхэн өөрчлөх талаар олж мэдэх болно. Бид хамгийн их санал болгож буй програм хангамжийн хувилбарууд, техник хангамж, загвар, онцлогтой холбоотой гол анхаарах зүйлс, нууцлал, хувийн тохиргооны хувьд орон нутгийн хиймэл оюун ухаантай ажиллахын давуу талуудыг авч үзэх болно. Нэмж дурдахад би таныг Windows, Mac эсвэл Linux дээр байгаа хиймэл оюун ухааныг хялбар, аюулгүй болгохын тулд LLM загварууд, програмууд болон нөөцүүдийг сонгох, суулгах, ашиглахад чиглүүлж, шилдэг програмуудыг харьцуулж, зөвлөгөө өгөх болно.

Яагаад таны компьютерийг орон нутгийн AI төв болгон ашигладаг вэ?

Компьютерээ хиймэл оюун ухааны төв платформ болгон ашиглах нь үүлэн үйлчилгээтэй таарахад хэцүү давуу талуудыг санал болгодог. Хамгийн чухал шалтгаануудын нэг бол нууцлал юм: үүлэн доторх чатботуудтай харьцах үед таны өгөгдөл, хүсэлт гуравдагч талын серверт хадгалагддаг бөгөөд компаниуд аюулгүй байдлын арга хэмжээг хэрэгжүүлдэг ч, Ус гоожих, буруу ашиглах эрсдэл үргэлж байдаг. Мэдээллийг дотооддоо боловсруулснаар та өгөгдлөө бүрэн хянах боломжтой гэсэн үг юм. Өөр хэн ч таны асуулт, хариулт, файлд хандах эрхгүй.

Өөр нэг том давуу тал бол интернет холболтын шаардлага байхгүй. Байшингийн системийн тусламжтайгаар та тогтворгүй холболттой, хамрах хүрээ муутай газар амьдардаг эсвэл аюулгүй байдлын үүднээс офлайнаар ажиллахыг хүссэн ч AI функцийг ашиглах боломжтой. Нэмж дурдахад тохируулга нь илүү их юм: Та өөрт хамгийн тохиромжтой загвараа сонгож, өөрийн хэрэгцээнд тохируулан, параметр бүрийг нарийн тааруулж болно. Энэ нь лаазалсан үүлэн үйлчилгээнд ховор тохиолддог зүйл юм.

Эдийн засгийн тал ч чухал биш. Хэдийгээр үүлэн үйлчилгээ үнэ төлбөргүй хувилбаруудыг санал болгодог ч дэвшилтэт хэрэглээ нь захиалга, жетон төлбөр эсвэл нөөцийн хэрэглээг хамардаг. Орон нутагт ажиллах үед цорын ганц хязгаарлалт бол таны техник хангамжийн хүчин чадал юм.

Эхлэхийн тулд танд юу хэрэгтэй вэ? Техник хангамж ба үндсэн шаардлага

Хиймэл оюун ухаантай ажиллахад хамгийн сүүлийн үеийн компьютер эсвэл хэт хүчирхэг GPU шаардлагатай гэсэн ерөнхий санаа одоо өнгөрсөн зүйл болжээ. Одоогийн хэлний загваруудыг гэрийн компьютер дээр ажиллуулахаар оновчтой болгосон бөгөөд тэдгээрийн ихэнх нь, ялангуяа тоон үзүүлэлтүүд, тусгай график картгүй ч ажиллах боломжтой, зөвхөн CPU ашиглан.

Гөлгөр ажиллагаатай, тааламжтай туршлага хуримтлуулахын тулд дор хаяж 8-16 ГБ RAM-тай байхыг зөвлөж байна. болон боломжийн орчин үеийн процессор (Зургаа дахь үеийн Core i5 эсвэл i7, эсвэл Ryzen-тэй дүйцэхүйц). Хэрэв та илүү том загваруудтай ажиллаж байгаа эсвэл илүү хурдан гүйцэтгэлтэй байхыг хүсч байвал 4 ГБ VRAM-тай GPU нь ялангуяа зураг үүсгэх эсвэл маш урт текстийн хариулт гэх мэт ажлуудад ихээхэн өөрчлөлт авчирдаг.

Mac дээр Apple M1 болон түүнээс дээшхи чипүүд нь маш сайн хариу өгөх хугацаатай орон нутгийн LLM загваруудыг дэмждэг. Товчхондоо, хэрэв таны компьютер эсвэл зөөврийн компьютер долоогоос доош настай бол та орон нутгийн хиймэл оюун ухааныг туршиж эхлэх боломжтой.

Компьютерээ орон нутгийн AI төв болгохын тулд танд ямар програм, платформ хэрэгтэй вэ?

Таны орон нутгийн AI системийн зүрх нь таны техник хангамж болон AI загваруудын хоорондын зөрүүг арилгах тусгай програмууд юм. Ашиглахад хялбар, хүч чадал, уян хатан чанараараа хамгийн алдартай нь дараахь зүйлийг дурдах нь зүйтэй.

• GPT4Бүгд: Хамгийн алдартай, найрсаг сонголтуудын нэг. Энэ нь танд олон тооны хэлний загварыг татаж авах, суулгах, тэдэнтэй харилцах, өөр өөр параметрүүдийг тохируулах боломжийг олгодог. Энэ нь хөндлөн платформ (Windows, Mac, болон Linux) бөгөөд суулгах процесс нь бусад ширээний програмын адил хялбар юм.
• Ян AI: Энэ нь орчин үеийн интерфэйс, харилцан ярианы хэлхээг зохион байгуулах чадвар, дотоод болон алсын загвартай нийцтэй гэдгээрээ ялгардаг (жишээлбэл, OpenAI-аас, API-ээр дамжуулан). Нэмж дурдахад, энэ нь OpenAI-ийг дуурайлган өөрийн дотоод API-г санал болгож, Jan-ыг ChatGPT API түлхүүр шаарддаг бусад програмуудад AI backend болгон нэгтгэх боломжийг олгодог боловч интернетэд найдахгүйгээр.
• Llama.cpp болон LM Studio: Эдгээр хэрэгслүүд нь танд LLM загваруудыг дотооддоо ажиллуулах боломжийг олгож, Hugging Face болон бусад хадгалах сангаас загваруудын иж бүрэн номын санд хандах боломжийг олгоно.

Үндсэн журам нь ихэвчлэн дараах байдалтай байна. Сонгосон програмаа албан ёсны вэбсайтаас нь татаж аваад систем дээрээ суулгаж, боломжтой загваруудын галерейг (ихэвчлэн "The Hub" эсвэл үүнтэй төстэй гэж нэрлэдэг) харна уу. Тэнд та хүссэн загвараа сонгож, хэмжээ, санах ойн шаардлагыг шалгаж, бүх зүйлийг интерфейсээс татаж авах боломжтой.

Дотооддоо суулгах шилдэг AI загварууд

Нээлттэй эхийн LLM загваруудын ертөнц асар том бөгөөд байнга өсөн нэмэгдэж байна. OpenAI-аас (үүл холболт шаарддаг) санал болгож буй хувилбаруудаас гадна орон нутагт ажиллахад бэлтгэсэн олон хувилбарууд байдаг: Mistral 7B, TinyLlama Chat, Nous Hermes 2, Mixol 8X 7B болон бусад. Эдгээр загваруудын ихэнх нь тоон үзүүлэлттэй байдаг бөгөөд энэ нь бага зай эзэлдэг бөгөөд бага хэмжээний нарийвчлалыг золиослохын тулд бага RAM шаарддаг гэсэн үг юм.

Эхлэгчдэд зориулсан Mistro Instruct 7B эсвэл TinyLlama Chat зэрэг жижиг дунд загваруудыг ашиглахыг зөвлөж байна, учир нь тэдгээр нь хурдан цэнэглэгддэг бөгөөд системийг хэт ачаалдаггүй. Хэрэв таны компьютер илүү их RAM болон хадгалах зайтай бол, жишээ нь зөвхөн загварт зориулж 8 ГБ хүртэлх дискний зай шаардагдахыг мэдэж байгаа тул Mixol 7X 26B гэх мэт илүү бүрэн загваруудыг туршиж үзээрэй.

Бараг бүх программ дээр та загваруудыг хэмжээ, үндсэн хэл, лиценз эсвэл сургасан даалгаврын төрлөөр нь шүүж болно. (текст бичих, код үүсгэх, орчуулга гэх мэт). Загварын зорилго нь илүү тодорхой байх тусам үр дүн нь илүү нарийвчлалтай болно.

Орон нутгийн AI-г суулгах, ашиглах алхам алхмаар үйл явц

1. Програмыг татаж аваад суулгана уу: Өөрийн сонгосон хэрэгслийн албан ёсны вэбсайт руу (жишээ нь, GPT4All эсвэл Jan AI) очиж, үйлдлийн системдээ суулгагчийг татаж аваад дэлгэцэн дээрх алхмуудыг дагана уу. Windows-д энэ нь ихэвчлэн сонгодог шидтэн юм; Mac дээр M1/M2 процессортой компьютерт Rosetta-г идэвхжүүлэх шаардлагатай байж магадгүй; Линукс дээр та DEB эсвэл AppImage багцуудыг ашиглах боломжтой.

2. AI загваруудыг судалж, татаж авах: Програмыг нээсний дараа загвар судлаач руу хандаарай (GPT4All-д энэ нь “Discovery Model Space”, XNUMX-р AI-д “The Hub”). Шүүж, онцлог шинж чанаруудыг шалгаад, танд хамгийн их таалагдах загварыг олвол "Татаж авах" дээр дарна уу. Үргэлжлүүлэхийн өмнө хэмжээ, шаардлагын талаар танд мэдэгдэх болно.

3. Сонголт ба эхний гүйцэтгэл: Загварыг татаж авсны дараа үүнийг програмаас сонгоод шинэ харилцан яриа эсвэл ажил эхлүүлээрэй. Асуулт эсвэл хүсэлтээ бичээд хариултыг хүлээнэ үү. Хэрэв та удаан хариу үйлдэл үзүүлж байгааг анзаарсан бол илүү хөнгөн загвар ашиглаж үзээрэй эсвэл тохиргоог тохируулна уу.

4. Параметрүүдийг тохируулах, туршилт хийх: Ихэнх программуудад та токенуудын хамгийн их тоог (хариултын уртыг хязгаарладаг), температур, top_p гэх мэт бусад мэдээллийг өөрчилж болно. Өөрт тохирох үр дүнгийн хурд болон чанарын тэнцвэрийг олох хүртлээ өөр тохиргоог туршиж үзээрэй.

5. Утаснуудыг зохион байгуулж, өөрчлөх: Олон программууд нь өөр өөр нэр, зорилготой (видео санаа, бүтээлч бичих, кодлоход туслах гэх мэт) харилцан яриа үүсгэх боломжийг олгодог бөгөөд харилцан үйлчлэлийг хялбаршуулдаг хэлхээ тус бүрийн захиалгат зааварчилгааг хадгалах боломжтой.

Нөөцийн менежмент ба гүйцэтгэлийг оновчтой болгох

Орон нутгийн хиймэл оюун ухааны гол хязгаарлалт нь техник хангамж юм. Загвар нь таны RAM-д хэт том байвал удаашрах, гацах, тэр ч байтугай гүйцэтгэлийн алдаа гарч болзошгүй. Шилдэг програмууд нь таны төхөөрөмжид хэт хүнд загвар сонгоход урьдчилан анхааруулга өгдөг.

Jan AI нь дэлгэц дээрх нөөцийн мониторыг нэгтгэснээрээ гайхалтай юм Энэ нь RAM, CPU-ийн зарцуулалт, боловсруулах хурдыг (секундэд токен) бодит цаг хугацаанд харуулдаг. Ингэснээр та багийнхаа хязгаарт байгаа эсэх, эсвэл үүнээс илүүг шахаж чадах эсэхээ үргэлж мэдэж болно.

Хэрэв таны компьютер Nvidia график карттай бөгөөд та түүний давуу талыг ашиглахыг хүсч байвал Зарим програмууд нь CUDA суулгаснаар GPU хурдасгах боломжийг олгодог. Энэ нь хүнд даалгаврын хурдыг нэмэгдүүлэх боломжтой. GPU-ийн дэмжлэгийг зөв суулгаж, идэвхжүүлэхийн тулд албан ёсны баримт бичигт үргэлж хандаарай.

Тоон үзүүлэлтийн давуу тал: илүү хөнгөн, илүү үр ашигтай загварууд

Орон нутгийн хиймэл оюун ухааны тухай ярихад түгээмэл хэрэглэгддэг нэр томъёо бол "квантжуулалт" юм. Энэ нь загварын жинг цөөн биттэй тоо болгон хөрвүүлэх замаар хадгалах нарийвчлалыг бууруулахад чиглэдэг бөгөөд энэ нь загварын диск болон санах ойн хэмжээг эрс багасгаж, хариу өгөх чанарт хамгийн бага нөлөө үзүүлдэг.

Татаж авах боломжтой ихэнх загварууд нь янз бүрийн хувилбаруудад (4-бит, 8-бит гэх мэт) хэмжигдсэн байдаг. Хэрэв таны хүссэн загвар зөвхөн "бүрэн" хувилбарт байгаа бөгөөд танай баг үүнийг хөдөлгөж чадахгүй бол тоо хэмжээг өөрөө тодорхойлох боломжтой програмууд байдаг (жишээлбэл, GPTQ).

Энэ техник Энэ нь хуучин эсвэл нөөц хязгаарлагдмал компьютер дээр хүчирхэг загваруудыг ажиллуулах боломжийг олгодог, хувийн нууцлал, үүлнээс хараат бус байдлыг хадгалахын зэрэгцээ.

Орон нутгийн хиймэл оюун ухааны шилдэг хэрэгслүүдийн харьцуулалт: GPT4All болон Jan AI

Энэ хоёр програм нь таны компьютерийг хүчирхэг AI төв болгон хувиргахад шаардлагатай бүх зүйлийг санал болгодог боловч тус бүр өөрийн сонголтоос хамааран аль нэгийг нь сонгоход туслах өөр өөрийн онцлог шинж чанартай байдаг.

• Хэрэглэхэд хялбар байдал: GPT4 Бүгд Энэ нь маш энгийн, суулгац хурдан бөгөөд загваруудыг татаж авах нь ойлгомжтой, хэрэглэгчдэд ээлтэй интерфэйсээр хийгддэг. Харин Jan AI нь илүү дэвшилтэт яриа зохион байгуулалт, заавар, ажлын урсгалыг өөрчлөх боломжийг санал болгодог.
• Тохиромжтой байдал: Аль аль нь Windows, Mac болон Linux-ийг дэмждэг. Jan AI нь орон нутгийн API-аар дамжуулан бусад програмуудтай шууд нэгтгэдэг.
• Нөөцийн мониторинг: Jan AI нь нөөцийн хэрэглээний бодит цагийн хяналтын самбарыг өгдөг бөгөөд энэ нь хязгаарлалттай багуудад хэрэгтэй. GPT4All нь хамгийн бага шаардлагыг тайлагнаж, таны техник хангамж дутагдаж болзошгүй тохиолдолд танд анхааруулдаг.
• Өргөтгөлүүд: Jan танд GPT4All-д байхгүй функцийг өргөтгөх өргөтгөлүүдийг (жишээлбэл, дээр дурдсан нөөцийн монитор) суулгах боломжийг олгодог.

Миний санал болгож буй зүйл бол хоёуланг нь туршиж үзээд аль нь таны ажлын урсгал болон танай багт хамгийн сайн тохирохыг харах явдал юм.

Алдааг олж засварлах болон түгээмэл асуултууд

AI загваруудыг татаж авах, суулгах үед, ялангуяа том файлуудтай ажиллах эсвэл багийн нөөц хязгаарлагдмал байх үед зарим бэрхшээлтэй тулгарах нь элбэг байдаг. Хамгийн нийтлэг алдаануудын нэг бол татаж авахгүй байх явдал юм. Эдгээр тохиолдолд холболтоо шалгах, дискний зайг арилгах эсвэл програмыг дахин эхлүүлэх нь зүйтэй. Хөтөлбөр тус бүрийн дэмжлэг үзүүлэх нийгэмлэгүүд, мөн тэдний албан ёсны вики эсвэл форумууд нь ихэвчлэн алхам алхмаар шийдлүүдийг өгдөг.

Аюулгүй байдлын хувьд орон нутгийн хиймэл оюун ухааныг ашиглах нь алсын үйлчилгээтэй харилцахаас хамаагүй ил тод байдаг. Таны өгөгдөл болон харилцан ярианы түүх таны төхөөрөмж дээр үлдэх бөгөөд гадны алгоритмуудыг сургахад ашигладаггүй. Гэсэн хэдий ч урьдчилан сэргийлэх үүднээс орон нутгийн хэмжээнд ч гэсэн AI аппликейшн дээр нууц мэдээллийг хуваалцахгүй байхыг зөвлөж байна.

Хэрэв танд илүү их гүйцэтгэл хэрэгтэй бол яах вэ? Хэрэв та RAM-ийн шинэчлэлт (16 эсвэл 32 ГБ) эсвэл орчин үеийн GPU-г төлж чадвал илүү том загварууд илүү жигд ажиллах бөгөөд та олон талт харилцан үйлчлэл (текст, зураг, дуу хоолой) зэрэг дэвшилтэт функцуудыг туршиж үзэх боломжтой болно. Үгүй бол өдөр тутмын ихэнх ажлыг маш сайн гүйцэтгэдэг хөнгөн жинтэй, өндөр оновчтой загварууд байдаг.

Туршлага нь бүрэн офлайн байна: Загваруудыг татаж авсны дараа програм нь интернет холболтгүйгээр ажиллаж, хувийн нууцыг дээд зэргээр хангаж, ямар ч нөхцөлд ажиллах боломжийг олгоно.

Байнга хөгжиж буй орон нутгийн хиймэл оюун ухааны экосистем

Компьютерт зориулсан одоогийн орон нутгийн хиймэл оюун ухааны шийдлүүд нь боловсронгуй байдлын түвшинд хүрсэн нь тэднийг үүлэн үйлчилгээний найдвартай хувилбар болгож байна. Маш олон төрлийн загвар, суулгахад хялбар, тохируулах чадварууд нь хамгийн сүүлийн үеийн хиймэл оюун ухаанд хандах хандалтыг ардчилсан болгож байна.

Google, Microsoft зэрэг компаниуд төвлөрсөн платформуудаар (жишээ нь, AI Hub эсвэл Windows дээрх Copilot гэх мэт) өөрсдийн хувь нэмрийг оруулж байгаа боловч орон нутгийн хиймэл оюун ухааны бодит боломж нь үүнд оршдог. Та өөрийн тусгай төвийг ажлын урсгал, нууцлал, зорилгодоо тохируулан өөрчилж болно..

Таныг хиймэл оюун ухаантай ойлгомжтой хэрэглэгч гэдгээ мэдэж байгаа тул бид танд илүү ихийг сурч, ChatGPT болон бусад програмын боломжуудыг ашиглахыг санал болгож байна, жишээ нь та одоо ChatGPT дээрх үнийн харьцуулалт.

Одоо та өөрийн компьютерийг жинхэнэ хиймэл оюун ухааны төв болгон хувиргахад шаардлагатай багаж хэрэгсэл, заавар, заль мэхийг ашиглах боломжтой. Инноваци, мэдээлэлдээ үнэмлэхүй хяналтыг өөр түвшинд хүргэх. Та одоо компьютерээ орон нутгийн AI төв болгон хэрхэн ашиглахаа мэддэг болсон гэж найдаж байна.