Mar a chleachdas tu do PC mar Mheadhan Ionadail AI: Stiùireadh Practaigeach agus Coimeasach

¿Ciamar a chleachdas tu do PC mar ionad ionadail AI? Chan e raon sònraichte do chompanaidhean mòra no eòlaichean sgòthan a th’ ann an inntleachd fuadain tuilleadh. Tha barrachd is barrachd luchd-cleachdaidh a’ coimhead ri fuasglaidhean AI a chleachdadh gu dìreach bho na coimpiutairean pearsanta aca airson gnìomhan bho bhith a’ gineadh teacsa gu bhith ag fèin-ghluasad phròiseasan cruthachail no teicnigeach, uile leis a’ phrìobhaideachd as motha agus gun a bhith an urra ri frithealaichean taobh a-muigh. Tionndaidh do PC gu bhith na ionad ionadail AI ’S e fìrinn aig prìs reusanta a th’ ann agus tha e ruigsinneach do cha mhòr neach-dealasach, proifeasanta no oileanach sam bith, eadhon ged nach eil an uidheamachd agad den ìre as àirde.

San artaigil seo, gheibh thu a-mach mar as urrainn dhut do choimpiutair fhèin a thionndadh gu bhith na chridhe den eag-shiostam AI agad. Seallaidh sinn air na roghainnean bathar-bog as motha a thathar a’ moladh, prìomh bheachdachaidhean a thaobh bathar-cruaidh, modailean agus feartan, còmhla ri buannachdan a bhith ag obair le AI ionadail a thaobh prìobhaideachd agus pearsanachadh. A bharrachd air sin, stiùiridh mi thu tro bhith a’ taghadh, a’ stàladh, agus a’ faighinn a’ chuid as fheàrr às modalan, aplacaidean agus goireasan LLM, a’ dèanamh coimeas eadar na prògraman as fheàrr agus a’ tabhann mholaidhean gus an eòlas AI agad a dhèanamh rèidh agus tèarainte, ge bith an ann air Windows, Mac no Linux.

Carson a chleachdas tu do PC mar ionad ionadail AI?

Tha buannachdan ann a bhith a’ cleachdadh a’ choimpiutair agad mar àrd-ùrlar meadhanach airson AI a tha duilich a choimeas ri seirbheisean sgòthan. Is e prìobhaideachd aon de na h-adhbharan as cudromaiche: nuair a bhios tu ag eadar-obrachadh le botaichean cabadaich san sgòth, bidh an dàta agus na h-iarrtasan agad air an stòradh air frithealaichean treas-phàrtaidh agus, ged a bhios companaidhean a’ cur ceumannan tèarainteachd an gnìomh, Tha cunnart ann an-còmhnaidh gum bi aodion no droch chleachdadh ann. Tha giullachd fiosrachaidh gu h-ionadail a’ ciallachadh gu bheil smachd iomlan agad air an dàta agad. Chan eil cothrom aig duine sam bith eile air na ceistean, na freagairtean no na faidhlichean agad.

Is e buannachd mhòr eile nach eil riatanasan ceangail eadar-lìn ann. Le siostam air an làrach, faodaidh tu tlachd fhaighinn bho fheartan AI eadhon ged a tha ceangal neo-sheasmhach agad, ma tha thu a’ fuireach ann an sgìre le droch chòmhdach, no dìreach ma tha thu airson obrachadh far-loidhne airson adhbharan tèarainteachd. A bharrachd air sin, tha gnàthachadh mòran nas motha: Faodaidh tu am modail a tha freagarrach dhut a thaghadh, a ghnàthachadh a rèir do fheumalachdan, agus gach paramadair atharrachadh - rudeigin nach eil glè ainneamh comasach le seirbheisean sgòthan stèidhichte.

Chan eil an taobh eaconamach cho cudromach. Ged a tha seirbheisean sgòthan a’ tabhann dreachan an-asgaidh, tha cleachdadh adhartach a’ toirt a-steach fo-sgrìobhaidhean, pàighidhean chomharran, no caitheamh ghoireasan. Nuair a bhios tu ag obair gu h-ionadail, is e comas do bhathar-chruaidh an aon chrìoch.

Dè a dh’fheumas tu airson tòiseachadh? Bathar-cruaidh agus riatanasan bunaiteach

Tha am beachd coitcheann gum feum coimpiutairean ùr-nodha no GPUan fìor chumhachdach a bhith ag obair le AI a-nis na rud den àm a dh’ fhalbh. Chaidh modalan cànain gnàthach a bharrrachadh gus ruith air coimpiutairean dachaigh, agus mòran dhiubh, gu h-àraidh an fheadhainn a chaidh a thomhas, faodaidh e ruith eadhon às aonais cairt grafaiceachd sònraichte, a’ cleachdadh an CPU a-mhàin.

Airson obrachadh rèidh agus eòlas tlachdmhor, thathar a’ moladh co-dhiù 8-16 GB de RAM a bhith agad. agus pròiseasar reusanta ùr-nodha (Core i5 no i7 den t-siathamh ginealach air adhart, no co-ionannachdan Ryzen). Ma tha thu ag obair le modalan nas motha no ma tha thu ag iarraidh coileanadh nas luaithe, bidh GPU le 4GB de VRAM a’ dèanamh diofar, gu sònraichte airson gnìomhan leithid gineadh ìomhaighean no freagairtean teacsa glè fhada.

Air Mac, bidh sgoltagan Apple M1 agus nas àirde cuideachd a’ toirt taic do mhodalan LLM ionadail le amannan freagairt glè mhath. Ann an ùine ghoirid, ma tha do PC no laptop nas lugha na seachd bliadhna a dh'aois, is dòcha gum faod thu tòiseachadh air deuchainnean a dhèanamh le AI ionadail.

Dè na h-aplacaidean agus na h-àrd-ùrlaran a dh’ fheumas tu gus do PC a thionndadh gu bhith na ionad ionadail AI?

Is e cridhe an t-siostaim AI ionadail agad na h-aplacaidean sònraichte a bhios a’ lìonadh a’ bheàirn eadar do bhathar-chruaidh agus modalan AI. Am measg an fheadhainn as ainmeile airson an furastachd cleachdaidh, cumhachd agus sùbailteachd, is fhiach iomradh a thoirt air:

• GPT4 Uile: Aon de na roghainnean as mòr-chòrdte agus as càirdeile. Leigidh e leat iomadh modail cànain a luchdachadh sìos agus a stàladh, eadar-obrachadh leotha, agus diofar pharaimearan a rèiteachadh. Tha e thar-àrd-ùrlar (Windows, Mac, agus Linux) agus tha a phròiseas stàlaidh cho sìmplidh ri prògram deasg sam bith eile.
• Iain AI: Tha e a’ seasamh a-mach airson an eadar-aghaidh ùr-nodha aige, a’ chomas snàithleanan còmhraidh a chuir air dòigh, agus a cho-chòrdalachd le modalan ionadail agus iomallach (bho OpenAI, mar eisimpleir, tro API). A bharrachd air sin, tha e a’ tabhann an API ionadail aige fhèin a bhios ag atharrais air OpenAI, a’ leigeil le Jan a bhith air a thoirt a-steach mar chùl-raon AI ann an aplacaidean eile a dh’ fheumas iuchair API ChatGPT, ach gun a bhith an urra ris an eadar-lìon.
• Llama.cpp agus Stiùidio LM: Leigidh na h-innealan seo leat modalan LLM a ruith gu h-ionadail agus cothrom a thoirt dhut air leabharlann fharsaing de mhodalan bho Hugging Face agus stòran-dàta eile.

Mar as trice bidh am modh-obrach bunaiteach mar a leanas: Luchdaich sìos an aplacaid a thagh thu bhon làrach-lìn oifigeil aige, stàlaich e air an t-siostam agad, agus brobhs tron ​​ghailearaidh de theamplaidean a tha rim faighinn (ris an canar gu tric “The Hub” no rudeigin coltach ris). An sin faodaidh tu am modail a tha thu ag iarraidh a thaghadh, sùil a thoirt air a mheud agus riatanasan cuimhne, agus a h-uile càil a luchdachadh sìos bhon eadar-aghaidh fhèin.

Prìomh mhodalan AI airson an stàladh gu h-ionadail

Tha saoghal nam modalan LLM stòr fosgailte farsaing agus a’ sìor fhàs. A bharrachd air an fheadhainn a tha OpenAI a’ tabhann (a dh’ fheumas ceangal sgòthan), tha mòran roghainnean eile deiseil airson obrachadh gu h-ionadail: Mistral 7B, TinyLlama Chat, Nous Hermes 2, Mixol 8X 7B, am measg feadhainn eile. Tha mòran de na modailean sin air an tomhas, agus tha sin a’ ciallachadh gu bheil iad a’ gabhail nas lugha de dh’àite agus a’ feumachdainn nas lugha de RAM aig cosgais beagan cruinneas a chall.

Do luchd-tòiseachaidh Thathas a’ moladh modailean beaga is meadhanach, leithid Mistro Instruct 7B no TinyLlama Chat, oir bidh iad a’ leigeil às gu luath agus chan eil iad a’ cur cus luchd air an t-siostam. Ma tha barrachd RAM agus àite stòraidh aig a’ choimpiutair agad, feuch modalan nas coileanta mar Mixol 8X 7B, agus fios agad, mar eisimpleir, gum faod e suas ri 26 GB de dh’àite diosc a dhìth airson a’ mhodail a-mhàin.

Anns cha mhòr a h-uile aplacaid faodaidh tu modailean a shìoladh a rèir am meud, am prìomh chànan, ceadan no an seòrsa ghnìomhan air an deach an trèanadh. (sgrìobhadh teacsa, gineadh còd, eadar-theangachadh, msaa.). Mar as sònraichte a tha adhbhar a’ mhodail, ’s ann as cruinne a gheibh thu na toraidhean.

Am pròiseas ceum air cheum airson AI ionadail a stàladh agus a chleachdadh

1. Luchdaich sìos agus stàlaich an aplacaid: Rach gu làrach-lìn oifigeil an inneil as fheàrr leat (me, GPT4All no Jan AI), luchdaich sìos an stàlaichear airson an t-siostaim obrachaidh agad, agus lean na ceumannan air an sgrion. Ann an Windows, mar as trice is e draoidh clasaigeach a th’ ann; Air Mac, is dòcha gum feumar Rosetta a chomasachadh airson coimpiutairean le pròiseasar M1/M2; Air Linux, bidh pacaidean DEB no AppImage agad ri fhaighinn.

2. Rannsaich agus luchdaich sìos modailean AI: Cho luath ‘s a dh’fhosglas tu an aplacaid, faigh cothrom air an rannsachair modail (ann an GPT4All is e an “Discovery Model Space” a th’ ann, ann an Jan AI, “The Hub”). Criathraich, dèan lèirmheas air feartan, agus nuair a lorgas tu am modail a tha a’ còrdadh riut as motha, cliog air “Luchdaich sìos”. Thèid innse dhut mun mheud agus na riatanasan mus lean thu air adhart.

3. Taghadh agus a’ chiad chur an gnìomh: Cho luath ‘s a bhios an teamplaid air a luchdachadh sìos, tagh e san aplacaid agus tòisich còmhradh no gnìomh ùr. Sgrìobh do cheist no d’ iarrtas agus feith air freagairt. Ma mhothaicheas tu freagairtean slaodach, feuch ri modalan nas aotroime a chleachdadh no atharraich na roghainnean.

4. Atharraich paramadairean agus dèan deuchainn: Anns a’ mhòr-chuid de phrògraman faodaidh tu an àireamh as motha de chomharran atharrachadh (a chuireas crìoch air fad nam freagairtean), a bharrachd air mion-fhiosrachadh eile leithid teòthachd, top_p, msaa. Feuch diofar shuidheachaidhean gus am faigh thu cothromachadh eadar astar agus càileachd nan toraidhean a tha ag obair dhutsa.

5. Cuir snàithleanan air dòigh agus gnàthaich iad: Leigidh mòran phrògraman leat snàithleanan còmhraidh a chruthachadh le diofar ainmean agus adhbharan (beachdan bhidio, sgrìobhadh cruthachail, cuideachadh le còdadh, msaa.), agus faodaidh tu cuideachd stiùiridhean gnàthaichte a shàbhaladh airson gach snàth, a bhios a’ sìmpleachadh eadar-obrachadh.

Riaghladh ghoireasan agus leasachadh coileanaidh

Is e bathar-cruaidh am prìomh chuingealachadh air AI ionadail: Nuair a bhios am modail ro mhòr airson an RAM agad, faodaidh slaodachadh, tubaistean, no eadhon mearachdan cur gu bàs tachairt. Bidh na h-aplacaidean as fheàrr a’ tabhann rabhaidhean ro-làimh nuair a thaghas tu modail a tha ro throm airson an inneil agad.

Tha Jan AI a’ soirbheachadh le bhith ag amalachadh monitor ghoireasan air an sgrion a sheallas dhut ann an àm fìor caitheamh RAM, CPU agus astar giollachd (comharran gach diog). San dòigh seo, bidh fios agad an-còmhnaidh a bheil an sgioba agad aig an ìre as àirde no an urrainn dhut barrachd fhaighinn a-mach às fhathast.

Ma tha cairt grafaiceachd Nvidia aig a’ PC agad agus ma tha thu airson brath a ghabhail air, Leigidh cuid de thagraidhean le luathachadh GPU le bhith a’ stàladh CUDA. Faodaidh seo an astar a mheudachadh ann an gnìomhan troma. Thoir sùil an-còmhnaidh air na sgrìobhainnean oifigeil gus taic GPU a stàladh agus a chomasachadh gu ceart.

Buannachdan tomhais: modailean nas aotroime agus nas èifeachdaiche

Is e “cainnteachadh” teirm chumanta nuair a thathar a’ bruidhinn mu AI ionadail. Tha seo a’ toirt a-steach lùghdachadh cruinneas stòraidh cuideaman modail le bhith gan tionndadh gu àireamhan le nas lugha de bhiteagan, a lùghdaicheas meud diosc is cuimhne a’ mhodail gu mòr, le glè bheag de bhuaidh air càileachd freagairt.

Tha a’ mhòr-chuid de mhodailean a ghabhas luchdachadh a-nuas a’ tighinn air an tomhas ann an diofar dhreachan mu thràth (4-bit, 8-bit, msaa.). Mura h-eil am modail a tha thu ag iarraidh ann ach ann an dreach “iomlan” agus mura h-urrainn don sgioba agad a ghluasad, tha aplacaidean ann a leigeas leat a thomhas thu fhèin (mar eisimpleir, GPTQ).

An dòigh seo a’ dèanamh e comasach modalan cumhachdach a ruith air PCan nas sine no le goireasan cuibhrichte, fhad ’s a tha prìobhaideachd agus neo-eisimeileachd bhon sgòth ga chumail suas.

Coimeas eadar na h-innealan AI ionadail as fheàrr: GPT4All an aghaidh Jan AI

Tha an dà aplacaid a’ tabhann a h-uile dad a dh’ fheumas tu gus do PC a thionndadh gu bhith na ionad cumhachdach AI, ach tha feartan sònraichte aig gach fear a dh’ fhaodadh do chuideachadh le bhith a’ taghadh fear no am fear eile a rèir do roghainnean.

• Cleachdadh furasta: GPT4 uile Tha e gu math sìmplidh, tha an stàladh luath agus tha luchdachadh sìos mhodalan air a dhèanamh bho eadar-aghaidh soilleir is furasta a chleachdadh. Air an làimh eile, tha Jan AI a’ tabhann eagrachadh còmhraidh nas adhartaiche agus a’ chomas stiùiridhean agus sruthan-obrach a ghnàthachadh tuilleadh.
• Co-fhreagarrachd: Tha an dà chuid a’ toirt taic do Windows, Mac agus Linux. Bidh Jan AI a’ cur amalachadh dìreach ri aplacaidean eile tron ​​API ionadail aige.
• Sgrùdadh ghoireasan: Tha Jan AI a’ toirt seachad deas-bhòrd fìor-ùine de chaitheamh ghoireasan, a tha feumail do sgiobaidhean le cuingealachaidhean. Bidh GPT4All ag aithris nan riatanasan as ìsle agus a’ toirt rabhadh dhut ma dh’ fhaodadh do bhathar-cruaidh a bhith easbhaidheach.
• Leudachain: Leigidh Jan leat leudachaidhean a stàladh a leudaicheas an comas-gnìomh (mar eisimpleir, an sgrùdaiche ghoireasan a chaidh ainmeachadh), nach eil an làthair ann an GPT4All.

Is e mo mholadh feuchainn air an dà chuid agus faicinn dè am fear as fheàrr a fhreagras air an t-sruth-obrach agad agus air an sgioba agad.

Fuasgladh dhuilgheadasan agus Ceistean Cumanta

Tha e cumanta coinneachadh ri cuid de dhùbhlain nuair a bhios tu a’ luchdachadh sìos agus a’ stàladh mhodalan AI, gu h-àraidh nuair a bhios tu a’ dèiligeadh ri faidhlichean mòra no le goireasan gann air sgioba. Is e aon de na mearachdan as cumanta fàilligeadh ann a bhith a’ faighinn. Anns na cùisean seo, ’s e deagh bheachd a th’ ann sùil a thoirt air a’ cheangal agad, àite diosc a ghlanadh, no an aplacaid ath-thòiseachadh. Bidh coimhearsnachdan taic gach prògraim, a bharrachd air na wikis no fòraman oifigeil aca, gu tric a’ toirt seachad fuasglaidhean ceum air cheum.

A thaobh tèarainteachd, tha cleachdadh AI ionadail tòrr nas soilleire na bhith ag eadar-obrachadh le seirbheisean iomallach. Bidh an dàta agus eachdraidh còmhraidh agad a’ fuireach air an inneal agad agus chan eilear gan cleachdadh gus algairidhean taobh a-muigh a thrèanadh. Ach, mar rabhadh, thathas a’ moladh gun a bhith a’ roinn fiosrachadh mothachail ann an aplacaid AI sam bith, eadhon gu h-ionadail.

Dè ma tha feum agad air barrachd coileanaidh? Ma tha e comasach dhut ùrachadh RAM (16 no 32 GB) no GPU ùr-nodha a phàigheadh, bidh modailean nas motha ag obair nas socair agus bidh e comasach dhut feuchainn ri feartan adhartach leithid eadar-obrachadh ioma-mhodhail (teacsa, ìomhaigh, guth). Rud eile, tha modalan aotrom, air an leasachadh gu mòr ann a bhios ag obair gu math anns a’ mhòr-chuid de ghnìomhan làitheil.

Tha an t-eòlas gu tur far-loidhne: Cho luath ‘s a bhios na modailean air an luchdachadh sìos, bidh an aplacaid ag obair às aonais ceangal eadar-lìn, a’ meudachadh prìobhaideachd agus a’ leigeil leat obrachadh ann an suidheachadh sam bith.

Eag-shiostam ionadail AI a tha an-còmhnaidh ag atharrachadh

Tha fuasglaidhean ionadail AI gnàthach airson PCan air ìre aibidh a ruighinn a tha gan dèanamh nan roghainn eile làidir an àite seirbheisean sgòthan. Tha an raon farsaing de mhodalan, cho furasta ‘s a tha iad an stàladh, agus na comasan gnàthachaidh a’ dèanamh ruigsinneachd nas deamocrataiche gu inntleachd fuadain ùr-nodha.

Tha companaidhean mar Google agus Microsoft cuideachd a’ cur ris an cuid tro àrd-ùrlaran meadhanaichte (me AI Hub no Copilot air Windows), ach tha fìor chomas AI ionadail anns an fhìrinn gu bheil Faodaidh tu an t-ionad gnàthaichte agad a ghnàthachadh a rèir do shruthan-obrach, prìobhaideachd agus amasan sònraichte..

Le fios agad gu bheil thu nad neach-cleachdaidh AI soilleir, tha sinn a’ moladh gun tòisich thu ag ionnsachadh barrachd agus gun gabh thu brath air comasan ChatGPT agus feadhainn eile, oir mar eisimpleir, faodaidh tu a-nis a bhith agad coimeas prìsean air ChatGPT.

A-nis tha na h-innealan, na stiùiridhean agus na cleasan a dh’ fheumar agad ri làimh gus do PC a thionndadh gu bhith na fhìor ionad inntleachd fuadain, A’ toirt ùr-ghnàthachadh agus smachd iomlan air an fhiosrachadh agad gu ìre eile. Tha sinn an dòchas gu bheil fios agad a-nis mar a chleachdas tu do PC mar mhòr-ionad ionadail AI.

Garcia Crìosdail

Tha e dìoghrasach mu theicneòlas bho bha e beag. Is toil leam a bhith ùraichte san roinn agus, os cionn a h-uile càil, a bhith ga conaltradh. Sin as coireach gu bheil mi air a bhith gu sònraichte airson conaltradh air làraich-lìn teicneòlas agus geama bhidio airson grunn bhliadhnaichean. Lorgaidh tu mi a’ sgrìobhadh mu Android, Windows, macOS, iOS, Nintendo no cuspair co-cheangailte sam bith eile a thig nam inntinn.