Pehea e hoʻohana ai i kāu PC ma ke ʻano he Hub AI kūloko: He alakaʻi kūpono a hoʻohālikelike

¿Pehea e hoʻohana ai i kāu PC ma ke ʻano he hub AI kūloko? ʻAʻole ʻo ka ʻike artificial ka ʻāina kūʻokoʻa o nā hui nui a i ʻole nā ​​​​poʻe loea ao. ʻOi aku ka nui o nā mea hoʻohana e ʻimi nei e hoʻohana pololei i nā hoʻonā AI mai kā lākou kamepiula pilikino no nā hana mai ka hoʻokumu ʻana i nā kikokikona a hiki i ka hoʻomaʻamaʻa ʻana i nā kaʻina hana noʻonoʻo a i ʻole ka ʻenehana, nā mea āpau me ka pilikino kiʻekiʻe a me ka hilinaʻi ʻole i nā kikowaena waho. E hoʻohuli i kāu PC i kahi kikowaena AI kūloko He ʻoiaʻiʻo kūpono a hiki ke hiki i nā mea hoihoi, ʻoihana a haumāna paha, ʻoiai inā ʻaʻole ʻo kāu mau mea hana.

Ma kēia ʻatikala, e ʻike ʻoe pehea e hoʻololi ai i kāu kamepiula ponoʻī i ke kumu o kāu kaiaola AI. E nānā mākou i nā koho polokalamu ʻoi loa i manaʻo ʻia, nā noʻonoʻo koʻikoʻi e pili ana i ka hāmeʻa, nā hiʻohiʻona, a me nā hiʻohiʻona, me nā pono o ka hana ʻana me AI kūloko e pili ana i ka pilikino a me ka pilikino. Eia kekahi, e alakaʻi au iā ʻoe ma ke koho ʻana, hoʻokomo, a me ka loaʻa ʻana o nā hiʻohiʻona LLM, nā polokalamu, a me nā kumuwaiwai, ka hoʻohālikelike ʻana i nā papahana maikaʻi loa a me ka hāʻawi ʻana i nā ʻōlelo aʻoaʻo e hoʻomaʻamaʻa i kāu ʻike AI, inā ma Windows, Mac, a i ʻole Linux.

No ke aha e hoʻohana ai i kāu PC ma ke ʻano he kikowaena AI kūloko?

ʻO ka hoʻohana ʻana i kāu kamepiula ma ke ʻano he kikowaena AI e hāʻawi i nā pono i paʻakikī ke hoʻohālikelike me nā lawelawe kapua. ʻO kekahi o nā kumu koʻikoʻi ka pilikino: i ka wā e launa pū ai ʻoe me nā chatbots i ke ao, e hoʻopau ʻia kāu ʻikepili a me kāu mau noi ma nā kikowaena ʻaoʻao ʻekolu a, ʻoiai nā hui e hoʻokō i nā hana palekana, Aia mau ka pilikia o ka leaks a hoʻohana hewa paha. ʻO ka hoʻoponopono ʻana i ka ʻike ma ka ʻāina ʻo ia ka mana piha o kāu ʻikepili. ʻAʻohe mea ʻē aʻe i loaʻa i kāu mau nīnau, pane, a i ʻole nā ​​faila.

ʻO kekahi pōmaikaʻi nui ʻo ka nele o nā pono pili pūnaewele. Me kahi ʻōnaehana ma ka hale, hiki iā ʻoe ke hauʻoli i nā hiʻohiʻona AI inā paha he pilina paʻa ʻole kāu, noho i kahi wahi me ka uhi ʻino ʻole, a i ʻole makemake e hana ma waho no nā kumu palekana. Eia kekahi, ʻoi aku ka nui o ka hoʻoponopono: Hiki iā ʻoe ke koho i ke kumu hoʻohālike i kūpono iā ʻoe, hoʻopilikino iā ia i kāu pono, a hoʻoponopono maikaʻi i kēlā me kēia ʻāpana—kahi mea hiki ʻole ke hiki me nā lawelawe kapuaʻi canned.

ʻAʻole i emi iki ka mea nui o ka ʻaoʻao waiwai. ʻOiai ke hāʻawi nei nā lawelawe kapuaʻi i nā mana manuahi, ʻo ka hoʻohana mua ʻana e pili ana i nā kau inoa, nā uku hōʻailona, ​​a i ʻole ka hoʻohana waiwai. I ka hana ʻana ma ka ʻāina, ʻo ka palena wale nō ka hiki o kāu hāmeʻa.

He aha kāu pono e hoʻomaka ai? Paʻa a me nā koi kumu

ʻO ka manaʻo maʻamau e hana pū me AI e koi i nā kamepiula ʻokiʻoki a i ʻole nā ​​GPU ikaika loa i kēia manawa he mea i hala. Ua hoʻolālā ʻia nā ʻōlelo hoʻohālike o kēia manawa e holo ma nā kamepiula home, a ʻo ka nui o lākou, ʻoi aku ka nui o nā mea i helu ʻia, hiki ke holo me ka ʻole o kahi kāleka kiʻi paʻa, hoʻohana wale i ka CPU.

No ka hana maʻemaʻe a me kahi ʻike leʻaleʻa, ʻōlelo ʻia e loaʻa iā 8-16 GB o RAM. a me kahi kaʻina hana hou (Core i5 a i ʻole i7 o ke ono o ka hanauna ma mua, a i ʻole nā ​​mea like ʻo Ryzen). Inā ʻoe e hana nei me nā hiʻohiʻona nui a i ʻole makemake i ka hana wikiwiki, he ʻokoʻa ka GPU me 4GB o VRAM, ʻoi aku no nā hana e like me ka hana kiʻi a i ʻole nā ​​pane kikokikona lōʻihi loa.

Ma Mac, kākoʻo nā ʻāpana Apple M1 a ʻoi aku hoʻi i nā hiʻohiʻona LLM kūloko me nā manawa pane maikaʻi loa. I ka pōkole, inā ʻoi aku ka liʻiliʻi o kāu PC a i ʻole pona ma mua o ʻehiku mau makahiki, hiki paha iā ʻoe ke hoʻomaka i ka hoʻokolohua me AI kūloko.

He aha nā polokalamu a me nā paepae e pono ai ʻoe e hoʻohuli i kāu PC i kahi hub AI kūloko?

ʻO ka puʻuwai o kāu ʻōnaehana AI kūloko ʻo ia nā noi kūikawā e hoʻopili i ke āpau ma waena o kāu hāmeʻa a me nā hiʻohiʻona AI. Ma waena o nā mea kaulana loa no ka maʻalahi o ka hoʻohana, ka mana a me ka maʻalahi, pono e haʻi ʻia:

• GPT4A pau: ʻO kekahi o nā koho kaulana loa a aloha. Hāʻawi ia iā ʻoe e hoʻoiho a hoʻokomo i nā ʻano ʻōlelo he nui, e launa pū me lākou, a hoʻonohonoho i nā ʻāpana like ʻole. He cross-platform (Windows, Mac, a me Linux) a ua maʻalahi kona kaʻina hana e like me nā papahana ʻē aʻe.
• Jan AI: Kūlana ia no kāna interface hou, ka hiki ke hoʻonohonoho i nā pae kamaʻilio, a me kona kūlike me nā hiʻohiʻona kūloko a mamao (mai OpenAI, no ka laʻana, ma o API). Hoʻohui ia, hāʻawi ia i kāna API kūloko e hoʻohālike i ka OpenAI, e ʻae iā Jan e hoʻohui ʻia ma ke ʻano he backend AI i nā noi ʻē aʻe e koi ana i kahi kī ChatGPT API, akā me ka hilinaʻi ʻole i ka Pūnaewele.
• Llama.cpp a me LM Studio: Hāʻawi kēia mau mea hana iā ʻoe e holo i nā hiʻohiʻona LLM ma ka ʻāina a hāʻawi i ke komo i kahi waihona piha o nā hiʻohiʻona mai Hugging Face a me nā waihona ʻē aʻe.

ʻO ke kaʻina hana maʻamau e like me kēia: Hoʻoiho i ka polokalamu i koho ʻia mai kāna pūnaewele kūhelu, e hoʻokomo iā ia ma kāu ʻōnaehana, a nānā i ka hale kiʻi o nā template i loaʻa (kapa pinepine ʻia ʻo "The Hub" a i ʻole like). Ma laila hiki iā ʻoe ke koho i ke kumu hoʻohālike āu e makemake ai, e nānā i kona nui a me nā koi hoʻomanaʻo, a hoʻoiho i nā mea āpau mai ka interface ponoʻī.

Nā hiʻohiʻona AI kiʻekiʻe e hoʻokomo ma ka ʻāina

Nui a ulu mau ka honua o nā kumu hoʻohālike LLM. Ma waho aʻe o nā mea i hāʻawi ʻia e OpenAI (ʻo ia ka mea e koi ai i kahi pilina kapuaʻi), nui nā mea ʻē aʻe i hoʻomākaukau ʻia e hana ma ka ʻāina: Mistral 7B, TinyLlama Chat, Nous Hermes 2, Mixol 8X 7B, a me nā mea ʻē aʻe. ʻO ka nui o kēia mau hiʻohiʻona i helu ʻia, ʻo ia hoʻi, lawe lākou i ka liʻiliʻi o ka lumi a koi i ka liʻiliʻi o ka RAM ma ke kumukūʻai o ka mōhai ʻana i kahi liʻiliʻi o ka pololei.

No ka poʻe hoʻomaka Manaʻo ʻia nā hiʻohiʻona liʻiliʻi liʻiliʻi, e like me Mistro Instruct 7B a i ʻole TinyLlama Chat, no ka mea, hoʻokuʻu koke lākou a ʻaʻole hoʻonui i ka ʻōnaehana. Inā ʻoi aku ka nui o ka RAM a me ka waiho ʻana o kāu kamepiula, e ho'āʻo i nā hiʻohiʻona piha e like me Mixol 8X 7B, me ka ʻike ʻana, no ka laʻana, hiki iā ia ke koi aku i ka 26 GB o ka hakahaka diski no ke kumu hoʻohālike.

Ma kahi kokoke i nā noi āpau hiki iā ʻoe ke kānana i nā hiʻohiʻona e pili ana i ko lākou nui, ka ʻōlelo mua, nā laikini a i ʻole ke ʻano o nā hana i aʻo ʻia ai lākou. (ke kākau kikokikona, ka hana code, ka unuhi, a pēlā aku). ʻOi aku ka kikoʻī o ke kumu hoʻohālike, ʻoi aku ka pololei o nā hopena āu e loaʻa ai.

ʻO ke kaʻina hana no ka hoʻokomo ʻana a me ka hoʻohana ʻana iā AI kūloko

1. Hoʻoiho a hoʻokomo i ka polokalamu: E hele i ka pūnaewele mana o kāu mea hana makemake (e laʻa, GPT4All a i ʻole Jan AI), hoʻoiho i ka mea hoʻonohonoho no kāu ʻōnaehana hana, a hahai i nā ʻanuʻu ma ka ʻaoʻao. Ma Windows, he kupua maʻamau ia; Ma Mac, pono paha e hoʻohana iā Rosetta no nā kamepiula me ka mīkini M1/M2; Ma Linux, loaʻa iā ʻoe nā pūʻolo DEB a i ʻole AppImage.

2. E ʻimi a hoʻoiho i nā kumu hoʻohālike AI: Ke wehe ʻoe i ka noi, e komo i ka mea ʻimi kumu hoʻohālike (ma GPT4All ʻo ia ka "Discovery Model Space", ma Jan AI, "The Hub"). Kānā, nānā i nā hiʻohiʻona, a ke ʻike ʻoe i ke kumu hoʻohālike i makemake nui ʻia iā ʻoe, kaomi iā "Download." E hoʻomaopopo ʻia ʻoe i ka nui a me nā koi ma mua o ka hoʻomau ʻana.

3. Koho a me ka hana mua: Ke hoʻoiho ʻia ka template, koho iā ia ma ka app a hoʻomaka i kahi kamaʻilio hou a i ʻole hana. E kākau i kāu nīnau a i ʻole noi a kali i ka pane. Inā ʻike ʻoe i nā pane lohi, e hoʻohana i nā hiʻohiʻona māmā a i ʻole e hoʻololi i nā hoʻonohonoho.

4. Hoʻoponopono i nā ʻāpana a me ka hoʻokolohua: Ma ka hapanui o nā polokalamu hiki iā ʻoe ke hoʻololi i ka helu kiʻekiʻe o nā hōʻailona (e kaupalena ana i ka lōʻihi o nā pane), a me nā kikoʻī ʻē aʻe e like me ka mahana, top_p, etc.

5. Hoʻonohonoho a hoʻopilikino i nā loina: Nui nā polokalamu e ʻae iā ʻoe e hana i nā loina kamaʻilio me nā inoa a me nā kumu like ʻole (nā manaʻo wikiō, kākau kākau, kōkua me ka coding, etc.), a hiki iā ʻoe ke mālama i nā ʻōlelo aʻoaʻo maʻamau no kēlā me kēia pae, e hoʻopololei ana i ka pilina.

Ka hoʻokele waiwai a me ka loiloi hana

ʻO ka palena nui o AI kūloko ʻo ia ka lako. Ke nui loa ke kumu hoʻohālike no kāu RAM, hiki ke lohi, hāʻule, a i ʻole nā ​​​​hewa hoʻokō. Hāʻawi nā polokalamu maikaʻi loa i nā ʻōlelo aʻo mua ke koho ʻoe i kahi kumu hoʻohālike kaumaha loa no kāu kelepona.

ʻOi maikaʻi ʻo Jan AI ma o ka hoʻohui ʻana i kahi mākaʻikaʻi waiwai ma ka pale e hōʻike ana iā ʻoe i ka manawa maoli i ka hoʻohana ʻana i ka RAM, CPU a me ka wikiwiki o ka hoʻoili ʻana (nā hōʻailona i kekona). Ma kēia ala, hiki iā ʻoe ke ʻike mau inā aia kāu hui i kona palena a i ʻole hiki iā ʻoe ke ʻoki hou aʻe mai ia mea.

Inā he kāleka kiʻi Nvidia kāu PC a makemake ʻoe e hoʻohana pono iā ia, Hāʻawi kekahi mau noi i ka wikiwiki GPU ma ke kau ʻana iā CUDA. Hiki i kēia ke hoʻonui i ka wikiwiki i nā hana kaumaha. E nānā mau i ka palapala mana e hoʻokomo pono a hiki i ke kākoʻo GPU.

Nā mea maikaʻi o ka helu helu: nā hiʻohiʻona māmā a ʻoi aku ka maikaʻi

ʻO kahi huaʻōlelo maʻamau ke kamaʻilio e pili ana i ka AI kūloko he "quantization." ʻO kēia ka hoʻemi ʻana i ka pololei o ka mālama ʻana i nā kaupaona kumu hoʻohālike ma o ka hoʻololi ʻana iā lākou i mau helu me ka liʻiliʻi liʻiliʻi, kahi e hōʻemi nui ai i ka disk a me ka nui o ka hoʻomanaʻo, me ka liʻiliʻi o ka hopena i ka maikaʻi o ka pane.

ʻO ka hapa nui o nā hiʻohiʻona hiki ke hoʻoiho ʻia i ka nui o nā ʻano like ʻole (4-bit, 8-bit, etc.). Inā loaʻa wale ke kumu hoʻohālike āu e makemake ai i kahi mana "piha" a ʻaʻole hiki i kāu hui ke neʻe iā ia, aia nā noi e ʻae iā ʻoe e helu iā ʻoe iho (e laʻa, GPTQ).

Kēiaʻano hana hiki iā ia ke holo i nā hiʻohiʻona ikaika ma nā PC kahiko a i ʻole kumu waiwai, ʻoiai e mālama ana i ka pilikino a me ke kūʻokoʻa mai ke ao.

Hoʻohālikelike o nā mea hana AI kūloko maikaʻi loa: GPT4All vs. Jan AI

Hāʻawi nā noi ʻelua i nā mea āpau āu e pono ai e hoʻololi i kāu PC i kahi hub AI ikaika, akā aia kēlā me kēia me kāna mau hiʻohiʻona ponoʻī e kōkua iā ʻoe e koho i kekahi a i ʻole ma muli o kāu makemake.

• ʻAʻohe pono: GPT4A pau He mea maʻalahi loa, wikiwiki ka hoʻouka ʻana a hoʻoiho ʻia nā hiʻohiʻona mai kahi maʻalahi a me ka mea hoʻohana. ʻO Jan AI, ma ka ʻaoʻao ʻē aʻe, hāʻawi i ka hui kamaʻilio ʻoi aku ka holomua a me ka hiki ke hana hou i nā ʻōlelo aʻoaʻo a me nā kahe hana.
• Pāʻani: Kākoʻo lāua ʻelua i ka Windows, Mac a me Linux. Hoʻohui ʻo Jan AI i ka hoʻopili pololei ʻana me nā noi ʻē aʻe ma o kāna API kūloko.
• Mākaʻikaʻi waiwai: Hāʻawi ʻo Jan AI i kahi dashboard manawa maoli o ka hoʻohana waiwai, pono no nā hui me nā kaohi. Hōʻike ʻo GPT4All i nā koi liʻiliʻi a ʻōlelo aku iā ʻoe inā e hāʻule paha kāu hāmeʻa.
• Mea hoʻolōʻihi: Hāʻawi ʻo Jan iā ʻoe e hoʻokomo i nā mea hoʻonui e hoʻonui i ka hana (no ka laʻana, ka nānā ʻana i nā kumuwaiwai i ʻōlelo ʻia aʻe), ʻaʻole i loaʻa ma GPT4All.

ʻO kaʻu manaʻo e hoʻāʻo i nā mea ʻelua a ʻike i ka mea kūpono i kāu kaila hana a me kāu hui.

Hoʻoponopono pilikia a me nā FAQ

He mea maʻamau ka loaʻa ʻana o kekahi mau pilikia i ka hoʻoiho ʻana a hoʻokomo ʻana i nā hiʻohiʻona AI, ʻoi aku hoʻi i ka wā e pili ana i nā faila nui a i ʻole nā ​​​​kumu waiwai ma kahi hui. ʻO kekahi o nā hewa maʻamau ʻo ka hiki ʻole ke kiʻi. I kēia mau hihia, he manaʻo maikaʻi e nānā i kāu pilina, wehe i ka hakahaka disk, a i ʻole e hoʻomaka hou i ka noi. Hāʻawi pinepine nā kaiāulu kākoʻo o kēlā me kēia papahana, a me kā lākou wiki a i ʻole nā ​​ʻaha kūkā.

Ma ke ʻano o ka palekana, ʻoi aku ka maʻalahi o ka hoʻohana ʻana i ka AI kūloko ma mua o ka launa pū ʻana me nā lawelawe mamao. Noho kāu ʻikepili a me ka mōʻaukala kamaʻilio ma kāu kelepona a ʻaʻole hoʻohana ʻia e aʻo i nā algorithm waho. Eia nō naʻe, ma ke ʻano he mea e mālama ai, ʻōlelo ʻia ʻaʻole e kaʻana like i ka ʻike koʻikoʻi i kekahi noi AI, ʻoiai ma ka ʻāina.

He aha inā makemake ʻoe i ka hana hou aku? Inā hiki iā ʻoe ke hoʻonui i ka RAM (16 a i ʻole 32 GB) a i ʻole GPU hou, e holo mālie nā hiʻohiʻona nui a hiki iā ʻoe ke hoʻokolohua me nā hiʻohiʻona kiʻekiʻe e like me ka pilina multimodal (kikokikona, kiʻi, leo). A i ʻole, aia nā hiʻohiʻona māmā a maikaʻi loa e hana maikaʻi loa i ka hapa nui o nā hana o kēlā me kēia lā.

Pahemo loa ka ʻike: Ke hoʻoiho ʻia nā hiʻohiʻona, hana ka palapala noi me ka ʻole o kahi pilina pūnaewele, hoʻonui i ka pilikino a ʻae iā ʻoe e hana i kēlā me kēia kūlana.

He kaiaola AI kūloko e ulu mau nei

ʻO nā ʻōnaehana AI kūloko o kēia manawa no nā PC ua hiki i kahi pae o ke oʻo ʻana i kēia manawa e hoʻolilo iā lākou i kahi koho paʻa i nā lawelawe kapua. ʻO ka nui o nā hiʻohiʻona, ka maʻalahi o ka hoʻonohonoho ʻana, a me ka hiki ke hoʻoponopono i ka democratizing i ke komo ʻana i ka naʻauao artificial ʻokiʻoki.

Ke hāʻawi pū nei nā ʻoihana e like me Google a me Microsoft i kā lākou ʻāpana ma o nā kikowaena kikowaena (e like me AI Hub a i ʻole Copilot ma Windows), akā ʻo ka hiki maoli o AI kūloko i ka ʻoiaʻiʻo. Hiki iā ʻoe ke hoʻololi i kāu hub maʻamau i kāu kaila hana, pilikino, a me nā pahuhopu..

I ka ʻike ʻana he mea hoʻohana AI ʻoe, manaʻo mākou e hoʻomaka ʻoe e aʻo hou aʻe a hoʻohana i nā mana o ChatGPT a me nā mea ʻē aʻe, no ka mea, no ka laʻana, hiki iā ʻoe ke loaʻa i kahi hoʻohālikelike kumukūʻai ma ChatGPT.

Aia iā ʻoe i kēia manawa nā mea hana, nā alakaʻi a me nā hoʻopunipuni e pono ai e hoʻololi i kāu PC i kahi hub naʻauao maoli maoli, Ka lawe ʻana i ka hana hou a me ka mana piha i kāu ʻike i kahi pae ʻē aʻe. Manaʻo mākou ua ʻike ʻoe i kēia manawa pehea e hoʻohana ai i kāu PC ma ke ʻano he hub AI kūloko.