- Hele mai ʻo gpt-oss-20b ma ke ʻano he kumu hoʻohālike hāmama me ka hoʻokō kūloko a me ka pōʻaiapili lōʻihi (a hiki i 131.072 mau hōʻailona).
- Hoʻonui ʻia no NVIDIA RTX: Hōʻike ʻia nā wikiwiki a hiki i 256 t/s; Lawe ʻo VRAM e mālama i ka hana.
- Maʻalahi e hoʻohana me Ollama a me nā mea ʻē aʻe e like me llama.cpp, GGML, a me Microsoft AI Foundry Local.
- Loaʻa pū ʻia ma Intel AI Playground 2.6.0, me nā ʻōnaehana hou a me ka hoʻokele kaiapuni i hoʻomaikaʻi ʻia.
ʻO ka hōʻeaʻana o gpt-oss-20b no hoʻohana kūloko lawe mai i kahi kumu hoʻohālike ikaika e holo pololei ana ma ka PC i nā mea hoʻohana hou aku. ʻO kēia paʻi, i kūlike me ka ʻO ka hoʻonui ʻana no nā NVIDIA RTX GPU, wehe i ka puka no ke koi ʻana i nā kahe hana me ka hilinaʻi ʻole i ke ao.
Akaka ka manaʻo: e hāʻawi kaumaha hāmama me ka pōʻaiapili lōʻihi loa no nā hana paʻakikī e like me nā ʻimi holomua, noiʻi, kōkua code a i ʻole kamaʻilio lōʻihi, e hoʻokumu ana i ka hūnā pilikino a me ka hoʻokele waiwai i ka wā e hana ai ma ka ʻāina.
He aha ka mea a gpt-oss-20b e hāʻawi ai i ka wā e holo ai ma ka ʻāina?
Hoʻomaka ka ʻohana gpt-oss me nā hiʻohiʻona o nā mea kaupaona hāmama i hoʻolālā ʻia e hoʻohui maʻalahi i kāu mau haʻina ponoʻī. ʻOiaʻiʻo, gpt-oss-20b Kū i waho no ke kaupaona ʻana i ka mana noʻonoʻo a me nā pono lako pono no kahi PC papa.
ʻO kahi hiʻohiʻona ʻokoʻa ka puka aniani hoʻonui, me ke kākoʻo a hiki i ka 131.072 hōʻailona ma ka laulā gpt-oss. Mālama kēia lōʻihi kamaʻilio lōʻihi, ka nānā ʻana o nā palapala voluminous a i ʻole nā kaulahao hohonu o ka noʻonoʻo me ka ʻoki ʻole a ʻokiʻoki ʻole.
Hoʻohālikelike ʻia me nā hiʻohiʻona i pani ʻia, ʻoi aku ka nui o ka manaʻo hāmama i ka hiki ke hoʻohui i nā noi: mai nā mea kōkua me nā mea hana (agent) ʻoiai nā plugins no noiʻi, ʻimi pūnaewele a me nā polokalamu, nā mea a pau e hoʻohana ana i ka manaʻo kūloko.
Ma nā ʻōlelo kūpono, ʻo ka pūʻolo o gpt-oss:20b ma kahi o 13 GB hoʻokomo ʻia i loko o nā kaiapuni runtime kaulana. Hoʻonohonoho kēia i ka leo no nā kumuwaiwai e pono ai a kōkua i ka hoʻonui ʻana i ka ʻO VRAM e mālama i ka hana me ka ʻole o ka bottlenecks.
Aia kekahi ʻano ʻoi aku ka nui (gpt-oss-120b), i hoʻolālā ʻia no nā hiʻohiʻona me ʻoi aku ka nui o nā kumuwaiwai kiʻi. No ka hapa nui o nā PC, ʻo ka 20B ʻO ia ke kumu hoʻomaka maoli ma muli o kona pilina ma waena o ka wikiwiki, ka hoʻomanaʻo a me ka maikaʻi.
Hoʻonui ʻia no RTX: Speed, Context, a me VRAM
Ke hoʻololi ʻana i nā hiʻohiʻona GPT-OSS i ke kaiaola NVIDIA RTX hiki i ka heluna hanauna kiʻekiʻe. I nā mea hana kiʻekiʻe, nā kiʻekiʻe a hiki i 256 tokens / kekona me nā hoʻololi kūpono, me ka hoʻohana ʻana i nā optimizations kikoʻī a me nā kikoʻī e like me MXFP4.
Aia nā hualoaʻa ma ke kāleka, ka pōʻaiapili, a me ka hoʻonohonoho. Ma na hoao ana me a RTX 5080, hiki i ka gpt-oss 20b a puni 128 t/s me nā pōʻaiapili i loaʻa (≈8k). Ma ka hoonui ana i ka 16k pukaaniani a me ka koi ʻana i kekahi o ka ukana i loko o ka ʻōnaehana RAM, ua hāʻule ka helu i ~50,5 t/s, me ka GPU e hana ana i ka hapa nui o ka hana.
Akaka ka haawina: ka Nā lula VRAM. Ma AI kūloko, a RTX 3090 me ka hoʻomanaʻo hou aku Hiki iā ia ke hana ʻoi aku ka maikaʻi ma mua o ka GPU hou akā me ka liʻiliʻi o VRAM, no ka mea e pale ana i ka overflow i ka papa ʻōnaehana a me ka hana hou o ka CPU.
No gpt-oss-20b, he mea maʻalahi ke lawe i ka nui o ke kumu hoʻohālike ma ke ʻano he kuhikuhi: pili 13 GB lumi hou aku no ka KV huna a me nā hana koʻikoʻi. Ma keʻano he alakaʻi wikiwiki, ua'ōleloʻia e loaʻa 16 GB o VRAM ma ka liʻiliʻi a manaʻo no 24 GB inā i manaʻo ʻia nā pōʻaiapili lōʻihi a i ʻole nā ukana hoʻomau.
ʻO ka poʻe e ʻimi nei e ʻoki i ka ʻenehana hiki ke ʻimi pololei pololei (e like me MXFP4), hoʻololi i ka lōʻihi o ka pōʻaiapili a i ʻole e hoʻohana i nā hoʻonohonoho multi-GPU inā hiki, e mālama mau i ka pahuhopu o pale aku i ka hoʻololi i ka RAM.
Hoʻokomo a hoʻohana: Ollama a me nā ala ʻē aʻe
E ho'āʻo i ke kumu hoʻohālike ma ke ʻano maʻalahi, Olama hāʻawi i kahi ʻike pololei ma nā PC mana RTX: Hiki iā ʻoe ke hoʻoiho, holo, a kamaʻilio pū me GPT-OSS-20B me ka ʻole o nā hoʻonohonoho paʻakikī., ma waho aʻe o ke kākoʻo ʻana i nā PDF, nā faila kikokikona, nā ʻōkuhi kiʻi, a me ka hoʻoponopono pōʻaiapili.
Aia kekahi ala ʻē aʻe no nā mea hoʻohana kiʻekiʻe, no ka laʻana E hoʻouka iā LLM ma Windows 11. Pākuʻi like kelepona.cpp a me nā hale waihona puke GGML ua hoʻolālā ʻia no RTX, me nā hana hou i loko e hoemi i ka ukana CPU a lawe i ka pono Nā Kiʻi CUDA. I ka like, ʻO Microsoft AI Foundry Local (ma ka nānā mua) Hoʻohui i nā hiʻohiʻona ma o CLI, SDK a i ʻole API me CUDA a me TensorRT acceleration.
I loko o ka kaiaola o nā mea hana, ʻO Intel AI Playground 2.6.0 ua hoʻokomo i ka gpt-oss-20b i waena o kāna mau kohoHoʻohui ka mea hou i ka mana hoʻololi maikaʻi no nā backends a me nā hoʻoponopono i nā frameworks e like me OpenVINO, ComfyUI y kelepona.cpp (me ke kākoʻo o lua pele a me ka hoʻoponopono pōʻaiapili), hoʻomaʻamaʻa nā kaiapuni kūloko paʻa.
Ma ke ʻano he alakaʻi hoʻomaka, e nānā i ka Loaʻa iā VRAM, hoʻoiho i ke ʻano hoʻohālike e kūpono i kāu GPU, e hōʻoia i ka ka wikiwiki hōʻailona me nā ʻōlelo paipai a hoʻoponopono i ka puka aniani e mālama i nā ukana a pau ma ke kāleka kiʻi.
Me kēia mau ʻāpana, hiki ke kūkulu i nā mea kōkua no ʻimi a me ka ʻimi ʻana, nā pono hana o ʻike a i ʻole nā kākoʻo o hoʻoponopono e holo holoʻokoʻa ana ma ke kamepiula, e mālama ana i ka mana o ka ʻikepili.
ʻO ka hui pū ʻana o gpt-oss-20b me ka RTX acceleration, mālama pono VRAM, a me nā mea hana e like me Ollama, llama.cpp, a i ʻole AI Playground e hoʻopaʻa i kahi koho makua no ka holo ʻana i ka noʻonoʻo AI kūloko; he ala e kaulike ana i ka hana, ke kumukūʻai, a me ka pilikino me ka hilinaʻi ʻole i nā lawelawe o waho.
He kanaka ʻenehana wau i hoʻololi i kāna mau makemake "geek" i ʻoihana. Ua hoʻohana au ma mua o 10 mau makahiki o koʻu ola me ka hoʻohana ʻana i ka ʻenehana ʻokiʻoki a me ka hoʻomaʻamaʻa ʻana i nā ʻano papahana āpau ma muli o ka ʻike maʻemaʻe. I kēia manawa ua loea wau i ka ʻenehana kamepiula a me nā pāʻani wikiō. ʻO kēia no ka mea ʻoi aku ma mua o 5 mau makahiki aʻu i kākau ai no nā pūnaewele like ʻole e pili ana i ka ʻenehana a me nā pāʻani wikiō, e hana ana i nā ʻatikala e ʻimi nei e hāʻawi iā ʻoe i ka ʻike āu e pono ai ma kahi ʻōlelo i hoʻomaopopo ʻia e nā mea a pau.
Inā he mau nīnau kāu, pili koʻu ʻike mai nā mea a pau e pili ana i ka ʻōnaehana hana Windows a me Android no nā kelepona paʻalima. A ʻo kaʻu hoʻohiki ʻana iā ʻoe, makemake mau wau e hoʻolilo i mau minuke a kōkua iā ʻoe e hoʻoholo i nā nīnau āu e loaʻa ai ma kēia ao pūnaewele.