- Ka tae mai a gpt-oss-20b hei tauira tuwhera-taimaha me nga mahi a te rohe me te horopaki roa (tae atu ki te 131.072 tohu).
- Kua arotauhia mo NVIDIA RTX: Ko nga tere tere ki te 256 t/s; Ka mau te VRAM ki te pupuri i nga mahi.
- He ngawari ki te whakamahi me Ollama me etahi atu penei i te llama.cpp, GGML, me te Microsoft AI Foundry Local.
- Kei te waatea ano i te Intel AI Playground 2.6.0, me nga anga kua whakahoutia me te whakapai ake i te whakahaeretanga o te taiao.
Tuhinga o mua gpt-oss-20b mo whakamahi rohe ka kawea mai he tauira whakaaro kaha e rere tika ana i runga i te PC ki te maha atu o nga kaiwhakamahi. Ko tenei pana, he mea whakarite ki te Te arotautanga mo nga GPU NVIDIA RTX, ka whakatuwhera i te tatau ki te tono rerenga mahi me te kore e whakawhirinaki ki te kapua.
He maamaa te arotahi: ki te tuku taumaha-tuwhera me te horopaki tino roa mo nga mahi uaua penei i nga rapu matatau, rangahau, awhina waehere, korerorero roa ranei, me te whakarite i te kaupapa matua tūmataiti me te whakahaere utu i te wa e mahi ana i te rohe.
He aha ta gpt-oss-20b e whakarato ana i te wa e rere ana i te rohe?
Ka timata te whanau gpt-oss me nga tauira o nga taumaha tuwhera i hangaia kia ngawari te whakauru ki roto i a koe ake otinga. Ina koa, gpt-oss-20b E tu ana mo te whakataurite i te kaha whakaaro me nga whakaritenga taputapu whaitake mo te PC papamahi.
Ko tetahi ahuatanga motuhake ko te matapihi horopaki roa, me te tautoko mo nga tohu 131.072 i roto i te awhe gpt-oss. Ko tenei roa ka ngawari nga korero roa, te wetewete o nga tuhinga puhoi, nga mekameka hohonu ranei o te whakaaro kaore he tapahi, he wehewehenga ranei.
Ka whakatauritea ki nga tauira kati, ko te tono taumaha-tuwhera te kaupapa matua te ngawari o te whakauru i roto i nga tono: mai kaiawhina me nga taputapu (agent) ara mono mo rangahau, rapu paetukutuku me nga kaupapa, te hunga katoa e whai hua ana ki te whakatau a rohe.
I roto i ngā tikanga, te mōkihi o gpt-oss:20b kei te 13 GB kua whakauruhia ki roto i nga waahi whakahaere rongonui. Ma tenei e whakatakoto te reo mo nga rauemi e hiahiatia ana me te awhina ki te whakarahi i te VRAM ki te pupuri i te mahi kaore he pounamu.
He rereke ano hoki (gpt-oss-120b), i hangaia mo nga ahuatanga me he nui ake nga rauemi whakairoiro. Mo te nuinga o nga PC, heoi, ko te 20B Koinei te timatanga tino pono na tona hononga i waenga i te tere, te mahara me te kounga.
Te whakapai ake mo te RTX: Tere, Horopaki, me te VRAM
Te urutau i nga tauira GPT-OSS ki te rauwiringa kaiao NVIDIA RTX ka taea mo nga reiti whakatipuranga teitei. I roto i nga taputapu teitei, teitei ake ki te 256 tohu / hekona me nga whakatikatika e tika ana, ma te whakamahi i nga arotautanga motuhake me nga tino tika penei i te MXFP4.
Ko nga hua ka whakawhirinaki ki te kaari, te horopaki, me te whirihoranga. I nga whakamatautau me a RTX 5080, gpt-oss 20b i tae a tawhio noa 128 t/s me nga horopaki kei roto (≈8k). Ma te whakanui ake i nga 16k matapihi me te akiaki i etahi o nga kawenga ki roto i te punaha RAM, ka heke te reiti ki ~50,5 t/s, me te GPU e mahi ana i te nuinga o nga mahi.
He marama te akoranga: te Nga ture VRAM. I roto i AI rohe, a RTX 3090 me te nui ake o te mahara Ka taea e ia te mahi pai ake i te GPU hou engari he iti ake te VRAM, na te mea ka aukati i te waipuke ki te pūmahara punaha me te wawaotanga taapiri a te PTM.
Mo te gpt-oss-20b, he pai ki te tango i te rahi o te tauira hei tohutoro: mo 13 GB nui ake te waahi mo te KV keteroki me nga mahi kaha. Hei aratohu tere, e taunaki ana kia whai 16 GB o VRAM i te iti rawa me te whai mo 24 GB mena he roa nga horopaki, he kawenga toi tonu ranei e tumanakohia ana.
Ka taea e te hunga e rapu ana ki te kohi i te taputapu te tuhura tino tika (pērā i te MXFP4), whakatikahia te roa o te horopaki, ki te whakamahi ranei ki nga whirihoranga-GPU maha ina taea, kia mau tonu te whainga o karo i nga whakawhitinga ki te RAM.
Te whakauru me te whakamahi: Ollama me etahi atu huarahi
Hei whakamatautau i te tauira ma te ngawari, Olama tuku he wheako tika i runga i nga PC RTX-powered: Ka taea e koe te tango, te whakahaere, me te korerorero ki a GPT-OSS-20B kaore he whirihoranga uaua., i tua atu i te tautoko i nga PDF, i nga konae tuhinga, i nga tohu tohu, me te whakatikatika i te horopaki.
He huarahi rereke ano mo nga kaiwhakamahi matatau, hei tauira Tāutahia te LLM ki runga Windows 11. Anga rite karanga.cpp me te momo whare pukapuka GGML kua arotauhia mo RTX, me nga mahi tata nei whakaitihia te kawenga CPU ka tango painga CUDA Kauwhata. Whakarara, Microsoft AI Foundry Local (i te arokite) Whakauruhia nga tauira ma te CLI, SDK, API ranei me te whakaterenga CUDA me TensorRT.
I roto i te rauwiringa kaiao o nga taputapu, Intel AI Playground 2.6.0 kua whakauruhia te gpt-oss-20b i roto i ana whiringaKa taapirihia e te whakahoutanga te mana whakaputanga pai mo nga tuara me nga whakahou ki nga anga penei OpenVINO, ComfyUI y karanga.cpp (me te tautoko o puia me te whakatikatika i te horopaki), te whakahaere nga taiao o te rohe pumau.
Hei aratohu timata, tirohia te VRAM wātea, tango i te momo tauira e pai ana ki to GPU, whakamana i te tere tohu me nga tohu tohu me te whakatika i te matapihi horopaki ki te pupuri i nga kawenga katoa i runga i te kaari whakairoiro.
Ma enei waahanga, ka taea te hanga kaiawhina mo rapu me te tātariTuhinga o mua rangahau tautoko ranei o hōtaka e rere katoa ana i runga i te rorohiko, e pupuri ana i te mana motuhake o nga raraunga.
Ko te whakakotahitanga o te gpt-oss-20b me te tere RTX, te whakahaere tupato VRAM, me nga taputapu penei i a Ollama, llama.cpp, AI Playground ranei te taapiri i tetahi waahanga pakeke mo te whakahaere whakaaro AI i te rohe; he ara e whakataurite ana i te mahi, te utu, me te noho muna me te kore e whakawhirinaki ki nga ratonga o waho.
He kaingākau ahau ki te hangarau kua huri i ana hiahia "geek" hei umanga. Neke atu i te 10 tau o toku oranga kua pau i ahau ki te whakamahi i nga hangarau hou me te tarai i nga momo kaupapa katoa na runga i te tino hiahia. Inaianei kua tohunga ahau ki te hangarau rorohiko me nga keemu ataata. Ko tenei na te mea kua neke atu i te 5 tau ahau e tuhi ana mo nga momo paetukutuku mo te hangarau me nga keemu ataata, ka hanga tuhinga e whai ana ki te tuku korero ki a koe i roto i te reo e marama ana ki te katoa.
Mena kei a koe etahi patai, ko taku mohiotanga mai i nga mea katoa e pa ana ki te punaha whakahaere Windows me te Android mo nga waea pūkoro. A ko taku pono ki a koe, kei te pirangi au ki te whakapau i etahi meneti hei awhina i a koe ki te whakatau i nga patai kei a koe i tenei ao ipurangi.