- gpt-oss-20b bịarutere dị ka ihe nlere ibu mepere emepe nwere ogbugbu mpaghara yana ogologo okirikiri (ruo akara ngosi 131.072).
- Kachasị mma maka NVIDIA RTX: Akụkọ na-agba ọsọ ruo 256 t / s; VRAM na-eweghara iji jikwaa arụmọrụ.
- Ọ dị mfe iji Ollama na ihe ndị ọzọ dị ka llama.cpp, GGML na Microsoft AI Foundry Local.
- Dịkwa na Intel AI Playground 2.6.0, yana usoro emelitere yana njikwa gburugburu ka emelitere.
Ọbịbịa nke gpt-oss-20b maka ojiji mpaghara na-eweta ụdị echiche dị ike nke na-agba ọsọ na PC maka ọtụtụ ndị ọrụ. Nke a push, kwekọọ na Nkwalite maka NVIDIA RTX GPUs, na-emepe ụzọ maka usoro ọrụ na-achọsi ike na-adabereghị na igwe ojii.
Ihe a na-elekwasị anya doro anya: inye emeghe-arọ nwere ogologo okwu gburugburu maka ọrụ dị mgbagwoju anya dị ka ọchụchọ dị elu, nyocha, enyemaka koodu ma ọ bụ ogologo nkata, na-ebute ụzọ nzuzo na njikwa ọnụ ahịa mgbe ị na-arụ ọrụ na mpaghara.
Kedu ihe gpt-oss-20b na-enye mgbe ọ na-agba ọsọ na mpaghara?
Ezinụlọ gpt-oss ji ụdị nke oghe arọ emebere ka ọ dị mfe itinye n'ime ngwọta nke gị. Kpọmkwem, gpt-oss-20b Ọ pụtara maka ịhazi ikike iche echiche yana ihe ngwaike chọrọ maka PC desktọpụ.
Akụkụ dị iche bụ nke windo onodu agbatịkwuru, na nkwado maka ihe ruru 131.072 token na gpt-oss nso. Ogologo a na-eme ka ọ dị mfe ogologo mkparịta ụka, nyocha nke akwụkwọ ndị nwere oke ma ọ bụ agbụ echiche miri emi na-enweghị mbelata ma ọ bụ nkewa.
Tụnyere ụdị mechiri emechi, amụma ibu oghe na-ebute ụzọ mgbanwe mgbanwe na ngwa: si ndị enyemaka nwere ngwá ọrụ (ndị ọrụ) ọbụna plugins maka nyocha, nyocha weebụ na mmemme, niile na-eji ohere nke ime obodo.
N'okwu bara uru, ngwugwu nke gpt-oss: 20b dị gburugburu 13 GB arụnyere na gburugburu oge ịgba ọsọ na-ewu ewu. Nke a na-edobe ụda maka akụrụngwa achọrọ ma nyere aka n'ịba ụba VRAM iji nọgide na-arụ ọrụ na-enweghị nkwụsị.
Enwekwara nnukwu variant (gpt-oss-120b), emebere maka ihe ndapụta. akụrụngwa eserese zuru oke. Maka ọtụtụ PC, Otú ọ dị, ndị 20B Ọ bụ mmalite mmalite kachasị mma n'ihi mmekọrịta ya n'etiti ọsọ, ebe nchekwa na àgwà.
Na-ebuli elu maka RTX: Ọsọ, Ọdịnaya na VRAM
Na-emegharị ụdị GPT-OSS na gburugburu ebe obibi NVIDIA RTX na-enye ohere maka ọnụ ọgụgụ ọgbọ dị elu. Na akụrụngwa dị elu, ọnụ ọgụgụ kacha elu ruru 256 token/sekọnd na mgbanwe kwesịrị ekwesị, na-eji uru nke njikarịcha na nhazi dị ka MXFP4.
Nsonaazụ dabere na kaadị, okirikiri, na nhazi. Na ule na a RTX 5080, gpt-oss 20b ruru gburugburu 128 t/s nwere ọnọdụ ndị dị n'ime ya (≈8k). Site n'ịba ụba 16k window na ịmanye ụfọdụ ibu ahụ n'ime sistemụ RAM, ọnụego ahụ gbadara ~50,5 t/s, na GPU na-arụ ọtụtụ ọrụ.
Ihe nkuzi doro anya: nke Iwu VRAM. Na mpaghara AI, a RTX 3090 nwere ebe nchekwa karịa Ọ nwere ike ịrụ ọrụ nke ọma karịa GPU ọhụrụ mana ọ nwere obere VRAM, n'ihi na ọ na-egbochi oke ibu na ebe nchekwa sistemụ na ntinye aka nke CPU.
Maka gpt-oss-20b, ọ dị mma iwere nha nke ihe nlereanya dịka ntụaka: gbasara 13 GB ọzọ ụlọ maka KV cache na ọrụ siri ike. Dịka ntuziaka ngwa ngwa, a na-atụ aro ka ịnwe 16 GB nke VRAM opekempe na ebumnuche 24 GB ọ bụrụ na a na-atụ anya ogologo okwu ogologo ma ọ bụ ibu na-adịgide adịgide.
Ndị na-achọ ịpịnye ngwaike nwere ike inyocha nke ọma nke ọma (dị ka MXFP4), mezie ogologo okirikiri ma ọ bụ malite nhazi ọtụtụ GPU mgbe enwere ike, na-edobe ebumnuche mgbe niile. zere swaps maka RAM.
Nwụnye na ojiji: Ollama na ụzọ ndị ọzọ
Iji nwalee ihe nlereanya ahụ n'ụzọ dị mfe, Emela na-enye ahụmịhe ozugbo na PC RTX: Na-enye gị ohere ibudata, gbaa, na kparịta ụka na GPT-OSS-20B na-enweghị nhazi mgbagwoju anya., na mgbakwunye na ịkwado PDFs, faịlụ ederede, ihe ngosi onyonyo, na mgbanwe ọnọdụ.
Enwekwara ụzọ ọzọ maka ndị ọrụ dị elu, dịka ọmụmaatụ Wụnye LLM na Windows 11. Framework dị ka kpọọ.cpp na ụdị ọba akwụkwọ GGML emeziri maka RTX, yana mbọ ndị na-adịbeghị anya na belata ibu CPU ma rite uru Ihe eserese CUDA. N'otu aka ahụ, Microsoft AI Foundry Mpaghara (na nhụchalụ) Jikọta ụdị site na CLI, SDK ma ọ bụ API na CUDA na TensorRT acceleration.
Na gburugburu ebe obibi nke ngwaọrụ, Ebe egwuregwu Intel AI 2.6.0 ewebatala gpt-oss-20b n'etiti nhọrọ yaMmelite ahụ na-agbakwunye njikwa nsụgharị mara mma maka azụ azụ na ngbanwe na nhazi dịka OpenVINO, ComfyUI y kpọọ.cpp (na nkwado nke ugwu mgbawa na ngbanwe ọnọdụ), na-enyere aka gburugburu obodo kwụsiri ike.
Dịka ntuziaka mmalite, lelee ya VRAM dị, budata ụdị dị iche iche dabara na GPU gị, kwado ya token ọsọ na onye nnọchi anya kpaliri ma na-edozi ya windo okirikiri idowe ibu niile na kaadị eserese.
Site na mpempe ndị a, ọ ga-ekwe omume ịmepụta ndị enyemaka maka ịchọ na nyocha, ngwaọrụ nke nyocha ma ọ bụ nkwado nke mmemme na-agba ọsọ kpamkpam na kọmputa, na-ejigide ọchịchị data.
Nchikota gpt-oss-20b na RTX acceleration, nlezianya VRAM njikwa, na ngwá ọrụ dị ka Ollama, llama.cpp, ma ọ bụ AI Playground na-eme ka nhọrọ tozuru okè maka ịgba ọsọ AI na mpaghara; ụzọ na-edozi arụmọrụ, ọnụ ahịa, na nzuzo na-adabereghị na ọrụ mpụga.
Abụ m onye na-anụ ọkụ n'obi maka teknụzụ nke tụgharịrị mmasị "geek" ya ka ọ bụrụ ọrụ. Ejila m ihe karịrị afọ 10 nke ndụ m na-eji teknụzụ dị egwu na iji ụdị mmemme ọ bụla na-eme ihe n'ihi ọchịchọ ịmata ihe. Ugbu a amatala m nkà na ụzụ kọmputa na egwuregwu vidio. Nke a bụ n'ihi na ihe karịrị afọ 5 m na-ede maka weebụsaịtị dị iche iche na nkà na ụzụ na egwuregwu vidio, na-emepụta akụkọ na-achọ inye gị ozi ịchọrọ n'asụsụ nke onye ọ bụla na-aghọta.
Ọ bụrụ na ị nwere ajụjụ ọ bụla, ihe ọmụma m sitere na ihe niile metụtara sistemụ arụmọrụ Windows yana Android maka ekwentị mkpanaaka. Na nkwa m bụ gị, m na-adị njikere mgbe niile iji nkeji ole na ole ma nyere gị aka dozie ajụjụ ọ bụla ị nwere na ụwa ịntanetị a.