Ania kung giunsa pagtrabaho ang gpt-oss-20b sa lokal: unsa ang bag-o, pasundayag, ug kung giunsa kini pagsulay.

Ang pag-abot sa gpt-oss-20b alang sa lokal nga paggamit nagdala usa ka kusgan nga modelo sa pangatarungan nga direkta nga nagdagan sa PC sa daghang mga tiggamit. Kini nga pagduso, nahiuyon sa Pag-optimize alang sa NVIDIA RTX GPUs, nag-abli sa pultahan sa pagpangayo sa mga workflow nga wala magsalig sa panganod.

Ang focus mao ang tin-aw: sa paghalad bukas nga gibug-aton nga adunay taas nga konteksto alang sa komplikado nga mga buluhaton sama sa mga advanced nga pagpangita, panukiduki, tabang sa code o taas nga mga chat, pag-una sa privacy ug pagkontrol sa gasto kung nagtrabaho sa lokal.

Unsa ang gihatag sa gpt-oss-20b kung nagdagan sa lokal?

Ang pamilya nga gpt-oss nag-debut sa mga modelo sa bukas nga mga gibug-aton gidisenyo aron dali nga maapil sa imong kaugalingon nga mga solusyon. Sa partikular, gpt-oss-20b Nagbarug kini alang sa pagbalanse sa kapasidad sa pangatarungan ug makatarunganon nga mga kinahanglanon sa hardware alang sa usa ka desktop PC.

Ang usa ka talagsaon nga bahin mao ang gipadako nga bintana sa konteksto, nga adunay suporta hangtod sa 131.072 nga mga token sa gpt-oss range. Kini nga gitas-on nagpadali taas nga panag-istoryahanay, pagtuki sa daghang mga dokumento o mas lawom nga mga kadena sa panghunahuna nga walay mga pagtibhang o pagkabahin.

Kung itandi sa mga closed model, ang open-weight proposal nag-una sa pagka-flexible sa panagsama sa mga aplikasyon: gikan sa mga katabang nga adunay mga himan (mga ahente) bisan ang mga plugins alang sa research, web search ug programming, ang tanan nagpahimulos sa lokal nga inferensya.

Sa praktikal nga termino, ang pakete sa gpt-oss:20b kay sa palibot sa 13 GB gi-install sa sikat nga runtime nga mga palibot. Kini nagtakda sa tono alang sa mga kapanguhaan nga gikinahanglan ug makatabang sa pag-scale sa VRAM sa pagpadayon sa performance nga walay bottlenecks.

Adunay usab usa ka mas dako nga variant (gpt-oss-120b), gidisenyo alang sa mga senaryo nga adunay mas daghang graphic nga mga kapanguhaan. Alang sa kadaghanan sa mga PC, bisan pa, ang 20B Kini ang labing realistiko nga punto sa pagsugod tungod sa relasyon niini tali sa katulin, memorya ug kalidad.

Pag-optimize alang sa RTX: Speed, Context, ug VRAM

Pagpahiangay sa mga modelo sa GPT-OSS sa ekosistema NVIDIA RTX nagtugot alang sa taas nga mga rate sa henerasyon. Sa high-end nga kagamitan, peak nga hangtod sa 256 tokens/second uban ang angay nga mga pagbag-o, pagpahimulos sa piho nga mga pag-optimize ug mga katukma sama sa MXFP4.

Ang mga resulta nagdepende sa kard, konteksto, ug configuration. Sa mga pagsulay nga adunay a RTX 5080, gpt-oss 20b naabot sa palibot 128 t/s nga adunay sulod nga konteksto (≈8k). Pinaagi sa pagdugang sa 16k nga bintana ug pagpugos sa pipila ka load ngadto sa sistema sa RAM, ang rate mikunhod ngadto sa ~50,5 t/s, uban sa GPU nga naghimo sa kadaghanan sa trabaho.

Klaro ang leksyon: ang Mga lagda sa VRAM. Sa lokal nga AI, a RTX 3090 nga adunay daghang memorya Mahimo kini nga mas maayo kaysa usa ka bag-ong GPU apan adunay gamay nga VRAM, tungod kay gipugngan niini ang pag-awas sa memorya sa sistema ug ang dugang nga interbensyon sa CPU.

Alang sa gpt-oss-20b, sayon ​​​​ang pagkuha sa gidak-on sa modelo isip usa ka pakisayran: mahitungod 13 GB dugang nga lawak alang sa KV cache ug intensive nga mga buluhaton. Ingon usa ka dali nga giya, girekomenda nga adunay 16 GB sa VRAM labing menos ug tumong alang sa 24 GB kung ang taas nga konteksto o gipadayon nga mga karga gipaabut.

Kadtong nangita sa pagpislit sa hardware makasuhid episyente nga mga katukma (sama sa MXFP4), i-adjust ang gitas-on sa konteksto o gamita ang multi-GPU nga mga pag-configure kung mahimo, kanunay nga gitipigan ang katuyoan sa paglikay sa swap padulong sa RAM.

Pag-instalar ug paggamit: Ollama ug uban pang mga ruta

Aron masulayan ang modelo sa yano nga paagi, ayaw nagtanyag ug direktang kasinatian sa RTX PCs: Gitugotan ka sa pag-download, pagdagan, ug pag-chat sa GPT-OSS-20B nga wala’y komplikado nga mga pag-configure., dugang sa pagsuporta sa mga PDF, mga text file, mga pag-aghat sa imahe, ug pag-adjust sa konteksto.

Adunay usab mga alternatibo nga ruta alang sa mga advanced nga tiggamit, pananglitan I-install ang LLM sa Windows 11. Mga balangkas sama sa tawag.cpp ug matang sa mga librarya GGML gi-optimize alang sa RTX, nga adunay bag-o nga mga paningkamot sa pagpakunhod sa load sa CPU ug pahimuslan Mga Graph sa CUDA. Sa parallel, Microsoft AI Foundry Lokal (sa preview) I-integrate ang mga modelo pinaagi sa CLI, SDK o API nga adunay CUDA ug TensorRT acceleration.

Sa ekosistema sa mga himan, Intel AI Playground 2.6.0 gilakip ang gpt-oss-20b sa mga kapilian niiniAng pag-update nagdugang maayo nga pagkontrol sa pag-bersyon alang sa mga backend ug mga pagbag-o sa mga balangkas sama sa OpenVINO, ComfyUI y tawag.cpp (uban ang suporta sa Vulkan ug pag-adjust sa konteksto), pagpasayon stable nga lokal nga palibot.

Isip giya sa pagsugod, susiha ang Anaa nga VRAM, i-download ang modelo nga variant nga mohaum sa imong GPU, validate ang tulin nga timaan uban sa representante nga nag-aghat ug nag-adjust sa bintana sa konteksto aron mapabilin ang tanang load sa graphics card.

Uban niini nga mga piraso, kini mao ang posible nga sa pagtukod sa mga katabang alang sa pagpangita ug pagtuki, mga gamit sa imbestigasyon o suporta sa programming nga bug-os nga nagdagan sa kompyuter, nagmintinar sa soberanya sa datos.

Ang kombinasyon sa gpt-oss-20b nga adunay RTX acceleration, mainampingon nga pagdumala sa VRAM, ug mga himan sama sa Ollama, llama.cpp, o AI Playground nagsemento sa usa ka hamtong nga kapilian sa pagpadagan sa pangatarungan sa AI sa lokal; usa ka dalan nga nagbalanse sa performance, gasto, ug pribasiya nga wala magsalig sa mga serbisyo sa gawas.

Giangkon nga artikulo:

Gipagawas sa OpenAI ang gpt-oss-120b: ang labing abante nga modelo sa bukas nga gibug-aton hangtod karon.

Alberto navarro

Usa ako ka mahiligon sa teknolohiya nga naghimo sa iyang "geek" nga interes nga usa ka propesyon. Gigugol nako ang sobra sa 10 ka tuig sa akong kinabuhi gamit ang labing bag-ong teknolohiya ug pag-usisa sa tanan nga mga klase sa mga programa tungod sa putli nga pagkamausisaon. Karon espesyalista na ako sa teknolohiya sa kompyuter ug mga dula sa video. Kini tungod kay sa sobra sa 5 ka tuig nagsulat ako alang sa lainlaing mga website sa teknolohiya ug mga dula sa video, nagmugna og mga artikulo nga nagtinguha sa paghatag kanimo sa impormasyon nga imong gikinahanglan sa usa ka pinulongan nga masabtan sa tanan.

Kung naa kay mga pangutana, ang akong kahibalo gikan sa tanan nga may kalabotan sa operating system sa Windows ingon man sa Android para sa mga mobile phone. Ug ang akong pasalig kanimo, andam ako kanunay nga mogahin og pipila ka minuto ug tabangan ka nga masulbad ang bisan unsang mga pangutana nga mahimo nimo sa niining kalibutan sa internet.