Men kijan pou travay avèk gpt-oss-20b lokalman: sa ki nouvo, pèfòmans, ak kijan pou teste li.

Arive a gpt-oss-20b pou itilizasyon lokal pote yon modèl rezònman pwisan ki fonksyone dirèkteman sou PC a pou plis itilizatè. Pouse sa a, ki aliyen ak Optimizasyon pou GPU NVIDIA RTX yo, ouvè pòt la pou workflows egzijan san yo pa bezwen konte sou nwaj la.

Konsantrasyon an klè: pou ofri pwa ouvè ak kontèks trè long pou travay konplèks tankou rechèch avanse, rechèch, asistans kòd oswa konvèsasyon long, bay priyorite a Privacy ak kontwòl depans lè w ap travay lokalman.

Kisa gpt-oss-20b bay lè l ap fonksyone lokalman?

Fanmi gpt-oss la fè premye aparisyon li ak modèl pwa ouvè fèt pou entegre fasilman nan pwòp solisyon ou yo. Espesyalman, gpt-oss-20b Li kanpe deyò pou balanse kapasite rezònman ak kondisyon materyèl rezonab pou yon òdinatè Desktop.

Yon karakteristik distenktif se la fenèt kontèks pwolonje, ak sipò pou jiska 131.072 jeton nan seri gpt-oss la. Longè sa a fasilite konvèsasyon long, analiz dokiman volumineuz oswa chenn panse ki pi pwofon san koupe oswa fragmentasyon.

Konpare ak modèl fèmen yo, pwopozisyon pwa ouvè a bay priyorite a fleksibilite entegrasyon nan aplikasyon yo: soti nan asistan ak zouti (ajan) menm plugins pou rechèch, rechèch sou entènèt ak pwogramasyon, tout pwofite de enferans lokal yo.

An tèm pratik, pake a nan gpt-oss:20b se anviwon 13 GB enstale nan anviwònman ekzekisyon popilè yo. Sa a bay ton an pou resous ki nesesè yo epi li ede ogmante echèl la VRAM pou kenbe pèfòmans san blokaj.

Genyen tou yon varyant ki pi gwo (gpt-oss-120b), ki fèt pou senaryo ak plis resous grafikSepandan, pou pifò òdinatè yo, 20B Li se pwen depa ki pi reyalis akòz relasyon li genyen ant vitès, memwa ak kalite.

Optimize pou RTX: Vitès, Kontèks, ak VRAM

Adapte modèl GPT-OSS yo nan ekosistèm nan Nvidia RTX pèmèt gwo pousantaj jenerasyon. Nan ekipman wo nivo, pik jiska 256 jeton/segond avèk ajisteman apwopriye, pwofite optimizasyon espesifik ak presizyon tankou MXFP4.

Rezilta yo depann de kat la, kontèks la, ak konfigirasyon an. Nan tès ak yon RTX 5080, gpt-oss 20b te rive nan anviwon 128 tòn/s ak kontèks ki genyen ladan yo (≈8k). Lè yo ogmante a Fenèt 16k epi fòse yon pati nan chaj la nan RAM sistèm lan, vitès la te desann a ~50,5 tòn/s, ak GPU a k ap fè pi fò nan travay la.

Leson an klè: la Règ VRAM yoNan IA lokal la, yon RTX 3090 ak plis memwa Li ka pèfòme pi byen pase yon GPU ki pi nouvo men ak mwens VRAM, paske li anpeche debòde nan la memwa sistèm lan ak entèvansyon siplemantè CPU a.

Pou gpt-oss-20b, li pratik pou pran gwosè modèl la kòm referans: anviwon 13 GB plis plas pou la Kach KV ak travay entansif. Kòm yon gid rapid, li rekòmande pou genyen 16 GB nan VRAM omwen epi vize 24 GB si yo prevwa kontèks long oswa chaj soutni.

Moun k ap chèche jwenn pyès ki nan konpitè a ka eksplore presizyon efikas (tankou MXFP4), ajiste longè kontèks la oubyen itilize konfigirasyon milti-GPU lè sa posib, toujou kenbe objektif la evite echanj nan direksyon RAM.

Enstalasyon ak itilizasyon: Ollama ak lòt wout yo

Pou teste modèl la yon fason senp, Olama ofri yon eksperyans dirèk sou òdinatè RTX yo: Pèmèt ou telechaje, egzekite, epi chat avèk GPT-OSS-20B san konfigirasyon konplèks., anplis sipòte PDF, fichye tèks, envitasyon imaj, ak ajisteman kontèks.

Genyen tou lòt wout pou itilizatè avanse, pa egzanp Enstale LLM sou Windows 11Kad tankou rele.cpp ak bibliyotèk tip GGML yo optimize pou RTX, ak efò resan yo nan diminye chaj CPU a epi pran avantaj Graf CUDA yoAn paralèl, Microsoft AI Foundry Lokal (an preview) Entegre modèl atravè CLI, SDK oswa API ak akselerasyon CUDA ak TensorRT.

Nan ekosistèm zouti yo, Lakou rekreyasyon Intel AI 2.6.0 te enkòpore gpt-oss-20b pami opsyon li yoMizajou a ajoute yon kontwòl vèsyon byen detaye pou backend ak revizyon pou kad tankou OpenVINO, ComfyUI y rele.cpp (avèk sipò de vòlkan ak ajisteman kontèks), fasilite anviwònman lokal ki estab.

Kòm yon gid pou demaraj, tcheke VRAM disponib, telechaje varyant modèl ki adapte ak GPU ou a, valide a vitès jeton avèk envit reprezantan yo epi ajiste fenèt kontèks pou kenbe tout chaj la sou kat grafik la.

Avèk moso sa yo, li posib pou konstwi asistan pou rechèch ak analiz, zouti nan rechèch oswa sipò pou pwogramasyon ki fonksyone antyèman sou òdinatè a, kenbe souverènte done yo.

Konbinezon gpt-oss-20b ak akselerasyon RTX, jesyon VRAM atansyon, ak zouti tankou Ollama, llama.cpp, oswa AI Playground simante yon opsyon ki gen matirite pou egzekite entèlijans atifisyèl (IA) lokalman; yon chemen ki balanse pèfòmans, pri, ak vi prive san yo pa depann sou sèvis ekstèn.

Atik ki gen rapò ak:

OpenAI pibliye gpt-oss-120b: modèl pwa ouvè ki pi avanse li jiska prezan.

Alberto navarro

Mwen se yon antouzyast teknoloji ki te vire enterè "jik" li nan yon pwofesyon. Mwen te pase plis pase 10 ane nan lavi mwen itilize teknoloji dènye kri ak brikolaj ak tout kalite pwogram nan pi kiryozite. Koulye a, mwen te espesyalize nan teknoloji òdinatè ak jwèt videyo. Sa a se paske depi plis pase 5 ane mwen ap ekri pou divès sit entènèt sou teknoloji ak jwèt videyo, kreye atik ki ap chèche ba w enfòmasyon ou bezwen an nan yon lang ke tout moun konprann.

Si w gen nenpòt kesyon, konesans mwen varye ant tout bagay ki gen rapò ak sistèm operasyon Windows la ak Android pou telefòn mobil yo. Ak angajman mwen se avè ou, mwen toujou dispoze pase kèk minit epi ede ou rezoud nenpòt kesyon ou ka genyen nan mond entènèt sa a.