- gpt-oss-20b tuaj txog raws li tus qauv qhib qhov hnyav nrog kev ua haujlwm hauv zos thiab cov ntsiab lus ntev (txog 131.072 tokens).
- Ua kom zoo rau NVIDIA RTX: Tshaj tawm nrawm txog 256 t / s; VRAM siv sijhawm los tswj kev ua haujlwm.
- Yooj yim siv nrog Ollama thiab lwm yam xws li llama.cpp, GGML, thiab Microsoft AI Foundry Local.
- Kuj muaj nyob rau hauv Intel AI Chaw Ua Si 2.6.0, nrog cov txheej txheem tshiab thiab txhim kho kev tswj hwm ib puag ncig.
Lub sij hawm tuaj txog gpt-oss-20b rau siv hauv zos coj tus qauv tsim muaj zog uas khiav ncaj qha rau PC rau cov neeg siv ntau dua. Qhov kev txhawb nqa no, sib haum nrog lub Optimization rau NVIDIA RTX GPUs, qhib qhov rooj rau kev xav tau kev ua haujlwm tsis muaj kev cia siab rau huab.
Lub hom phiaj yog meej: muab qhib-qhov hnyav nrog cov ntsiab lus ntev heev rau kev ua haujlwm nyuaj xws li kev tshawb nrhiav siab heev, kev tshawb fawb, kev pabcuam code lossis kev sib tham ntev, ua qhov tseem ceeb ntawm ntiag tug thiab tswj tus nqi thaum ua haujlwm hauv zos.
gpt-oss-20b muab dab tsi thaum khiav hauv zos?
Tsev neeg gpt-oss debuts nrog cov qauv ntawm qhib luj tsim los kom yooj yim rau hauv koj tus kheej cov kev daws teeb meem. Tshwj xeeb, gpt-oss-20b Nws sawv tawm rau kev sib npaug ntawm qhov muaj peev xwm thiab tsim nyog kho vajtse yuav tsum tau ua rau lub desktop PC.
Ib tug txawv feature yog lub ncua cov ntsiab lus qhov rais, nrog kev txhawb nqa txog li 131.072 tokens hauv gpt-oss ntau yam. Qhov ntev no yooj yim kev sib tham ntev, tsom xam cov ntaub ntawv voluminous los yog sib sib zog nqus chains ntawm kev xav yam tsis muaj kev txiav los yog fragmentation.
Piv nrog rau cov qauv kaw, qhov kev thov qhib qhov hnyav yog qhov tseem ceeb tshaj plaws integration yooj hauv kev siv: los ntawm pab nrog cov cuab yeej (tus neeg sawv cev) txawm plugins rau tshawb nrhiav, web search thiab programming, txhua tus tau txais txiaj ntsig los ntawm kev xav hauv zos.
Nyob rau hauv cov nqe lus tswv yim, lub pob ntawm gpt-oss:20b yog nyob ib ncig ntawm 13 GB ntsia nyob rau hauv nrov runtime ib puag ncig. Qhov no teeb tsa lub suab rau cov peev txheej xav tau thiab pab txhawm rau ntsuas qhov VRAM kom tswj tau qhov kev ua tau zoo yam tsis muaj fwj.
Kuj tseem muaj qhov sib txawv loj dua (gpt-oss-120b), tsim los rau cov xwm txheej nrog ntau cov duab nraaj. Txawm li cas los xij, rau feem ntau cov PCs, lub 20B Nws yog qhov pib qhov tseeb tshaj plaws vim nws txoj kev sib raug zoo ntawm kev ceev, nco thiab zoo.
Optimizing rau RTX: Ceev, Ntsiab Lus, thiab VRAM
Hloov GPT-OSS qauv rau ecosystem NVIDIA RTX tso cai rau siab tiam neeg. Hauv cov khoom siv high-end, peaks mus txog 256 tokens / thib ob nrog rau kev kho kom haum, noj kom zoo dua ntawm kev ua kom zoo dua qub thiab cov precisions xws li MXFP 4.
Cov txiaj ntsig nyob ntawm daim npav, cov ntsiab lus, thiab kev teeb tsa. Hauv kev xeem nrog a RTX 5080, gpt-oss 20b mus txog ib ncig 128 t/s ib nrog cov ntsiab lus uas muaj (≈8k). Los ntawm kev nce lub 16 k rwj thiab yuam ib co ntawm cov load rau hauv lub system RAM, tus nqi poob rau ~50,5 t/s ib, nrog GPU ua haujlwm feem ntau.
Zaj lus qhia yog tseeb: lub VRAM cov cai. Hauv zos AI, a RTX 3090 nrog ntau lub cim xeeb Nws tuaj yeem ua tau zoo dua li GPU tshiab tab sis nrog VRAM tsawg dua, vim tias nws tiv thaiv kev dhau mus rau lub cim xeeb thiab kev cuam tshuam ntxiv ntawm CPU.
Rau gpt-oss-20b, nws yooj yim los nqa qhov loj ntawm tus qauv raws li kev siv: txog 13 GB ntau chav rau lub KV cache thiab ua haujlwm hnyav. Raws li cov lus qhia ceev, nws raug pom zoo kom muaj 16 GB ntawm VRAM tsawg kawg thiab tsom rau 24 GB yog hais tias ntev contexts los yog sustained loads yog cia siab tias.
Cov neeg nrhiav nyem qhov kho vajtse tuaj yeem tshawb nrhiav npaum precision (xws li MXFP4), kho cov ntsiab lus ntev lossis chaw ua haujlwm rau ntau-GPU teeb tsa thaum ua tau, ib txwm ua kom lub hom phiaj ntawm zam kev sib pauv mus rau RAM.
Kev teeb tsa thiab siv: Ollama thiab lwm txoj hauv kev
Txhawm rau kuaj tus qauv hauv txoj kev yooj yim, Tsis txhob muaj kev paub ncaj qha ntawm RTX PCs: Tso cai rau koj rub tawm, khiav, thiab sib tham nrog GPT-OSS-20B yam tsis muaj kev teeb tsa nyuaj., ntxiv rau kev txhawb nqa PDFs, cov ntaub ntawv ntawv, duab qhia, thiab kev hloov kho cov ntsiab lus.
Tseem muaj lwm txoj kev rau cov neeg siv siab heev, piv txwv li Nruab LLM ntawm Windows 11. Frameworks zoo li npe cpp thiab ntaus cov tsev qiv ntawv GGML yog optimized rau RTX, nrog rau kev siv zog tsis ntev los no hauv txo CPU load thiab coj kom zoo dua CUDA Graphs. Nyob rau hauv parallel, Microsoft AI Foundry Local (hauv kev saib ua ntej) Sib koom ua qauv ntawm CLI, SDK lossis APIs nrog CUDA thiab TensorRT acceleration.
Hauv ecosystem ntawm cov cuab yeej, Intel AI Chaw Ua Si 2.6.0 tau suav nrog gpt-oss-20b ntawm nws cov kev xaivQhov hloov tshiab ntxiv nplua-grained versioning tswj rau backends thiab hloov kho rau lub moj khaum xws li OpenVINO, ComfyUI y npe cpp (nrog kev txhawb nqa ntawm Vulkan thiab cov ntsiab lus hloov kho), yooj yim ruaj khov nyob ib puag ncig.
Raws li cov lus qhia pib, kos lub Muaj VRAM, download tau tus qauv variant uas haum koj GPU, validate lub token ceev nrog tus neeg sawv cev prompts thiab kho cov qhov rais ntsiab lus khaws tag nrho cov load ntawm daim card graphics.
Nrog rau cov khoom no, nws muaj peev xwm tsim cov pab rau tshawb nrhiav thiab tsom xam, lwm yam cuab yeej ntawm kev tshawb nrhiav los yog kev txhawb nqa ntawm lub cajmeem uas khiav tag nrho ntawm lub computer, tswj cov ntaub ntawv sovereignty.
Kev sib xyaw ua ke ntawm gpt-oss-20b nrog RTX acceleration, ceev faj kev tswj hwm VRAM, thiab cov cuab yeej zoo li Ollama, llama.cpp, lossis AI Chaw Ua Si cements qhov kev xaiv paub tab rau kev khiav lag luam AI hauv zos; ib txoj hauv kev uas sib npaug kev ua haujlwm, tus nqi, thiab kev ceev ntiag tug yam tsis muaj kev cia siab rau cov kev pabcuam sab nraud.
Kuv yog ib tus neeg nyiam siv thev naus laus zis uas tau hloov nws txoj kev nyiam "geek" rau hauv txoj haujlwm. Kuv tau siv ntau tshaj 10 xyoo ntawm kuv lub neej siv cov cuab yeej siv thev naus laus zis thiab tinkering nrog txhua yam kev pab cuam tawm ntawm kev xav paub dawb huv. Tam sim no kuv tau tshwj xeeb hauv computer technology thiab video games. Qhov no yog vim ntau tshaj 5 xyoo kuv tau sau rau ntau lub vev xaib ntawm kev siv tshuab thiab kev ua si video, tsim cov ntawv uas nrhiav kom muab cov ntaub ntawv koj xav tau hauv hom lus uas txhua tus neeg nkag siab.
Yog tias koj muaj lus nug, kuv qhov kev paub yog los ntawm txhua yam ntsig txog Windows operating system nrog rau Android rau cov xov tooj ntawm tes. Thiab kuv txoj kev cog lus yog rau koj, Kuv ib txwm kam siv ob peb feeb thiab pab koj daws cov lus nug uas koj muaj nyob hauv lub ntiaj teb no hauv internet.