- Tagann gpt-oss-20b mar mhúnla meáchain oscailte le forghníomhú áitiúil agus comhthéacs fada (suas le 131.072 chomhartha).
- Optamaithe do NVIDIA RTX: Luasanna tuairiscithe suas le 256 t/s; glacann VRAM seilbh chun feidhmíocht a choinneáil.
- Éasca le húsáid le Ollama agus roghanna malartacha ar nós llama.cpp, GGML, agus Microsoft AI Foundry Local.
- Ar fáil freisin i Intel AI Playground 2.6.0, le creatlacha nuashonraithe agus bainistíocht chomhshaoil fheabhsaithe.
Teacht na gpt-oss-20b le haghaidh úsáid áitiúil tugann sé samhail réasúnaíochta chumhachtach a ritheann go díreach ar an ríomhaire chuig níos mó úsáideoirí. Tá an brú seo, i gcomhréir leis an Optamú le haghaidh GPUanna NVIDIA RTX, osclaíonn sé an doras do shreafaí oibre diana gan brath ar an scamall.
Tá an fócas soiléir: tairiscint meáchan oscailte le comhthéacs an-fhada i gcás tascanna casta amhail cuardaigh ardleibhéil, taighde, cúnamh le cód nó comhráite fada, ag tabhairt tosaíochta don Príobháideacht agus rialú costais agus tú ag obair go háitiúil.
Cad a sholáthraíonn gpt-oss-20b nuair a bhíonn sé ag rith go háitiúil?
Déanann teaghlach gpt-oss a chéad chuma le samhlacha de meáchain oscailte deartha le bheith comhtháite go héasca i do réitigh féin. Go sonrach, gpt-oss-20b Seasann sé amach as cothromaíocht a bhaint amach idir cumas réasúnaíochta agus riachtanais chrua-earraí réasúnta do ríomhaire deisce.
Gné idirdhealaitheach is ea an fuinneog chomhthéacs leathnaithe, le tacaíocht do suas le 131.072 comhartha sa raon gpt-oss. Éascaíonn an fad seo comhráite fada, anailís ar dhoiciméid thoirtiúla nó ar shlabhraí smaointeoireachta níos doimhne gan ciorruithe ná ilroinnt.
I gcomparáid le samhlacha dúnta, tugann an togra meáchain oscailte tús áite don solúbthacht chomhtháthaithe in iarratais: ó cúntóirí le huirlisí (gníomhairí) fiú breiseáin le haghaidh taighde, cuardach gréasáin agus ríomhchlárú, ag baint leasa as inference áitiúil.
Go praiticiúil, an pacáiste de Tá gpt-oss:20b thart ar 13 GB suiteáilte i dtimpeallachtaí rith-ama coitianta. Leagann sé seo an ton síos do na hacmhainní atá ag teastáil agus cabhraíonn sé le scálú a dhéanamh ar an VRAM chun feidhmíocht a choinneáil gan bhacainní.
Tá leagan níos mó ann freisin (gpt-oss-120b), atá deartha do chásanna le acmhainní grafaicí níos flúirsíI gcás fhormhór na ríomhairí pearsanta, áfach, an 20B Is é an pointe tosaigh is réadúla é mar gheall ar an ngaol atá idir luas, cuimhne agus cáilíocht.
Ag Uasmhéadú le haghaidh RTX: Luas, Comhthéacs, agus VRAM
Samhlacha GPT-OSS a oiriúnú don éiceachóras NVIDIA RTX ceadaíonn sé rátaí giniúna arda. I dtrealamh ardleibhéil, buaicphointí suas le 256 comharthaí/soicind le coigeartuithe cuí, ag baint leasa as uasmhéaduithe agus cruinneas sonracha amhail MXFP4.
Braitheann na torthaí ar an gcárta, ar an gcomhthéacs agus ar an chumraíocht. I dtástálacha le RTX 5080, shroich gpt-oss 20b timpeall 128 t/s le comhthéacsanna cuimsithe (≈8k). Trí mhéadú a dhéanamh ar an Fuinneog 16k agus cuid den ualach á bhrú isteach i RAM an chórais, thit an ráta go ~50,5 t/s, agus an GPU ag déanamh an chuid is mó den obair.
Tá an ceacht soiléir: an Rialacha VRAMI hintleacht shaorga áitiúil, a RTX 3090 le níos mó cuimhne Is féidir leis feidhmiú níos fearr ná GPU níos nuaí ach le níos lú VRAM, mar go gcuireann sé cosc ar róshreabhadh chuig an cuimhne chórais agus idirghabháil bhreise an LAP.
I gcás gpt-oss-20b, is áisiúil méid an mhúnla a úsáid mar thagairt: thart ar 13 GB níos mó spáis don Taisce KV agus tascanna diana. Mar threoir thapa, moltar go mbeadh 16GB de VRAM ar a laghad agus díriú ar 24 GB má táthar ag súil le comhthéacsanna fada nó ualaí leanúnacha.
Is féidir leo siúd atá ag iarraidh an crua-earraí a bhrú iniúchadh a dhéanamh cruinneas éifeachtach (amhail MXFP4), fad an chomhthéacs a choigeartú nó dul i muinín chumraíochtaí il-GPU nuair is féidir, agus an sprioc a choinneáil i gcónaí seachain malartuithe i dtreo RAM.
Suiteáil agus úsáid: Ollama agus bealaí eile
Chun an tsamhail a thástáil ar bhealach simplí, Olama cuireann sé taithí dhíreach ar fáil ar ríomhairí pearsanta faoi thiomáint RTX: Ligeann sé duit GPT-OSS-20B a íoslódáil, a rith, agus comhrá a dhéanamh leis gan chumraíochtaí casta., chomh maith le tacú le PDFanna, comhaid téacs, leideanna íomhá, agus coigeartú comhthéacs.
Tá bealaí malartacha ann freisin d’úsáideoirí ardleibhéil, mar shampla Suiteáil LLM ar Windows 11Creatlacha cosúil le glaoigh.cpp agus leabharlanna cineáil GGML atá optamaithe le haghaidh RTX, le hiarrachtaí le déanaí i ualach LAP a laghdú agus buntáiste a bhaint as Graif CUDAAg an am céanna, Microsoft AI Foundry Áitiúil (i réamhamharc) Comhtháthaigh samhlacha trí CLI, SDK nó APIanna le luasghéarú CUDA agus TensorRT.
I n-éiceachóras na n-uirlisí, Clós Súgartha Intel AI 2.6.0 tá gpt-oss-20b curtha san áireamh i measc a roghannaCuireann an nuashonrú rialú leaganacha mínmhionsonraithe le haghaidh backends agus athbhreithnithe ar chreataí amhail OpenVINO, Comhéadan Úsáideora Comhoiriúnach y glaoigh.cpp (le tacaíocht ó Vulkan agus coigeartú comhthéacs), ag éascú timpeallachtaí áitiúla cobhsaí.
Mar threoirlíne tosaithe, seiceáil an VRAM atá ar fáil, íoslódáil an leagan samhail a oireann do do GPU, bailíochtú an luas comharthaí le leideanna ionadaíocha agus déanann sé coigeartú ar an fuinneog comhthéacs chun an t-ualach ar fad a choinneáil ar an gcárta grafaicí.
Leis na píosaí seo, is féidir cúntóirí a thógáil do cuardach agus anailís, uirlisí de taighde nó tacaí de cláir a ritheann go hiomlán ar an ríomhaire, ag cothabháil ceannasacht sonraí.
Leis an meascán de gpt-oss-20b le luasghéarú RTX, bainistíocht chúramach VRAM, agus uirlisí cosúil le Ollama, llama.cpp, nó AI Playground, daingnítear rogha aibí chun AI réasúnaíochta a rith go háitiúil; cosán a chothromaíonn feidhmíocht, costas agus príobháideacht gan a bheith ag brath ar sheirbhísí seachtracha.
Is díograiseoir teicneolaíochta mé a bhfuil a leasanna "geek" iompú isteach i ngairm. Tá níos mó ná 10 mbliana de mo shaol caite agam ag baint úsáide as teicneolaíocht cheannródaíoch agus ag tinkering le gach cineál clár as fiosracht íon. Anois tá mé speisialaithe i dteicneolaíocht ríomhaireachta agus cluichí físeáin. Tá sé seo amhlaidh toisc go bhfuil mé ag scríobh le breis agus 5 bliana do shuímh Ghréasáin éagsúla ar theicneolaíocht agus físchluichí, ag cruthú ailt a fhéachann leis an eolas atá uait a thabhairt duit i dteanga atá intuigthe do chách.
Má tá aon cheist agat, raon mo chuid eolais ó gach rud a bhaineann le córas oibriúcháin Windows chomh maith le Android d'fhóin phóca. Agus is é mo thiomantas duit, táim i gcónaí sásta cúpla nóiméad a chaitheamh agus cabhrú leat aon cheisteanna a d’fhéadfadh a bheith agat sa saol idirlín seo a réiteach.