- Ruigidh gpt-oss-20b mar mhodail cuideam fosgailte le cur an gnìomh ionadail agus co-theacsa fada (suas ri 131.072 comharran).
- Air a bharrrachadh airson NVIDIA RTX: Astaran a chaidh aithris suas ri 256 t/s; Bidh VRAM a’ gabhail thairis gus coileanadh a chumail suas.
- Furasta a chleachdadh le Ollama agus roghainnean eile leithid llama.cpp, GGML, agus Microsoft AI Foundry Local.
- Ri fhaighinn cuideachd ann an Intel AI Playground 2.6.0, le frèamaichean ùraichte agus riaghladh àrainneachd nas fheàrr.
Teachd gpt-oss-20b airson cleachdadh ionadail a’ toirt modail reusanachaidh chumhachdach a ruitheas gu dìreach air a’ PC gu barrachd luchd-cleachdaidh. Tha an oidhirp seo, a rèir an Leasachadh airson GPUan NVIDIA RTX, a’ fosgladh an dorais gu sruthan-obrach dùbhlanach gun a bhith an urra ris an sgòth.
Tha am fòcas soilleir: a bhith a’ tabhann cuideam fosgailte le co-theacsa glè fhada airson gnìomhan iom-fhillte leithid rannsachaidhean adhartach, rannsachadh, taic còd no còmhraidhean fada, a’ toirt prìomhachas don prìobhaideachd agus smachd air cosgaisean nuair a bhios tu ag obair gu h-ionadail.
Dè tha gpt-oss-20b a’ toirt seachad nuair a bhios e a’ ruith gu h-ionadail?
Bidh teaghlach gpt-oss a’ nochdadh an toiseach le modailean de cuideaman fosgailte air a dhealbhadh gus a bhith furasta an amalachadh a-steach do na fuasglaidhean agad fhèin. Gu sònraichte, gpt-oss-20b Tha e a’ seasamh a-mach airson cothromachadh a dhèanamh eadar comas reusanachaidh agus riatanasan bathar-cruaidh reusanta airson PC deasg.
Is e feart eadar-dhealaichte an uinneag co-theacsa leudaichte, le taic airson suas ri 131.072 comharran anns an raon gpt-oss. Tha an fhaid seo a’ comasachadh còmhraidhean fada, mion-sgrùdadh air sgrìobhainnean mòra no slabhraidhean smuaintean nas doimhne gun ghearraidhean no briseadh sìos.
An coimeas ri modalan dùinte, tha am moladh cuideam fosgailte a’ toirt prìomhachas don sùbailteachd amalachaidh ann an tagraidhean: bho luchd-cuideachaidh le innealan (riochdairean) eadhon plugain airson rannsachadh, sgrùdadh lìn agus prògramadh, uile a’ gabhail brath air co-dhùnadh ionadail.
Ann an dòigh phractaigeach, am pasgan de Tha gpt-oss:20b timcheall air 13 GB air a stàladh ann an àrainneachdan ruith-ùine mòr-chòrdte. Bidh seo a’ suidheachadh an tòna airson na goireasan a tha a dhìth agus a’ cuideachadh le bhith a’ sgèileadh an VRAM gus coileanadh a chumail suas gun bhacadh sam bith.
Tha caochladh nas motha ann cuideachd (gpt-oss-120b), air a dhealbhadh airson suidheachaidhean le barrachd ghoireasan grafaigeachAirson a’ mhòr-chuid de PCn, ge-tà, an 20B ’S e seo an t-àite tòiseachaidh as reusanta air sgàth a’ chàirdeis eadar astar, cuimhne agus càileachd.
A’ dèanamh an fheum as fheàrr airson RTX: Astar, Co-theacsa, agus VRAM
A’ cur modailean GPT-OSS an sàs san eag-shiostam NVIDIA RTX a’ ceadachadh ìrean gineadh àrd. Ann an uidheamachd àrd-inbhe, mullaichean suas ri 256 comharran / diog le atharrachaidhean iomchaidh, a’ gabhail brath air leasachaidhean agus mionaideachd sònraichte leithid MXFP 4.
Tha na toraidhean an urra ris a’ chairt, an co-theacsa, agus an rèiteachadh. Ann an deuchainnean le a RTX 5080, ràinig gpt-oss 20b timcheall air 128 t/s le co-theacsan cuibhrichte (≈8k). Le bhith ag àrdachadh an Uinneag 16k agus a’ sparradh cuid den luchd a-steach do RAM an t-siostaim, thuit an ìre gu ~50,5 t/s, leis an GPU a’ dèanamh a’ mhòr-chuid den obair.
Tha an leasan soilleir: an Riaghailtean VRAMAnn an AI ionadail, a RTX 3090 le barrachd cuimhne Faodaidh e coileanadh nas fheàrr na GPU nas ùire ach le nas lugha de VRAM, oir tha e a’ cur casg air cus-shruthadh chun an cuimhne siostaim agus eadar-theachd a bharrachd an CPU.
Airson gpt-oss-20b, tha e goireasach meud a’ mhodail a ghabhail mar iomradh: mu 13 GB barrachd rùm airson an Tasglann KV agus gnìomhan dian. Mar stiùireadh luath, thathar a’ moladh gum bi 16 GB de VRAM co-dhiù agus ag amas air 24 GB ma thathar an dùil ri co-theacsan fada no luchdan leantainneach.
Faodaidh an fheadhainn a tha airson am bathar-cruaidh a bhrùthadh sgrùdadh a dhèanamh mionaideachd èifeachdach (leithid MXFP4), atharraich fad a’ cho-theacsa no cleachd rèiteachaidhean ioma-GPU nuair a tha sin comasach, an-còmhnaidh a’ cumail an amas de seachain iomlaidean a dh’ionnsaigh RAM.
Stàladh agus cleachdadh: Ollama agus slighean eile
Gus am modail a dhearbhadh ann an dòigh shìmplidh, Olama a’ tabhann eòlas dìreach air PCan RTX: Leigidh seo leat GPT-OSS-20B a luchdachadh sìos, a ruith, agus cabadaich leis gun rèiteachaidhean iom-fhillte., a bharrachd air taic a thoirt do PDFan, faidhlichean teacsa, brosnachaidhean ìomhaighean, agus atharrachadh co-theacsa.
Tha slighean eile ann cuideachd do luchd-cleachdaidh adhartach, mar eisimpleir Stàlaich LLM air Windows 11Frèamaichean mar gairm.cpp agus leabharlannan seòrsa GGML air an leasachadh airson RTX, le oidhirpean o chionn ghoirid ann an lughdaich an luchd CPU agus gabh brath Grafaichean CUDAAig an aon àm, Fùirneis AI Microsoft Ionadail (ro-shealladh) Amalaich modailean tro CLI, SDK no APIan le luathachadh CUDA agus TensorRT.
Ann an eag-shiostam nan innealan, Raon-cluiche Intel AI 2.6.0 air gpt-oss-20b a thoirt a-steach am measg nan roghainnean aigeTha an t-ùrachadh a’ cur smachd mionaideach air dreachan airson backends agus ath-sgrùdaidhean air frèamaichean leithid OpenVINO, ComfyUI y gairm.cpp (le taic bho Vulkan agus atharrachadh co-theacsa), a’ comasachadh àrainneachdan ionadail seasmhach.
Mar stiùireadh tòiseachaidh, thoir sùil air an VRAM ri fhaighinn, luchdaich sìos an caochladh modail a fhreagras air an GPU agad, dearbhaich an astar chomharran le brosnachaidhean riochdachail agus ag atharrachadh an uinneag co-theacsa gus an luchd gu lèir a chumail air a’ chairt grafaiceachd.
Leis na pìosan seo, tha e comasach luchd-cuideachaidh a thogail airson rannsachadh agus mion-sgrùdadh, innealan de sgrùdadh no taicean bho prògraman a bhios ag obair gu tur air a’ choimpiutair, a’ cumail uachdranas dàta.
Tha an cothlamadh de gpt-oss-20b le luathachadh RTX, riaghladh VRAM faiceallach, agus innealan mar Ollama, llama.cpp, no AI Playground a’ daingneachadh roghainn aibidh airson AI reusanachaidh a ruith gu h-ionadail; slighe a tha a’ cothromachadh coileanadh, cosgais, agus prìobhaideachd gun a bhith an urra ri seirbheisean taobh a-muigh.
Tha mi dèidheil air teicneòlas a tha air na h-ùidhean “geek” aige a thionndadh gu dreuchd. Tha mi air còrr air 10 bliadhna de mo bheatha a chuir seachad a’ cleachdadh teicneòlas ùr-nodha agus a’ tinkering le gach seòrsa prògram a-mach à fìor fheòrachas. A-nis tha mi air speisealachadh ann an teicneòlas coimpiutair agus geamannan bhidio. Tha seo air sgàth gu bheil mi airson còrr is 5 bliadhna air a bhith a’ sgrìobhadh airson diofar làraich-lìn air teicneòlas agus geamannan bhidio, a’ cruthachadh artaigilean a bhios a’ feuchainn ris an fhiosrachadh a tha a dhìth ort a thoirt dhut ann an cànan a tha furasta a thuigsinn don h-uile duine.
Ma tha ceist sam bith agad, tha an t-eòlas agam a’ dol bho gach nì co-cheangailte ri siostam-obrachaidh Windows a bharrachd air Android airson fònaichean-làimhe. Agus tha mo dhealas dhut, tha mi an-còmhnaidh deònach beagan mhionaidean a chaitheamh agus do chuideachadh le bhith a’ fuasgladh cheistean sam bith a dh’ fhaodadh a bhith agad san t-saoghal eadar-lìn seo.