- gpt-oss-20b jasal bħala mudell open-weight b'eżekuzzjoni lokali u kuntest twil (sa 131.072 tokens).
- Ottimizzat għal NVIDIA RTX: Veloċitajiet irrappurtati sa 256 t/s; VRAM tieħu f'idejha biex iżżomm il-prestazzjoni.
- Faċli biex tużah ma' Ollama u alternattivi bħal llama.cpp, GGML, u Microsoft AI Foundry Local.
- Disponibbli wkoll f'Intel AI Playground 2.6.0, b'oqfsa aġġornati u ġestjoni ambjentali mtejba.
Il-wasla ta ' gpt-oss-20b għal użu lokali iġib mudell ta’ raġunament qawwi li jaħdem direttament fuq il-PC lil aktar utenti. Din l-ispinta, allinjata mal- Ottimizzazzjoni għall-GPUs NVIDIA RTX, jiftaħ il-bieb għal flussi tax-xogħol impenjattivi mingħajr ma jiddependi fuq il-cloud.
L-enfasi hija ċara: li noffru piż miftuħ b'kuntest twil ħafna għal kompiti kumplessi bħal tfittxijiet avvanzati, riċerka, assistenza bil-kodiċi jew chats twal, billi tingħata prijorità lill- Privatezza u l-kontroll tal-ispejjeż meta taħdem lokalment.
X'jipprovdi gpt-oss-20b meta jaħdem lokalment?
Il-familja gpt-oss tiddebutta b'mudelli ta' piżijiet miftuħa iddisinjat biex jiġi integrat faċilment fis-soluzzjonijiet tiegħek stess. Speċifikament, gpt-oss-20b Jispikka għall-bilanċjar tal-kapaċità ta' raġunament u r-rekwiżiti raġonevoli tal-ħardwer għal PC desktop.
Karatteristika distintiva hija l- tieqa tal-kuntest estiża, b'appoġġ għal sa 131.072 token fil-medda gpt-oss. Din it-tul tiffaċilita konversazzjonijiet twal, analiżi ta' dokumenti voluminużi jew ktajjen ta' ħsieb aktar profondi mingħajr qatgħat jew frammentazzjoni.
Meta mqabbla ma' mudelli magħluqa, il-proposta b'piż miftuħ tipprijoritizza l- flessibilità tal-integrazzjoni fl-applikazzjonijiet: minn assistenti b'għodda (aġenti) anke plugins għal riċerka, tiftix fuq il-web u programmazzjoni, kollha jieħdu vantaġġ mill-inferenza lokali.
Fil-prattika, il-pakkett ta' gpt-oss:20b huwa madwar 13 GB installati f'ambjenti popolari ta' runtime. Dan jistabbilixxi t-ton għar-riżorsi meħtieġa u jgħin biex jiżdied l-iskalar tal- VRAM biex tinżamm il-prestazzjoni mingħajr konġestjonijiet.
Hemm ukoll varjant akbar (gpt-oss-120b), iddisinjat għal xenarji b' riżorsi grafiċi aktar abbundantiGħal ħafna PCs, madankollu, il- 20B Huwa l-aktar punt tat-tluq realistiku minħabba r-relazzjoni tiegħu bejn il-veloċità, il-memorja u l-kwalità.
Ottimizzazzjoni għal RTX: Veloċità, Kuntest, u VRAM
Adattament tal-mudelli GPT-OSS għall-ekosistema NVIDIA RTX jippermetti rati ta' ġenerazzjoni għoljin. F'tagħmir ta' kwalità għolja, pikki sa 256 token/sekonda b'aġġustamenti xierqa, billi jittieħed vantaġġ minn ottimizzazzjonijiet u preċiżjonijiet speċifiċi bħal MXFP4.
Ir-riżultati jiddependu fuq il-karta, il-kuntest, u l-konfigurazzjoni. Fit-testijiet b' RTX 5080, gpt-oss 20b laħaq madwar 128 tunnellata/sekonda b'kuntesti kontenuti (≈8k). Billi żżid il- Tieqa ta' 16k u billi ġiegħel parti mit-tagħbija titpoġġa fir-RAM tas-sistema, ir-rata niżlet għal ~50,5 tunnellata/sekonda, bil-GPU tagħmel il-biċċa l-kbira tax-xogħol.
It-tagħlima hija ċara: l- Regoli tal-VRAMFl-AI lokali, a RTX 3090 b'aktar memorja Jista' jaħdem aħjar minn GPU aktar ġdida iżda b'inqas VRAM, għax jipprevjeni l-overflow għall- memorja tas-sistema u l-intervent żejjed tas-CPU.
Għal gpt-oss-20b, huwa konvenjenti li tieħu d-daqs tal-mudell bħala referenza: madwar 13 GB aktar spazju għall- Kaxx tal-KV u kompiti intensivi. Bħala gwida rapida, huwa rakkomandat li jkollok 16 GB ta 'VRAM għall-inqas u jimmira għal 24 GB jekk ikunu antiċipati kuntesti twal jew tagħbijiet sostnuti.
Dawk li qed ifittxu li jagħfsu l-ħardwer jistgħu jesploraw preċiżjonijiet effiċjenti (bħal MXFP4), aġġusta t-tul tal-kuntest jew irrikorri għal konfigurazzjonijiet b'ħafna GPU meta jkun fattibbli, filwaqt li dejjem iżżomm l-għan li evita skambji lejn ir-RAM.
Installazzjoni u użu: Ollama u rotot oħra
Biex tittestja l-mudell b'mod sempliċi, Ollama joffri esperjenza diretta fuq PCs li jaħdmu bl-RTX: Jippermettilek tniżżel, tħaddem, u tiċċettja ma' GPT-OSS-20B mingħajr konfigurazzjonijiet kumplessi., minbarra li jappoġġja PDFs, fajls tat-test, prompts tal-immaġni, u aġġustament tal-kuntest.
Hemm ukoll rotot alternattivi għal utenti avvanzati, pereżempju Installa LLM fuq Windows 11Oqfsa bħal sejħa.cpp u libreriji tat-tipi GGML huma ottimizzati għal RTX, b'isforzi reċenti fi tnaqqas it-tagħbija tas-CPU u tieħu vantaġġ Grafiċi CUDAB'mod parallel, Microsoft AI Foundry Lokali (fil-preview) Integra mudelli permezz ta' CLI, SDK jew APIs b'aċċelerazzjoni CUDA u TensorRT.
Fl-ekosistema tal-għodod, Intel AI Playground 2.6.0 inkorpora gpt-oss-20b fost l-għażliet tiegħuL-aġġornament iżid kontroll tal-verżjonijiet preċiż għall-backends u reviżjonijiet għal oqfsa bħal OpenVINO, ComfyUI y sejħa.cpp (bl-appoġġ ta' vulkan u l-aġġustament tal-kuntest), il-faċilitazzjoni ambjenti lokali stabbli.
Bħala linja gwida għall-bidu, iċċekkja l- VRAM disponibbli, niżżel il-varjant tal-mudell li jaqbel mal-GPU tiegħek, ivvalida l- veloċità tat-token b'suġġerimenti rappreżentattivi u jaġġusta l- tieqa tal-kuntest biex iżżomm it-tagħbija kollha fuq il-karta grafika.
B'dawn il-biċċiet, huwa possibbli li jinbnew assistenti għal tfittxija u analiżi, għodda ta ' riċerka jew appoġġi ta' programmazzjoni li jaħdmu kompletament fuq il-kompjuter, u jżommu s-sovranità tad-dejta.
Il-kombinazzjoni ta' gpt-oss-20b ma' aċċelerazzjoni RTX, ġestjoni bir-reqqa tal-VRAM, u għodod bħal Ollama, llama.cpp, jew AI Playground tissolidifika għażla matura għat-tħaddim ta' raġunar AI lokalment; perkors li jibbilanċja l-prestazzjoni, l-ispiża, u l-privatezza mingħajr ma tiddependi fuq servizzi esterni.
Jien dilettant tat-teknoloġija li bidlet l-interessi "geek" tiegħu fi professjoni. Għamilt aktar minn 10 snin minn ħajti nuża teknoloġija avvanzata u nagħmel tbagħbis ma’ kull tip ta’ programmi għal kurżità pura. Issa speċjajtejt fit-teknoloġija tal-kompjuter u l-logħob tal-kompjuter. Dan għaliex ilni aktar minn 5 snin naħdem nikteb għal diversi websajts dwar teknoloġija u video games, noħloq artikli li jfittxu li jagħtuk l-informazzjoni li għandek bżonn b’lingwa li tinftiehem minn kulħadd.
Jekk għandek xi mistoqsijiet, l-għarfien tiegħi jvarja minn dak kollu relatat mas-sistema operattiva Windows kif ukoll Android għat-telefowns ċellulari. U l-impenn tiegħi huwa għalik, jien dejjem lest li nqatta' ftit minuti u ngħinek issolvi kwalunkwe mistoqsija li jista' jkollok f'din id-dinja tal-internet.