- gpt-oss-20b taunuu mai o se faʻataʻitaʻiga tatala-mamafa ma faʻatinoga faʻapitonuʻu ma le umi umi (e oʻo atu i le 131.072 faʻailoga).
- Fa'atonuina mo NVIDIA RTX: Lipoti fa'avavevave i le 256 t/s; VRAM e ave e faʻamautu le faʻatinoga.
- Fa'afaigofie ona fa'aoga ile Ollama ma isi mea e pei ole llama.cpp, GGML, ma le Microsoft AI Foundry Local.
- E maua fo'i ile Intel AI Playground 2.6.0, fa'atasi ai ma fa'asologa fa'afou ma fa'aleleia atili le pulega o le si'osi'omaga.
O le taunuu mai o gpt-oss-20b mo fa'aoga fa'apitonu'u e aumaia ai se fa'ata'ita'iga mamana e alu sa'o i luga o le PC i le tele o tagata fa'aoga. O lenei tuleiga, e fetaui ma le Fa'atonuga mo NVIDIA RTX GPU, tatala le faitotoa i galuega faigata e aunoa ma le faalagolago i le ao.
E manino le taulaiga: ofo atu matala-mamafa ma le talaaga umi tele mo galuega faigata e pei o suʻesuʻega maualuga, suʻesuʻega, fesoasoani tulafono poʻo talatalanoaga umi, faʻamuamua le tulaga faalilolilo ma pulea tau pe a faigaluega i le lotoifale.
O le a le mea e maua e gpt-oss-20b pe a tamoʻe i le lotoifale?
O le aiga gpt-oss e amataina i faʻataʻitaʻiga o mamafa tatala fuafuaina ina ia faigofie ona tuʻufaʻatasia i au lava fofo. Aemaise lava, gpt-oss-20b E tulaga ese mo le faapaleniina o le gafatia o le mafaufau ma le talafeagai o meafaigaluega mo se komepiuta PC.
O se tulaga iloga o le fa'amalama talatala fa'alautele, faʻatasi ai ma le lagolago e oʻo atu i le 131.072 faʻailoga i le laina gpt-oss. O lenei umi e faafaigofie ai talanoaga uumi, su'esu'ega o pepa tetele po'o filifili loloto o mafaufauga e aunoa ma ni tipi po'o ni fa'amavaega.
Fa'atusatusa i fa'ata'ita'iga tapuni, o le talosaga tatala-mamafa e fa'amuamua le tu'ufa'atasiga fetu'una'i i talosaga: mai fesoasoani ma meafaigaluega (sui) e oo lava i plugins mo su'esu'ega, su'esu'ega i luga ole laiga ma polokalame, o lo'o fa'aogaina uma e fa'atatauga fa'alotoifale.
I tulaga fa'atino, o le afifi o gpt-oss:20b e tusa ma le 13 GB fa'apipi'i i si'osi'omaga ta'uta'ua ta'avale. O le mea lea e fa'atulaga ai le leo mo punaoa e mana'omia ma fesoasoani e fa'alautele le VRAM ia fa'atumauina le fa'atinoga e aunoa ma ni fa'alavelave.
O loʻo i ai foʻi se suiga tele (gpt-oss-120b), faʻatulagaina mo faʻataʻitaʻiga ma sili atu graphic punaoa. Mo le tele o PC, peitaʻi, o le 20B O le amataga sili ona moni ona o lona sootaga i le va o le saoasaoa, manatua ma le lelei.
Fa'amalieina mo le RTX: Saosaoa, Tulaga, ma VRAM
Fetuuna'i fa'ata'ita'iga GPT-OSS i le fa'anatura NVIDIA RTX fa'ataga mo fua fa'atupu maualuga. I meafaigaluega maualuga, tumutumu e oo atu i le 256 faailoga/sekona fa'atasi ai ma fetuutuuna'iga talafeagai, fa'aaoga tatau fa'apitoa ma fa'atonuga fa'apitoa e pei o MXFP4.
E fa'alagolago i'uga ile kata, fa'amatalaga, ma le fa'atulagaina. I su'ega ma a RTX 5080, gpt-oss 20b na aʻafia solo 128 t/s fa'atasi ai ma fa'amatalaga o lo'o iai (≈8k). E ala i le faateleina o le 16k faamalama ma faʻamalosia nisi o le uta i totonu o le RAM system, o le fua na pa'ū i ~50,5 t/s, ma le GPU o loʻo faia le tele o galuega.
E manino le lesona: o le VRAM tulafono. I le lotoifale AI, a RTX 3090 ma sili atu manatuaga E mafai ona sili atu le lelei nai lo se GPU fou ae faʻaitiitia le VRAM, aua e taofia ai le tafe i le manatuaina o mea ma le fa'alavelave fa'aopoopo a le PPU.
Mo gpt-oss-20b, e faigofie ona ave le tele o le faʻataʻitaʻiga e fai ma faʻamatalaga: e uiga i 13 GB tele avanoa mo le KV cache ma galuega mamafa. I le avea ai o se taʻiala vave, e fautuaina e maua 16 GB o VRAM le itiiti ifo ma le sini mo 24 GB pe afai o lo'o fa'amoemoeina ni fa'asologa umi po'o ni uta tumau.
O i latou o loʻo vaʻavaʻai e faʻapipiʻi meafaigaluega e mafai ona suʻesuʻe sa'o lelei (pei o le MXFP4), fetuutuunai le umi o le talaaga poʻo le faʻaogaina i faʻasalalauga tele-GPU pe a mafai, ia tausia pea le sini o le aloese mai fesuia'iga agai i le RAM.
Faʻapipiʻi ma faʻaoga: Ollama ma isi auala
Ina ia suʻeina le faʻataʻitaʻiga i se auala faigofie, Olama ofo atu se poto masani i RTX PCs: Fa'ataga oe e la'u mai, tamo'e, ma talatalanoa ma le GPT-OSS-20B e aunoa ma ni fa'alavelave lavelave., fa'aopoopo i le lagolagoina o PDFs, faila o tusitusiga, fa'aoso ata, ma fetuutuuna'iga o fa'amatalaga.
E iai fo'i isi auala mo tagata fa'aoga maualuluga, mo se fa'ata'ita'iga Fa'apipi'i le LLM ile Windows 11. Fuafuaga pei valaau.cpp ma ituaiga faletusi GGML ua sili ona lelei mo RTX, faatasi ai ma taumafaiga lata mai i faaitiitia uta CPU ma faaaoga lelei CUDA kalafi. I se tulaga tutusa, Microsoft AI Foundry Local (i le muai va'aiga) Fa'atasi fa'ata'ita'iga e ala ile CLI, SDK po'o API fa'atasi ma le CUDA ma le TensorRT fa'avavevave.
I le siosiomaga o mea faigaluega, Intel AI Playground 2.6.0 ua tu'ufa'atasia le gpt-oss-20b i ana filifiligaO le fa'afouga fa'aopoopoina le fa'atonutonuina o fa'aliliuga lelei mo pito pito i tua ma toe teuteuga i fa'ava'a e pei o OpenVINO, ComfyUI y valaau.cpp (faatasi ai ma le lagolago a mauga mū ma le fetuutuuna'iga o talaaga), faafaigofieina si'osi'omaga fa'alenu'u mautu.
I le avea o se taiala amata, siaki le Avanoa VRAM, download le faʻataʻitaʻiga variant e fetaui ma lau GPU, faʻamaonia le saoasaoa fa'ailoga fa'atasi ai ma fa'atonuga sui ma fetuunai le fa'amalama talatala e taofi uma le uta i luga o le pepa faʻailoga.
Faatasi ai ma nei vaega, e mafai ona fausia fesoasoani mo su'esu'e ma au'ili'iliga, mea faigaluega a suʻesuʻega po o lagolago a polokalame e tamo'e atoa i luga o le komepiuta, fa'atumauina le pule fa'amaumauga.
O le tuʻufaʻatasia o le gpt-oss-20b faʻatasi ma le RTX faʻavavevave, faʻaeteete VRAM pulega, ma meafaigaluega e pei o Ollama, llama.cpp, poʻo AI Playground faʻamauina se filifiliga matua mo le faʻatautaia o mafaufauga AI i le lotoifale; se ala e faapaleni ai le faatinoga, tau, ma le le faalauaiteleina e aunoa ma le faalagolago i auaunaga i fafo.
O aʻu o se tagata faʻatekonolosi ua liua ana mea e fiafia i ai "geek" i se galuega. Ua sili atu i le 10 tausaga o lo'u olaga ua ou fa'aaluina i le fa'aogaina o tekonolosi fa'aonaponei ma le fa'ata'ita'iina o ituaiga polokalame uma ona o le fiailoa mama. O lea ua ou tomai faapitoa i tekinolosi komepiuta ma taaloga vitio. E mafua ona mo le silia ma le 5 tausaga o ou tusitusi mo 'upega tafaʻilagi eseese i luga o tekinolosi ma taaloga vitio, fatuina tala e saili e tuʻuina atu ia te oe faʻamatalaga e te manaʻomia i se gagana e malamalama ai tagata uma.
Afai ei ai ni au fesili, o loʻu iloa e sau mai mea uma e fesoʻotaʻi ma le Windows operating system faʻapea foʻi ma le Android mo telefoni feʻaveaʻi. Ma o laʻu tautinoga e mo oe, ou te naunau lava e faʻaalu ni nai minute ma fesoasoani ia te oe e foia soʻo se fesili e te ono iai i lenei lalolagi initaneti.