Näin työskentelet gpt-oss-20b:n kanssa paikallisesti: uudet ominaisuudet, suorituskyky ja testaus.

Saapuminen gpt-oss-20b kohteelle paikalliseen käyttöön tuo tehokkaan, suoraan tietokoneella toimivan päättelymallin useammille käyttäjille. Tämä pyrkimys on linjassa NVIDIA RTX -näytönohjainten optimointi, avaa oven vaativiin työnkulkuihin ilman, että on riippuvainen pilvestä.

Painopiste on selvä: tarjota avoin paino erittäin pitkällä kontekstilla monimutkaisissa tehtävissä, kuten edistyneissä hauissa, tutkimuksessa, koodiavustuksessa tai pitkissä keskusteluissa, priorisoimalla yksityisyys ja kustannusten hallintaa paikallisesti työskennellessä.

Mitä gpt-oss-20b tarjoaa paikallisesti suoritettuna?

gpt-oss-perhe debytoi malleilla avoimet painot suunniteltu helposti integroitavaksi omiin ratkaisuihisi. Tarkemmin sanottuna gpt-oss-20b Se erottuu edukseen tasapainottamalla päättelykykyä ja kohtuullisia laitteistovaatimuksia pöytätietokoneelle.

Erottuva piirre on laajennettu konteksti-ikkuna, tukien jopa 131.072 XNUMX tokenille gpt-oss-alueella. Tämä pituus helpottaa pitkät keskustelut, laajojen dokumenttien tai syvempien ajatusketjujen analysointi ilman leikkauksia tai pirstaloitumista.

Suljettuihin malleihin verrattuna avoimen painotuksen ehdotus priorisoi integrointijoustavuus sovelluksissa: alkaen avustajat työkaluineen (agentit) jopa liitännäisiä tutkimus, verkkohaku ja ohjelmointi, kaikki hyödyntävät paikallista päättelyä.

Käytännössä paketti, joka sisältää gpt-oss:20b on noin 13 Gt:n kokoinen asennettuna suosittuihin suoritusympäristöihin. Tämä asettaa sävyn tarvittaville resursseille ja auttaa skaalaamaan VRAM ylläpitääkseen suorituskykyä ilman pullonkauloja.

Saatavilla on myös suurempi variantti (gpt-oss-120b), joka on suunniteltu tilanteisiin, joissa on enemmän graafisia resurssejaUseimmissa tietokoneissa kuitenkin 20B Se on realistisin lähtökohta nopeuden, muistin ja laadun välisen suhteen vuoksi.

RTX-optimointi: Nopeus, konteksti ja VRAM

GPT-OSS-mallien mukauttaminen ekosysteemiin NVIDIA RTX mahdollistaa korkeat tuotantonopeudet. Huippuluokan laitteissa jopa 256 tokenia sekunnissa asianmukaisilla säädöillä hyödyntäen tiettyjä optimointeja ja tarkennuksia, kuten MXFP4.

Tulokset riippuvat kortista, kontekstista ja kokoonpanosta. Testeissä, joissa on RTX 5080, gpt-oss 20b saavutti noin 128 t/s sisällytetyillä konteksteilla (≈8k). Kasvattamalla 16k-ikkuna ja pakottamalla osan kuormituksesta järjestelmän RAM-muistiin, nopeus laski ~50,5 t/s, ja GPU tekee suurimman osan työstä.

Opetus on selvä: VRAM-säännötPaikallisessa tekoälyssä RTX 3090 ja enemmän muistia Se voi toimia paremmin kuin uudempi näytönohjain, mutta pienemmällä VRAM-muistilla, koska se estää ylivuodon järjestelmän muisti ja suorittimen ylimääräinen puuttuminen asiaan.

gpt-oss-20b:n tapauksessa on kätevää käyttää mallin kokoa viitteenä: noin 13 GB enemmän tilaa sille KV-välimuisti ja vaativiin tehtäviin. Lyhyesti sanottuna on suositeltavaa, että sinulla on 16 Gt VRAM-muistia ainakin ja tavoitteena 24 GB jos odotettavissa on pitkiä työjaksoja tai jatkuvaa kuormitusta.

Ne, jotka haluavat puristaa laitteistoa, voivat tutustua tehokkaat tarkkuudet (kuten MXFP4), säädä kontekstin pituutta tai turvaudu usean GPU:n kokoonpanoihin aina kun se on mahdollista, pitäen aina tavoitteena välttää vaihtoja RAM-muistia kohti.

Asennus ja käyttö: Ollama ja muut reitit

Mallin testaamiseksi yksinkertaisella tavalla, Ollama tarjoaa suoran käyttökokemuksen RTX-tietokoneilla: Voit ladata, suorittaa GPT-OSS-20B:n ja keskustella sen kanssa ilman monimutkaisia ​​asetuksia., PDF-tiedostojen, tekstitiedostojen, kuvakehotteiden ja kontekstin säädön tuen lisäksi.

Kokeneille käyttäjille on myös vaihtoehtoisia reittejä, esimerkiksi Asenna LLM Windows 11:eenKehykset, kuten call.cpp ja tyyppikirjastot GGML on optimoitu RTX:lle, ja viimeaikaiset ponnistelut ovat vähentää suorittimen kuormitusta ja hyödyntää CUDA-graafitSamanaikaisesti Microsoft AI Foundry Local (esikatselussa) Integroi malleja CLI:n, SDK:n tai API-rajapintojen kautta CUDA- ja TensorRT-kiihdytyksen avulla.

Työkalujen ekosysteemissä Intel AI -leikkikenttä 2.6.0 on sisällyttänyt gpt-oss-20b:n vaihtoehtojensa joukkoonPäivitys lisää tarkan versioinnin hallinnan taustajärjestelmille ja versioille frameworkeihin, kuten OpenVINO, ComfyUI y call.cpp (tuella vulkan ja kontekstin mukauttaminen), helpottaen vakaat paikalliset ympäristöt.

Aloitusohjeena tarkista Käytettävissä oleva VRAM-muisti, lataa näytönohjaimeesi sopiva malliversio ja vahvista tokenin nopeus edustavien kehotteiden avulla ja säätää konteksti-ikkuna pitääkseen kaiken kuorman näytönohjaimella.

Näistä osista on mahdollista rakentaa avustajia haku ja analyysi, Työkalut tutkimus tai tukee ohjelmointi jotka toimivat kokonaan tietokoneella säilyttäen datasuvereniteetin.

gpt-oss-20b:n yhdistelmä RTX-kiihdytyksen, huolellisen VRAM-hallinnan ja työkalujen, kuten Ollaman, llama.cpp:n tai AI Playgroundin, kanssa luo kypsän vaihtoehdon tekoälyn paikalliseen suorittamiseen; polun, joka tasapainottaa suorituskyvyn, kustannukset ja yksityisyyden ilman ulkoisten palveluiden käyttöä.

Aiheeseen liittyvä artikkeli:

OpenAI julkaisee gpt-oss-120b:n: tähän mennessä edistyneimmän avoimen painotuksen mallinsa.

Alberto navarro

Olen teknologian harrastaja, joka on muuttanut "nörtti"-harrastuksensa ammatiksi. Olen käyttänyt yli 10 vuotta elämästäni uusinta teknologiaa käyttäen ja kaikenlaisten ohjelmien parissa puhtaasta uteliaisuudesta. Nyt olen erikoistunut tietotekniikkaan ja videopeleihin. Tämä johtuu siitä, että yli 5 vuoden ajan olen työskennellyt kirjoittaen useille teknologiaa ja videopelejä käsitteleville verkkosivustoille ja luonut artikkeleita, jotka pyrkivät antamaan sinulle tarvitsemaasi tietoa kielellä, jota kaikki ymmärtävät.

Jos sinulla on kysyttävää, tietoni ulottuu kaikesta Windows-käyttöjärjestelmään liittyvästä sekä matkapuhelimien Androidista. Ja sitoumukseni on sinulle, olen aina valmis käyttämään muutaman minuutin ja auttamaan sinua ratkaisemaan kaikki kysymyksesi, joita sinulla saattaa olla tässä Internet-maailmassa.