Еве како да работите со gpt-oss-20b локално: што е ново, перформанси и како да го тестирате.

Со доаѓањето на gpt-oss-20b за локална употреба носи моќен модел на расудување што работи директно на компјутерот до повеќе корисници. Овој поттик, усогласен со Оптимизација за NVIDIA RTX графички процесори, ги отвора вратите за тешки работни процеси без да се потпирате на облакот.

Фокусот е јасен: да се понуди отворена тежина со многу долг контекст за сложени задачи како што се напредни пребарувања, истражување, помош со код или долги разговори, давајќи приоритет на Заштита на и контрола на трошоците при работа локално.

Што овозможува gpt-oss-20b кога работи локално?

Семејството gpt-oss дебитира со модели на отворени тегови дизајнирани да бидат лесно интегрирани во вашите сопствени решенија. Поточно, gpt-oss-20b Се издвојува по балансирањето на капацитетот за расудување и разумните хардверски барања за десктоп компјутер.

Карактеристична карактеристика е проширен контекстен прозорец, со поддршка за до 131.072 токени во опсегот gpt-oss. Оваа должина олеснува долги разговори, анализа на обемни документи или подлабоки ланци на мисли без кратења или фрагментација.

Во споредба со затворените модели, предлогот со отворена тежина дава приоритет на флексибилност на интеграција во апликации: од асистенти со алатки (агенти) дури и додатоци за истражување, пребарување на интернет и програмирање, сите искористувајќи ја предноста на локалното заклучување.

Практично, пакетот од gpt-oss:20b е околу 13 GB инсталирано во популарни средини за извршување. Ова го поставува тонот за потребните ресурси и помага во скалирањето на VRAM за одржување на перформансите без тесни грла.

Исто така, постои поголема варијанта (gpt-oss-120b), дизајнирана за сценарија со повеќе изобилство графички ресурсиСепак, за повеќето компјутери, 20B Тоа е најреалната почетна точка поради неговата врска помеѓу брзината, меморијата и квалитетот.

Оптимизирање за RTX: Брзина, контекст и VRAM

Прилагодување на GPT-OSS моделите кон екосистемот NVIDIA RTX овозможува високи стапки на производство. Во опрема од висока класа, врвови до 256 токени/секунда со соодветни прилагодувања, искористувајќи специфични оптимизации и прецизности како што се MXFP4.

Резултатите зависат од картичката, контекстот и конфигурацијата. Во тестовите со RTX 5080, gpt-oss 20b достигна околу 128 т/с со содржани контексти (≈8k). Со зголемување на 16k прозорец и со форсирање на дел од оптоварувањето во системската RAM меморија, брзината се намали на ~50,5 т/с, при што графичкиот процесор ја врши поголемиот дел од работата.

Лекцијата е јасна: Правила на VRAMВо локалната вештачка интелигенција, RTX 3090 со повеќе меморија Може да работи подобро од поновата графичка картичка, но со помалку VRAM, бидејќи спречува прелевање на меморија на системот и дополнителната интервенција на процесорот.

За gpt-oss-20b, погодно е да се земе големината на моделот како референца: околу 13 GB повеќе простор за KV кеш и интензивни задачи. Како краток водич, се препорачува да имате 16 GB VRAM барем и стреми се кон 24 GB ако се очекуваат долги контексти или одржливи оптоварувања.

Оние кои сакаат да го исцедат хардверот можат да истражат ефикасни прецизности (како што е MXFP4), прилагодете ја должината на контекстот или прибегнете кон конфигурации со повеќе графички процесори кога е изводливо, секогаш одржувајќи ја целта на избегнувајте замени кон RAM меморијата.

Инсталација и употреба: Олама и други правци

За да го тестираме моделот на едноставен начин, Олама нуди директно искуство на RTX компјутери: Ви овозможува да преземате, стартувате и да разговарате со GPT-OSS-20B без сложени конфигурации., покрај поддршката за PDF-датотеки, текстуални датотеки, упатства за слики и прилагодување на контекстот.

Исто така, постојат алтернативни правци за напредни корисници, на пример Инсталирајте LLM на Windows 11Рамки како повикај.cpp и библиотеки на типови GGML се оптимизирани за RTX, со неодамнешни напори во намалување на оптоварувањето на процесорот и искористете ја предноста CUDA графикониПаралелно, Локална платформа за вештачка интелигенција на Microsoft (во преглед) Интегрирајте модели преку CLI, SDK или API-ја со CUDA и TensorRT забрзување.

Во екосистемот на алатки, Intel AI Playground 2.6.0 го вклучи gpt-oss-20b меѓу своите опцииАжурирањето додава прецизна контрола на верзиите за бекенди и ревизии на рамки како што се OpenVINO, ComfyUI y повикај.cpp (со поддршка на Вулкан и прилагодување на контекстот), олеснување стабилни локални средини.

Како упатство за стартување, проверете го Достапна VRAM, преземете ја варијантата на моделот што одговара на вашиот графички процесор, потврдете го брзина на токени со репрезентативни потсетници и го прилагодува контекстен прозорец за да се задржи целото оптоварување на графичката картичка.

Со овие парчиња, можно е да се изградат асистенти за пребарување и анализа, алатки на истражување или поддржувачи на програмирање кои работат целосно на компјутерот, одржувајќи го суверенитетот на податоците.

Комбинацијата на gpt-oss-20b со RTX забрзување, внимателно управување со VRAM и алатки како Ollama, llama.cpp или AI Playground претставува зрела опција за локално работење со AI; патека што ги балансира перформансите, трошоците и приватноста без да се потпира на надворешни услуги.

Поврзана статија:

OpenAI го објавува gpt-oss-120b: неговиот најнапреден модел со отворени тежини досега.

Алберто Наваро

Јас сум технолошки ентузијаст кој своите „гикови“ интереси ги претвори во професија. Поминав повеќе од 10 години од мојот живот користејќи најсовремена технологија и непречено со сите видови програми од чиста љубопитност. Сега сум специјализиран за компјутерска технологија и видео игри. Тоа е затоа што повеќе од 5 години пишувам за различни веб-локации за технологија и видео игри, создавајќи статии кои се обидуваат да ви ги дадат потребните информации на јазик што е разбирлив за секого.

Ако имате прашања, моето знаење се движи од се што е поврзано со оперативниот систем Виндоус како и Андроид за мобилни телефони. И мојата посветеност е кон вас, јас сум секогаш подготвен да потрошам неколку минути и да ви помогнам да ги решите сите прашања што може да ги имате во овој интернет свет.