- gpt-oss-20b de bi awoṣe iwuwo-ìmọ pẹlu ipaniyan agbegbe ati ipo gigun (to awọn ami ami 131.072).
- Iṣapeye fun NVIDIA RTX: Awọn iyara ti a royin to 256 t / s; VRAM gba to lori lati bojuto awọn iṣẹ.
- Rọrun lati lo pẹlu Ollama ati awọn omiiran bii llama.cpp, GGML, ati Microsoft AI Foundry Local.
- Tun wa ni Intel AI ibi isereile 2.6.0, pẹlu awọn ilana imudojuiwọn ati ilọsiwaju iṣakoso ayika.
Awọn dide ti gpt-oss-20b fun lilo agbegbe Ọdọọdún ni a alagbara ero awoṣe ti o nṣiṣẹ taara lori PC si siwaju sii awọn olumulo. Titari yii, ni ibamu pẹlu awọn Iṣapeye fun NVIDIA RTX GPUs, ṣi ilẹkun si awọn ṣiṣan iṣẹ ti o nbeere laisi gbigbekele awọsanma.
Awọn idojukọ jẹ ko o: lati pese ìmọ-àdánù pẹlu gan gun àrà fun eka awọn iṣẹ-ṣiṣe bi to ti ni ilọsiwaju awọrọojulówo, iwadi, koodu iranlowo tabi gun chats, ni ayo awọn ìpamọ ati iṣakoso iye owo nigba ṣiṣẹ ni agbegbe.
Kini gpt-oss-20b pese nigbati o nṣiṣẹ ni agbegbe?
Awọn idile gpt-oss debuts pẹlu awọn awoṣe ti ìmọ òṣuwọn ti a ṣe lati wa ni irọrun sinu awọn solusan tirẹ. Ni pato, gpt-oss-20b O duro jade fun iwọntunwọnsi agbara ero ati awọn ibeere ohun elo ti o ni oye fun PC tabili tabili kan.
A distinguishing ẹya-ara ni awọn o gbooro sii o tọ window, pẹlu atilẹyin fun awọn ami-ami 131.072 ni ibiti gpt-oss. Yi ipari dẹrọ gun awọn ibaraẹnisọrọ, igbekale ti awọn iwe aṣẹ voluminous tabi jinle ẹwọn ti ero lai gige tabi Fragmentation.
Akawe si awọn awoṣe titi, ìmọ-àdánù igbero ni ayo awọn Integration ni irọrun ninu awọn ohun elo: lati awọn oluranlọwọ pẹlu awọn irinṣẹ (awọn aṣoju) ani awọn afikun fun iwadi, ayelujara search ati siseto, gbogbo awọn anfani ti agbegbe inference.
Ni ilowo awọn ofin, awọn package ti gpt-oss: 20b wa ni ayika 13 GB ti fi sori ẹrọ ni awọn agbegbe asiko asiko olokiki. Eyi ṣeto ohun orin fun awọn orisun ti o nilo ati iranlọwọ lati ṣe iwọn awọn VRAM lati ṣetọju iṣẹ laisi igo.
Iyatọ nla tun wa (gpt-oss-120b), ti a ṣe apẹrẹ fun awọn oju iṣẹlẹ pẹlu diẹ iwonba ti iwọn oro. Fun julọ PC, sibẹsibẹ, awọn 20B O jẹ aaye ibẹrẹ ti o daju julọ nitori ibatan rẹ laarin iyara, iranti ati didara.
Ti o dara ju fun RTX: Iyara, Ọrọ ati VRAM
Nmu awọn awoṣe GPT-OSS si ilolupo NVIDIA RTX faye gba fun ga iran awọn ošuwọn. Ninu ẹrọ ti o ga julọ, awọn oke ti to awọn ami-ami 256 / iṣẹju-aaya pẹlu awọn atunṣe ti o yẹ, ni anfani ti awọn iṣapeye pato ati awọn iṣedede gẹgẹbi MXFP4.
Awọn abajade da lori kaadi, ọrọ-ọrọ, ati iṣeto ni. Ninu awọn idanwo pẹlu a RTX 5080, gpt-oss 20b ti de ni ayika 128 t/s pẹlu awọn ọrọ ti o wa ninu (≈8k). Nipa jijẹ awọn 16k ferese ati fi agbara mu diẹ ninu awọn fifuye sinu eto Ramu, oṣuwọn silẹ si ~50,5 t/s, pẹlu GPU n ṣe pupọ julọ iṣẹ naa.
Ẹkọ naa jẹ kedere: awọn VRAM ofin. Ni agbegbe AI, a RTX 3090 pẹlu iranti diẹ sii O le ṣe dara julọ ju GPU tuntun ṣugbọn pẹlu VRAM ti o dinku, nitori pe o ṣe idiwọ ṣiṣan si awọn iranti eto ati awọn afikun intervention ti Sipiyu.
Fun gpt-oss-20b, o rọrun lati mu iwọn awoṣe bi itọkasi: nipa 13 GB diẹ yara fun awọn KV kaṣe ati awọn iṣẹ-ṣiṣe aladanla. Bi awọn ọna kan guide, o ti wa ni niyanju lati ni 16 GB ti VRAM ni o kere ati ifọkansi fun 24 GB ti o ba ti gun àrà tabi sustained èyà ti wa ni ti ifojusọna.
Awọn ti n wa lati fun pọ ohun elo le ṣawari daradara konge (gẹgẹbi MXFP4), ṣatunṣe ipari ọrọ-ọrọ tabi ohun asegbeyin ti si awọn atunto GPU-pupọ nigbati o ṣee ṣe, nigbagbogbo tọju ibi-afẹde ti yago fun swaps si ọna Ramu.
Fifi sori ẹrọ ati lilo: Ollama ati awọn ipa-ọna miiran
Lati ṣe idanwo awoṣe ni ọna ti o rọrun, Ollama nfunni ni iriri taara lori awọn PC ti o ni agbara RTX: Gba ọ laaye lati ṣe igbasilẹ, ṣiṣe, ati iwiregbe pẹlu GPT-OSS-20B laisi awọn atunto idiju., ni afikun si atilẹyin awọn PDFs, awọn faili ọrọ, awọn igbesẹ aworan, ati atunṣe ipo.
Awọn ipa-ọna omiiran tun wa fun awọn olumulo ilọsiwaju, fun apẹẹrẹ Fi LLM sori Windows 11. Awọn ilana bii ipe.cpp ati iru ikawe GGML ti wa ni iṣapeye fun RTX, pẹlu awọn igbiyanju laipe ni din Sipiyu fifuye ati ki o ya anfani Awọn aworan CUDA. Ni afiwe, Microsoft AI Foundry Agbegbe (ni awotẹlẹ) Ṣepọ awọn awoṣe nipasẹ CLI, SDK tabi API pẹlu CUDA ati isare TensorRT.
Ninu ilolupo eda abemi, awọn irinṣẹ, Intel AI ibi isereile 2.6.0 ti ṣafikun gpt-oss-20b laarin awọn aṣayan rẹImudojuiwọn naa ṣafikun iṣakoso ikede ti o dara-dara fun awọn ẹhin ati awọn atunyẹwo si awọn ilana bii Ṣii VINO, ComfyUI y ipe.cpp (pẹlu atilẹyin ti Iyẹn ati atunṣe ayika), irọrun awọn agbegbe agbegbe iduroṣinṣin.
Bi awọn kan ibere-soke itọnisọna, ṣayẹwo awọn VRAM ti o wa, Ṣe igbasilẹ iyatọ awoṣe ti o baamu GPU rẹ, jẹrisi iyara àmi pẹlu asoju ta ati ṣatunṣe awọn window ti o tọ lati pa gbogbo awọn fifuye lori awọn eya kaadi.
Pẹlu awọn ege wọnyi, o ṣee ṣe lati kọ awọn oluranlọwọ fun àwárí ati onínọmbà, awọn irinṣẹ ti iwadi tabi awọn atilẹyin ti siseto ti o nṣiṣẹ patapata lori kọmputa, mimu data nupojipetọ.
Apapo gpt-oss-20b pẹlu isare RTX, iṣakoso VRAM ṣọra, ati awọn irinṣẹ bii Ollama, llama.cpp, tabi AI Playground cements aṣayan ti ogbo fun ṣiṣe ironu AI ni agbegbe; ọna ti o ṣe iwọntunwọnsi iṣẹ ṣiṣe, idiyele, ati aṣiri laisi gbigbekele awọn iṣẹ ita.
Mo jẹ olutayo imọ-ẹrọ ti o ti sọ awọn ifẹ “giigi” rẹ di oojọ kan. Mo ti lo diẹ sii ju ọdun 10 ti igbesi aye mi ni lilo imọ-ẹrọ gige-eti ati tinkering pẹlu gbogbo iru awọn eto jade ninu iwariiri mimọ. Ní báyìí, mo ti mọ iṣẹ́ ẹ̀rọ kọ̀ǹpútà àti àwọn eré fídíò. Eyi jẹ nitori diẹ sii ju ọdun 5 Mo ti n ṣiṣẹ kikọ fun ọpọlọpọ awọn oju opo wẹẹbu lori imọ-ẹrọ ati awọn ere fidio, ṣiṣẹda awọn nkan ti o wa lati fun ọ ni alaye ti o nilo ni ede ti o jẹ oye nipasẹ gbogbo eniyan.
Ti o ba ni awọn ibeere eyikeyi, awọn sakani imọ mi lati ohun gbogbo ti o ni ibatan si ẹrọ ṣiṣe Windows bii Android fun awọn foonu alagbeka. Ati pe ifaramọ mi ni fun ọ, Mo ṣetan nigbagbogbo lati lo iṣẹju diẹ ati ṣe iranlọwọ fun ọ lati yanju eyikeyi ibeere ti o le ni ni agbaye intanẹẹti yii.