- gpt-oss-20b e fihla e le mohlala oa boima bo bulehileng o nang le ts'ebetso ea lehae le maemo a malelele (ho fihla ho li-tokens tse 131.072).
- E ntlafalitsoe bakeng sa NVIDIA RTX: Ho tlalehoa lebelo ho fihla ho 256 t / s; VRAM e nka nako ho boloka ts'ebetso.
- Ho bonolo ho e sebelisa le Ollama le mekhoa e meng e kang llama.cpp, GGML, le Microsoft AI Foundry Local.
- E fumaneha hape ho Intel AI Playground 2.6.0, e nang le meralo e ntlafalitsoeng le taolo e ntlafalitsoeng ea tikoloho.
Ho fihla ha gpt-oss-20b bakeng sa tshebediso ya lehae e tlisa mohlala o matla oa ho beha mabaka o sebetsang ka kotloloho ho PC ho basebelisi ba bangata. Sehlahisoa sena, se tsamaisana le Ntlafatso ea NVIDIA RTX GPUs, e bula monyako oa ho batla ho phalla ha mosebetsi ntle le ho itšetleha ka leru.
Sepheo se hlakile: ho fana boima bo bulehileng bo nang le moelelo o molelele haholo bakeng sa mesebetsi e rarahaneng joalo ka lipatlisiso tse tsoetseng pele, lipatlisiso, thuso ea khoutu kapa lipuisano tse telele, ho etelletsa pele sephiri le taolo ya ditjeho ha o sebetsa sebakeng sa heno.
Gpt-oss-20b e fana ka eng ha e sebetsa sebakeng sa heno?
Lelapa la gpt-oss le qala ka mehlala ea boima bo bulehileng e etselitsoeng ho kenyeletsoa habonolo tharollong ea hau. Ka ho khetheha, gpt-oss-20b E hlahella bakeng sa ho leka-lekanya matla a ho beha mabaka le litlhoko tse utloahalang tsa hardware bakeng sa PC ea desktop.
Tšobotsi e khethollang ke fensetere e atolositsoeng ea litaba, ka ts'ehetso ea li-tokens tse fihlang ho 131.072 sebakeng sa gpt-oss. Bolelele bona bo thusa meqoqo e telele, tlhahlobo ea litokomane tse ngata kapa liketane tse tebileng tsa menahano ntle le ho khaola kapa ho arohana.
Ha ho bapisoa le mehlala e koetsoeng, tlhahiso ea boima bo bulehileng e etelletsa pele ho kopanyo ho tenyetseha ka likopo: ho tloha bathusi ba nang le lisebelisoa (baemeli) esita le li-plugins bakeng sa lipatlisiso, lipatlisiso tsa marang-rang le mananeo, bohle ba sebelisa monyetla oa ho nahana ka sebaka.
Ka mantsoe a sebetsang, sephutheloana sa gpt-oss: 20b e ka bang 13 GB e kentsoe libakeng tse tsebahalang tsa nako ea ho sebetsa. Sena se beha molumo bakeng sa lisebelisoa tse hlokahalang mme se thusa ho lekanya VRAM ho boloka tshebetso ntle le mathata.
Ho boetse ho na le phapang e kholoanyane (gpt-oss-120b), e etselitsoeng maemo le lisebelisoa tse ngata tsa litšoantšo. Bakeng sa li-PC tse ngata, leha ho le joalo, the 20B Ke sebaka sa sebele sa ho qala ka lebaka la kamano ea eona lipakeng tsa lebelo, mohopolo le boleng.
Ho ntlafatsa bakeng sa RTX: Lebelo, Boemo, le VRAM
Ho ikamahanya le mefuta ea GPT-OSS ho ecosystem NVIDIA RTX e lumella litefiso tse phahameng tsa tlhahiso. Ka lisebelisoa tsa maemo a holimo, litlhōrō tse fihlang ho li-tokens tse 256 / motsotsoana ka litokiso tse nepahetseng, ho nka monyetla ka lintlafatso tse itseng le ho nepahala joalo ka MXFP4.
Liphetho li ipapisitse le karete, moelelo le tlhophiso. Litekong tse nang le a RTX 5080, gpt-oss 20b e fihlile hohle 128 t/s e nang le maemo a teng (≈8k). Ka ho eketsa 16k fensetere le ho qobella o mong oa mojaro ho sistimi ea RAM, sekhahla se theohile ho ~50,5 t/s, ha GPU e etsa boholo ba mosebetsi.
Thuto e hlakile: the Melao ea VRAM. Ho AI ea lehae, a RTX 3090 e nang le mohopolo o mongata E ka sebetsa hantle ho feta GPU e ncha empa e na le VRAM e nyane, hobane e thibela ho phalla ho memori ea tsamaiso le ho kenella ho eketsehileng ha CPU.
Bakeng sa gpt-oss-20b, ho loketse ho nka boholo ba mohlala e le boitsebiso: hoo e ka bang 13 GB sebaka se eketsehileng bakeng sa KV sebaka le mesebetsi e matla. E le tataiso e potlakileng, ho kgothaletswa ho ba le 16 GB ea VRAM bonyane le sepheo sa 24 GB haeba maemo a malelele kapa meroalo e tsitsitseng e lebelletsoe.
Ba batlang ho pepeta hardware ba ka hlahloba lintlha tse nepahetseng (joalo ka MXFP4), fetola bolelele ba maemo kapa u fetohele ho meralo ea li-GPU tse ngata ha ho khoneha, kamehla u boloke sepheo sa qoba ho swaps ho ea ho RAM.
Ho kenya le ho sebelisa: Ollama le litsela tse ling
Ho leka mohlala ka tsela e bonolo, Ollama e fana ka boiphihlelo bo tobileng ho li-PC tsa RTX: E u lumella ho khoasolla, ho matha le ho qoqa le GPT-OSS-20B ntle le litlhophiso tse rarahaneng., ntle le ho tšehetsa li-PDF, lifaele tsa mongolo, litlatsetso tsa litšoantšo, le tokiso ea maemo.
Ho boetse ho na le litsela tse ling bakeng sa basebelisi ba tsoetseng pele, mohlala Kenya LLM ho Windows 11. Mehaho e kang letsetsa.cpp le ho ngola lilaebrari GGML li ntlafalitsoe bakeng sa RTX, ka boiteko ba morao-rao ba ho fokotsa matla a CPU 'me u sebelise monyetla Litšoantšo tsa CUDA. Ka tsela e tšoanang, Microsoft AI Foundry Local (ka ponelopele) Kopanya mefuta ka CLI, SDK kapa API ka CUDA le TensorRT e potlakisang.
Ka har'a ecosystem ea lisebelisoa, Lebala la lipapali la Intel AI 2.6.0 e kenyelelitse gpt-oss-20b har'a likhetho tsa eonaNtlafatso e eketsa taolo ea phetolelo e hlophisitsoeng hantle bakeng sa li-backend le lintlafatso ho meralo e kang OpenVINO, ComfyUI y letsetsa.cpp (ka tšehetso ea foqohang seretse se chesang le tokiso ea maemo), ho nolofatsa maemo a tsitsitseng a sebaka.
E le tataiso ea ho qala, hlahloba VRAM e fumaneha, khoasolla mofuta oa mofuta o lumellanang le GPU ea hau, netefatsa lebelo la letshwao ka likeletso tsa moemeli le ho lokisa fensetere ea moelelo ho boloka mojaro oohle kareteng ea litšoantšo.
Ka likotoana tsena, hoa khoneha ho haha bathusi bakeng sa ho batla le ho hlahloba, lisebelisoa tsa phuputso kapa litšehetso tsa lenaneo tse sebetsang ka ho feletseng khomphuteng, ho boloka bobusi ba data.
Motsoako oa gpt-oss-20b le ho potlakisa RTX, tsamaiso e hlokolosi ea VRAM, le lisebelisoa tse kang Ollama, llama.cpp, kapa AI Playground e tiisa khetho e hōlileng tsebong bakeng sa ho sebelisa mabaka a AI sebakeng sa heno; tsela e lekanyang tshebetso, ditjeho, le boinotshi ntle le ho itshetleha ka ditshebeletso tsa kantle.
Ke motho ea chesehelang theknoloji ea fetotseng lithahasello tsa hae tsa "geek" hore e be mosebetsi. Ke qetile lilemo tse fetang 10 tsa bophelo ba ka ke sebelisa theknoloji ea morao-rao le ho thekesela ka mefuta eohle ea mananeo ka lebaka la bohelehele. Hona joale ke sebetsa ka ho khetheha theknolojing ea k'homphieutha le lipapaling tsa video. Lebaka ke hore ka lilemo tse fetang 5 ke 'nile ka sebetsa ho ngolla liwebsaete tse fapa-fapaneng ka theknoloji le lipapali tsa video, ke etsa lihlooho tse batlang ho u fa boitsebiso boo u bo hlokang ka puo e utloisisoang ke bohle.
Haeba u na le lipotso, tsebo ea ka e tloha ho tsohle tse amanang le sistimi ea ts'ebetso ea Windows hammoho le Android bakeng sa mehala ea cellular. 'Me boitlamo ba ka ke ho uena, ke lula ke ikemiselitse ho qeta metsotso e seng mekae le ho u thusa ho rarolla lipotso leha e le life tseo u ka bang le tsona lefatšeng lena la Marang-rang.