- gpt-oss-20b እንደ ክፍት ክብደት ሞዴል ከአካባቢው አፈጻጸም እና ረጅም አውድ (እስከ 131.072 ቶከን) ይደርሳል።
- ለNVDIA RTX የተመቻቸ፡ እስከ 256 t/s የተዘገበው ፍጥነት; አፈጻጸሙን ለማስጠበቅ VRAM ይረከባል።
- ከኦላማ ጋር ለመጠቀም ቀላል እና እንደ llama.cpp፣ GGML እና Microsoft AI Foundry Local ያሉ አማራጮች።
- እንዲሁም በIntel AI Playground 2.6.0፣ ከተዘመኑ ማዕቀፎች እና ከተሻሻለ የአካባቢ አስተዳደር ጋር ይገኛል።
መድረሻ gpt-oss-20b ለ የአካባቢ አጠቃቀም ለተጨማሪ ተጠቃሚዎች በፒሲ ላይ በቀጥታ የሚሰራ ኃይለኛ የማመዛዘን ሞዴል ያመጣል. ይህ ግፊት, ከ ጋር የተጣጣመ ለNVDIA RTX ጂፒዩዎች ማመቻቸት፣ በደመና ላይ ሳይመኩ ለሚፈልጉ የስራ ሂደቶች በር ይከፍታል።
ትኩረቱ ግልጽ ነው፡ ለማቅረብ ክፍት-ክብደት በጣም ረጅም አውድ ያለው እንደ የላቁ ፍለጋዎች፣ምርምር፣የኮድ እገዛ ወይም ረጅም ቻት ላሉ ውስብስብ ስራዎች ቅድሚያ በመስጠት ግላዊነት እና በአካባቢው በሚሰሩበት ጊዜ የዋጋ ቁጥጥር.
በአካባቢው ሲሮጥ gpt-oss-20b ምን ይሰጣል?
የ gpt-oss ቤተሰብ በሚከተሉት ሞዴሎች ይጀምራል ክፍት ክብደቶች በራስዎ መፍትሄዎች ውስጥ በቀላሉ እንዲዋሃድ የተቀየሰ. በተለይም፣ gpt-oss-20b ለዴስክቶፕ ፒሲ የማመዛዘን አቅም እና ምክንያታዊ የሃርድዌር መስፈርቶችን ለማመጣጠን ጎልቶ ይታያል።
ተለይቶ የሚታወቅ ባህሪው ነው የተራዘመ የአውድ መስኮት, በ gpt-oss ክልል ውስጥ እስከ 131.072 ቶከኖች ድጋፍ። ይህ ርዝመት ያመቻቻል ረጅም ንግግሮች፣ ጥራዝ የሆኑ ሰነዶችን ወይም ጥልቅ የአስተሳሰብ ሰንሰለቶችን ሳይቆርጡ ወይም ሳይበታተኑ ትንተና።
ከተዘጉ ሞዴሎች ጋር ሲነፃፀር ክፍት የክብደት ፕሮፖዛል ለ ውህደት ተለዋዋጭነት መተግበሪያዎች ውስጥ: ከ መሳሪያዎች (ኤጀንቶች) ያላቸው ረዳቶች እንኳን ተሰኪዎች ለ ምርምር, የድር ፍለጋ እና ፕሮግራም, ሁሉም የአካባቢያዊ ግንዛቤን በመጠቀም.
በተግባራዊ ሁኔታ, ጥቅል የ gpt-oss:20b 13 ጊባ አካባቢ ነው። በታዋቂው የአሂድ ጊዜ አካባቢዎች ውስጥ ተጭኗል። ይህ የሚፈለጉትን ሀብቶች ቃና ያዘጋጃል እና መጠኑን ለመለካት ይረዳል VRAM ያለ ማነቆዎች አፈጻጸምን ለመጠበቅ.
እንዲሁም ትልቅ ተለዋጭ (gpt-oss-120b) አለ፣ ለሁኔታዎች የተነደፈ የበለጠ ሰፊ የግራፊክ መርጃዎች. ለአብዛኞቹ ፒሲዎች ግን የ 20B በፍጥነት, በማስታወስ እና በጥራት መካከል ባለው ግንኙነት ምክንያት በጣም እውነተኛው መነሻ ነጥብ ነው.
ለ RTX፡ ፍጥነት፣ አውድ እና ቪራም ማመቻቸት
የጂፒቲ-ኦኤስኤስ ሞዴሎችን ከሥነ-ምህዳር ጋር ማላመድ NVIDIA RTX ከፍተኛ የትውልዶች ተመኖች ይፈቅዳል. በከፍተኛ ደረጃ መሳሪያዎች ውስጥ, እስከ 256 ቶከን በሰከንድ ከተገቢው ማስተካከያዎች ጋር, እንደ ልዩ ማሻሻያዎችን እና ትክክለኛነትን በመጠቀም MXFP4.
ውጤቶቹ በካርዱ፣ አውድ እና ውቅር ላይ ይወሰናሉ። በፈተናዎች ውስጥ ሀ RTX 5080, gpt-oss 20b ዙሪያ ደርሷል 128 ቲ / ሰ ከተያዙ አውዶች (≈8k) ጋር። በመጨመር 16 ኪ መስኮት እና አንዳንድ ጭነቱን ወደ ስርዓቱ RAM በማስገደድ, መጠኑ ወደ ~ ወድቋል50,5 ቲ / ሰ, ጂፒዩ አብዛኛውን ስራውን እየሰራ ነው።
ትምህርቱ ግልጽ ነው፡ የ VRAM ደንቦች. በአካባቢው AI, a RTX 3090 ከተጨማሪ ማህደረ ትውስታ ጋር ከአዲሱ ጂፒዩ በተሻለ ነገር ግን ቪራም ባነሰ መጠን ማከናወን ይችላል፣ ምክንያቱም ወደ ውስጥ መብዛት ስለሚከላከል የስርዓት ማህደረ ትውስታ እና የሲፒዩ ተጨማሪ ጣልቃገብነት.
ለ gpt-oss-20b, የሞዴሉን መጠን እንደ ማጣቀሻ ለመውሰድ አመቺ ነው: ስለ 13 ጂቢ ተጨማሪ ክፍል ለ KV መሸጎጫ እና የተጠናከረ ተግባራት. እንደ ፈጣን መመሪያ, እንዲኖራቸው ይመከራል 16 ጊባ ከ VRAM ቢያንስ እና አላማ 24 ጂቢ ረጅም አውዶች ወይም ዘላቂ ሸክሞች የሚጠበቁ ከሆነ.
ሃርድዌሩን ለመጭመቅ የሚፈልጉ ሁሉ ማሰስ ይችላሉ። ውጤታማ ትክክለኛነት (እንደ MXFP4 ያሉ)፣ የአውድ ርዝመቱን ያስተካክሉ ወይም የሚቻል ሲሆን ወደ ባለብዙ ጂፒዩ ውቅሮች ይሂዱ፣ ሁልጊዜም ግቡን ይጠብቃሉ መለዋወጥን ያስወግዱ ወደ RAM.
መጫንና መጠቀም፡ ኦላማ እና ሌሎች መንገዶች
ሞዴሉን ቀላል በሆነ መንገድ ለመሞከር, ኦላማ በ RTX PCs ላይ ቀጥተኛ ተሞክሮ ይሰጣል፡- ያለ ውስብስብ ውቅሮች ከ GPT-OSS-20B ጋር እንዲያወርዱ፣ እንዲያሄዱ እና እንዲወያዩ ይፈቅድልዎታል።ፒዲኤፎችን፣ የጽሑፍ ፋይሎችን፣ የምስል መጠየቂያዎችን እና የአውድ ማስተካከያዎችን ከመደገፍ በተጨማሪ።
ለላቁ ተጠቃሚዎች አማራጭ መንገዶችም አሉ ለምሳሌ በዊንዶውስ 11 ላይ LLM ን ይጫኑ. እንደ ማዕቀፎች ይደውሉ.cpp እና ቤተ-መጻሕፍት ይተይቡ ጂጂኤምኤል ከቅርብ ጊዜ ጥረቶች ጋር ለ RTX የተመቻቹ ናቸው። የሲፒዩ ጭነትን ይቀንሱ እና ተጠቀም CUDA ግራፎች. በትይዩ. የማይክሮሶፍት AI Foundry አካባቢያዊ (በቅድመ እይታ) ሞዴሎችን በCLI፣ SDK ወይም APIs ከCUDA እና TensorRT ማጣደፍ ጋር ያዋህዱ።
በመሳሪያዎች ሥነ-ምህዳር ውስጥ, ኢንቴል AI የመጫወቻ ቦታ 2.6.0 gpt-oss-20bን ከአማራጮቹ መካከል አካቷል።ማሻሻያው ጥሩ ጥራት ያለው የስሪት መቆጣጠሪያን ለጀርባዎች እና ክለሳዎች በመሳሰሉት ማዕቀፎች ላይ ያክላል OpenVINO፣ ComfyUI y ይደውሉ.cpp (በመደገፍ Vulkan እና የአውድ ማስተካከያ), ማመቻቸት የተረጋጋ የአካባቢ አካባቢዎች.
እንደ ጅምር መመሪያ, ይመልከቱ VRAM ይገኛል።, ከእርስዎ ጂፒዩ ጋር የሚስማማውን የሞዴል ልዩነት ያውርዱ, ያረጋግጡ የማስመሰያ ፍጥነት በተወካይ ጥያቄዎች እና ማስተካከል የአውድ መስኮት ሁሉንም ጭነት በግራፊክ ካርዱ ላይ ለማቆየት.
በእነዚህ ክፍሎች, ለ ረዳቶች መገንባት ይቻላል ፍለጋ እና ትንተና, መሳሪያዎች ምርመራ ወይም ድጋፎች የ ፕሮግራም የውሂብ ሉዓላዊነትን በመጠበቅ በኮምፒዩተር ላይ ሙሉ በሙሉ የሚሰራ።
የ gpt-oss-20b ጥምር ከ RTX ማፋጠን፣ ጥንቃቄ የተሞላበት የVRAM አስተዳደር እና እንደ ኦላማ፣ ላማ.cpp ወይም AI Playground ያሉ መሳሪያዎች በአገር ውስጥ ምክንያታዊ AIን ለማስኬድ የበሰለ አማራጭን ያሟላሉ፤ በውጫዊ አገልግሎቶች ላይ ሳይመሰረቱ አፈጻጸምን፣ ወጪን እና ግላዊነትን የሚያመጣጥር መንገድ።
የ"ጂክ" ፍላጎቱን ወደ ሙያ የቀየረ የቴክኖሎጂ አድናቂ ነኝ። በህይወቴ ከ10 አመታት በላይ አሳልፌያለሁ እጅግ በጣም ጥሩ ቴክኖሎጂን በመጠቀም እና ሁሉንም አይነት ፕሮግራሞችን ከንፁህ የማወቅ ጉጉት የተነሳ። አሁን በኮምፒዩተር ቴክኖሎጂ እና በቪዲዮ ጨዋታዎች ላይ ተምሬያለሁ። ይህ የሆነበት ምክንያት ከ5 ዓመታት በላይ በተለያዩ ድረ-ገጾች በቴክኖሎጂ እና በቪዲዮ ጌሞች ላይ በመጻፍ የምትፈልገውን መረጃ ለሁሉም ሰው ሊረዳው በሚችል ቋንቋ እየጻፍኩ መጣሁ።
ማንኛውም አይነት ጥያቄ ካሎት እውቀቴ ከዊንዶውስ ኦፐሬቲንግ ሲስተም እንዲሁም አንድሮይድ ለሞባይል ጋር ከተያያዙ ነገሮች ሁሉ ይለያያል። እና የእኔ ቁርጠኝነት ለእርስዎ ነው፣ እኔ ሁል ጊዜ ጥቂት ደቂቃዎችን ለማሳለፍ እና በዚህ የበይነመረብ አለም ውስጥ ያሉዎትን ማንኛውንም ጥያቄዎች እንዲፈቱ ለመርዳት ፈቃደኛ ነኝ።