- gpt-oss-20b දේශීය ක්රියාත්මක කිරීම සහ දිගු සන්දර්භය (ටෝකන් 131.072 දක්වා) සහිත විවෘත බර ආකෘතියක් ලෙස පැමිණේ.
- NVIDIA RTX සඳහා ප්රශස්තිකරණය කර ඇත: වාර්තාගත වේගය 256 t/s දක්වා; කාර්ය සාධනය පවත්වා ගැනීම සඳහා VRAM භාර ගනී.
- Ollama සහ llama.cpp, GGML, සහ Microsoft AI Foundry Local වැනි විකල්ප සමඟ භාවිතා කිරීමට පහසුය.
- යාවත්කාලීන කරන ලද රාමු සහ වැඩිදියුණු කළ පරිසර කළමනාකරණය සමඟින්, Intel AI Playground 2.6.0 හි ද ලබා ගත හැකිය.
පැමිණීම සඳහා gpt-oss-20b දේශීය භාවිතය පරිගණකය මත කෙලින්ම ක්රියාත්මක වන බලගතු තර්කන ආකෘතියක් වැඩි පරිශීලකයින් වෙත ගෙන එයි. මෙම තල්ලුව, සමඟ සමපාත වේ NVIDIA RTX GPU සඳහා ප්රශස්තිකරණය, වලාකුළ මත රඳා නොසිට ඉල්ලුමක් ඇති වැඩ ප්රවාහයන්ට දොර විවර කරයි.
අවධානය පැහැදිලියි: පිරිනැමීමට ඉතා දිගු සන්දර්භයක් සහිත විවෘත-බර උසස් සෙවීම්, පර්යේෂණ, කේත සහාය හෝ දිගු කතාබස් වැනි සංකීර්ණ කාර්යයන් සඳහා, ප්රමුඛතාවය දෙමින් පුද්ගලිකත්වය සහ දේශීයව වැඩ කිරීමේදී පිරිවැය පාලනය.
දේශීයව ක්රියාත්මක වන විට gpt-oss-20b සපයන්නේ කුමක්ද?
gpt-oss පවුල නිරූපිකාවන් සමඟින් ආරම්භ වේ විවෘත බර ඔබේම විසඳුම් වලට පහසුවෙන් ඒකාබද්ධ කළ හැකි පරිදි නිර්මාණය කර ඇත. විශේෂයෙන්, ජීපීටී-ඕඑස්එස්-20බී ඩෙස්ක්ටොප් පරිගණකයක් සඳහා තාර්කික ධාරිතාව සහ සාධාරණ දෘඩාංග අවශ්යතා තුලනය කිරීම සඳහා එය කැපී පෙනේ.
කැපී පෙනෙන ලක්ෂණයක් වන්නේ විස්තීරණ සන්දර්භ කවුළුව, gpt-oss පරාසය තුළ ටෝකන 131.072 දක්වා සහය දක්වයි. මෙම දිග පහසුකම් සපයයි දිගු සංවාද, කප්පාදුවකින් හෝ ඛණ්ඩනයකින් තොරව විශාල ලේඛන හෝ ගැඹුරු චින්තන දාම විශ්ලේෂණය කිරීම.
සංවෘත මාදිලි හා සසඳන විට, විවෘත-බර යෝජනාව ප්රමුඛත්වය දෙන්නේ ඒකාබද්ධ කිරීමේ නම්යශීලීභාවය යෙදුම්වල: සිට මෙවලම් සහිත සහායකයින් (නියෝජිතයින්) සඳහා පවා ප්ලගීන පර්යේෂණ, වෙබ් සෙවීම සහ ක්රමලේඛනය, සියල්ල දේශීය අනුමානයෙන් ප්රයෝජන ගනිමින්.
ප්රායෝගිකව ගත් කල, පැකේජය gpt-oss:20b 13 GB පමණ වේ ජනප්රිය ධාවන කාල පරිසරයන් තුළ ස්ථාපනය කර ඇත. මෙය අවශ්ය සම්පත් සඳහා තානය සකසන අතර පරිමාණය කිරීමට උපකාරී වේ. VRAM බාධක නොමැතිව කාර්ය සාධනය පවත්වා ගැනීමට.
අවස්ථා සඳහා නිර්මාණය කර ඇති විශාල ප්රභේදයක් (gpt-oss-120b) ද ඇත වඩාත් පුළුල් චිත්රක සම්පත්කෙසේ වෙතත්, බොහෝ පරිගණක සඳහා, 20B වේගය, මතකය සහ ගුණාත්මකභාවය අතර සම්බන්ධතාවය නිසා එය වඩාත්ම යථාර්ථවාදී ආරම්භක ස්ථානයයි.
RTX සඳහා ප්රශස්තිකරණය: වේගය, සන්දර්භය සහ VRAM
GPT-OSS ආකෘති පරිසර පද්ධතියට අනුවර්තනය කිරීම. NVIDIA RTX ඉහළ උත්පාදන අනුපාත සඳහා ඉඩ සලසයි. ඉහළ මට්ටමේ උපකරණවල, තත්පරයකට ටෝකන 256ක් දක්වා උපරිම සුදුසු ගැලපීම් සමඟ, නිශ්චිත ප්රශස්තිකරණයන් සහ නිරවද්යතාවයන්ගෙන් ප්රයෝජන ගනිමින්, MXFP4.
ප්රතිඵල කාඩ්පත, සන්දර්භය සහ වින්යාසය මත රඳා පවතී. පරීක්ෂණ වලදී a RTX 5080, gpt-oss 20b අවට ළඟා විය 128 ටොන්/තත්පර අඩංගු සන්දර්භයන් සමඟ (≈8k). වැඩි කිරීමෙන් 16k කවුළුව සහ පද්ධතියේ RAM එකට යම් බරක් බලෙන් පැටවීමෙන්, අනුපාතය ~ දක්වා පහත වැටුණි.50,5 ටොන්/තත්පර, GPU එක තමයි වැඩිපුරම වැඩ කරන්නේ.
පාඩම පැහැදිලිය: VRAM නීති. දේශීය AI හි, a වැඩි මතකයක් සහිත RTX 3090 එය නව GPU එකකට වඩා හොඳින් ක්රියා කළ හැකි නමුත් අඩු VRAM සමඟින්, එය පිටාර ගැලීම වළක්වන නිසා පද්ධති මතකය සහ CPU හි අමතර මැදිහත්වීම.
gpt-oss-20b සඳහා, ආකෘතියේ ප්රමාණය යොමුවක් ලෙස ගැනීම පහසුය: ගැන 13 GB පමණ සඳහා වැඩි ඉඩක් KV හැඹිලිය සහ දැඩි කාර්යයන්. ඉක්මන් මාර්ගෝපදේශයක් ලෙස, එය තිබීම නිර්දේශ කෙරේ VRAM හි 16 GB අවම වශයෙන් සහ ඉලක්ක කර ගන්න 24 GB පමණ දිගු සන්දර්භයන් හෝ තිරසාර බරක් අපේක්ෂා කරන්නේ නම්.
දෘඩාංග මිරිකීමට බලාපොරොත්තු වන අයට ගවේෂණය කළ හැකිය කාර්යක්ෂම නිරවද්යතා (MXFP4 වැනි), හැකි විට සන්දර්භ දිග සකස් කරන්න හෝ බහු-GPU වින්යාසයන් වෙත යොමු වන්න, සැමවිටම ඉලක්කය තබා ගන්න හුවමාරු වලින් වළකින්න RAM දෙසට.
ස්ථාපනය සහ භාවිතය: ඔලාමා සහ අනෙකුත් මාර්ග
ආකෘතිය සරල ආකාරයකින් පරීක්ෂා කිරීමට, ඔලාම RTX පරිගණක මත සෘජු අත්දැකීමක් ලබා දෙයි: සංකීර්ණ වින්යාසයන් නොමැතිව GPT-OSS-20B සමඟ බාගත කිරීමට, ධාවනය කිරීමට සහ කතාබස් කිරීමට ඔබට ඉඩ සලසයි., PDF, පෙළ ගොනු, රූප විමසුම් සහ සන්දර්භ ගැලපීම සඳහා සහාය වීමට අමතරව.
උසස් පරිශීලකයින් සඳහා විකල්ප මාර්ග ද ඇත, උදාහරණයක් ලෙස Windows 11 මත LLM ස්ථාපනය කරන්න. රාමු වැනි call.cpp සහ පුස්තකාල ටයිප් කරන්න GGML මෑත කාලීන උත්සාහයන් සමඟ RTX සඳහා ප්රශස්තිකරණය කර ඇත CPU භාරය අඩු කරන්න සහ වාසි ලබා ගන්න CUDA ප්රස්ථාර. සමාන්තරව, මයික්රොසොෆ්ට් AI වාත්තු නිෂ්පාදන දේශීය (පෙරදසුනෙහි) CLI, SDK හෝ API හරහා CUDA සහ TensorRT ත්වරණය සමඟ ආකෘති ඒකාබද්ධ කරන්න.
මෙවලම් පරිසර පද්ධතිය තුළ, ඉන්ටෙල් AI ක්රීඩා පිටිය 2.6.0 එහි විකල්ප අතරට gpt-oss-20b ඇතුළත් කර ඇත.යාවත්කාලීනය පසුබිම් සහ සංශෝධන සඳහා සියුම් අනුවාද පාලනයක් එක් කරයි, උදාහරණයක් ලෙස OpenVINO, ComfyUI y call.cpp (සහයෝගයෙන් ගිනි කන්දක් සහ සන්දර්භ ගැලපීම), පහසුකම් සැපයීම ස්ථාවර දේශීය පරිසරයන්.
ආරම්භක මාර්ගෝපදේශයක් ලෙස, පරීක්ෂා කරන්න ලබා ගත හැකි VRAM, ඔබේ GPU එකට ගැලපෙන මාදිලි ප්රභේදය බාගන්න, වලංගු කරන්න ටෝකන් ප්රවේගය නියෝජිත විමසීම් සමඟ සහ සකස් කිරීම් සමඟ සන්දර්භය කවුළුව ග්රැෆික් කාඩ්පතේ සියලු බර තබා ගැනීමට.
මෙම කොටස් සමඟ, සහායකයින් ගොඩනගා ගත හැකිය සෙවීම සහ විශ්ලේෂණය, මෙවලම් පරීක්ෂණයක් පවත්වයි හෝ ආධාරක වැඩසටහන්කරණය දත්ත ස්වෛරීභාවය පවත්වා ගනිමින් සම්පූර්ණයෙන්ම පරිගණකය මත ක්රියාත්මක වන.
gpt-oss-20b සහ RTX ත්වරණය, ප්රවේශමෙන් VRAM කළමනාකරණය සහ Ollama, llama.cpp, හෝ AI Playground වැනි මෙවලම් සංයෝජනය මඟින් දේශීයව තර්කානුකූල AI ක්රියාත්මක කිරීම සඳහා පරිණත විකල්පයක් තහවුරු කරයි; බාහිර සේවාවන් මත රඳා නොසිට කාර්ය සාධනය, පිරිවැය සහ පෞද්ගලිකත්වය සමතුලිත කරන මාර්ගයකි.
මම ඔහුගේ "ගීක්" අවශ්යතා වෘත්තියක් බවට පත් කරගත් තාක්ෂණ ලෝලියෙකි. මම මගේ ජීවිතයේ වසර 10 කට වඩා වැඩි කාලයක් ගත කර ඇත්තේ නවීන තාක්ෂණය භාවිතා කරමින් සහ පිරිසිදු කුතුහලයෙන් සියලු වර්ගවල වැඩසටහන් සමඟ ටින්කර් කිරීමෙනි. දැන් මම පරිගණක තාක්ෂණය සහ වීඩියෝ ක්රීඩා පිළිබඳ විශේෂඥයෙක්. මක්නිසාද යත්, මම වසර 5 කට වැඩි කාලයක් තාක්ෂණය සහ වීඩියෝ ක්රීඩා පිළිබඳ විවිධ වෙබ් අඩවි සඳහා ලිවීමට කටයුතු කරමින්, ඔබට අවශ්ය තොරතුරු සෑම කෙනෙකුටම තේරුම් ගත හැකි භාෂාවකින් ලබා දීමට උත්සාහ කරන ලිපි නිර්මාණය කරමි.
ඔබට කිසියම් ප්රශ්නයක් ඇත්නම්, මගේ දැනුම වින්ඩෝස් මෙහෙයුම් පද්ධතියට මෙන්ම ජංගම දුරකථන සඳහා වන ඇන්ඩ්රොයිඩ් හා සම්බන්ධ සෑම දෙයකින්ම විහිදේ. ඒ වගේම මගේ කැපවීම ඔබටයි, මම සෑම විටම මිනිත්තු කිහිපයක් ගත කිරීමට සහ ඔබට මෙම අන්තර්ජාල ලෝකයේ ඇති ඕනෑම ප්රශ්නයක් විසඳීමට උදව් කිරීමට කැමැත්තෙමි.