- gpt-oss-20b உள்ளூர் செயலாக்கம் மற்றும் நீண்ட சூழலுடன் (131.072 டோக்கன்கள் வரை) திறந்த-எடை மாதிரியாக வருகிறது.
- NVIDIA RTX-க்கு உகந்ததாக்கப்பட்டது: 256 t/s வரை வேகம் பதிவாகியுள்ளது; செயல்திறனைப் பராமரிக்க VRAM பொறுப்பேற்கிறது.
- ஒல்லாமா மற்றும் llama.cpp, GGML, மற்றும் Microsoft AI Foundry Local போன்ற மாற்றுகளுடன் பயன்படுத்த எளிதானது.
- புதுப்பிக்கப்பட்ட கட்டமைப்புகள் மற்றும் மேம்படுத்தப்பட்ட சுற்றுச்சூழல் மேலாண்மையுடன், இன்டெல் AI விளையாட்டு மைதானம் 2.6.0 இல் கிடைக்கிறது.
வருகை gpt-oss-20b க்கான உள்ளூர் பயன்பாடு அதிக பயனர்களுக்கு நேரடியாக கணினியில் இயங்கும் ஒரு சக்திவாய்ந்த பகுத்தறிவு மாதிரியைக் கொண்டுவருகிறது. இந்த உந்துதல், NVIDIA RTX GPUகளுக்கான உகப்பாக்கம், மேகத்தை நம்பியிருக்காமல் தேவைப்படும் பணிப்பாய்வுகளுக்கான கதவைத் திறக்கிறது.
கவனம் தெளிவாக உள்ளது: வழங்குவது மிக நீண்ட சூழலுடன் கூடிய திறந்த-எடை மேம்பட்ட தேடல்கள், ஆராய்ச்சி, குறியீடு உதவி அல்லது நீண்ட அரட்டைகள் போன்ற சிக்கலான பணிகளுக்கு, முன்னுரிமை அளித்தல் தனியுரிமை மற்றும் உள்ளூரில் வேலை செய்யும் போது செலவு கட்டுப்பாடு.
உள்ளூரில் இயங்கும் போது gpt-oss-20b என்ன வழங்குகிறது?
ஜிபிடி-ஓஎஸ்எஸ் குடும்பம் மாடல்களுடன் அறிமுகமாகிறது திறந்த எடைகள் உங்கள் சொந்த தீர்வுகளில் எளிதாக ஒருங்கிணைக்க வடிவமைக்கப்பட்டுள்ளது. குறிப்பாக, ஜிபிடி-ஓஎஸ்எஸ்-20பி இது ஒரு டெஸ்க்டாப் பிசிக்கான பகுத்தறிவு திறன் மற்றும் நியாயமான வன்பொருள் தேவைகளை சமநிலைப்படுத்துவதில் தனித்து நிற்கிறது.
ஒரு தனித்துவமான அம்சம் என்னவென்றால் நீட்டிக்கப்பட்ட சூழல் சாளரம், gpt-oss வரம்பில் 131.072 டோக்கன்களுக்கான ஆதரவுடன். இந்த நீளம் எளிதாக்குகிறது நீண்ட உரையாடல்கள், வெட்டுக்கள் அல்லது துண்டு துண்டாக இல்லாமல் மிகப்பெரிய ஆவணங்கள் அல்லது ஆழமான சிந்தனைச் சங்கிலிகளின் பகுப்பாய்வு.
மூடிய மாதிரிகளுடன் ஒப்பிடும்போது, திறந்த-எடை திட்டம் முன்னுரிமை அளிக்கிறது ஒருங்கிணைப்பு நெகிழ்வுத்தன்மை பயன்பாடுகளில்: இருந்து கருவிகளைக் கொண்ட உதவியாளர்கள் (முகவர்கள்) சமமான செருகுநிரல்கள் ஆராய்ச்சி, வலை தேடல் மற்றும் நிரலாக்கம், அனைத்தும் உள்ளூர் அனுமானத்தைப் பயன்படுத்திக் கொள்கின்றன.
நடைமுறை ரீதியாக, தொகுப்பு gpt-oss:20b என்பது சுமார் 13 ஜிபி ஆகும். பிரபலமான இயக்க நேர சூழல்களில் நிறுவப்பட்டுள்ளது. இது தேவையான வளங்களுக்கான தொனியை அமைக்கிறது மற்றும் அளவிட உதவுகிறது VRAM ஐ தடைகள் இல்லாமல் செயல்திறனைப் பராமரிக்க.
ஒரு பெரிய மாறுபாடும் (gpt-oss-120b) உள்ளது, இது அதிக அளவிலான கிராஃபிக் வளங்கள்இருப்பினும், பெரும்பாலான PC களுக்கு, 20B வேகம், நினைவகம் மற்றும் தரம் ஆகியவற்றுக்கு இடையேயான உறவின் காரணமாக இது மிகவும் யதார்த்தமான தொடக்கப் புள்ளியாகும்.
RTX-க்கு உகந்ததாக்குதல்: வேகம், சூழல் மற்றும் VRAM
GPT-OSS மாதிரிகளை சுற்றுச்சூழல் அமைப்புக்கு ஏற்ப மாற்றியமைத்தல் என்விடியா ஆர்டிஎக்ஸ் உயர் உற்பத்தி விகிதங்களை அனுமதிக்கிறது. உயர்நிலை உபகரணங்களில், 256 டோக்கன்கள்/வினாடி வரை உச்சங்கள் பொருத்தமான சரிசெய்தல்களுடன், குறிப்பிட்ட மேம்படுத்தல்கள் மற்றும் துல்லியங்களைப் பயன்படுத்திக் கொள்ளுங்கள், எடுத்துக்காட்டாக MXFP4.
முடிவுகள் அட்டை, சூழல் மற்றும் உள்ளமைவைப் பொறுத்தது. சோதனைகளில் a RTX 5080, gpt-oss 20b சுற்றி எட்டியது 128 டன்/வி உள்ளடக்கிய சூழல்களுடன் (≈8k). அதிகரிப்பதன் மூலம் 16k ஜன்னல் மேலும் சில சுமைகளை கணினி RAM-க்குள் கட்டாயப்படுத்தியதால், விகிதம் ~ ஆகக் குறைந்தது.50,5 டன்/வி, பெரும்பாலான வேலைகளை GPU செய்கிறது.
பாடம் தெளிவாக உள்ளது: தி VRAM விதிகள்உள்ளூர் AI இல், ஒரு அதிக நினைவகத்துடன் RTX 3090 இது புதிய GPU-வை விட சிறப்பாகச் செயல்பட முடியும், ஆனால் குறைந்த VRAM உடன், ஏனெனில் இது overflow-ஐத் தடுக்கிறது கணினி நினைவகம் மற்றும் CPU இன் கூடுதல் தலையீடு.
gpt-oss-20b க்கு, மாதிரியின் அளவை ஒரு குறிப்பாக எடுத்துக்கொள்வது வசதியானது: சுமார் 13 ஜிபி அதிக இடம் கேவி கேச் மற்றும் தீவிரமான பணிகள். ஒரு விரைவான வழிகாட்டியாக, இது பரிந்துரைக்கப்படுகிறது VRAM இன் 16 ஜிபி குறைந்தபட்சம் மற்றும் நோக்கம் 24 ஜிபி நீண்ட சூழல்கள் அல்லது நீடித்த சுமைகள் எதிர்பார்க்கப்பட்டால்.
வன்பொருளை கசக்க விரும்புவோர் ஆராயலாம் திறமையான துல்லியங்கள் (MXFP4 போன்றவை), சூழல் நீளத்தை சரிசெய்யவும் அல்லது சாத்தியமான இடங்களில் பல-GPU உள்ளமைவுகளை நாடவும், எப்போதும் இலக்கை வைத்திருங்கள் பரிமாற்றங்களைத் தவிர்க்கவும் ரேமை நோக்கி.
நிறுவல் மற்றும் பயன்பாடு: ஒல்லாமா மற்றும் பிற வழிகள்
மாதிரியை எளிய முறையில் சோதிக்க, ஒல்லமா RTX-இயங்கும் PC களில் நேரடி அனுபவத்தை வழங்குகிறது: சிக்கலான உள்ளமைவுகள் இல்லாமல் GPT-OSS-20B ஐ பதிவிறக்கம் செய்ய, இயக்க மற்றும் அரட்டை அடிக்க உங்களை அனுமதிக்கிறது., PDFகள், உரை கோப்புகள், படத் தூண்டுதல்கள் மற்றும் சூழல் சரிசெய்தல் ஆகியவற்றை ஆதரிப்பதோடு கூடுதலாக.
மேம்பட்ட பயனர்களுக்கு மாற்று வழிகளும் உள்ளன, எடுத்துக்காட்டாக விண்டோஸ் 11 இல் LLM ஐ நிறுவவும். கட்டமைப்புகள் போன்றவை call.cpp மற்றும் நூலகங்களை தட்டச்சு செய்யவும் ஜிஜிஎம்எல் சமீபத்திய முயற்சிகளுடன், RTX க்கு உகந்ததாக உள்ளன CPU சுமையைக் குறைக்கவும் மற்றும் பயன்படுத்தி கொள்ளுங்கள் CUDA வரைபடங்கள். இணையாக, மைக்ரோசாப்ட் AI ஃபவுண்டரி லோக்கல் (முன்னோட்டத்தில்) CLI, SDK அல்லது APIகள் வழியாக CUDA மற்றும் TensorRT முடுக்கத்துடன் மாதிரிகளை ஒருங்கிணைக்கவும்.
கருவிகளின் சுற்றுச்சூழல் அமைப்பில், இன்டெல் AI விளையாட்டு மைதானம் 2.6.0 அதன் விருப்பங்களில் gpt-oss-20b ஐ இணைத்துள்ளது.இந்தப் புதுப்பிப்பு, பின்தளங்கள் மற்றும் கட்டமைப்புகளுக்கான திருத்தங்களுக்கான நுண்ணிய பதிப்புக் கட்டுப்பாட்டைச் சேர்க்கிறது, எடுத்துக்காட்டாக, ஓபன்வினோ, காம்ஃபையுஐ y call.cpp (ஆதரவுடன் நாயின் பெயர் வல்கன் மற்றும் சூழல் சரிசெய்தல்), எளிதாக்குதல் நிலையான உள்ளூர் சூழல்கள்.
தொடக்க வழிகாட்டியாக, சரிபார்க்கவும் கிடைக்கும் VRAM, உங்கள் GPU க்கு பொருந்தக்கூடிய மாதிரி மாறுபாட்டைப் பதிவிறக்கவும், சரிபார்க்கவும் டோக்கன் வேகம் பிரதிநிதித்துவத் தூண்டுதல்களுடன் மற்றும் சரிசெய்தல்களுடன் சூழல் சாளரம் கிராபிக்ஸ் அட்டையில் அனைத்து சுமைகளையும் வைத்திருக்க.
இந்த துண்டுகளைக் கொண்டு, உதவியாளர்களை உருவாக்க முடியும் தேடல் மற்றும் பகுப்பாய்வு, கருவிகள் ஆராய்ச்சி அல்லது ஆதரிக்கிறது நிரலாக்க தரவு இறையாண்மையை பராமரிக்கும் வகையில், முழுவதுமாக கணினியில் இயங்கும்.
gpt-oss-20b மற்றும் RTX முடுக்கம், கவனமான VRAM மேலாண்மை மற்றும் Ollama, llama.cpp, அல்லது AI விளையாட்டு மைதானம் போன்ற கருவிகளின் கலவையானது, உள்நாட்டில் பகுத்தறிவு AI ஐ இயக்குவதற்கான ஒரு முதிர்ந்த விருப்பத்தை உறுதிப்படுத்துகிறது; வெளிப்புற சேவைகளை நம்பாமல் செயல்திறன், செலவு மற்றும் தனியுரிமையை சமநிலைப்படுத்தும் ஒரு பாதை.
நான் ஒரு தொழில்நுட்ப ஆர்வலர், அவர் தனது "கீக்" ஆர்வங்களை ஒரு தொழிலாக மாற்றியுள்ளார். எனது வாழ்நாளில் 10 ஆண்டுகளுக்கும் மேலாக அதிநவீன தொழில்நுட்பத்தைப் பயன்படுத்தி, அனைத்து வகையான திட்டங்களையும் ஆர்வத்துடன் பயன்படுத்தினேன். இப்போது நான் கணினி தொழில்நுட்பம் மற்றும் வீடியோ கேம்களில் நிபுணத்துவம் பெற்றுள்ளேன். ஏனென்றால், 5 ஆண்டுகளுக்கும் மேலாக தொழில்நுட்பம் மற்றும் வீடியோ கேம்கள் குறித்து பல்வேறு இணையதளங்களில் எழுதி வருகிறேன், அனைவருக்கும் புரியும் மொழியில் உங்களுக்குத் தேவையான தகவல்களைத் தர முற்படும் கட்டுரைகளை உருவாக்கி வருகிறேன்.
உங்களிடம் ஏதேனும் கேள்விகள் இருந்தால், எனது அறிவு விண்டோஸ் இயங்குதளம் மற்றும் மொபைல் போன்களுக்கான ஆண்ட்ராய்டு தொடர்பான அனைத்திலிருந்தும் பரவுகிறது. மேலும் எனது அர்ப்பணிப்பு உங்களிடம் உள்ளது, நான் எப்போதும் சில நிமிடங்களைச் செலவழித்து, இந்த இணைய உலகில் உங்களுக்கு ஏதேனும் சந்தேகங்களைத் தீர்க்க உதவ தயாராக இருக்கிறேன்.