- gpt-oss-20b ലോക്കൽ എക്സിക്യൂഷനും ലോംഗ് കോൺടെക്സും (131.072 ടോക്കണുകൾ വരെ) ഉള്ള ഒരു ഓപ്പൺ-വെയ്റ്റ് മോഡലായി എത്തുന്നു.
- NVIDIA RTX-നായി ഒപ്റ്റിമൈസ് ചെയ്തു: 256 t/s വരെ വേഗത റിപ്പോർട്ട് ചെയ്തു; പ്രകടനം നിലനിർത്താൻ VRAM ഏറ്റെടുക്കുന്നു.
- ഒല്ലാമയിലും llama.cpp, GGML, Microsoft AI ഫൗണ്ടറി ലോക്കൽ തുടങ്ങിയ ഇതരമാർഗങ്ങളിലും ഉപയോഗിക്കാൻ എളുപ്പമാണ്.
- പുതുക്കിയ ചട്ടക്കൂടുകളും മെച്ചപ്പെട്ട പരിസ്ഥിതി മാനേജ്മെന്റും ഉള്ള ഇന്റൽ AI പ്ലേഗ്രൗണ്ട് 2.6.0 ലും ലഭ്യമാണ്.
വരവ് gpt-oss-20b എന്നതിനുള്ള പ്രാദേശിക ഉപയോഗം പിസിയിൽ നേരിട്ട് പ്രവർത്തിക്കുന്ന ശക്തമായ ഒരു യുക്തിസഹമായ മാതൃക കൂടുതൽ ഉപയോക്താക്കളിലേക്ക് എത്തിക്കുന്നു. ഈ പുഷ്, NVIDIA RTX GPU-കൾക്കുള്ള ഒപ്റ്റിമൈസേഷൻ, ക്ലൗഡിനെ ആശ്രയിക്കാതെ തന്നെ ആവശ്യപ്പെടുന്ന വർക്ക്ഫ്ലോകളിലേക്കുള്ള വാതിൽ തുറക്കുന്നു.
ലക്ഷ്യം വ്യക്തമാണ്: വാഗ്ദാനം ചെയ്യുക വളരെ നീണ്ട സന്ദർഭത്തോടുകൂടിയ ഓപ്പൺ-വെയ്റ്റ് മുൻഗണന നൽകുന്ന, വിപുലമായ തിരയലുകൾ, ഗവേഷണം, കോഡ് സഹായം അല്ലെങ്കിൽ നീണ്ട ചാറ്റുകൾ പോലുള്ള സങ്കീർണ്ണമായ ജോലികൾക്കായി സ്വകാര്യത പ്രാദേശികമായി പ്രവർത്തിക്കുമ്പോൾ ചെലവ് നിയന്ത്രണം.
ലോക്കലായി പ്രവർത്തിക്കുമ്പോൾ gpt-oss-20b എന്താണ് നൽകുന്നത്?
ജിപിടി-ഒഎസ് കുടുംബം മോഡലുകളുമായി അരങ്ങേറ്റം കുറിക്കുന്നു ഓപ്പൺ വെയിറ്റുകൾ നിങ്ങളുടെ സ്വന്തം പരിഹാരങ്ങളിലേക്ക് എളുപ്പത്തിൽ സംയോജിപ്പിക്കാൻ രൂപകൽപ്പന ചെയ്തിരിക്കുന്നു. പ്രത്യേകിച്ചും, ജിപിടി-ഒഎസ്എസ്-20ബി ഒരു ഡെസ്ക്ടോപ്പ് പിസിക്ക് വേണ്ടി യുക്തിസഹമായ ശേഷിയും ന്യായമായ ഹാർഡ്വെയർ ആവശ്യകതകളും സന്തുലിതമാക്കുന്നതിൽ ഇത് വേറിട്ടുനിൽക്കുന്നു.
ഒരു പ്രത്യേക സവിശേഷതയാണ് വിപുലീകൃത സന്ദർഭ വിൻഡോ, gpt-oss ശ്രേണിയിൽ 131.072 ടോക്കണുകൾ വരെ പിന്തുണയ്ക്കുന്നു. ഈ ദൈർഘ്യം സുഗമമാക്കുന്നു നീണ്ട സംഭാഷണങ്ങൾ, വലിയ രേഖകളുടെ വിശകലനം അല്ലെങ്കിൽ മുറിവുകളോ വിഘടനമോ ഇല്ലാതെ ആഴത്തിലുള്ള ചിന്താ ശൃംഖലകൾ.
അടച്ച മോഡലുകളുമായി താരതമ്യപ്പെടുത്തുമ്പോൾ, ഓപ്പൺ-വെയ്റ്റ് നിർദ്ദേശം മുൻഗണന നൽകുന്നത് സംയോജന വഴക്കം ആപ്ലിക്കേഷനുകളിൽ: നിന്ന് ഉപകരണങ്ങളുള്ള സഹായികൾ (ഏജന്റുകൾ) പ്ലഗിനുകൾ പോലും ഗവേഷണം, വെബ് തിരയൽ, പ്രോഗ്രാമിംഗ്, എല്ലാം പ്രാദേശിക അനുമാനത്തിന്റെ പ്രയോജനം നേടുന്നു.
പ്രായോഗികമായി പറഞ്ഞാൽ, പാക്കേജ് gpt-oss:20b ഏകദേശം 13 GB ആണ് ജനപ്രിയ റൺടൈം പരിതസ്ഥിതികളിൽ ഇൻസ്റ്റാൾ ചെയ്തിട്ടുണ്ട്. ഇത് ആവശ്യമായ ഉറവിടങ്ങൾക്കായുള്ള ടോൺ സജ്ജമാക്കുകയും സ്കെയിൽ ചെയ്യാൻ സഹായിക്കുകയും ചെയ്യുന്നു. VRAM തടസ്സങ്ങളില്ലാതെ പ്രകടനം നിലനിർത്താൻ.
സാഹചര്യങ്ങൾക്കായി രൂപകൽപ്പന ചെയ്തിരിക്കുന്ന ഒരു വലിയ വകഭേദവും (gpt-oss-120b) ഉണ്ട്. കൂടുതൽ വിശാലമായ ഗ്രാഫിക് ഉറവിടങ്ങൾഎന്നിരുന്നാലും, മിക്ക പിസികൾക്കും, ക്സനുമ്ക്സബ് വേഗത, മെമ്മറി, ഗുണനിലവാരം എന്നിവ തമ്മിലുള്ള ബന്ധം കാരണം ഇത് ഏറ്റവും യാഥാർത്ഥ്യബോധമുള്ള ആരംഭ പോയിന്റാണ്.
RTX-നുള്ള ഒപ്റ്റിമൈസേഷൻ: വേഗത, സന്ദർഭം, VRAM
ജിപിടി-ഒഎസ്എസ് മോഡലുകളെ ആവാസവ്യവസ്ഥയുമായി പൊരുത്തപ്പെടുത്തൽ. എൻവിഡിയ ആർടിഎക്സ് ഉയർന്ന ഉൽപ്പാദന നിരക്കുകൾ അനുവദിക്കുന്നു. ഉയർന്ന നിലവാരമുള്ള ഉപകരണങ്ങളിൽ, സെക്കൻഡിൽ 256 ടോക്കണുകൾ വരെയുള്ള പരമാവധി പോയിന്റുകൾ ഉചിതമായ ക്രമീകരണങ്ങളോടെ, നിർദ്ദിഷ്ട ഒപ്റ്റിമൈസേഷനുകളുടെയും കൃത്യതകളുടെയും പ്രയോജനം നേടിക്കൊണ്ട്, MXFP4.
ഫലങ്ങൾ കാർഡ്, സന്ദർഭം, കോൺഫിഗറേഷൻ എന്നിവയെ ആശ്രയിച്ചിരിക്കുന്നു. a ഉപയോഗിച്ചുള്ള പരിശോധനകളിൽ RTX 5080, gpt-oss 20b ചുറ്റും എത്തി 128 ടൺ/സെ. ഉൾക്കൊള്ളുന്ന സന്ദർഭങ്ങൾക്കൊപ്പം (≈8k). വർദ്ധിപ്പിച്ചുകൊണ്ട് 16k വിൻഡോ കൂടാതെ സിസ്റ്റത്തിന്റെ റാമിലേക്ക് കുറച്ച് ലോഡ് നിർബന്ധിച്ചപ്പോൾ, നിരക്ക് ~ ആയി കുറഞ്ഞു.50,5 ടൺ/സെ., മിക്ക ജോലികളും ചെയ്യുന്നത് GPU ആണ്.
പാഠം വ്യക്തമാണ്: VRAM നിയമങ്ങൾ. പ്രാദേശിക AI-യിൽ, ഒരു കൂടുതൽ മെമ്മറിയുള്ള RTX 3090 പുതിയ GPU-വിനേക്കാൾ മികച്ച പ്രകടനം കാഴ്ചവയ്ക്കാൻ ഇതിന് കഴിയും, പക്ഷേ കുറഞ്ഞ VRAM-ൽ, കാരണം ഇത് ഓവർഫ്ലോ തടയുന്നു സിസ്റ്റം മെമ്മറി സിപിയുവിന്റെ അധിക ഇടപെടലും.
gpt-oss-20b-ക്ക്, മോഡലിന്റെ വലുപ്പം ഒരു റഫറൻസായി എടുക്കുന്നത് സൗകര്യപ്രദമാണ്: ഏകദേശം 13 ബ്രിട്ടൻ കൂടുതൽ സ്ഥലം കെവി കാഷെ തീവ്രമായ ജോലികളും. ഒരു ദ്രുത ഗൈഡ് എന്ന നിലയിൽ, ഇത് ശുപാർശ ചെയ്യുന്നു VRAM- ന്റെ 16 GB കുറഞ്ഞത് ലക്ഷ്യം വയ്ക്കുക 24 ബ്രിട്ടൻ ദൈർഘ്യമേറിയ സന്ദർഭങ്ങളോ സുസ്ഥിരമായ ലോഡുകളോ പ്രതീക്ഷിക്കുന്നുണ്ടെങ്കിൽ.
ഹാർഡ്വെയർ ചൂഷണം ചെയ്യാൻ ആഗ്രഹിക്കുന്നവർക്ക് പര്യവേക്ഷണം ചെയ്യാം കാര്യക്ഷമമായ കൃത്യതകൾ (MXFP4 പോലുള്ളവ), സന്ദർഭ ദൈർഘ്യം ക്രമീകരിക്കുക അല്ലെങ്കിൽ സാധ്യമാകുമ്പോൾ മൾട്ടി-GPU കോൺഫിഗറേഷനുകൾ അവലംബിക്കുക, എല്ലായ്പ്പോഴും ലക്ഷ്യം നിലനിർത്തുക. സ്വാപ്പുകൾ ഒഴിവാക്കുക റാമിലേക്ക്.
ഇൻസ്റ്റാളേഷനും ഉപയോഗവും: ഒല്ലാമയും മറ്റ് റൂട്ടുകളും
ലളിതമായ രീതിയിൽ മോഡൽ പരീക്ഷിക്കാൻ, ഒള്ളമ RTX-ൽ പ്രവർത്തിക്കുന്ന പിസികളിൽ നേരിട്ടുള്ള അനുഭവം പ്രദാനം ചെയ്യുന്നു: സങ്കീർണ്ണമായ കോൺഫിഗറേഷനുകളില്ലാതെ GPT-OSS-20B ഡൗൺലോഡ് ചെയ്യാനും പ്രവർത്തിപ്പിക്കാനും ചാറ്റ് ചെയ്യാനും നിങ്ങളെ അനുവദിക്കുന്നു., PDF-കൾ, ടെക്സ്റ്റ് ഫയലുകൾ, ഇമേജ് പ്രോംപ്റ്റുകൾ, സന്ദർഭ ക്രമീകരണം എന്നിവ പിന്തുണയ്ക്കുന്നതിന് പുറമേ.
ഉദാഹരണത്തിന്, വിപുലമായ ഉപയോക്താക്കൾക്കായി ഇതര റൂട്ടുകളും ഉണ്ട് വിൻഡോസ് 11-ൽ എൽഎൽഎം ഇൻസ്റ്റാൾ ചെയ്യുക. പോലുള്ള ഫ്രെയിംവർക്കുകൾ call.cpp ലൈബ്രറികൾ ടൈപ്പ് ചെയ്യുക ജിജിഎംഎൽ RTX-നായി ഒപ്റ്റിമൈസ് ചെയ്തിരിക്കുന്നു, സമീപകാല ശ്രമങ്ങൾക്കൊപ്പം സിപിയു ലോഡ് കുറയ്ക്കുക മുതലെടുക്കുക CUDA ഗ്രാഫുകൾ. സമാന്തരമായി, മൈക്രോസോഫ്റ്റ് AI ഫൗണ്ടറി ലോക്കൽ (പ്രിവ്യൂവിൽ) CLI, SDK അല്ലെങ്കിൽ API-കൾ വഴി മോഡലുകൾ CUDA, TensorRT ആക്സിലറേഷൻ ഉപയോഗിച്ച് സംയോജിപ്പിക്കുക.
ഉപകരണങ്ങളുടെ ആവാസവ്യവസ്ഥയിൽ, ഇന്റൽ AI പ്ലേഗ്രൗണ്ട് 2.6.0 അതിന്റെ ഓപ്ഷനുകളിൽ gpt-oss-20b ഉൾപ്പെടുത്തിയിട്ടുണ്ട്.പോലുള്ള ഫ്രെയിംവർക്കുകളിലേക്കുള്ള ബാക്കെൻഡുകൾക്കും പുനരവലോകനങ്ങൾക്കുമായി അപ്ഡേറ്റ് മികച്ച പതിപ്പിംഗ് നിയന്ത്രണം ചേർക്കുന്നു ഓപ്പൺവിനോ, കോംഫിയുഐ y call.cpp (പിന്തുണയോടെ അഗ്നിപര്വ്വതം സന്ദർഭ ക്രമീകരണം), സൗകര്യമൊരുക്കുന്നു സ്ഥിരമായ പ്രാദേശിക പരിതസ്ഥിതികൾ.
ഒരു സ്റ്റാർട്ടപ്പ് മാർഗ്ഗനിർദ്ദേശം എന്ന നിലയിൽ, പരിശോധിക്കുക ലഭ്യമായ VRAM, നിങ്ങളുടെ GPU-യ്ക്ക് അനുയോജ്യമായ മോഡൽ വേരിയന്റ് ഡൗൺലോഡ് ചെയ്യുക, സാധൂകരിക്കുക ടോക്കൺ പ്രവേഗം പ്രതിനിധി നിർദ്ദേശങ്ങളോടെയും ക്രമീകരണങ്ങളോടെയും സന്ദർഭ വിൻഡോ ഗ്രാഫിക്സ് കാർഡിൽ മുഴുവൻ ലോഡും നിലനിർത്താൻ.
ഈ കഷണങ്ങൾ ഉപയോഗിച്ച്, സഹായികളെ നിർമ്മിക്കാൻ കഴിയും തിരയലും വിശകലനവും, ഉപകരണങ്ങൾ അന്വേഷണം അല്ലെങ്കിൽ പിന്തുണയ്ക്കുന്നവ പ്രോഗ്രാമിംഗ് പൂർണ്ണമായും കമ്പ്യൂട്ടറിൽ പ്രവർത്തിക്കുന്ന, ഡാറ്റാ പരമാധികാരം നിലനിർത്തുന്ന.
gpt-oss-20b യും RTX ആക്സിലറേഷൻ, ശ്രദ്ധാപൂർവ്വമായ VRAM മാനേജ്മെന്റ്, Ollama, llama.cpp, അല്ലെങ്കിൽ AI പ്ലേഗ്രൗണ്ട് പോലുള്ള ഉപകരണങ്ങൾ എന്നിവയും പ്രാദേശികമായി യുക്തിസഹമായ AI പ്രവർത്തിപ്പിക്കുന്നതിനുള്ള ഒരു പക്വമായ ഓപ്ഷൻ ഉറപ്പിക്കുന്നു; ബാഹ്യ സേവനങ്ങളെ ആശ്രയിക്കാതെ പ്രകടനം, ചെലവ്, സ്വകാര്യത എന്നിവ സന്തുലിതമാക്കുന്ന ഒരു പാത.
അവൻ്റെ "ഗീക്ക്" താൽപ്പര്യങ്ങൾ ഒരു തൊഴിലാക്കി മാറ്റിയ ഒരു സാങ്കേതിക തത്പരനാണ് ഞാൻ. എൻ്റെ ജീവിതത്തിൻ്റെ 10 വർഷത്തിലേറെ ഞാൻ അത്യാധുനിക സാങ്കേതികവിദ്യ ഉപയോഗിച്ചും ശുദ്ധമായ ജിജ്ഞാസയിൽ നിന്ന് എല്ലാത്തരം പ്രോഗ്രാമുകളും ഉപയോഗിച്ച് ചെലവഴിച്ചു. ഇപ്പോൾ ഞാൻ കമ്പ്യൂട്ടർ സാങ്കേതികവിദ്യയിലും വീഡിയോ ഗെയിമുകളിലും സ്പെഷ്യലൈസ് ചെയ്തിട്ടുണ്ട്. കാരണം, 5 വർഷത്തിലേറെയായി ഞാൻ സാങ്കേതികവിദ്യയിലും വീഡിയോ ഗെയിമുകളിലും വിവിധ വെബ്സൈറ്റുകൾക്കായി എഴുതുന്നു, എല്ലാവർക്കും മനസ്സിലാകുന്ന ഭാഷയിൽ നിങ്ങൾക്കാവശ്യമായ വിവരങ്ങൾ നൽകാൻ ശ്രമിക്കുന്ന ലേഖനങ്ങൾ സൃഷ്ടിക്കുന്നു.
നിങ്ങൾക്ക് എന്തെങ്കിലും ചോദ്യങ്ങളുണ്ടെങ്കിൽ, എൻ്റെ അറിവ് വിൻഡോസ് ഓപ്പറേറ്റിംഗ് സിസ്റ്റവുമായി ബന്ധപ്പെട്ട എല്ലാത്തിലും മൊബൈൽ ഫോണുകൾക്കായുള്ള ആൻഡ്രോയിഡുമായി ബന്ധപ്പെട്ടിരിക്കുന്നു. എൻ്റെ പ്രതിബദ്ധത നിങ്ങളോടാണ്, ഈ ഇൻ്റർനെറ്റ് ലോകത്ത് നിങ്ങൾക്കുണ്ടായേക്കാവുന്ന ഏത് ചോദ്യങ്ങളും പരിഹരിക്കാൻ കുറച്ച് മിനിറ്റ് ചെലവഴിക്കാനും നിങ്ങളെ സഹായിക്കാനും ഞാൻ എപ്പോഴും തയ്യാറാണ്.