Waa maxay hagaajinta wanaagsan iyo sababta soo jeedintaadu ay si fiican ugu shaqeyso?

Soohdinta u dhaxaysa Waxa aad ku guulaysato dardaaran wanaagsan iyo waxa aad ku guulaysato adiga oo si fiican u hagaajinaya qaab Way ka khiyaano badan tahay sida ay u muuqato, laakiin fahamka waxay ka dhigaysaa faraqa u dhexeeya jawaabaha dhexdhexaadka ah iyo hababka waxtarka leh. Tilmaamahan, waxaan ku tusi doonaa, tusaaleyaal iyo isbarbardhig, sida loo doorto oo loo isku daro farsamo kasta si loo gaaro natiijooyin adag mashaariicda adduunka dhabta ah.

Hadafku maaha inaad ku sii jirto aragtida, laakiin inaad ku dhaqan geliso maalin kasta: marka injineernimada degdega ah ama hagaajinta degdega ah ay kugu filan tahay, Goorma ayay mudan tahay in la maalgeliyo hagaajinta wanaagsan?, sida waxaas oo dhami ay ugu habboon yihiin qulqulka RAG, iyo hababka ugu wanaagsan ee loo yareeyo kharashaadka, dedejiya soo-celinta, iyo ka fogaanshaha gelitaanka dhammaadka.

Maxay yihiin injineernimada degdega ah, hagaajinta degdega ah, iyo hagaajinta wanaagsan?

Kahor intaanan sii wadin, aan cadeyno fikradaha qaar:

• Injineernimada degdega ah waa farshaxanka naqshadaynta tilmaamo cad oo si fiican loo qeexay iyo waxyaabaha laga filayo. si loo hago qaab mar hore loo tababaray. In a chatbot, tusaale ahaan, wuxuu qeexayaa doorka, codka, qaabka wax soo saarka, iyo tusaalooyinka si loo yareeyo madmadowga loona hagaajiyo saxnaanta iyada oo aan la taaban miisaanka moodeelka.
• Hagaajinta hagaajinta waxay wax ka beddeshaa cabbirrada gudaha ee qaabka horay loo tababaray oo leh xog dheeraad ah oo ka timid goobta. si aad u hagaajisid waxqabadkaaga hawlo gaar ah. Way ku fiican tahay marka aad u baahan tahay ereybixin gaar ah, go'aamo adag, ama saxnaanta ugu badan ee meelaha xasaasiga ah (daryeelka caafimaadka, sharciga, dhaqaalaha).
• Hagaajinta degdega ah waxay ku daraysaa vectors la tababari karo (dhaqaalo jilicsan) oo moodelku u turjumayo qoraalka la geliyoDib uma tabobarayso moodelka oo dhan: waxay barafaysaa miisaankeeda waxayna wanaajisaa kaliya kuwa "track-yada" ku dhex jira. Waa meel dhexe oo wax ku ool ah marka aad rabto inaad la qabsato habdhaqanka iyada oo aan kharashka si buuxda loo hagaajin.

Naqshadeynta UX/UI, injineernimada degdega ah waxay wanaajisaa hufnaanta isdhexgalka bini'aadamka iyo kombuyuutarka (waxa aan filayo iyo sida aan u weydiiyo), halka hagaajintu ay kordhinayso ku habboonaanta iyo joogtaynta wax soo saarka. Isku darka u oggolow is dhexgalyo faa'iido badan, dhaqso badan, oo la isku halayn karo.

Injineerin degdeg ah oo qoto dheer: farsamooyinka dhaqaajiya irbadda

Injineerka degdega ahi maaha imtixaan indho la'aan ah. Waxaa jira hababka habaysan taas oo kor u qaadaysa tayada adiga oo aan taaban qaabka ama xogtaada saldhiga:

• In yar oo la toogtay vs eber-shot. in dhowr-xabadood Waxaad ku darsataa dhowr tusaale oo si wanaagsan loo doortay si qaabku u qabsado qaabka saxda ah; gudaha eber-xabad Waxaad ku tiirsan tahay tilmaamo cad iyo cashuur-bixin la'aan tusaaleyaal la'aan.
• Mudaaharaadyada macnaha guud. Muuji qaabka la filayo (wax-soo-gelinta → soo saarista) oo leh lammaane-yar. Tani waxay yaraynaysaa khaladaadka qaabaynta waxayna toosisaa filashooyinka, gaar ahaan haddii aad u baahan tahay meelo gaar ah, calaamado, ama qaabab jawaabta.
• Qaababka iyo doorsoomayaashaQeex dardaaranno leh meel-hayeyaasha beddelka xogta. Dareen-celinta firfircooni waa furaha marka qaab-dhismeedka wax-soo-gelinta uu kala duwan yahay, tusaale ahaan, qaabka xogta nadiifinta ama xoqidda halkaasoo diiwaan kasta uu ku yimaado qaab ka duwan.
• Af-yaqaanWaxay yihiin "turjumaano" inta u dhaxaysa booska qoraalka ee moodeelka iyo qaybaha ganacsigaaga (tusaale, khariidaynta "farxad" → "positive"). Doorashada hadal-bixiyeyaal wanaagsan waxay hagaajinaysaa saxnaanta summada iyo joogtaynta, gaar ahaan falanqaynta dareenka iyo kala-soocidda mawduucyada.
• Xadhig degdeg ah Silsilad degdeg ah. U kala qaybso hawl adag tillaabooyin: soo koob → soo saar qiyaasaha → falanqaynta dareenka. Silsiladda tillaabooyinka wadajirka ah waxay ka dhigtaa nidaamka mid la sixi karo oo adag, oo badiyaa wanaajiya tayada marka la barbar dhigo "wax walba hal mar la weydiiyo."
• Hababka qaabaynta wanaagsan: calaamadee doorarka ("Waxaad tahay falanqeeye..."), qeexaya qaabka ("ka jawaabista shaxda/JSON"), dejiya shuruudaha qiimaynta ("waxay ciqaabtaa dhalanteedka, waxay sheegaan ilaha marka ay jiraan") oo sharxayaa waxa la sameeyo haddii ay dhacdo hubaal la'aan (tusaale, "haddii xogtu maqan tahay, muuji 'aan la garanayn'").

Qaybaha hagaajinta degdega ah

Marka lagu daro dardargelinta dabiiciga ah, hagaajinta degdega ah waxay ku daraysaa dardargelin jilicsan (ku-xirnaanta la tababbaran karo) ee ka horreeya gelinta. Inta lagu guda jiro tababarka, gradient-ku wuxuu hagaajiyaa xididadaas si uu u soo saaro wax soo saarka u dhawaado bartilmaameedka. iyada oo aan saameyn ku yeelan miisaanka kale ee moodeelka. Waa faa'iido marka aad rabto la qaadi karo iyo kharash yar.

Waxaad soo geliyaan LLM (tusaale, GPT-2 ama wax la mid ah), diyaari tusaalahaaga iyo waxaad diyaarinaysaa dardaaranka jilicsan ee gelid kastaWaxaad tababartaa oo kaliya kuwa ku-xidhan, marka moodeelku “u arko” horudhac la wanaajiyey oo haga hab-dhaqankiisa hawshaada.

Codsi wax ku ool ah: Adeegga macaamiisha chatbot, waxaad ku dari kartaa qaababka su'aalaha caadiga ah iyo codka jawaabta ugu habboon ee kicinta jilicsan. Tani waxay dedejisaa la qabsiga iyada oo aan la ilaalinayn laamaha kala duwan ee moodooyinka. hana cunin GPU badan.

Si qoto dheer u hagaajin fiican: goorma, sidee, iyo taxadarkee

Dib-u-habayn wanaagsan ayaa dib u tababaraysa (qayb ama gabi ahaanba) miisaannada LLM oo wata xog-bartilmaameed. in ay ku takhasusaan. Tani waa habka ugu wanaagsan marka hawshu ay ka weecdo wixii uu tusaaluhu arkay intii lagu jiray tababarka ka hor ama u baahan ereybixin iyo go'aamo si fiican loo yaqaan.

Waxba kama soo bilaabin meel bannaan: moodooyinka lagu sheekeysto sida gpt-3.5-turbo Horeba waa loogu habeeyey inay raacaan tilmaamaha. Hagaajintaada wanaagsan waxay "ka jawaabaysaa" dhaqankaas, taas oo noqon karta mid khiyaano leh oo aan la hubin, markaa waa fikrad wanaagsan in la tijaabiyo naqshadaynta nidaamka dardargelinta iyo soo-gelinta.

Goobaha qaarkood waxay kuu oggolaanayaan inaad ku xidhid laxan wanaagsan mid jira. Tani waxay xoojisaa calaamadaha waxtarka leh ee qiimaha jaban. in dib looga tabobarro xoqdo, oo ay fududayso ku celcelinta ansixinta lagu hagayo.

Farsamo wax ku ool ah sida LoRA waxay gelisaa shaybaarro darajo hoose ah si ay ula qabsato moodalka oo leh dhowr cabbir oo cusub. Faa'iidada: isticmaalka hoose, hawlgelinta firfircoon iyo dib u celinta (waxaad "ka saari kartaa" la qabsiga adiga oo aan taaban saldhigga).

Isbarbardhigga: hagaajin degdeg ah vs hagaajin wanaagsan

• HawshaHagaajinta wanagsan waxay cusbooneysiisaa moodooyinka miisaanka oo leh calaamad bartilmaameed leh; hagaajinta degdega ah waxay qaboojisaa moodeelka oo waxay hagaajisaa kaliya ku-xidhka la tababbaran karo ee ku xidhan gelinta; injineernimada degdega ah waxay wanaajisaa qoraalka tilmaamaha iyo tusaalooyinka aan la tababarin.
• Dejinta xuduudahaHabaynta wanaagsan, waxaad wax ka beddelaysaa shabakadda; Marka si degdeg ah loo hagaajiyo, kaliya waxaad taabataa "dacwad jilicsan." Injineernimada degdega ah, ma jiraan wax toosin ah, kaliya nashqadeynta.
• Qaabka galintaHagaajinta wanaagsan waxay caadiyan ixtiraamaysaa qaabka asalka ah; hagaajinta degdega ah waxay dib u habayn ku samaynaysaa gelinta wax-ku-xidhka iyo qaab-dhismeedka; injineernimada degdega ah waxay ka faa'iidaysataa luqadda dabiiciga ah ee habaysan (doorarka, caqabadaha, tusaalooyinka).
• KhayraadkaHagaajinta wanaagsani waa ka qaalisan tahay ( xisaabinta, xogta, iyo waqtiga); hagaajinta degdega ah ayaa aad waxtar u leh; injineernimada degdega ah ayaa ah kan ugu jaban uguna dhaqsaha badan ee lagu soo celceliyo haddii kiisku ogolaado.
• Ujeedo iyo khatarahaHagaajinta hagaajintu waxay si toos ah u wanaajisaa hawsha, baabi'inta khatarta xad-dhaafka ah; hagaajinta degdega ah waxay la socotaa wixii horay looga bartay LLM; injineernimada degdega ah waxay yaraynaysaa dhalanteedka iyo khaladaadka qaabaynta iyada oo la raacayo hababka ugu fiican iyada oo aan la taaban qaabka.

Xogta iyo qalabka: shidaalka waxqabadka

• Tayada xogta marka hore: bogsiinta, kala-saarista, dheellitirnaanta, daboolida kiiska geesaha iyo metadata qani ah Waxay yihiin 80% natiijada, haddii aad si fiican u habaynayso ama habayn degdeg ah.
• Tuubooyinka otomaatiga u kaca: goobaha injineernimada xogta ee abuurista AI (tusaale, xalalka abuura alaabada xogta dib loo isticmaali karo) ka caawi isdhexgalka, beddelka, bixinta iyo la socoshada xog-ururinta tababarka iyo qiimaynta. Fikradaha sida "Nexsets" waxay muujinayaan sida loo xidho xogta diyaarka u ah isticmaalka moodeelka.
• Loop jawaab celinUruri calaamadaha isticmaalka adduunka dhabta ah (guulaha, khaladaadka, su'aalaha inta badan la isweydiiyo) oo dib ugu soo celi dareenkaaga, dareenka jilicsan, ama xogtaada. Waa habka ugu dhaqsaha badan ee lagu helo saxsanaan.
• taranka: Tilmaamaha nooca, dardargelinta jilicsan, xogta, iyo miisaanka ku habboon. Raadinta la'aanteed, macquul maaha in la ogaado waxa bedelay waxqabadka ama lagu soo celiyo xaalad wanaagsan haddii dib-u-eegistu ku guuldareysato.
• GuudMarka la balaadhinayo hawlaha ama luqadaha, hubi in kuwa hadalka ku hadla, tusaalayaasha, iyo sumadahaagu aanay ahayn kuwo si xad dhaaf ah loogu habeeyey goob gaar ah. Haddii aad beddesho meelaha toosan, waxa laga yaabaa inaad u baahato inaad si fiican u hagaajiso ama aad isticmaasho dardaaranno jilicsan oo cusub.
• Maxaa dhacaya haddii aan beddelo degdegga ka dib hagaajinta? Guud ahaan, haa: qaabku waa in uu ka cabiraa qaababka iyo hab-dhaqanka waxa la bartay, maaha kaliya in lagu celiyo calaamado. Taasi waa barta saxda ah ee mishiinka wax-qabadka.
• Ku xidh wareegtada cabbirroMarka laga reebo saxnaanta, waxay cabbirtaa qaabaynta saxda ah, caymiska, xigashada isha ee RAG, iyo ku qanacsanaanta isticmaalaha. Wixii aan la cabbirin ma hagaagaan.

Kala doorashada soo-jeedinta, hagaajinta degdega ah iyo hagaajinta ma aha arrin la isku raacsan yahay ee waa macnaha guud.Kharashyada, waqtiyada, khatarta khaladka, helitaanka xogta, iyo baahida khibrad. Haddii aad qodobbadaas ciddi ka dhigto, tignoolajiyadu waxay ku shaqayn doontaa raallinimadaada, ee ma aha si kale.

Daniel Terrasa

Tafatiraha ku takhasusay tignoolajiyada iyo arrimaha internetka oo leh in ka badan toban sano oo khibrad u leh warbaahinta dhijitaalka ah ee kala duwan. Waxaan u shaqeeyay sidii tifaftire iyo abuuraha nuxurka ganacsiga e-commerce, isgaarsiinta, suuqgeynta internetka iyo shirkadaha xayeysiiska. Waxa kale oo aan wax ka qoray mareegaha dhaqaalaha, maaliyadda iyo qaybaha kale. Shaqadaydu sidoo kale waa dareenkeyga. Hadda, iyada oo loo marayo maqaalladayda gudaha Tecnobits, Waxaan isku dayaa in aan sahamiyo dhammaan wararka iyo fursadaha cusub ee dunida tignoolajiyada ay ina siiso maalin kasta si aan u wanaajino nolosheena.