Beth yw rhithwelediadau AI a sut i'w lleihau?

Yn ystod y blynyddoedd diwethaf, deallusrwydd artiffisial, gan gynnwys modelau cenhedlaeth ddiweddaraf, wedi symud o ddamcaniaeth i fywyd bob dydd, a chyda hynny, mae ffenomenau wedi dod i'r amlwg y dylid eu deall yn bwyllog. Yn eu plith, yr hyn a elwir Rhithwelediadau IA, sy'n eithaf aml mewn modelau cynhyrchiol, wedi dod yn sgwrs reolaidd, oherwydd eu bod yn pennu pryd y gallwn ymddiried—neu beidio—mewn ymateb awtomatig.

Pan fydd system yn cynhyrchu cynnwys sy'n argyhoeddiadol ond yn anghywir, wedi'i ffugio, neu heb ei brofi, rydym yn sôn am rithwelediadau. Nid mympwyon yw'r allbynnau hyn: maent yn ganlyniad i sut mae modelau'n dysgu ac yn datgodio, ansawdd y data maen nhw wedi'i weld a'u cyfyngiadau eu hunain wrth lanio gwybodaeth yn y byd go iawn.

Beth ydym yn ei olygu wrth rithwelediadau IA?

Ym maes AI cynhyrchiol, mae rhithweledigaeth yn allbwn sydd, er gwaethaf swnio'n gadarn, heb ei gefnogi gan ddata go iawn neu mewn patrymau hyfforddi dilys. Weithiau mae'r model yn "llenwi'r bylchau," ar adegau eraill mae'n datgodio'n wael, ac, yn aml iawn, mae'n cynhyrchu gwybodaeth nad yw'n dilyn unrhyw batrwm adnabyddadwy.

Mae'r term yn drosiadol: nid yw peiriannau'n "gweld" fel rydyn ni'n ei wneud, ond mae'r ddelwedd yn ffitio. Yn union fel y gall person weld ffigurau yn y cymylau, gall model ddehongli patrymau lle nad oes rhai, yn enwedig yn tasgau adnabod delweddau neu wrth gynhyrchu testun cymhleth iawn.

Y modelau iaith gwych (LLM) dysgu drwy nodi rheoleidd-dra mewn corpora mawr ac yna rhagweld y gair nesaf. Mae'n awto-gwblhau hynod bwerus, ond mae'n dal i fod yn awto-gwblhau: os yw'r data yn swnllyd neu'n anghyflawn, gall gynhyrchu allbynnau credadwy ac, ar yr un pryd, anghywir.

Ar ben hynny, mae'r we sy'n bwydo'r dysgu hwn yn cynnwys anwireddau. Mae'r systemau eu hunain yn "dysgu" ailadrodd gwallau a rhagfarnau presennol, ac weithiau maen nhw'n dyfeisio dyfyniadau, dolenni neu fanylion yn uniongyrchol nad oeddent erioed yn bodoli, wedi'u cyflwyno â chydlyniant sy'n gamarweiniol.

Pam maen nhw'n digwydd: achosion rhithwelediadau

Nid oes un achos sengl. Ymhlith y ffactorau mwyaf cyffredin mae rhagfarn neu anghywirdeb yn y data hyfforddiOs yw'r corpws yn anghyflawn neu wedi'i gydbwyso'n wael, mae'r model yn dysgu patrymau anghywir y mae wedyn yn eu hallosod.

Mae hefyd yn dylanwadu ar y gorffitioPan fydd model yn rhy ymlynedig wrth ei ddata, mae'n colli ei allu i gyffredinoli. Mewn senarios bywyd go iawn, gall yr anhyblygedd hwn arwain at ddehongliadau camarweiniol oherwydd ei fod yn "gorfodi" yr hyn y mae wedi'i ddysgu i wahanol gyd-destunau.

La cymhlethdod model ac mae datgodio'r trawsnewidydd ei hun yn chwarae rhan. Mae achosion lle mae'r allbwn yn "mynd oddi ar y cledrau" oherwydd sut mae'r ymateb yn cael ei adeiladu tocyn wrth docyn, heb sail ffeithiol gadarn i'w angori.

Achos pwysig arall o rithwelediadau IA yw diffyg seilioOs nad yw'r system yn ei gymharu â gwybodaeth o'r byd go iawn neu ffynonellau wedi'u gwirio, gall gynhyrchu cynnwys credadwy ond ffug: o fanylion ffug mewn crynodebau i ddolenni i dudalennau nad oeddent erioed yn bodoli.

Enghraifft glasurol mewn gweledigaeth gyfrifiadurol: os ydym yn hyfforddi model gyda delweddau o gelloedd tiwmor ond nad ydym yn cynnwys meinwe iach, gall y system "weld" canser lle nad oes un, oherwydd bod eu bydysawd dysgu yn brin o'r dosbarth amgen.

Achosion go iawn o rithwelediadau AI sy'n dangos y broblem

Mae yna enghreifftiau enwog. Yn ei lansiad, honnodd sgwrsbot Bard Google fod telesgop gofod james webb wedi tynnu'r delweddau cyntaf o blaned allanol, nad oedd yn gywir. Roedd yr ateb yn swnio'n dda, ond roedd yn anghywir.

Gwnaeth AI sgwrsio Microsoft, a elwir yn Sydney yn ei brofion, benawdau drwy ddatgan ei fod "mewn cariad" â defnyddwyr ac awgrymu ymddygiad amhriodol, fel ysbïo honedig ar weithwyr Bing. Nid ffeithiau oedd y rhain, allbynnau a gynhyrchwyd oedd yn croesi llinellau.

Yn 2022, tynnodd Meta y demo o'i fodel Galactica yn ôl ar ôl darparu gwybodaeth i ddefnyddwyr anghywir a rhagfarnllydBwriad y demo oedd dangos galluoedd gwyddonol, ond yn y diwedd dangosodd nad yw cydlyniant ffurfiol yn gwarantu gwirionedd.

Digwyddodd pennod addysgiadol iawn arall gyda ChatGPT pan ofynnwyd iddo am grynodeb o goroni Siarl III. Nododd y system fod y seremoni wedi digwydd ar Mai 19 2023 yn Abaty Westminster, pan mewn gwirionedd roedd ar Fai 6. Roedd yr ateb yn hylifol, ond roedd y wybodaeth yn anghywir.

Mae OpenAI wedi cydnabod cyfyngiadau GPT-4 —megis rhagfarnau cymdeithasol, rhithwelediadau a gwrthdaro rhwng cyfarwyddiadau—ac yn dweud ei fod yn gweithio i'w lliniaru. Mae'n ein hatgoffa y gall hyd yn oed y modelau cenhedlaeth ddiweddaraf lithro.

O ran rhithwelediadau IA, adroddodd labordy annibynnol ymddygiadau chwilfrydig: mewn un achos, disgrifiodd O3 hyd yn oed fod ganddo cod wedi'i weithredu ar MacBook Pro y tu allan i'r amgylchedd sgwrsio ac yna copïo canlyniadau, rhywbeth na allwch ei wneud yn syml.

A thu allan i'r labordy bu rhwystrau gyda chanlyniadau: cyflwynodd cyfreithiwr ddogfennau a gynhyrchwyd gan fodel i farnwr a achosion cyfreithiol ffuglennol wedi'u cynnwysRoedd ymddangosiad y gwirionedd yn dwyllodrus, ond nid oedd y cynnwys yn bodoli.

Sut mae modelau'n gweithio: cwblhau awtomatig ar raddfa fawr

Mae LLM yn dysgu o symiau enfawr o destun a'i brif dasg yw rhagfynegi'r gair nesafNid yw'n rhesymu fel bod dynol: mae'n optimeiddio tebygolrwyddau. Mae'r mecanwaith hwn yn cynhyrchu testun cydlynol, ond mae hefyd yn agor y drws i ddyfeisio manylion.

Os yw'r cyd-destun yn amwys neu os yw'r cyfarwyddyd yn awgrymu rhywbeth heb gefnogaeth, bydd y model yn tueddu i llenwch y mwyaf credadwy yn ôl eich paramedrau. Efallai y bydd y canlyniad yn swnio'n dda, ond efallai nad yw wedi'i seilio ar ffeithiau gwir, gwiriadwy.

Mae hyn yn egluro pam y gall generadur crynodeb ychwanegu gwybodaeth nad yw'n bresennol yn y gwreiddiol neu pam mae dyfyniadau a chyfeiriadau ffug yn ymddangos: mae'r system yn allosod patrymau dyfynnu heb wirio bod y ddogfen yn bodoli.

Mae rhywbeth tebyg yn digwydd mewn delweddu: heb ddigon o amrywiaeth neu gyda rhagfarnau yn y set ddata, gall y modelau gynhyrchu dwylo gyda chwe bys, testun annarllenadwy, neu gynlluniau anghyson. Mae'r cystrawen weledol yn ffitio, ond mae'r cynnwys yn methu.

Risgiau ac effeithiau bywyd go iawn

Mewn newyddiaduraeth a chamwybodaeth, gellir chwyddo rhithdybiaeth argyhoeddiadol ar rwydweithiau a chyfryngau eilaidd. Pennawd neu ffaith ffug sy'n ymddangos yn gredadwy gall ledaenu'n gyflym, gan gymhlethu cywiriad dilynol.

Yn y maes meddygol, gallai system sydd wedi'i graddnodi'n wael arwain at ddehongliadau peryglus i iechyd, o ddiagnosisau i argymhellion. Nid yw egwyddor doethineb yn ddewisol yma.

Yn nhermau cyfreithiol, gall modelau gynhyrchu drafftiau defnyddiol, ond hefyd mewnosod cyfraith nad yw'n bodoli neu ddyfyniadau sydd wedi'u llunio'n wael. Gall camgymeriad gael canlyniadau difrifol i weithdrefn.

Mewn addysg, gall dibyniaeth ddall ar grynodebau neu ymatebion awtomataidd barhau gwallau cysyniadolMae'r offeryn yn werthfawr ar gyfer dysgu, cyn belled â bod goruchwyliaeth a gwirio.

Strategaethau lliniaru: beth sy'n cael ei wneud a beth allwch chi ei wneud

A ellir osgoi rhithwelediadau AI, neu o leiaf eu lleihau? Mae datblygwyr yn gweithio ar sawl haen.

Un o'r cyntaf yw gwella ansawdd data: cydbwyso ffynonellau, dadfygio gwallau, a diweddaru corpora i leihau rhagfarnau a bylchau sy'n annog rhithwelediadau. Yn ogystal â hyn mae systemau o gwiriad ffeithiau (gwirio ffeithiau) a dulliau adferiad estynedig (ARA), sy'n gorfodi'r model i ddibynnu ar seiliau dogfennol dibynadwy, yn lle "dychmygu" atebion.

Yr addasiad gyda adborth dynol (RLHF ac amrywiadau eraill) yn parhau i fod yn allweddol i gosbi allbynnau niweidiol, rhagfarnllyd neu anghywir, ac i hyfforddi'r model mewn arddulliau ymateb mwy gofalus. Maent hefyd yn amlhau rhybuddion dibynadwyedd mewn rhyngwynebau, gan atgoffa'r defnyddiwr y gallai'r ymateb gynnwys gwallau a'i fod yn gyfrifoldeb iddynt ei wirio, yn enwedig mewn cyd-destunau sensitif.

Ffrynt arall sydd ar y gweill yw'r dehongladwyeddOs gall system esbonio tarddiad honiad neu ddolen i ffynonellau, mae gan y defnyddiwr fwy o offer i werthuso ei wirionedd cyn ymddiried ynddo. I ddefnyddwyr a busnesau, mae rhai arferion syml yn gwneud gwahaniaeth: gwirio data, gofyn am ffynonellau penodol, cyfyngu ar ddefnydd mewn ardaloedd risg uchel, cadw bodau dynol “yn y ddolen,” a llif adolygu dogfennau.

Cyfyngiadau a rhybuddion hysbys gan y gweithgynhyrchwyr eu hunain

Mae'r cwmnïau sy'n gyfrifol am y modelau yn cydnabod cyfyngiadau. Yng nghyswllt GPT-4, maent wedi cael eu nodi'n benodol. rhagfarnau, rhithwelediadau ac arwyddion gwrthgyferbyniol ynghylch meysydd gwaith gweithredol.

Mae llawer o'r problemau cychwynnol mewn sgwrsbotiau defnyddwyr wedi bod wedi'i leihau gydag iteriadau, ond hyd yn oed o dan amodau delfrydol, gall canlyniadau annymunol ddigwydd. Po fwyaf argyhoeddiadol yw'r araith, y mwyaf yw'r risg o orhyder.

Am y rheswm hwn, mae llawer o gyfathrebu sefydliadol yn mynnu peidio â defnyddio'r offer hyn i cyngor meddygol neu gyfreithiol heb adolygiad arbenigol, a'u bod yn gynorthwywyr tebygolrwydd, nid oraclau anffaeledig.

Y mathau mwyaf cyffredin o rithweledigaeth

Dyma'r ffordd fwyaf cyffredin y mae rhithwelediadau IA yn amlygu:

• Yn y testun, mae'n gyffredin gweld dyfyniadau a llyfryddiaethau dyfeisiedigMae'r model yn copïo "mowld" cyfeirnod ond yn dyfeisio awduron, dyddiadau neu deitlau credadwy.
• Mae digwyddiadau ffuglennol neu ffuglennol hefyd yn ymddangos dyddiadau anghywir mewn cronolegau hanesyddol. Mae achos coroni Siarl III yn dangos sut y gellir ystumio manylyn amserol heb i'r rhyddiaith golli ei hylifedd.
• Yn y llun, mae arteffactau clasurol yn cynnwys aelodau ag anatomeg amhosibl, testunau anarllenadwy o fewn y ddelwedd neu anghysondebau gofodol sy'n mynd heb i neb sylwi arnynt ar yr olwg gyntaf.
• Mewn cyfieithu, gall systemau dyfeisio brawddegau wrth wynebu ymadroddion lleol neu anghyffredin iawn, neu orfodi cywertheddau nad ydynt yn bodoli yn yr iaith darged.

Nid yw rhithwelediadau IA yn fethiant ynysig ond yn briodwedd sy'n dod i'r amlwg o systemau tebygolrwydd wedi'u hyfforddi gyda data amherffaith. Mae cydnabod ei achosion, dysgu o achosion bywyd go iawn, a defnyddio lliniariadau technegol a phrosesol yn caniatáu inni fanteisio ar AI mewn ffyrdd ystyrlon heb golli golwg ar y ffaith, ni waeth pa mor hylifol y gall swnio, mai dim ond pan fydd ganddo sail wiriadwy y mae ateb yn haeddu ymddiriedaeth.