Pamiršti sluoksniai: kaip paslėptas AI šališkumas slypi duomenų rinkinio anotavimo praktikoje

AI sistemos priklauso nuo didžiulių, kruopščiai kuruojamų duomenų rinkinių, skirtų mokymui ir optimizavimui. AI modelio veiksmingumas yra glaudžiai susijęs su duomenų, kuriais jis mokomas, kokybe, reprezentatyvumu ir vientisumu. Tačiau yra dažnai neįvertinamas veiksnys, kuris daro didelę įtaką AI rezultatams: duomenų rinkinio anotacija.

Anotacijos praktika, jei ji yra nenuosekli arba šališka, gali įterpti į AI modelius plačiai paplitusių ir dažnai subtilių paklaidų, dėl kurių sprendimų priėmimo procesai gali būti iškreipti ir kartais žalingi, o tai apima įvairius vartotojų demografinius rodiklius. Nepastebėti žmogaus sukelto AI šališkumo sluoksniai, būdingi anotacijų metodikoms, dažnai turi nematomų, tačiau gilių pasekmių.

Duomenų rinkinio anotacija: pagrindas ir trūkumai

Duomenų rinkinio anotacija yra svarbus sisteminio duomenų rinkinių žymėjimo procesas, kad mašininio mokymosi modeliai galėtų tiksliai interpretuoti ir išgauti šablonus iš įvairių duomenų šaltinių. Tai apima tokias užduotis kaip objektų aptikimas vaizduose, nuotaikų klasifikavimas tekstiniame turinyje ir įvardytų objektų atpažinimas įvairiose srityse.

Anotacija yra pagrindinis sluoksnis, paverčiantis neapdorotus, nestruktūrizuotus duomenis į struktūrizuotą formą, kurią modeliai gali panaudoti, kad nustatytų sudėtingus modelius ir ryšius, nesvarbu, ar tai būtų tarp įvesties ir išvesties, ar nauji duomenų rinkiniai ir esami mokymo duomenys.

Tačiau, nepaisant pagrindinio vaidmens, duomenų rinkinio anotacija iš prigimties yra jautri žmogaus klaidoms ir šališkumui. Pagrindinis iššūkis slypi tame, kad sąmoningas ir nesąmoningas žmogaus šališkumas dažnai prasiskverbia į anotacijos procesą, įterpdamas išankstinius nusistatymus tiesiai duomenų lygmeniu net prieš pradedant modelių mokymą. Toks šališkumas atsiranda dėl anotatorių įvairovės trūkumo, prastai parengtų anotacijų gairių arba giliai įsišaknijusių socialinių ir kultūrinių prielaidų, kurie gali iš esmės iškreipti duomenis ir taip pakenkti modelio teisingumui ir tikslumui.

Konkrečiai, konkrečiai kultūrai būdingo elgesio nustatymas ir išskyrimas yra svarbūs parengiamieji žingsniai, užtikrinantys, kad kultūrinio konteksto niuansai būtų visiškai suprantami ir į juos atsižvelgiama prieš pradedant darbą komentatoriams. Tai apima kultūriškai susietų išraiškų, gestų ar socialinių susitarimų nustatymą, kurie kitu atveju gali būti neteisingai interpretuojami arba ženklinami nenuosekliai. Tokia kultūrinė analizė prieš anotaciją padeda nustatyti pagrindą, galintį sušvelninti interpretavimo klaidas ir paklaidas, taip padidinant anotuotų duomenų tikslumą ir reprezentatyvumą. Struktūrizuotas požiūris į šių elgsenų išskyrimą padeda užtikrinti, kad kultūriniai subtilumai netyčia nesukeltų duomenų neatitikimų, galinčių pakenkti tolesniam AI modelių veikimui.

Paslėptas AI šališkumas anotacijų praktikoje

Duomenų rinkinio anotacijai, kuri yra žmogaus skatinama veikla, būdinga individuali anotatorių kilmė, kultūrinis kontekstas ir asmeninė patirtis – visa tai lemia, kaip duomenys interpretuojami ir ženklinami. Šis subjektyvus sluoksnis įveda neatitikimų, kuriuos mašininio mokymosi modeliai vėliau įsisavina kaip pagrindines tiesas. Problema dar labiau išryškėja, kai anotatorių šališkumas vienodai įterpiamas visame duomenų rinkinyje, sukuriant latentinį, sisteminį AI modelio elgesio paklaidą. Pavyzdžiui, kultūriniai stereotipai gali daryti didelę įtaką jausmų žymėjimui tekstiniuose duomenyse arba charakteristikų priskyrimui vaizdiniuose duomenų rinkiniuose, todėl duomenų pateikimas yra iškreiptas ir nesubalansuotas.

Ryškus to pavyzdys yra rasinis šališkumas veido atpažinimo duomenų rinkiniuose, kurį daugiausia sukelia homogeniška grupės sudėtis. Gerai dokumentuoti atvejai parodė, kad dėl anotatorių įvairovės trūkumo atsirandantys šališkumas sukelia AI modelius, kurie sistemingai nesugeba tiksliai apdoroti ne baltųjų asmenų veidų. Tiesą sakant, viename NIST tyrime nustatyta, kad kai kurios grupės kartais net 100 kartų dažniau bus klaidingai identifikuotos pagal algoritmus. Tai ne tik sumažina modelio našumą, bet ir sukelia didelių etinių iššūkių, nes šie netikslumai dažnai virsta diskriminaciniais rezultatais, kai dirbtinio intelekto programos yra diegiamos jautriose srityse, tokiose kaip teisėsauga ir socialinės paslaugos.

Jau nekalbant apie tai, kad anotatoriams pateiktos komentarų gairės turi didelę įtaką duomenų ženklinimui. Jei šios gairės yra dviprasmiškos arba iš prigimties skatina stereotipus, gaunami pažymėti duomenų rinkiniai neišvengiamai turės šių paklaidų. Šio tipo „gairių šališkumas“ atsiranda, kai anotatoriai yra priversti subjektyviai nuspręsti dėl duomenų tinkamumo, o tai gali koduoti vyraujančius kultūrinius ar visuomeninius šališkus duomenis. Toks šališkumas dažnai sustiprėja AI mokymo proceso metu, sukuriant modelius, kurie atkuria išankstinius nusistatymus, slypinčius pradinėse duomenų etiketėse.

Apsvarstykite, pavyzdžiui, komentarų gaires, kuriose nurodoma komentatoriams klasifikuoti pareigų pavadinimus arba lytį su numanomu šališkumu, pagal kurį pirmenybė teikiama su vyrais susijusiems vaidmenims tokiose profesijose kaip „inžinierius“ arba „mokslininkas“. Kai šie duomenys anotuojami ir naudojami kaip mokymo duomenų rinkinys, jau per vėlu. Pasenusios ir kultūriškai neobjektyvios gairės lemia nesubalansuotą duomenų pateikimą, efektyviai užkoduojant lyčių šališkumą dirbtinio intelekto sistemose, kurios vėliau diegiamos realioje aplinkoje, atkartojant ir keičiant šiuos diskriminacinius modelius.

Anotacijos šališkumo realaus pasaulio pasekmės

Sentimentų analizės modeliai dažnai buvo pabrėžiami dėl šališkų rezultatų, kai marginalizuotų grupių išreikštos nuotaikos ženklinamos neigiamai. Tai yra susijusi su mokymo duomenimis, kai anotatoriai, dažnai iš dominuojančių kultūrinių grupių, neteisingai interpretuoja arba klaidingai ženklina teiginius dėl kultūrinio konteksto ar slengo nežinojimo. Pavyzdžiui, Afrikos Amerikos liaudies anglų kalbos (AAVE) posakiai dažnai klaidingai interpretuojami kaip neigiami arba agresyvūs, todėl sukuriami modeliai, kurie nuolat klaidingai klasifikuoja šios grupės jausmus.

Tai ne tik lemia prastą modelio veikimą, bet ir atspindi platesnę sisteminę problemą: modeliai tampa netinkami aptarnauti įvairias populiacijas, todėl platformose, kuriose automatizuotam sprendimų priėmimui naudojami tokie modeliai, didėja diskriminacija.

Veido atpažinimas yra kita sritis, kurioje komentarų šališkumas turėjo rimtų pasekmių. Anotatoriai, dalyvaujantys ženklinant duomenų rinkinius, gali sukelti netyčinį šališkumą dėl etninės priklausomybės, todėl skirtingose ​​demografinėse grupėse gali atsirasti neproporcingų tikslumo rodiklių. Pavyzdžiui, daugelyje veidų atpažinimo duomenų rinkinių yra daug kaukazietiškų veidų, todėl spalvotų žmonių našumas gerokai prastesnis. Pasekmės gali būti skaudžios – nuo ​​neteisėtų areštų iki nesuteikimo naudotis pagrindinėmis paslaugomis.

2020 m. plačiai nuskambėjęs incidentas, kai juodaodis buvo neteisėtai sulaikytas Detroite dėl veido atpažinimo programinės įrangos, kuri neteisingai atitiko jo veidą. Ši klaida atsirado dėl anotuotų duomenų šališkumo, pagal kurį programinė įranga buvo apmokyta – pavyzdys, kaip anotacijos fazės šališkumas gali sukelti reikšmingų realaus gyvenimo padarinių.

Tuo pačiu metu bandymas per daug ištaisyti problemą gali atsigauti, kaip rodo „Google“ incidentas „Gemini“ šių metų vasarį, kai LLM negeneravo Kaukazo asmenų vaizdų. Per daug dėmesio skiriant istorinio disbalanso šalinimui, modeliai gali per daug pakrypti priešinga kryptimi, dėl to gali būti atskirtos kitos demografinės grupės ir pakurstyti naujų prieštaravimų.

Paslėptų paklaidų sprendimas duomenų rinkinio anotacijoje

Pagrindinė anotacijų šališkumo mažinimo strategija turėtų prasidėti nuo anotatorių fondo įvairinimo. Įtraukiant asmenis iš įvairiausių sluoksnių (įskaitant etninę kilmę, lytį, išsilavinimą, kalbinius gebėjimus ir amžių), užtikrinama, kad duomenų anotavimo procese bus integruotos kelios perspektyvos ir taip sumažinama rizika, kad bet kurios atskiros grupės šališkumas neproporcingai formuoja duomenų rinkinį. Anotatorių rinkinio įvairovė tiesiogiai prisideda prie niuansesnių, subalansuotų ir reprezentatyvesnių duomenų rinkinių.

Be to, turėtų būti pakankamai saugių gedimų, kad būtų užtikrintas atsarginis atšaukimas, jei komentatoriai negalėtų valdyti savo šališkumo. Tai reiškia pakankamą priežiūrą, duomenų atsarginių kopijų kūrimą iš išorės ir papildomų grupių naudojimą analizei. Nepaisant to, šis tikslas vis dar turi būti pasiektas ir įvairovės kontekste.

Anotacijos gairės turi būti kruopščiai tikrinamos ir kartojamos, kad būtų sumažintas subjektyvumas. Objektyvių, standartizuotų duomenų ženklinimo kriterijų kūrimas padeda užtikrinti, kad asmeninis šališkumas turėtų minimalią įtaką anotacijos rezultatams. Gairės turėtų būti sudarytos naudojant tikslius, empiriškai patvirtintus apibrėžimus ir į juos turėtų būti įtraukti pavyzdžiai, atspindintys platų kontekstų ir kultūrinių skirtumų spektrą.

Labai svarbu į komentarų darbo eigą įtraukti grįžtamojo ryšio kilpas, kuriose komentatoriai gali pareikšti susirūpinimą ar neaiškumus dėl gairių. Toks pasikartojantis grįžtamasis ryšys padeda nuolat tobulinti instrukcijas ir pašalinti visus latentinius paklaidas, kurie gali atsirasti anotavimo proceso metu. Be to, modelio rezultatų klaidų analizės panaudojimas gali atskleisti gairių trūkumus ir sudaryti duomenimis pagrįstą gairių tobulinimo pagrindą.

Aktyvus mokymasis, kai AI modelis padeda komentatoriams, pateikdamas labai patikimus etikečių pasiūlymus, gali būti vertinga priemonė anotacijų efektyvumui ir nuoseklumui pagerinti. Tačiau būtina, kad aktyvus mokymasis būtų įgyvendintas su tvirta žmogaus priežiūra, kad būtų išvengta jau egzistuojančių modelio paklaidų plitimo. Anotatoriai turi kritiškai įvertinti AI sugeneruotus pasiūlymus, ypač tuos, kurie skiriasi nuo žmogaus intuicijos, naudodamiesi šiais atvejais kaip galimybe iš naujo kalibruoti ir žmogaus, ir modelio supratimą.

Išvados ir kas toliau

Duomenų rinkinio anotacijoje įterptas šališkumas yra esminis, dažnai turintis įtakos kiekvienam tolesniam AI modelio kūrimo sluoksniui. Jei paklaidos nenustatomos ir nesumažinamos duomenų ženklinimo etape, gautas AI modelis ir toliau atspindės tuos paklaidas, o tai galiausiai sukels ydingų ir kartais žalingų realaus pasaulio programų.

Siekdami sumažinti šią riziką, dirbtinio intelekto specialistai turi atidžiai išnagrinėti anotavimo praktiką taip pat griežtai kaip ir kitus AI kūrimo aspektus. Įvairovės diegimas, gairių tobulinimas ir geresnių darbo sąlygų anotatoriams užtikrinimas yra pagrindiniai žingsniai siekiant sumažinti šiuos paslėptus šališkumus.

Kelias į tikrai nešališkus AI modelius reikalauja pripažinti ir spręsti šiuos „pamirštus sluoksnius“ visiškai suprantant, kad net ir nedideli paklaidai pagrindiniame lygmenyje gali sukelti neproporcingai didelį poveikį.

Anotacija gali atrodyti kaip techninė užduotis, tačiau ji yra labai žmogiška ir todėl iš esmės ydinga. Atpažindami ir spręsdami žmonių šališkumą, kuris neišvengiamai patenka į mūsų duomenų rinkinius, galime paruošti kelią teisingesnėms ir veiksmingesnėms AI sistemoms.