Gadījumu pētījums: kā mēs izveidojām AI balstītu moderācijas sistēmu

Šajā rakstā Aleksandrs Karabatovs, Sociālās izpētes G projekta vadītājsroup, izpēta AI bāzes moderācijas sistēmas izstrādi un ieviešanu, kas paredzēta, lai pārvaldītu profilus un lietotāju ģenerētu saturu lielā iepazīšanās platformā.

Deviņu mēnešu laikā mūsuSDGkomanda veiksmīgi izstrādāja pilnībā autonomu AI balstītu profilu un lietotāju radītā satura moderācijas sistēmu tiešsaistes iepazīšanās platformā ar vairāk nekā 1 miljonu ikdienas aktīvo lietotāju, nosūtot 5 miljonus ziņojumu un augšupielādējot simtiem tūkstošu fotogrāfiju.

Šis projekts kļuva par nozīmīgu pētniecības iniciatīvu, būtībā par liela mēroga eksperimentu, kas sniedza vērtīgu ieskatu. Šajā rakstā es vēlos dalīties ar kritiskajiem lēmumiem, kurus mēs pieņēmām, un to rezultātiem.

Moderatīvās sistēmas problēmas

Speed

No lietotāja viedokļa moderācijas process iepazīšanās vietnes reģistrācijas laikā var šķist vienkāršs - īss pašapraksts un daži attēli. Tomēr mērogā, augstas satiksmes platformām, tas noved pie ievērojamām apstrādes rindām.

Nākamais jautājums ir par SLA (pakalpojuma līmeņa līguma) un CR2 (konversijas likmes līdz reģistrācijai) līdzsvarošanu. Manuālā moderācijas sistēmā katra ietaupītā sekunde ir vienāda ar vēl vienu darbinieku.

Turklāt darbinieku nogurums padara pieņemšanu darbā nepārtrauktu, dārgu ciklu. Pat ar gandrīz bezgalīgiem resursiem, manuālā moderācija prasa laiku: atvērt lietu, pieņemt lēmumu, nosūtīt atbildi.

Quality:
Kļūdas ir neizbēgamas. Pat uzlabotām sistēmām vēl nav sasniegts 100% precizitāte. Rezultātu mainīgums ir atkarīgs no vairākiem faktoriem, galvenokārt no uzdevuma skaidrības. Piemēram, ja jūs aizliegsiet lietotājus ar vārdiem, kas sākas ar burtu “A”, jūs saņemsiet minimālu kļūdu līmeni. Bet vai mēs ļautu “Aleks”? vai “mr.Alex”?

Vēl viens izaicinājums, kas novērots manuālajā moderācijā, ir moderatori, kas šādos scenārijos pieņem spekulējošus vai subjektīvus spriedumus, piemēram, “Scammer-style e-pastu”; “Es noteikti esmu redzējis šo fotogrāfiju agrāk”; “Desmit reģistrācijas pēc kārtas no Parīzes uz Āzijas iepazīšanās vietni?

Moderācijas kontrolsarakstu uzlabošana var palīdzēt ✅, bet kļūdas joprojām notiks.Papildus tam pieredzi nevar vienkārši pārsūtīt digitāli caur mākoņu; ierobežošana patērē vērtīgu laiku. Nogurums var izraisīt veiktspējas kvalitātes samazināšanos, kas prasa papildu personālu un palielinās izmaksas.

Conclusion:

Manuālās mērīšanas sistēmas cieš no lēnas lēmumu pieņemšanas, sarežģīta personāla un sarežģītas zināšanu nodošanas, kas padara tās lēnas, dārgas un nepastāvīgi uzticamas.

Tehnoloģijas izvēle

We decided to add AI elements to our moderation system.Izvēlētā tehnoloģija lielā mērā ir atkarīga no uzdevuma un pieejamā budžeta.Tā kā mums bija jāstrādā gan ar tekstu, gan ar attēliem, mums bija nepieciešami modeļi ar spēcīgām redzes spējām.

Mēs pārskatījām pakalpojumus, kas specializējas automatizētajā moderācijā, kas tiek uzskatīti par smalki pielāgojamiem atvērtā koda modeļiem, bet galu galā nonāca pie ChatGPT. Iesakot modeli skaidri - piemēram, "Jūs esat moderators iepazīšanās vietnē," - tas efektīvi identificē finanšu krāpšanu, personu fonu un citas sarežģītas problēmas ar vairāk nekā 80% precizitāti.

paātrināt

Izmantojot LLM modeļus mērenībai, ir nepieciešams labi izstrādāts solis. Prompt inženierija nav kaut kas, ko parasti māca universitātēs.Mūsu ML inženieri apstiprināja, ka pašlaik nav vienkāršu, gatavu risinājumu, tāpēc mēs sākām veikt savus eksperimentus.

Mēs ātri noraidījām ideju par ielūgumu izveidi. ⚠️ Ir vēlams, lai būtu iekšējais izstrādātājs, kurš pat bez speciālistu pieredzes var nepārtraukti uzlabot ielūgumus. Mūsu uzdevums prasa pastāvīgus pielāgojumus, jo bieži mainās ieejas, kas ietekmē mērenības rezultātus. krāpnieciskiem lietotājiem, kas atklāj nepilnības, ir nepieciešama tūlītēja modifikācija. Kad tendences mainās, ielūgums ir jāatjaunina. Modelu atjauninājumi prasa arī tūlītēju pārskatīšanu. Piemēram, Helovīnā jūs riskējat nepatiesi noraidīt laimīgu klientu fotogrāfijas, kas pozē ar plastmasas nazi viņu galvā.

Es esmu uzsvēra dažus pamatpamatnoskaidrojumus par prompt:

Es esmu uzsvēra dažus pamatpamatnoskaidrojumus par prompt:

• Ievads: īsi izskaidrojiet modelim uzdevumu un mērķi;
• Darbības: ir nepieciešams precīzi un īsi norādīt modeļiem par to, kas veido problemātisku saturu, un precizēt atbilstošu reakciju, lai atgrieztos, ja tiek atklāts vai nav šāda satura;
• Piemēri: ir ārkārtīgi svarīgi sniegt vairākus piemērus katram jautājuma veidam, parādot, ko mēs uzskatām par pieņemamu un ko mēs neuzskatām par pieņemamu.
• ** Piezīmes: ** Konteksts ir būtisks, lai modelis varētu pieņemt precīzus lēmumus; tomēr, garāki ielūgumi palielina halucināciju iespējamību.

Datu marķēšana

Efektīva tūlītēja attīstība neizbēgami prasa precīzu datu marķēšanu. Marķēto datu kvalitāte tieši ietekmē modeļa veiktspēju. Kaut arī ir daudz crowd-sourcing pakalpojumu, mēs nolēmām izveidot savu marķēšanas komandu.

Jūs varat atrast daudzas rokasgrāmatas tiešsaistē par to, kā izveidot datu marķēšanas cauruļvadu, un šie ir galvenie punkti, kas, manuprāt, ir vissvarīgākie:

• Skaidra taksonomija: sniedz visaptverošu visu iespējamo marķējumu sarakstu, katrs ar detalizētām definīcijām un vairākiem piemēriem.
• Katram datu elementam jābūt marķētam ar vismaz trim neatkarīgiem marķētājiem, lai samazinātu aizspriedumus un uzlabotu uzticamību, izmantojot konsensu.
• Komunikācija: Veikt onboarding sesijas, pārskatīt paraugu gadījumus kopā, un ļaut marķieriem atzīmēt kaut ko kā "neprecīzu", ja nepieciešams.
• Uzlabojumi: Pēc katras marķēšanas kārtas precizējiet taksonomiju un pielāgojiet komandu, ja rodas kvalitātes problēmas.

Viens no svarīgākajiem kritērijiem pilnīgai datu kopai ir pietiekams skaits nejauši atlasītu pozitīvu un negatīvu notikumu visās paredzamajās satura kategorijās. Piemēram, pieprasījums, kas optimizēts ar pieaugušajiem saistītam saturam, var nesniegt precīzus rezultātus, ja to izmanto ar bērnu saistītu saturu.

Sistēmas arhitektūra

Šajā posmā mums ir sākotnējais ielūgums, kas rada apmierinošus rezultātus uzticamā datu kopumā.Mēs esam pielāgojušies mūsu AI moderatoram pieņemamajiem sliekšņiem precizitātes un atsaukšanas ziņā un esam gatavi sistēmas integrācijai.Ir daži svarīgi punkti, kas jāpatur prātā.

• Šādām sistēmām ir nepieciešama pastāvīga validācija un rafinēšana.Ir svarīgi izveidot procesu, lai regulāri atzīmētu jaunus rezultātus un uzraudzītu precizitāti dažādos satura veidos.
• Cilvēkam vajadzētu pārskatīt stūra gadījumus, kur AI nav 100% pārliecināts.Tas samazina tūlītējos riskus un, vēl svarīgāk, ļauj nepārtraukti uzlabot modeli un ātri rafinēt.

Uzņēmējdarbības ietekme

The initial integration significantly improved user registration efficiency, reducing processing time by a factor of 60 while maintaining moderation quality. Additionally, automation helped us standardize the objectivity of decisions, enabling us to quickly identify new issues and needs and improve the process. The system is already reducing costs for the company, and further optimization lies ahead.

Līdz šim mēs esam izmantojuši vispopulārākos un sarežģītākos risinājumus, kas pieejami tirgū.Tomēr, pateicoties straujai AI izaugsmei, mums tagad ir piekļuve plašam pakalpojumu sniedzēju klāstam.

Mēs izstrādājām elastīgu arhitektūru, kas vienlaikus atbalsta vairākus modeļus, ļaujot precīzi pielāgot konkrētus komponentus dažādiem modeļiem un pēc vajadzības ātri nomainīt.

Fāzes 0–1 kopsavilkums

Mūsu iekšējo startu izstrādāja veltīta komanda, kas sastāv no tikai sešiem pastāvīgajiem locekļiem.Dažādos projekta posmos mēs izmantojām papildu ekspertīzi no kolēģiem, bet pamata komanda palika maza. Īsā laika posmā mūsu darbs tika veiksmīgi integrēts pilnvērtīgā produktā, kas ievērojami motivēja mūsu komandu.

✅ Sistēma ir kļuvusi ātrāka, izmaksu ziņā efektīvāka un kvalitātes ziņā konsekventāka, kas liek man secināt, ka pirmā posma mērķi ir sasniegti.