Studiu de caz: Cum am construit un sistem de moderare bazat pe AI

În acest articol, Aleksandr Karabatov, manager de proiect la Social Discovery Group, explorează dezvoltarea și implementarea unui sistem de moderare bazat pe IA conceput pentru a gestiona profilurile și conținutul generat de utilizatori pe o platformă mare de dating.

În decurs de nouă ani, noiSDGEchipa a dezvoltat cu succes un sistem complet autonom de moderare bazat pe AI pentru profiluri și conținut generat de utilizatori pe o platformă de dating online cu peste 1 milion de utilizatori activi zilnic, trimițând 5 milioane de mesaje și încărcând sute de mii de fotografii.

Acest proiect a devenit o inițiativă de cercetare semnificativă, în esență un experiment la scară largă care a generat informații valoroase. În acest articol, vreau să împărtășesc deciziile critice pe care le-am luat și rezultatele acestora.

Provocările sistemului de moderare

Speed

Din perspectiva unui utilizator, procesul de moderare în timpul înregistrării site-ului de dating poate părea simplu - o scurtă auto-descriere și câteva imagini. Cu toate acestea, la scară, pentru platformele cu trafic ridicat, acest lucru duce la cozi substanțiale de procesare.

Următorul număr se referă la echilibrarea SLA (Service Level Agreement) și CR2 (Conversion Rate to Registration). Într-un sistem de moderare manuală, fiecare secundă salvată echivalează cu încă un membru al personalului la bord.

În plus, epuizarea angajaților face ca recrutarea să fie un ciclu continuu și costisitor. Chiar și cu resurse aproape infinite, moderarea manuală necesită timp: deschiderea unui caz, luarea unei decizii, trimiterea unui răspuns. Toate acestea afectează negativ numărul de înregistrări ale utilizatorilor - oamenii nu primesc serviciul inițial pentru o perioadă de timp și renunță.

Qualityîn:
Greșelile sunt inevitabile. Chiar și sistemele avansate nu au atins încă acuratețea de 100%. Variabilitatea rezultatelor depinde de mai mulți factori, în primul rând de claritatea sarcinii. De exemplu, dacă interziceți utilizatorii cu nume începând cu litera "A", veți obține o rată minimă de eroare. Dar ar trebui să permitem "Alex"? Sau "mr.Alex"? Un sistem heuristic va spune da, un om ar spune nu.

O provocare mai dificilă este de a determina dacă un utilizator intenționează să înșele alți utilizatori. 🔸 O altă provocare observată în moderația manuală este moderatorii care fac judecăți speculative sau subiective în astfel de scenarii, cum ar fi „e-mail în stil scammer”; „Am văzut cu siguranță această fotografie înainte”; „Zece înregistrări la rând din Paris pe un site de dating asiatic?

Rafinarea listelor de verificare a moderării poate ajuta ✅, dar erorile se vor întâmpla în continuare.În plus, experiența nu poate fi pur și simplu transferată digital prin cloud; constrângerea consumă timp prețios.Oboseala poate duce la o scădere a calității performanței, necesitând personal suplimentar și costuri crescute.

Conclusion:

Sistemele de moderare manuală suferă de procesul de luare a deciziilor lent, de personalul complex și de transferul de cunoștințe dificil – ceea ce le face lente, scumpe și nu fiabile în mod constant.

Alegerea tehnologiei

We decided to add AI elements to our moderation system.Tehnologia selectată depinde în mare măsură de sarcină și de bugetul disponibil.Deoarece trebuia să lucrăm atât cu text, cât și cu imagini, aveam nevoie de modele cu capacități de viziune puternice.

Am revizuit serviciile specializate în moderare automată, considerate modele open-source fine-tuning, dar în cele din urmă au ajuns pe ChatGPT. Prin încurajarea modelului în mod clar - cum ar fi "Ești un moderator pe un site de dating", - identifică în mod eficient înșelătoriile financiare, persoanele de fond și alte probleme complexe cu o precizie de peste 80%.

promptă

Utilizarea modelelor LLM pentru moderare necesită o promptă bine făcută. Ingineria promptă nu este ceva predat în mod obișnuit la universități. inginerii noștri ML au confirmat că nu există soluții simple, gata de utilizare în prezent, așa că am început să ne desfășurăm propriile experimente.

Am respins rapid ideea de a externaliza crearea de solicitări. ⚠️ Este de preferat să aveți un dezvoltator intern care, chiar și fără experiență de specialitate, poate perfecționa în mod continuu solicitările. Sarcina noastră necesită ajustări constante datorită modificărilor frecvente ale intrărilor care afectează rezultatele moderării. Utilizatorii frauduloși care descoperă lacune necesită o modificare promptă. Când se schimbă tendințele, solicitarea trebuie să fie actualizată. Actualizările modelului necesită, de asemenea, revizuiri prompte. De exemplu, la Halloween, riscați să respingeți în mod fals fotografiile clienților fericiți care prezintă cu un cuțit din plastic în capul lor.

Am evidențiat câteva descoperiri cheie de bază despre prompt:

Am evidențiat câteva descoperiri cheie de bază despre prompt:

• Introducere: Explicați pe scurt sarcina și scopul modelului;
• Acțiuni: este necesar să se instruiască în mod precis și concis modelele cu privire la ceea ce constituie conținut problematic și să se specifice răspunsul adecvat pentru a reveni la detectarea sau absența unui astfel de conținut;
• Exemple: Este extrem de important să se furnizeze mai multe exemple pentru fiecare tip de problemă, arătând ce considerăm acceptabil și ce nu.
• **Note: **Contextul este esențial pentru ca modelul să ajungă la decizii exacte; cu toate acestea, apelurile mai lungi cresc probabilitatea halucinațiilor.

Etichetarea datelor

Dezvoltarea rapidă eficientă necesită în mod inevitabil etichetarea precisă a datelor. Calitatea datelor etichetate are un impact direct asupra performanței modelului.În timp ce există multe servicii de crowd-sourcing, am decis să ne construim propria echipă de etichetare.

Puteți găsi o mulțime de ghiduri online despre cum să configurați o conductă de etichetare a datelor, iar acestea sunt punctele cheie care cred că contează cel mai mult:

• Taxonomia clară: Furnizați o listă cuprinzătoare a tuturor etichetelor posibile, fiecare cu definiții detaliate și mai multe exemple.
• Echipa: Fiecare element de date trebuie să fie etichetat de cel puțin trei etichetatori independenți pentru a reduce biasurile și a îmbunătăți fiabilitatea prin consens.
• Comunicare: Faceți sesiuni de onboarding, treceți peste cazurile de eșantionare împreună și permiteți etichetatorilor să eticheteze ceva ca fiind "neclar", dacă este necesar.
• Îmbunătățire: După fiecare rundă de etichetare, perfecționați taxonomia și ajustați echipa dacă apar probleme de calitate.

Unul dintre cele mai importante criterii pentru un set complet de date este includerea unui număr suficient de evenimente pozitive și negative selectate aleatoriu în toate tipurile de conținut așteptate. De exemplu, o promptă optimizată pentru conținutul pentru adulți poate să nu ofere rezultate exacte atunci când este utilizată cu conținutul pentru copii.

Arhitectura sistemului

În acest stadiu, avem o promptă inițială care produce rezultate satisfăcătoare pe un set de date de încredere. Am aliniat pragurile acceptabile pentru moderatorul nostru AI în ceea ce privește precizia și retragerea și suntem gata pentru integrarea sistemului.Există câteva puncte importante de avut în vedere.

• Este esențial să se stabilească un proces pentru a anota în mod regulat rezultatele noi și pentru a monitoriza acuratețea în diferite tipuri de conținut.
• O metodologie umană-in-the-loop. Un om ar trebui să revizuiască cazurile de colț în care AI nu este 100% sigur. Acest lucru reduce riscurile imediate și, mai important, permite îmbunătățirea continuă a modelului și rafinarea promptă.

Impactul afacerilor

The initial integration significantly improved user registration efficiency, reducing processing time by a factor of 60 while maintaining moderation quality. Additionally, automation helped us standardize the objectivity of decisions, enabling us to quickly identify new issues and needs and improve the process. The system is already reducing costs for the company, and further optimization lies ahead.

Până în acest moment, am folosit cele mai populare și sofisticate soluții disponibile pe piață. Cu toate acestea, datorită creșterii rapide a AI, avem acum acces la o gamă largă de furnizori.

Am proiectat o arhitectură flexibilă capabilă să susțină mai multe modele simultan, permițând ajustarea precisă a componentelor specifice pentru diferite modele și înlocuirea rapidă după cum este necesar.

Etapa 0 – 1 Rezumat

Startup-ul nostru intern a fost dezvoltat de o echipă dedicată de doar șase membri permanenți. At various project stages, we leveraged additional expertise from colleagues but the core team remained small. In a short period, our work was successfully integrated into a full-scale product, significantly motivating our team. Throughout the project, we experienced a true sense of experimentation, rapidly testing a wide range of hypotheses, developing unique approaches, and implementing them live.

✅ Sistemul a devenit mai rapid, mai eficient din punctul de vedere al costurilor și mai coerent în ceea ce privește calitatea, ceea ce m-a condus la concluzia că obiectivele primei faze au fost îndeplinite.