Студија на случај: Како изградивме систем за умереност базиран на АИ

Во оваа статија, Александар Карабатов, менаџер на проекти во Social Discovery GКрадење, го истражува развојот и имплементацијата на систем за модерација базиран на АИ, дизајниран да се справи со профили и содржини генерирани од корисниците на голема датира платформа.

Во рок од девет месеци, нашитеСДГТимот успешно развил целосно автономен систем за модерација базиран на АИ за профили и кориснички генерирани содржини на платформа за онлајн датира со повеќе од 1 милион дневно активни корисници, испраќајќи 5 милиони пораки и поставувајќи стотици илјади фотографии.

Овој проект стана значајна истражувачка иницијатива, во суштина голем експеримент кој донел вредни увид. Во оваа статија, сакам да ги споделам критичните одлуки што ги донесовме и нивните резултати.

Предизвици на системот за умереност

Speed

Од гледна точка на корисникот, процесот на модерација за време на регистрацијата на датира сајт може да изгледа едноставно - краток самоопис и неколку слики. Сепак, во скала, за платформи со висок сообраќај, ова резултира со значителни редови за обработка.

Следното издание се однесува на балансирањето на SLA (Спогодба за ниво на услуга) и CR2 (Стапка на конверзија до регистрација). Во рачен систем за умереност, секоја секунда зачувана е еднаква на уште еден член на персоналот на бордот.

Покрај тоа, исцрпувањето на вработените го прави регрутирањето континуиран, скап циклус. Дури и со речиси бесконечни ресурси, рачното умереност бара време: отворање на случај, донесување одлука, испраќање одговор.Сето ова негативно влијае на износот на кориснички регистрации - луѓето не ја добиваат почетната услуга некое време и се откажуваат.

Quality:
Грешките се неизбежни. Дури и напредните системи сè уште немаат постигнато 100% точност. Варијабилноста на резултатите зависи од неколку фактори, првенствено јасноста на задачата. На пример, ако ги забраните корисниците со имиња кои започнуваат со буквата „А“, ќе добиете минимална стапка на грешка. Но дали треба да дозволиме „Алекс“? Или „мр.Алекс“?

Еден потежок предизвик е да се утврди дали корисникот имал намера да измами други корисници. 🔸 Еден друг предизвик забележан во рачното умереност е модераторите кои прават шпекулативни или субјективни пресуди во такви сценарија, како што се "е-пошта во стилот на измамник"; "Секако ја видов оваа фотографија порано"; "Десет регистри во ред од Париз на азиски датира сајт?

Рафинирањето на контролните листи за умереност може да помогне ✅, но грешките сепак ќе се случат. Плус, искуството не може едноставно да се пренесе дигитално преку облакот; ограничувањето троши драгоцено време.

Conclusion:

Manual moderation systems suffer from slow decision-making, complex staffing, and difficult knowledge transfer — making them slow, expensive, and not consistently reliable. Clearly, there is an opportunity for innovation.

Изборот на технологијата

We decided to add AI elements to our moderation system.Избраната технологија во голема мера зависи од задачата и расположливиот буџет. Бидејќи моравме да работиме и со текст и со слики, ни беа потребни модели со силна визија.

Ние ги разгледавме услугите кои се специјализирани за автоматска модерација, сметајќи се за фино прилагодување на моделите со отворен код, но на крајот слетаа на ChatGPT. Со јасно наведување на моделот - како што е "Вие сте модератор на датира сајт", - ефикасно ги идентификува финансиските измами, позадина поединци и други сложени прашања со повеќе од 80% точност.

брзање

Користењето на LLM модели за умереност бара добро направен поттик. Инженеринг на поттик не е нешто што обично се учи на универзитети. Нашите ML инженери потврдија дека во моментов не постојат едноставни, готови за употреба решенија, па почнавме да ги спроведуваме нашите сопствени експерименти.

Брзо ја отфрливме идејата за аутсорсинг на креирање на повици. ⚠️ Пожелно е да имате внатрешен програмер кој, дури и без стручно искуство, може постојано да ги усовршува повиците. Нашата задача бара постојани прилагодувања поради честото менување на влезовите кои влијаат на резултатите од умереноста. Измамни корисници кои откриваат празнини бараат брза модификација. Кога трендовите се менуваат, повикот мора да се ажурира. Моделот надградби исто така бара брза ревизија. На пример, на Ноќта на вештерките, ризикувате лажно да ги отфрлите фотографиите на среќни клиенти кои поставуваат со пластичен нож во нивните глави.

Ги истакнав некои основни клучни наоди за prompt:

Ги истакнав некои основни клучни наоди за prompt:

• Вовед: Кратко објаснете ја задачата и целта на моделот;
• Акции: неопходно е прецизно и концизно да се информираат моделите за тоа што претставува проблематична содржина и да се наведе соодветниот одговор за враќање при откривање или отсуство на таква содржина;
• Примери: исклучително е важно да се обезбедат неколку примери за секој тип на проблем, покажувајќи што сметаме дека е прифатливо, а што не.
• **Забелешки: **Контекстот е од суштинско значење за моделот да дојде до точни одлуки; сепак, подолгите повици ја зголемуваат веројатноста за халуцинации.

Етикетирање на податоци

Ефективниот брз развој неизбежно бара прецизно етикетирање на податоците. Квалитетот на етикетираните податоци директно влијае на перформансите на моделот. Додека постојат многу услуги за crowd-sourcing, решивме да изградиме свој тим за етикетирање.

Можете да најдете многу водичи на интернет за тоа како да поставите цевка за етикетирање на податоци, и ова се клучните точки кои мислам дека се најважни:

• Јасна таксономија: Обезбедете сеопфатна листа на сите можни етикети, секоја со детални дефиниции и повеќе примери.
• Тим: Секоја ставка на податоци мора да биде етикетирана со најмалку три независни етикетери за да се намали предрасудите и да се подобри довербата преку консензус.
• Комуникација: Правете сесии на палубата, разгледајте ги примероците заедно и дозволете на етикетите да означат нешто како „нејасно“ ако е потребно.
• Подобрување: По секој круг на етикетирање, подобрете ја таксономијата и прилагодете го тимот ако се појават проблеми со квалитетот.

Еден од најважните критериуми за комплетен сет на податоци е вклучувањето на доволен број на случајно избрани позитивни и негативни настани во сите очекувани типови на содржини. На пример, повик оптимизиран за содржина поврзана со возрасни може да не обезбеди точни резултати кога се користи со содржина поврзана со деца.

Архитектура на системот

Во оваа фаза, имаме почетна инспирација која произведува задоволителни резултати на доверлив сет на податоци.Ние ги усогласивме прифатливите прагови за нашиот модератор на АИ во однос на прецизноста и повлекувањето, и сме подготвени за системска интеграција.Постојат неколку важни точки за да се има на ум.

• Ваквите системи бараат континуирана валидација и усовршување.Важно е да се воспостави процес за редовно анотирање на новите резултати и следење на точноста на различни типови содржини.
• Човекот треба да ги разгледа случаите во кои вештачката интелигенција не е 100% сигурна. Ова ги намалува непосредните ризици и, што е уште поважно, овозможува континуирано подобрување на моделот и брзо рафинирање.

Бизнис влијание

The initial integration significantly improved user registration efficiency, reducing processing time by a factor of 60 while maintaining moderation quality. Additionally, automation helped us standardize the objectivity of decisions, enabling us to quickly identify new issues and needs and improve the process. The system is already reducing costs for the company, and further optimization lies ahead.

До овој момент, ги користевме најпопуларните и софистицирани решенија достапни на пазарот. Сепак, поради брзиот раст на вештачката интелигенција, сега имаме пристап до широк спектар на провајдери.

Ние дизајниравме флексибилна архитектура која може да поддржува повеќе модели истовремено, овозможувајќи прецизно прилагодување на специфични компоненти за различни модели и брза замена според потребите.

Фаза 0–1 Резиме

Нашиот внатрешен стартап беше развиен од страна на посветен тим од само шест постојани членови. At various project stages, we leveraged additional expertise from colleagues but the core team remained small. In a short period, our work was successfully integrated into a full-scale product, significantly motivating our team. Throughout the project, we experienced a true sense of experimentation, rapidly testing a wide range of hypotheses, developing unique approaches, and implementing them live.

✅ Системот стана побрз, поефикасен и поконзистентен во квалитетот, што ме натера да заклучам дека целите на првата фаза се исполнети.