Case Study: How We Built an AI-Based Moderation System (අපි කොහොමද AI-Based Moderation System ගොඩනැගුවේ)

මෙම ලිපියේදී, Social Discovery G හි ව්යාපෘති කළමනාකරු Aleksandr Karabatovරෝප්, විශාල ආලය වේදිකාවක් මත පරිශීලකයන් විසින් නිර්මාණය කරන ලද ප්රවේශයන් හා අන්තර්ගතය කළමනාකරණ පද්ධතියක් සංවර්ධනය කිරීම සහ ප්රවේශ කිරීම පරීක්ෂා කරයි.The piece delves into the challenges faced, technological choices made, and the significant business impacts of transitioning from manual to AI-driven moderation.

මාස 9 ක් ඇතුළත අපගේSDGමෙම කණ්ඩායම සාර්ථකව සම්පූර්ණයෙන්ම ස්වයංක්රීය AI මත පදනම් වූ පරිපාලන පද්ධතිය නිර්මාණය කර ඇත පරිශීලකයන් විසින් නිර්මාණය කරන ලද අන්තර්ජාල ආලය පද්ධතිය මත, දිනපතා ක්රියාකාරී පරිශීලකයින් මිලියන 1 කට වඩා වැඩි, පණිවුඩ මිලියන 5 යැවීම සහ ඡායාරූප දහස් ගණනක් උඩුගත කිරීම.

මෙම ව්යාපෘතිය වැදගත් පර්යේෂණ ආරම්භයක් බවට පත් වී, ප්රධාන වශයෙන් වටිනා අවබෝධයක් ලබා දුන් විශාල ප්රමාණයේ පර්යේෂණයක්. මෙම ලිපිය තුළදී, මම අපේ තීරණ සහ ඔවුන්ගේ ප්රතිඵල බෙදා ගැනීමට කැමතියි.

moderation පද්ධති අභියෝග

Speed

පරිශීලකයාගේ ප්රවේශයෙන්, ආලය වෙබ් අඩවියේ ලියාපදිංචි කිරීමේදී moderation ක්රියාවලිය සරල විය හැකිය - කෙටි ස්වයං විස්තරයක් සහ කිහිපයක් පින්තූර. කෙසේ වෙතත්, මට්ටමේ දී, ඉහළ ප්රවාහන වේදිකාවන් සඳහා, මෙය ප්රමාණවත් පරිශීලක වාර ගණනකට හේතු විය හැකිය.

ඊළඟ අංකය SLA (Service Level Agreement) සහ CR2 (Conversion Rate to Registration) සංසන්දනය කිරීම ගැනයි.මැණින් මෘදුකාංග පද්ධතියකදී, සෑම තත්පරයක්ම ඉතිරිව ඇත්තේ තවත් සේවක සාමාජිකයෙකු සමාන වේ.

මීට අමතරව, සේවක අහිමි වීම රැකියාව දිගුකාලීන, වියදම්කාරී චක්රය බවට පත් කරයි. අසීමිත සම්පත් සහිතව පවා, මෑත මැනවිල්ල කාලය ගත කරයි: නඩු විවෘත කිරීම, තීරණය කිරීම, ප්රතිචාර යැවීම. මේ සියල්ල අහිතකර ලෙස පරිශීලක ලියාපදිංචි ප්රමාණයට බලපායි - මිනිසුන් යම් කාලයක් සඳහා මුල් සේවාව ලබා නොගනිති.

Quality:
වැරදි අනවශ් ය වේ. උසස් පද්ධති පවා තවමත් 100% නිවැරදිතාවය සාර්ථක කර ගත යුතුය. ප්රතිඵලයේ වෙනස්කම් කිහිපයක් මත රඳා පවතී, ප්රධාන වශයෙන් කාර්යයේ පැහැදිලිතාවය. උදාහරණයක් ලෙස, ඔබ අකුරු "A" සමඟ ආරම්භ වන නාමයන් සහිත පරිශීලකයන් තහනම් කරන්නේ නම්, ඔබට අවම වැරදි අනුපාතයක් ලැබෙනු ඇත. නමුත් අපි "Alex" හෝ "mr.Alex" අවසර දෙමුද?

වඩාත් දුෂ්කර අභියෝගයක් වන්නේ පරිශීලකයා අනෙකුත් පරිශීලකයන් වංචා කිරීමට සැලසුම් කර ඇති බව තීරණය කිරීමයි. 🔸 අමුත්තන් මැදිරියාව තුළ නිරීක්ෂණය කරන තවත් අභියෝගයක් වන්නේ එවැනි තත්වයන්වල විවේචනීය හෝ සෘජු විනිශ්චය කිරීමයි, එවැනි “පාවුකාලික ස්වරූපයේ ඊ-තැපැල්”; “මම අනිවාර්යයෙන්ම මේ ඡායාරූපය මීට පෙර දැකලා තියෙනවා”; “පරිසියේ සිට ආසියානු ආලය වෙබ් අඩවියේ එක් වරක් ලියාපදිංචි කිරීම් දහයක්?

පරිපාලන පරීක්ෂා ලැයිස්තුව සකස් කිරීම ✅ උපකාරී විය හැකිය, නමුත් වැරදි තවමත් සිදු වනු ඇත. Plus, අත්දැකීම් යන්තම් අලංකාරය හරහා ඩිජිටල් හරහා මාරු කළ නොහැක; පරිපාලන කිරීම වටිනා කාලය අහිමි කරයි.

Conclusion:

අත්හදා බැලීම් පද්ධති වේගවත් තීරණ ගැනීම, සංකීර්ණ කාර්ය මණ්ඩලය, හා දැනුම ප්රවාහනය අමාරු - ඔවුන් වේගවත්, මිල අධික, සහ නිශ්චිතව විශ්වාසදායක නොවන බවට පත් කර ඇත.

තාක්ෂණය තෝරා ගැනීම

We decided to add AI elements to our moderation system. The technology selected depends significantly on the task and available budget. Since we needed to work with both text and images, we required models with strong vision capabilities.

අපි ස්වයංක්රීය moderation විශේෂඥ සේවාවන් සමාලෝචනය, විවෘත මූලාශ්ර ආකෘති හොඳින් අනුකූල, නමුත් අවසානයේ දී ChatGPT මත වැටී. ආකෘතිය පැහැදිලිව ඉල්ලා - වැනි "ඔබ ආලය වෙබ් අඩවියේ moderator වේ," - එය ඵලදායීව මූල්ය වංචා, පසුබිම පුද්ගලයින් සහ අනෙකුත් සංකීර්ණ ගැටළු හඳුනාගෙන ඇත 80% කට වඩා නිවැරදිතාවය.

වේගයෙන්

ප්රවේශ ඉංජිනේරු කිරීම විශ්ව විද්යාලවල සාමාන්යයෙන් ඉගැන්වූ දෙයක් නොවේ. අපගේ ML ඉංජිනේරුවන් දැනට සරල, භාවිතා කිරීමට සූදානම් විසඳුම් නොමැති බව තහවුරු කර ඇත, එබැවින් අපි අපේම අත්හදා බැලීම් ක්රියාත්මක කිරීමට පටන් ගත්තා.

අපි ඉක්මනින් ප්රතිසංස්කරණය ප්රශ්න නිර්මාණය ගැන අදහසක් ප්රතිසංස්කරණය. ⚠️ විශේෂඥ අත්දැකීම් නොමැතිව පවා ස්ථාවරව ප්රශ්න සකස් කළ හැකි අභ්යන්තර සංවර්ධකයක් ඇති කිරීම වඩාත් සුදුසු වේ. අපගේ කාර්යය නිතර වෙනස් වන ප්රතිපත්තිය නිසා ස්ථාවර අනුකූලතා ප්රතිඵල බලපාන නිසා ස්ථාවර අනුකූලතා අවශ්ය වේ. වංචාකාරී පාරිභෝගිකයින් දෝෂ සොයා ගනිමින් වහාම වෙනස් කිරීම අවශ්ය වේ. වර්ධන වෙනස් වන විට ප්රතිපත්තිය යාවත්කාලීන කළ යුතුය. ආකෘති යාවත්කාලීන ද හදිසි අනුකූලතා අවශ්ය වේ. උදාහරණයක් ලෙස, හෙලෝලෝලෝලෝ

මම prompt ගැන මූලික මූලික ප්රතිඵල කිහිපයක් සලකා බැලුවා:

මම prompt ගැන මූලික මූලික ප්රතිඵල කිහිපයක් සලකා බැලුවා:

• Introduction: මොඩියුලයේ කාර්යය සහ අරමුණ කෙටියෙන් පැහැදිලි කිරීම;
• ක්රියාකාරකම්: ප්රශ්නීය අන්තර්ගතය කුමක්ද යන්න ගැන ආකෘතිවලට නිශ්චිතව සහ කෙටියෙන් උපදෙස් ලබා දිය යුතු අතර, එවැනි අන්තර්ගතය හඳුනා ගැනීම හෝ නොමැති විට නැවත ප්රතිචාර කිරීමට සුදුසු ප්රතිචාරයක් හඳුනා ගත යුතුය;
• උදාහරණ: සෑම ප් රශ්නයකටම උදාහරණ කිහිපයක් ලබා දීම ඉතා වැදගත් වන අතර, අපි පිළිගත හැකි බව සහ අපි නොකරන දේ පෙන්වනු ඇත.
• ** සටහන්: ** පරිච්ඡේදය නිවැරදි තීරණ ගැනීමට ආකෘතිය සඳහා වැදගත් වේ; කෙසේ වෙතත්, දිගු ප්රවේශයන් ආකර්ෂණය අවදානම වැඩි කරයි. ** ප්රවේශයන් ඇතුළේ ප්රමාණය සහ පරිච්ඡේදය පරිස්සමින් කළමනාකරණය කිරීම වැදගත් වන්නේ විවිධ ප්රවේශයන්ගේ සංඛ්යාව සහ ඒවායේ පරිච්ඡේද ප්රමාණය අතර ගැලපෙන සාධනය සොයා ගැනීමටයි.

දත්ත සංකේතය

ඵලදායී වේගවත් සංවර්ධනය අනිවාර්යයෙන්ම නිශ්චිත දත්ත ලියාපදිංචි කිරීම අවශ්ය වේ. ලියාපදිංචි දත්තවල ගුණාත්මකභාවය සෘජුවම ආකෘති ක්රියාකාරීත්වයට බලපෑම් කරයි.

ඔබ දත්ත ලියාපදිංචි කිරීම් පයිප්පලයින් ස්ථාපනය කරන්නේ කෙසේද යන්න පිළිබඳ මාර්ගෝපදේශ කිහිපයක් අන්තර්ජාලය තුළ සොයා ගත හැකිය, මම හිතන්නේ ප්රධාන කරුණු මෙන්න:

• Clear Taxonomy: සියලුම හැකි ලැයිස්තුවේ සම්පූර්ණ ලැයිස්තුවක් සපයන්න, සෑම සීමාවකම විස්තරාත්මක සංකේතයන් සහ බොහෝ උදාහරණ සහිතව.
• කණ්ඩායම්: සෑම දත්ත ලැයිස්තුවක්ම අවම වශයෙන් තුනක් ස්වාධීන ලියාපදිංචිකරුවන් විසින් ලියාපදිංචි කළ යුතුය.
• සන්නිවේදනය: ඇණවුම් රැස්වීම් කරන්න, සාම්පල ප්රශ්න එකිනෙකා වෙත යන්න, සහ අවශ්ය නම් ඉලක්කකරුවන්ට යමක් "බන්ධනාත්මක" ලෙස සකස් කිරීමට ඉඩ දෙන්න.
• වැඩි දියුණු කිරීම්: සෑම රැස්වීමක්ම පසු, ටැක්සෝනියාව සාර්ථක කරන්න සහ ගුණාත්මක ගැටළු ඇතිවන විට කණ්ඩායම අනුකූල කරන්න.

සම්පූර්ණ දත්ත රැස්වීම සඳහා වැදගත්ම ප්රවේශය වන්නේ සියලු බලාපොරොත්තු වන අන්තර්ගත ප්රමාණයන් තුළ සාපේක්ෂව තෝරාගත් ප්රතිඵල සහ අහිතකර සිදුවීම් ප්රමාණ සංඛ් යාව ඇතුළත් කිරීමයි. උදාහරණයක් ලෙස, වැඩිහිටියන් සම්බන්ධ අන්තර්ගතය සඳහා පරිශීලක කර ඇති ප්රවේශය දරුවන් සම්බන්ධ අන්තර්ගතය සමඟ භාවිතා කරන විට නිශ්චිත ප්රතිඵල ලබා නොගනී.

පද්ධති ආකෘතිය

මෙම තත්වයේ දී, අපි ප්රථම ප්රවේශයක් ඇති අතර එය විශ්වාසදායක දත්ත සමුළුව මත ප්රයෝජනවත් ප්රතිඵල නිෂ්පාදනය කරයි.We have aligned on the acceptable thresholds for our AI moderator in terms of precision and recall, and are ready for system integration.මතක තබා ගත යුතු වැදගත් කරුණු කිහිපයක් ඇත.

• එවැනි පද්ධති දිගින් දිගටම විනිශ්චය කිරීම සහ පරිපූර්ණ කිරීම අවශ්ය වේ.එය නිතිපතා නව ප්රතිඵල සහ විවිධ අන්තර්ගත වර්ගවල නිවැරදිත්වය පරීක්ෂා කිරීම සඳහා ක්රියාවලිය ස්ථාපනය කිරීම වැදගත් වේ.
• Human-in-the-loop methodology.A human should review corner cases where the AI is not 100% confident.This reduces immediate risks and, more importantly, enables continuous model improvement and prompt refinement.මේක කෙටි අවදානම අඩු කරයි.

ව් යාපාරික බලපෑම

The initial integration significantly improved user registration efficiency, reducing processing time by a factor of 60 while maintaining moderation quality. Additionally, automation helped us standardize the objectivity of decisions, enabling us to quickly identify new issues and needs and improve the process. The system is already reducing costs for the company, and further optimization lies ahead.

මේ වන විට, අපි වෙළෙඳපොළ තුළ ලබා ගත හැකි වඩාත් ජනප්රිය හා සංකීර්ණ විසඳුම් භාවිතා කර ඇත. කෙසේ වෙතත්, AI වේගයෙන් වර්ධනය වන නිසා, අපි දැන් විවිධ සැපයුම්කරුවන් වෙත ප්රවේශයක් ඇත.

විවිධ ආකෘති සඳහා නිශ්චිත කොටස් නිශ්චිතව හවුල් කිරීම සහ අවශ් ය පරිදි වේගවත් මාරු කිරීම සඳහා සහාය වේගවත් ආකෘතිය නිර්මාණය කර ඇත.මේක අන්තර්ගත කණ්ඩායම් හරහා විවිධ වර්ගවල විවිධ ආකෘති ක්රියාත්මක කිරීමට පුළුල් වන අතර, උදාහරණයක් ලෙස, එක් ආකෘතිය ආසියානු වෙළෙඳපොළෙන් කෙටි ඉල්ලීම් ප්රතිකාර කරයි, අනෙක් ආකෘතිය යුරෝපීය වෙළෙඳපොළෙන් සංකීර්ණ ඉල්ලීම් ප්රතිකාර කරයි.

0-1 සම්මුඛ සටහන

අපගේ අභ්යන්තර ව්යාපාරික ව්යාපාරය සංවර්ධනය කර ඇත්තේ තනි සාමාජිකයන් හය දෙනෙකුගෙන් එක් විශේෂ කණ්ඩායමක් විසින්.විවිධ ව්යාපෘති ප්රතිඵලවලදී, අපි සහකරුවන්ගෙන් අතිරේක දැනුම භාවිතා කළා, නමුත් ප්රධාන කණ්ඩායම කුඩා විය. කෙටි කාලීන කාලීන කාලීන කාලීන කාලීන කාලීන කාලීන කාලීන කාලීන කාලීන කාලීන කාලීන කාලීන කාලීන කාලීන කාලීන කාලීන කාලීන කාලීන කාලීන කාලීන කාලීන කාලීන කාලීන කාලීන කාලීන කාලීන කාලීන කාලීන කාලීන කාලීන කාලීන කාලීන කාලීන කාලීන කාලීන කාලීන කාලීන කාලීන කාලීන කාලීන කාලීන කාලීන කාලීන කාලීන කාලීන කාලීන කාලීන කාලීන කාලීන කාලීන කාලීන කාලීන කාලීන කාලීන කාලීන කාලීන කාලීන කාලීන කාලීන කාලීන කාලීන කාලීන කාලීන කාලීන කාලීන කාලීන කාලීන කාලීන කාලීන කාලීන කාලීන කාලීන කාලීන කාලීන කාලීන කාලීන කාලීන කාලීන කාලීන

✅ පද්ධතිය වඩාත් වේගවත්, වඩාත් ලාභදායී හා වඩාත් ගුණාත්මක ලෙස අනුකූල වී ඇති අතර, පළමු පියවරේ අරමුණු සපුරා ගෙන ඇති බව මම අනුගමනය කරමි.