پایش هوشمند محتوا در راستای محافظت اخلاقی و پرورشی از فرزندان ایران در پلتفرم شاد برنامه‌ریزی و مدیریت شده است. این پایش با استفاده از هوش مصنوعی و نظارت اپراتور به صورت همزمان در حال اجراست و ماهانه 11 میلیون رکورد در شاد مانیتور می‌شود. رکورد در اینجا بر اساس فریم‌های معین صورت میگیرد، از این روی ممکن است یک فایل چند رکورد محاسبه شود. در این گزارش به بررسی عملکرد سیستم پایش و تعداد فیلترینگ فایل‌های ارسالی پرداخته می‌شود.
نمودار 1خط‌زمانی تعداد فایل‌های ورودی آنالیز
نمودار بالا تعداد فایل‌هایی را نشان می‌دهد که هوش مصنوعی به عنوان فایل‌های «قابل بررسی» تشخیص داده است. تعطیلی مدارس و شروع فصل تابستان نیز بر میزان فعالیت کاربران در پلتفرم شاد اثرگذار بوده است.
پس از مشخص شدن فایل‌های «قابل بررسی» از طریق هوش مصنوعی، اپراتور انسانی فایل‌ها را بررسی و با تگ‌های زیر مشخص می‌کند؛
- غیراخلاقی؛ شامل محتوای ناهنجار
- نامناسب؛ شامل محتوای عاشقانه و اروتیک
- مستهجن؛ شامل محتوای جنسی
نمودار 2تعداد محتواهای حذف شده از شاد
نمودار بالا تعداد فایل‌هایی را نشان می‌دهد که اپراتور به عنوان مصادیق شاخص‌های سه‌گانۀ فیلتر محتوا در شاد تشخیص داده است. در نمایی کلی روند حذف محتوا در شاد، روند نزولی داشته است.
با گسترش عملکرد هوش مصنوعی در پایش محتوای شاد انتظار می‌رود فرآیندهای اصلاح و حذف محتوای غیراخلاقی، نامناسب و مستهجن با دقت بیشتری انجام شود تا اهالی مدارس ایران در محیطی امن و سالم فعالیت‌های مجازی تحصیل را پیگیری کنند.
همچنین در سرویس شادبین، پلتفرم ممیزی متناسب با موتور جستجو طراحی و اجرا شده است. این سیستم نیز با استفاده از هوش مصنوعی و 50 اپراتور تمام وقت در حال اجراست. همچنین این سرویس با بهره‌مندی از قابلیت «کوئری پیشفرض» که پیشنهاداتی معین در بازه‌های زمانی مختلف به دانش‌آموزان ارائه می‌دهد، توانسته است میزان جستجوی کلمات نامناسب و غیراخلاقی را کاهش دهد.
نمودار 3اعمال سیاست کوئری پیشفرض و تغییر ذائقه مخاطبان
