پایش هوشمند محتوا در راستای محافظت اخلاقی و پرورشی از فرزندان ایران در پلتفرم شاد برنامه‌ریزی و مدیریت شده است. این پایش با استفاده از هوش مصنوعی و نظارت اپراتور به صورت همزمان در حال اجراست و ماهانه ۱۱ میلیون رکورد در شاد مانیتور می‌شود. رکورد در اینجا بر اساس فریم‌های معین صورت میگیرد، از این روی ممکن است یک فایل چند رکورد محاسبه شود. در این گزارش به بررسی عملکرد سیستم پایش و تعداد فیلترینگ فایل‌های ارسالی پرداخته می‌شود.
نمودار ۱خط‌زمانی تعداد فایل‌های ورودی آنالیز
نمودار بالا تعداد فایل‌هایی را نشان می‌دهد که هوش مصنوعی به عنوان فایل‌های «قابل بررسی» تشخیص داده است. تعطیلی مدارس و شروع فصل تابستان نیز بر میزان فعالیت کاربران در پلتفرم شاد اثرگذار بوده است.
پس از مشخص شدن فایل‌های «قابل بررسی» از طریق هوش مصنوعی، اپراتور انسانی فایل‌ها را بررسی و با تگ‌های زیر مشخص می‌کند؛
- غیراخلاقی؛ شامل محتوای ناهنجار
- نامناسب؛ شامل محتوای عاشقانه و اروتیک
- مستهجن؛ شامل محتوای جنسی
نمودار ۲تعداد محتواهای حذف شده از شاد
نمودار بالا تعداد فایل‌هایی را نشان می‌دهد که اپراتور به عنوان مصادیق شاخص‌های سه‌گانۀ فیلتر محتوا در شاد تشخیص داده است. در نمایی کلی روند حذف محتوا در شاد، روند نزولی داشته است.
با گسترش عملکرد هوش مصنوعی در پایش محتوای شاد انتظار می‌رود فرآیندهای اصلاح و حذف محتوای غیراخلاقی، نامناسب و مستهجن با دقت بیشتری انجام شود تا اهالی مدارس ایران در محیطی امن و سالم فعالیت‌های مجازی تحصیل را پیگیری کنند.
همچنین در سرویس شادبین، پلتفرم ممیزی متناسب با موتور جستجو طراحی و اجرا شده است. این سیستم نیز با استفاده از هوش مصنوعی و ۵۰ اپراتور تمام وقت در حال اجراست. همچنین این سرویس با بهره‌مندی از قابلیت «کوئری پیشفرض» که پیشنهاداتی معین در بازه‌های زمانی مختلف به دانش‌آموزان ارائه می‌دهد، توانسته است میزان جستجوی کلمات نامناسب و غیراخلاقی را کاهش دهد.
نمودار ۳اعمال سیاست کوئری پیشفرض و تغییر ذائقه مخاطبان
