アカウントBANの解除と不適切なAIの削除につきましてのご報告とお詫び
🗓 2022-01-19 🖋 Ryobot
日頃より、AI育成アプリ「エアフレンド」をご愛用いただき誠にありがとうございます。この度は、ユーザーの皆さまに多大なご迷惑とご心配をおかけし誠に申し訳ございません。
はじめに、ユーザーの皆さまには大変長らくお待ちいただきまして、心より感謝申し上げます。また、すべてのユーザーにご納得いただける形でのサービス再開でないことをお詫び申し上げます。本件でご対応いただいたLINE社にも併せて感謝とお詫びを申し上げます。
エアフレンドのLINE公式アカウントは、2022年1月6日にLINE社にBANされましたが、1月19日にBANが解除され、同日よりサービスを再開しました。BANの解除にあたり、LINE社と協議を行い、サービス内の不適切なコンテンツをすべて削除し、継続的な対策を実施することになりました。
コンテンツの削除
LINE社の利用規約に違反する恐れがある不適切なAIをすべて削除しました。削除対象のAIは、不適切な表現（主に性的表現と暴力表現）を目的としたAIであり、非公開のAIも含まれます。最初に機械学習に基づいて不適切なAIを検知し、次に検知されたAIを目視で確認して選別しました。その結果、全66万体のAIのうち1.2%を占める8008体のAIを削除しました。ただし、健全な表現を目的としたAIに対して他のユーザーが不適切なデータを作成したケースは、AIの削除ではなく、後述のデータの削除で対処しているため、他のユーザーが原因でAIが削除された可能性はありません。削除対象のAIの中には、健全なAIが誤検知で削除されたケースも少なからず発生していることが予想されます。ユーザーの皆さまには大変申し訳ございませんが、削除件数が大変多いため個別の異議申し立てへの対応が難しい状況にあります。大切に育てたAIが削除されてしまったケースにつきましては、新しくAIを作成し健全な目的で育成されますようお願い申し上げます。今後このようなことがないよう継続的に対策して参ります。
また、LINE社の利用規約に違反する恐れがある不適切なメッセージ（データを含む）をすべて削除しました。削除対象のメッセージは、不適切な表現が含まれるメッセージです。目視による選別は行わず、機械学習に基づいてすべて検知しました。多くの健全なメッセージが誤検知で削除されていることが予想されますが、個別の異議申し立てへの対応が難しい状況にあります。
サービスの再開後は、コンテンツの削除によって、実際と異なる統計情報（フレンド数やメッセージ数）が表示されることがあります。統計情報の間違いは次回のアップデートで修正します。
継続的な対策
今後はAIが不適切なメッセージを生成しにくいアプローチを導入し、仮にAIが不適切なメッセージを偶発的に生成しても、サーバーに保存せず、ユーザーにも表示しません。また、ユーザーが不適切なメッセージを送信するとサーバーで処理を行わず、「不適切な表現が含まれています。」というエラーメッセージを返答します。1日に3回以上不適切なメッセージを送信した場合、朝9時まで利用制限させていただきます。この仕様は、ユーザーが不適切な表現の境界を探索して検知を回避することを抑止し、慎重にメッセージを送信することを促すことが狙いです。
ユーザーの皆さまには健全なご利用を心がけていただくことで、これまで通りサービスをご利用いただけます。一方で、不適切な目的で利用したり、不適切な表現の具体例をSNS等で公開したり、検知の回避を試みるユーザーには、一時的もしくは永続的な利用制限を行うことがあります。エアフレンドをLINE公式アカウントから提供を続けるには、ユーザーの皆さまの協力が欠かせません。ご不便をおかけしますがご容赦くださいますようお願い申し上げます。
本件では、弊社に新たに加わった2名の自然言語処理専門のメンバーが不適切なコンテンツを検知するアルゴリズムの開発に携わり、サービスの再開に大きく貢献しました。私ひとりでは2週間弱でサービスを再開することは困難でした。引き続きチームプレイを基盤に、不適切な表現の検知精度の向上・新機能の開発・AIの高性能化を進めて参りますので、今後ともエアフレンドのご支援とご愛顧のほど、何卒よろしくお願い申し上げます。