マイクロソフト、画像やテキスト内のネガティブなコンテンツを削減する Azure AI コンテンツ セーフティを発表

海外メディアの報道によると、マイクロソフトは10月20日、アプリケーションやサービス内の有害な人工知能やユーザー生成コンテンツをユーザーが検出し、フィルタリングできるようにする新サービス「Azure AI Content Safety」の正式リリースを発表した。

このサービスにはテキストと画像の検出が含まれており、冒涜的な言葉、流血、暴力、特定の種類の発言など、Microsoft が「不快、危険、または歓迎されない」コンテンツと呼ぶものを識別します。

「コンテンツの安全性に重点を置くことで、より安全なデジタル環境を構築し、AI の責任ある使用を促進して個人と社会全体の幸福を守ることができます」と、Azure Anomaly Detector のプロダクト マネージャーである Louise Han 氏は述べています。

Azure AI コンテンツ セーフティは、幅広いコンテンツ カテゴリ、言語、脅威に対応し、テキストとビジュアル コンテンツを管理できます。また、人工知能アルゴリズムを使用して視覚コンテンツをスキャン、分析、管理する画像機能も提供しており、Microsoft が言うところの包括的な 360 度セキュリティ アプローチを実現します。

このサービスには、複数の言語にわたるコンテンツ モデレーション機能も搭載されており、特定のコンテンツの重大度を 0 から 7 のスケールで示す重大度メトリックが使用されます。

0～1 と評価されたコンテンツはすべての視聴者にとって安全で適切であると見なされますが、偏見、判断、または差別を表現するコンテンツは 2～3 と評価されます。

中程度の深刻度のコンテンツは 4 ～ 5 と評価され、攻撃的、侮辱的、嘲笑的、脅迫的な言葉、またはアイデンティティ グループに対する明白な攻撃が含まれます。一方、有害で有害な行動を明示的に促進するもの、またはアイデンティティ グループに対する極端な形態の有害活動を支持または称賛するものが含まれる重大度の高いコンテンツは 6 ～ 7 と評価されます。

さらに、Azure AI コンテンツ セーフティは、複数のカテゴリ フィルタリングを使用して、いくつかの重要な領域で有害なコンテンツを識別および分類します。