ディープラーニングモデルの知的財産権をどのように保護するか? IJCAI 2021ワークショップの内容をご覧ください

先日終了したIJCAI 2021カンファレンスでは、「ディープラーニングモデルの知的財産保護に関する国際ワークショップ（DeepIPR-IJCAI'21）」が正式に開催されました。このワークショップは、WeBank、マラヤ大学、香港科技大学、上海交通大学が共催しました。

機械学習、特にディープニューラルネットワーク（DNN）技術は、近年多くの分野で大きな成功を収めています。多くのテクノロジー企業が、効率性を向上させるためにニューラルネットワークモデルを商用製品に導入しています。高度なニューラルネットワークモデルのトレーニングには、大規模なデータセット、膨大なコンピューティングリソース、および設計者の知恵が必要です。これは具体的には次のようなことに反映されています。

（１）ディープラーニングモデルアプリケーションのトレーニングモデル規模は膨大です。GPT-3を例にとると、事前トレーニングに使用されるデータ量は45TBに達し、トレーニングコストは1,200万ドルを超え、経済的コストが極めて高くなります。

（２）産業応用シナリオ（スマートファイナンスやスマート医療アプリケーションなど）でディープラーニングモデルをトレーニングして展開する場合、金融、医療などの分野における独自の事前知識を導入する必要がある。そのため、モデル設計プロセスでは、専門知識と経験を導入してモデルをカスタマイズする必要があり、これは人間の知力の知的財産権を反映している。

（３）ディープラーニングモデルの学習プロセスでは、学習リソースとして特定分野の膨大なデータが必要であり、データ自体には価値や知識の属性がある。上記の属性により、トレーニングされたディープラーニングモデルには高い商業的価値と知識属性があることが決定され、これらは法的所有者 (つまり、モデルを作成した当事者) の知的財産権に含まれる必要があります。したがって、ディープニューラルネットワーク (DNN) モデルを違法にコピー、再配布、または悪用されることから保護する緊急の技術的必要性があります。

ディープラーニングモデルの知的財産保護の問題は、コンピューターセキュリティ、人工知能の理論と方法、知的財産保護、法律など、多くの側面が関係する総合的な学際的なトピックです。攻撃者は、ディープラーニングモデルを不正に流用、違法にコピー、または配布するために、技術的または非技術的な手段を使用できます。ただし、不正流用を確認してモデルの所有権を宣言するには、規制の観点からモデルの所有権を認証するために、技術的な側面から証拠を完全に抽出する必要があります。

具体的には、

（１）コンピュータセキュリティの観点から、モデルの知的財産の検証と公開プロセスが厳格かつ信頼できるものとなるよう、技術的手段で暗号的に信頼できるプロトコルを採用する必要がある。

（２）人工知能の理論と方法の観点から、モデル所有権認証技術は、モデルの有用性を犠牲にすることなく、信頼性が高く堅牢な知的財産保護方法を提供する必要がある。

（３）規制レベルでは、技術面からモデル所有権の証拠が抽出された後、この証拠がモデル所有権の根拠となる可能性がある。最終的には、規制当局は法的保護を通じてモデル所有者の知的財産権を決定する必要があり、そのためには、技術的な基準に基づいてモデルの所有権を決定する方法についてのガイダンスを提供する関連法規制が必要です。私の知る限り、現在、ディープラーニングのモデル知識のサブ分野に特化した関連法規は存在しません。モデルの知的財産権の保護には、科学技術従事者の参加だけでなく、知的財産保護分野の従事者の注意と努力も必要です。

このセミナーは、ディープニューラルネットワークの知的財産保護に関する研究の最前線に位置付けられ、この分野の研究機関や大学の研究室で行われている最先端の研究成果を紹介しています。ドイツ、フィンランド、マレーシア、中国の8人の学者が、アルゴリズム、プロトコル、セキュリティなど、さまざまな観点からディープラーニングモデルの知的財産権の保護に関する考えや取り組みを共有しました。

講演1では、南京航空航天大学の薛明富教授が「DNN知的財産保護：分類、攻撃、評価」と題した基調講演を行いました。薛教授は、ディープラーニングモデルの保護方法を分類別にまとめ、モデルシナリオ、保護メカニズム、保護機能、対象モデルなどの次元からモデルの知的財産保護に関する研究を整理しました。また、既存の方法、既存の攻撃と課題をまとめ、システム評価に関する提案を行いました。この講義では、モデル保護の分野における研究の現状と開発の状況をまとめました。

ドイツのフラウンホーファーAISEC研究所のFranziska Boenisch氏も、ニューラルネットワーク透かし技術の観点から見たモデル知的財産保護に関する研究活動のレビューを共有しました。フランツィスカ氏は、ニューラルネットワーク透かし技術のニーズ、アルゴリズムの応用、脅威モデルの観点から既存の研究作業をレビューしました。ニューラルネットワーク透かし技術の可用性、堅牢性、信頼性、完全性を主軸として、既存のモデル透かし研究をシリーズでレビューし、既存の研究には、アクティブな保護メカニズムの欠如、アルゴリズムデータタイプのケースの制限、司法保護と技術研究の統合など、解決すべきいくつかの大きな問題があることを指摘しました。

マラヤ大学を卒業し、WeBankのAIプロジェクトチームのアルゴリズム研究者でもある、ディープラーニングモデルの知的財産保護分野の上級研究者Kam Woh Ng氏は、モデルの知的財産権を保護するためにデジタルパスポートを使用するという提案方法を共有しました。 Kam Woh Ng 氏は、ニューラルネットワークモデルの知的財産保護に関する研究の最新の進捗状況を分析し、透かしを偽造して所有権の検証に疑問を投げかけることを目的としたファジー攻撃が、複数の透かしベースの DNN 所有権検証方法に対する DNN の知的財産保護に深刻な脅威をもたらすことを発見しました。

上記のセキュリティ上の脆弱性に対処するために、Kam Woh Ng 氏は、ネットワークのプルーニングや微調整などの変更に対して堅牢で、ファジー攻撃にも耐えられる、新しいデジタルパスポートベースの DNN 所有権検証スキームを提案しました。デジタルパスポートを埋め込むための鍵は、偽造パスポートを使用した場合に元の DNN の動作パフォーマンスが大幅に低下するように、DNN モデルを巧妙な方法で設計およびトレーニングすることです。つまり、真のデジタルパスポートは、事前定義されたデジタル署名だけでなく、DNN モデルの動作パフォーマンスに基づいても検証できます。 Kam Woh Ng 氏は、デジタルパスポートを使用して DNN を保護し、ファジング攻撃から防御する方法について詳しく説明しました。

Kam Woh Ng 氏の Passport モデル保護方法は、一般的なモデル保護のアイデアの大規模なクラスを提供します。このセミナーでは、他の研究者も、画像生成や画像要約などのモデルにおけるモデル透かし方法の具体的な適用に関する研究を共有しました。

マレーシアのマラヤ大学の Ding Sheng Ong 氏は、画像生成ディープラーニングモデルに関する「あいまいさ攻撃からの敵対的生成ネットワークの知的財産の保護」と題した講演を行いました。

畳み込みニューラルネットワーク (CNN) には IPR 保護手法が存在しますが、リアルな画像を生成するために広く使用されている別のディープラーニングモデルである生成的敵対的ネットワーク (GAN) に直接適用することはできません。そこで本論文では、ブラックボックスとホワイトボックスに基づくGANモデルのIPR保護方法を提案する。実験結果によると、この方法はGAN本来のパフォーマンス（画像生成、画像超解像、スタイル転送など）を損なわないことが示されています。この方法は、埋め込まれた透かしの削除や曖昧性攻撃にも抵抗できます。この共有では、ブラックボックスとホワイトボックスの方法に基づいて敵対的生成ネットワーク (GAN) を保護する方法と、さまざまな透かし攻撃に抵抗する方法について説明しました。

マレーシアのマラヤ大学の Jian Han Lim 氏は、画像キャプションニューラルネットワークモデルに関する「保護、表示、出席、説明: 所有権保護による画像キャプションモデルの強化」と題したプレゼンテーションを行いました。 Jian Han Lim 氏は、ディープニューラルネットワークの既存の知的財産権 (IPR) 保護は、通常、i) 画像分類タスクのみに焦点を当てており、ii) マルチメディアおよびビデオコンテンツの所有権を保護するために一般的に使用されている標準的なデジタルウォーターマークフレームワークに従っていると指摘しました。 Jian Han Lim 氏は、現在のデジタル透かしフレームワークでは、人工知能の最先端技術の 1 つとみなされることが多い画像注釈タスクを保護するのに不十分であることを示しています。補足として、本論文では、リカレントニューラルネットワークにおける 2 つの異なる署名透かし埋め込み方式を研究し、提案します。理論的および経験的観点から、偽造されたキーは使用できない画像注釈モデルを生成し、それによって侵害を防止できることを実証します。この研究は、画像キャプション作成タスクに対する独自の保護を提案した最初の研究です。さらに、広範囲にわたる実験により、提案された方法は、Flickr30k および MS-COCO データセットのすべての一般的なキャプションメトリックについて、元の画像キャプションタスクのパフォーマンスに影響を与えず、削除攻撃と曖昧性攻撃の両方に耐えられることが実証されています。

一般的なディープラーニングのタスクとモデルについては、アルゴリズムのサポートを提供するために、上記に示したさまざまなニューラルネットワーク保護アルゴリズムのケースがすでに存在します。では、モデル所有権検証の実際の実装をガイドする実行可能な通信プロトコルをどのように設計すればよいのでしょうか?

上海交通大学の Li Fangqi 氏は、「ディープニューラルネットワークの所有権検証の規制: シナリオ、プロトコル、および展望」と題したプレゼンテーションを行い、モデル所有権検証のシナリオ、プロトコル、および展望について説明しました。

Li Fangqi氏は、ディープニューラルネットワークの幅広い応用により、それを知的財産として保護する必要性は明らかになったと紹介した。研究者は、ディープニューラルネットワークの所有者を識別し、所有権を検証するための多くの透かしスキームを提案している。しかし、ほとんどの研究は、証明可能な検証可能なプロトコルではなく、透かしの埋め込みに焦点を当てています。これらの提案と現実世界のニーズとのギャップを埋めるために、Fangqi Li は、所有権の証明、フェデレーテッドラーニング、知的財産の移転という 3 つのシナリオでディープラーニングモデルの知的財産保護を紹介し、確立された暗号化プリミティブと人工知能設定の組み合わせを実証しました。これは、実用的で証明可能な機械学習セキュリティの基礎を形成できます。

既存のディープラーニングモデルの知的財産保護方法は、主にディープニューラルネットワークのウォーターマーキングのアルゴリズムの実践と堅牢性の課題に焦点を当てています。現在、モデルウォーターマーキングアルゴリズムを分散ニューラルネットワークのトレーニングに適用する研究はありません。上海交通大学とWeBank AIプロジェクトチームのLi Bowen氏は、「連合型ディープラーニングモデルの所有権の保護」と題した講演を行いました。参加者全員が連邦規則に従ってモデルを更新し、共同トレーニングを実施できるが、プライベートなローカルデータとプライベート署名を互いに開示しないと仮定し、不完全に信頼された連合型学習システムを検討します。この設定で、Li Bowen は、所有権署名の埋め込みと検証を可能にして FedDNN モデルの正当な知的財産権 (IPR) を主張し、モデルの違法なコピー、再配布、または悪用を防ぐことができる、新しい Federated Deep Neural Network (FedDNN) 所有権検証スキームを詳しく説明します。埋め込まれた所有権署名の有効性は、証明された条件を通じて理論的に証明されており、その条件では、署名は、プライベート署名を公開することなく、複数のクライアントによって埋め込まれ、検出されます。

最後に、フィンランドのアアルト大学の Buse Atli 氏が、「ディープニューラルネットワークのモデル盗難と所有権検証」と題した包括的なプレゼンテーションを行いました。最近のいくつかの研究では、技術的な観点から、ディープラーニングモデル窃盗攻撃を一時的に完全に防ぐことができないことが示されています。さまざまなモデル窃盗検出および防止メカニズムは、強力な敵に対抗できないか、モデルのパフォーマンスと無害なユーザーの有用性に悪影響を及ぼします。したがって、モデル所有者は、モデル自体が盗まれるのを防ぐのではなく、盗まれたモデルの所有権を証明することで、そのような攻撃の誘因を減らすことができます。さまざまなモデル透かしスキームが提案され、信頼性の高い所有権検証に広く使用されています。透かし入りディープニューラルネットワーク (DNN) は、ディープラーニングモデル透かしの導入が簡単で、モデルのパフォーマンスへの影響がほとんどないため、学術界 (特に画像分類) で大きな研究の関心を集めています。さらに、学術界では DNN 透かし技術に対してさまざまな攻撃方法が提案されており、その堅牢性に疑問が投げかけられています。

この講演では、Buse 氏がさまざまなモデル窃盗攻撃、モデル窃盗の抑止力としての動的敵対的透かし (DAWN)、およびフェデレーテッドラーニングにおけるモデル透かし技術 (WAFFLE) に関する関連研究を紹介し、さまざまなセキュリティとプライバシーの要件に基づいてこれらのアプローチを分析しました。

DeepIPR-IJCAI'21 は、ディープラーニングモデルの知的財産保護の分野に焦点を当てたトップクラスの学者を集め、グローバルモデル保護の分野における最先端の学術動向を知る窓口となっています。現代の課題を解決するためにテクノロジーを活用し、多くの業界リーダーが実践的な情報を共有することは、現代の模範的な知的財産保護の分野において間違いなく最も強力な推進力となるでしょう。

講義のビデオレビューや詳細については、セミナーの公式ウェブサイトまたはステーションBをご覧ください。