Hemich

数か月前、Appleはプライバシー保護型機械学習に関するワークショップを開催し、プライバシー、セキュリティ、そして責任ある機械学習開発におけるその他の重要分野についてプレゼンテーションとディスカッションを行いました。そして今、そのプレゼンテーションが公開されました。ここでは3つのハイライトをご紹介します。

Apple は、最近行われた 2024 年の人間中心の機械学習に関するワークショップのプレゼンテーションと同様に、2025 年 3 月 20 日から 21 日にかけて開催された 2 日間のハイブリッド イベントで発表されたいくつかのビデオと、研究および論文の長いリストを含む投稿を機械学習研究ブログに公開しました。

差分プライバシーに関する簡単なメモ

興味深いことに、ほとんどの（すべてではないにしても）論文は差分プライバシーについて触れています。これは、過去数年間、サーバーを扱う際にユーザーデータを保護するために Apple が好んできた方法です（一部の批判にもかかわらず）。

簡単に言うと、差分プライバシーは、ユーザーデータがアップロードされる前にそのデータにノイズを追加することで、データが傍受されたり分析されたりした場合に、実際のデータを個人まで追跡することを不可能にすることを目的としています。

Apple は次のように説明しています:

Appleが採用している差分プライバシー技術は、わずかに偏りのある統計ノイズによって、ユーザーの個人データがAppleと共有される前に隠蔽できるという考えに基づいています。多くの人が同じデータを送信している場合、追加されたノイズは多数のデータポイントにわたって平均化され、Appleは意味のある情報を見出すことができます。

Appleがイベントで発表した3つの研究

1: フェデレーテッドアナリティクスのためのローカルパンプライバシー、Guy Rothblum (Apple) によるプレゼンテーション

この研究は3月14日に発表され、2010年の別の研究を基に構築された。ロスブラム氏は両方の研究の共著者である。

2010 年の研究では、分析システムやサーバーが侵害された場合でも情報を非公開に保つ方法が調査されましたが、今回の新しい研究ではその考え方を個人用デバイスに適用しています。

簡単に言えば、この研究は、不正アクセスを何度も受けるデバイス（例えば、セキュリティ侵害を受けた共有コンピュータ）では、プライバシーリスクを負うことなく使用状況データを収集することはほぼ不可能であることを示しています。研究者らは、企業が有用な統計情報を収集しつつ、個人の活動を完全に秘匿できる新たな暗号化手法を提案しています。

2: Wally によるスケーラブルなプライベート検索、Rehan Rishi と Haris Mughees (Apple) による発表

これは、大規模な暗号化検索に関して、Apple がどのようにコストを削減しながらプライバシーを維持しているかを探る、非常に興味深いプレゼンテーションです。

例えば、ユーザーがランドマークの写真を撮ると、Appleはその写真を処理してランドマークを特定します。この処理にはAppleのサーバーとのやり取りが必要となり、プライバシーに影響を及ぼす可能性があります。

この論文では、Wally と呼ばれる手法について説明している。これは基本的に差分プライバシーを採用しており (つまり、偽データに囲まれた実際のクエリを送信する)、同じ時間枠内にサーバーにクエリを実行する人が増えるほど、各人が送信する必要のある偽のノイズの量が大幅に減少するように構成されている。

つまり、Apple は帯域幅やコンピューティング コストを急増させることなく、クエリを非公開にしたまま、何百万ものユーザーに対応できるということです。

3: Foundation Model API による差分プライバシー合成データ、Sivakanth Gopi (Microsoft Research) による発表

これは、Microsoftの研究者が発表した2つの論文のうちの1つです。こちらは画像に関するもので、もう1つの論文はテキストに関するものです。しかし、要点は変わりません。

AI企業は、モデルの学習に質の高いデータを必要としています。しかし、質の高い「現実世界」のデータは、一般ユーザーデータに過ぎず、非公開にしておくべき場合もあります。

2 つの研究では、実際のユーザー データの有用性を維持しながら、実際にプライベートな情報を公開することなく、高品質の合成データを生成する方法を検討しています。

基本的に、彼らはPrivate Evolution（PE）と呼ばれる手法を導入しています。この手法は、APIのみの基盤モデルを用いて、実データに類似したプライベートデータセットの合成バージョンを生成するものですが、モデルのトレーニングや内部アクセスは不要です。PEは、直接的なモデルの微調整に依存する最先端のアプローチに匹敵、あるいはそれ以上の性能を発揮しますが、プライバシーコストはごくわずかです。

完全な研究リスト

Appleは、特集ビデオに加え、イベントで発表された25件の研究論文へのリンクも公開しました。Appleの研究者だけでなく、MicrosoftやGoogleといった企業、そしてMIT、ラトガース大学、ボストン大学、カーネギーメロン大学、カリフォルニア大学バークレー校といった機関による研究論文を含む、全リストは以下のとおりです。

• AirGapAgent: プライバシーに配慮した会話エージェントの保護
• 全ペア距離の差分プライバシー近似のための一般化二分木メカニズム
• 基盤モデルAPI 1による差分プライバシー合成データ: 画像
• 基盤モデルAPI 2による差分プライバシー合成データ: テキスト
• ストリーミング差分プライバシーのための効率的かつほぼ最適なノイズ生成
• 象は忘れない：プライバシー予算のための状態継続性を備えた差分プライバシー
• 群代数を用いた差分プライバシー継続観測の改善
• ワッサースタイン距離におけるインスタンス最適プライベート密度推定
• モデルガイダンスを活用してパーソナライズされた拡散モデルからトレーニングデータを抽出する
• フェデレーテッドアナリティクスのローカルパンプライバシー
• 差分プライバシー機械学習のほぼ厳密なブラックボックス監査
• 階層的クラスタリングにおける差分プライバシーの代償について
• プライバシーに配慮したアシスタントにおけるコンテキスト整合性の運用
• 序文: ブロックスパースベクトルによるプライベートかつ効率的な集約
• ランダム割り当てによるプライバシーの強化
• ノイズの多い確率的勾配降下法のプライバシー：反復回数を増やしてもプライバシーは損なわれない
• 単一のパラメータを非公開で推定する
• Wallyによるスケーラブルなプライベート検索
• シフト構成I：ハルナックと逆輸送不等式
• 差分プライバシーのためのシフト補間
• 扱いやすい合意プロトコル
• 実用的なプライベート平均推定のためのTukeyの深さメカニズム
• 大規模言語モデルに対するユーザー推論攻撃
• プライベート統計推定のための普遍的インスタンス最適メカニズム
• 「理論だけで何を望むのか？」差分プライバシー保護された合成データ生成の厳密な監査の実験

Amazonで期間限定のMacセール

• Mac mini (M4) 16GB/256GB:  499ドル (17%オフ)
• スタジオディスプレイ、ナノテクスチャガラス、VESAマウントアダプター：1,649ドル（13%オフ）
• MacBook Air、15インチ、M4、16GB/256GB：  999ドル （旧価格1,199ドル） 
• MacBook Pro、14インチ、M4、16GB/512GB：  1,299ドル （19%オフ）

hemich.com を Google ニュース フィードに追加します。