EU AI法「禁止AI」徹底解説──Art. 5 を30分で読み解く

最終更新日：2025-06-20

はじめに ――禁止AIこそが AI 法制の”急所”

今回は、EU AI法（Regulation 2024/1689）の中でも最もインパクトが大きい「禁止AI」（Article 5）を取り上げます。条文に列挙された行為は、開発・提供・利用のどの立場であっても 2025年2月2日 以降は直ちに違法となり、違反が認定されれば全世界売上の 7% あるいは €35 million（高い方を適用）が科される可能性があります。

GDPR 以上の域外適用も見込まれるため、欧州市場にサーバーを置いていない日本のスタートアップでも決して他人事ではありません。本稿では英語原文とともに条文の趣旨を解説し、「どこまでがアウトで、どこからならハイリスク規制の下で適法化できるのか」を、わかりやすくお伝えします。読了後には、ご自身のサービスを机上で棚卸しし、そのまま PoC 設計書を改訂できるレベルの理解が得られるはずです。

1. 条文全体を鳥瞰する――Art. 5 の五つの柱

まずは大づかみに条文を眺めておきましょう。Article 5 は大まかに五つの禁止類型を掲げています。

1つ目は「無意識操作」──利用者が自覚しないうちに意思決定をゆがめるサブリミナル技術が対象です。

2つ目は「脆弱性の悪用」──子どもや高齢者など判断能力が不十分な層の心に付け入る AI を禁じます。

3つ目は「社会信用スコア」──行動データを横断評価し、差別的取り扱いを導く仕組みがここに当たります。

4つ目は「純粋プロファイリング犯罪予測」──プロフィール情報だけで再犯可能性を算出するモデルはアウトです。

最後が「生体識別の無差別利用」で、顔画像スクレイピングから公共空間のリアルタイム顔認識までが一挙に並びます。

条文のどこを開いても、この五つの射程から外れるかを確認する作業に帰着しますから、まずはこの地図を頭に入れてください。

2. 無意識操作型 AI――Art. 5(1)(a) の深層

条文は “deploys subliminal techniques beyond a person’s consciousness … impairing their ability to make an informed decision” と書き出します。
直訳すれば「個人の意識下で意思決定能力を著しく損なうサブリミナル技術を用いる AI の配備」。
ここで着目すべきキーワードは beyond consciousness と informed decision の二点です。EU 議会は、利用者が自覚的に「選ぶ」「拒否する」余地を奪うデザインを、AI が自律的に増幅させる未来を最も危険視しました。

例えば Web サイトの文言やボタン色を数分おきに最適化する A/B テスト SaaS 自体は珍しくありません。しかし最適化の目的が、知識弱者に高額サブスクリプションを契約させる点にあるとすれば、結果として重大な不利益を与えたと解され Art. 5(1)(a) に抵触します。EU AI法は「意図」より「結果」を重視するため、開発者が”ただ UX を改善したかっただけ”と言い張っても通用しません。

実務では、UI 変更の履歴を自動ログとして残し、ユーザー層別のクリック率や解約率をモニタリングし、脆弱層の行動が他層と大きく乖離した場合には機械学習モデルを一時停止する――このような ダークパターン対策ログ を組み込むことが唯一の防壁になります。

3. 脆弱性の悪用――Art. 5(1)(b) の注意点

次に、子ども・高齢者・障がい者などいわゆる「ヴァルネラブルグループ」を守る条文です。規定自体はシンプルで、“exploits any of the vulnerabilities… due to their age, disability or a specific social or economic situation”。重要なのは「脆弱性」とは医学的・身体的要因だけでなく、社会経済的要因も含む点です。

例えば低所得者を狙った高利ローン広告を AI が自動配信する仕組みは、社会経済的脆弱性の悪用と見なされ得ます。場合によっては同じ外観のアルゴリズムでも、対象ユーザープールを絞り込みすぎた瞬間に禁止 AI へ転落する――そんなリスクをはらんでいます。国内で議論が少ないテーマですが、EU 向けプロダクトでは「ターゲティングの粒度が細かすぎないか」を必ず監査してください。専門家レビューと当事者テストを社内 SOP に組み込み、障がい者団体や子ども支援団体の意見をモデル改善のサイクルに取り込むことが推奨されます。

4. 社会信用スコア――Art. 5(1)(c) と差別の境界

条文は “evaluates or classifies the trustworthiness of natural persons … leading to detrimental or unfavourable treatment”。ここでいう trustworthiness は信用力・遵法性・社会的適合性など幅広い概念を飲み込みます。したがって、中国の「社会信用スコア」だけを想起していると射程を誤ります。

典型的には、健康アプリが取得した歩数データと飲酒量を掛け合わせ、保険料やローン金利を変動させるモデルです。「努力すれば下がる保険料は合理的」との反論もありますが、EU AI法は結果として差別を強化するならば禁止に振り分けます。

もっとも、社会的利益や公共福祉の観点から一定のリスク評価が認められる場合もあるため、モデルに 補完的データ を加え、説明可能性を高めればハイリスク枠組み（Art. 6-51）へ”降格”できる余地が残されます。実際には画面上にリスクリングを表示してユーザー自身が行動改善を選択できる設計や、AI が算出したスコアを無批判に適用せず人間の審査官が最終判断するといった 二段階判定 が鍵となります。

5. 純粋プロファイリング犯罪予測――Art. 5(1)(d) が射抜くもの

予測警備、いわゆる Predictive Policing は AI 規制議論の火薬庫でした。EU AI法は妥協の結果、「人物のプロフィール情報”だけ”で犯罪や再犯の可能性を算出するモデル」を明示的に禁止しました。論点は “only” にあります。犯罪歴、物証、現場情報といった 客観的証拠 をインプットに含め、透明性と説明可能性を確保できれば、システムはハイリスク AI として CE マーキングを通じた適合性評価を受ければ適法となります。

では「プロフィール情報だけ」に当たるか否かを実務でどう判定するか。そこで役立つのが データ辞書 の整備です。モデルに投入する各フィールドを「プロフィール」「行動ログ」「物証」の三層に色分けし、プロフィール層だけで推論が完結していないかグラフ構造で可視化すると、監査人への説明が容易になります。

6. 生体識別の無差別利用――Art. 5(1)(e) から (h) まで一気に解く

ここは条文が最も長く、(e) から (h) の四つの小項で構成されます。

まず (e) は、インターネット公開画像を無差別に収集して顔識別 DB を作る行為を一律禁止します。オープンソースモデルを自社で Fine-tune しても、学習データにこの手法が含まれていれば違法利用と評価され得ます。

次に (f) は、学校や職場での感情認識 AI を原則禁止。ただし医療安全目的に限って例外が開かれています。たとえば疼痛の表情を検知して転倒事故を防ぐ高齢者施設の見守り AI は、ハイリスク扱いで CE 適合を経れば利用可能です。

(g) は宗教・性的指向・人種などセンシティブ属性推定 AI の禁止条項。広告ターゲティング目的の属性推定 API はこの条文で即アウトになります。

最後に (h) と 5(2) は公共空間でのリアルタイム顔認識の原則禁止です。誘拐被害者の捜索や重大テロ防止といった極めて限定的な目的に限り、司法または独立機関の事前許可を得た場合のみ例外適用が認められます。許可証は期間限定で、取得データは目的達成後に速やかに削除する義務が課されます。

国内では街頭防犯カメラと車両ナンバープレート読み取りを一括りに語る向きもありますが、後者は生体識別に当たらないため本条の適用外です。混同しないよう注意してください。

7. ユースケースで学ぶ禁止 AI の輪郭

理論を積み上げただけでは理解が曖昧になりがちです。ここからは実務で頻出するユースケースを八つ取り上げ、「なぜ禁止か、どこがグレーか」を順に検証していきます。

まず大手百貨店が導入を検討した「顧客の表情から購買意欲を推定し、店内サイネージの広告内容を自動切り替える AI」。ここではリアルタイムで感情を認識し”無意識に”購買意思を誘導する点が Art. 5(1)(a) と (f) の双方に触れます。

次に、出退勤カメラで従業員の集中度をスコア化し、管理画面でランキングを表示するサービス。教育・労務現場での感情認識は (f) で禁止されており、スコアに基づく評価があれば差別助長にもつながります。

三つ目として SNS 投稿を横断集積して個人の「社会信用スコア」を算出し、金融機関が金利を上下させるプラットフォーム。この仕組みは (c) の社会信用条項を直撃します。スコアを”参考情報”として扱い、人間の審査官が最終判断すればハイリスク枠内に収められる可能性はありますが、自動化割合が高まるほど禁止領域に近づくことを忘れないでください。

以降、再犯リスク AI、顔画像スクレイピング API、センシティブ属性ターゲティング、選挙向けディープフェイク広告、高齢者向け強制ポップアップ――いずれも Art. 5 の射程で違法化されるか、あるいは限りなくグレーな領域に置かれています。自社ビジネスをチェックする際は「入力データの取得方法」「判断ロジックの透明性」「出力の使用目的」の三点を軸に、禁止ラインを越えていないか精査してください。

8. 適法化とグレーゾーンの見極め

禁止か適法かは単純な二分ではなく、“ハイリスクに降格させて適合性評価を受けられるか” が実務上の勝負になります。たとえば医療用疼痛検知 AI は感情認識であっても患者安全という例外に当たり、ハイリスク扱いで CE マーキングを通せば合法です。逆に e コマースでの価格ダークパターン最適化は意図・結果とも利用者の合理的判断を阻害するため、ハイリスクへの降格はほぼ不可能です。

また、保険料を健康行動スコアのみで上下させる設計はグレーゾーンです。スコアに加え、医師診断や所得状況など複数データを併用し、差別的結果を防止する説明責任フレームを持たせればハイリスクで適合化できる可能性があります。

要するに、適法化のカギは (1) マルチモーダルなエビデンス、(2) 人間の判断介在、(3) 説明可能な文書化 の三点セットです。モデル開発段階でこれを組み込めば、禁止 AI のレッテルを回避できる余地が生じます。

9. 企業が今すぐ着手すべき三つのアクション

ここからは実践パートです。まず 現行 AI 棚卸し を行い、すべての機能を「禁止／ハイリスク／限定／最小」の四象限に分類してください。ホワイトボードにリスクピラミッドを描き、開発・法務・PM・営業が一堂に会して付箋でシステム名を貼るワークショップを推奨します。

次に 契約・API チェック。外部 SaaS や OSS ライブラリの利用規約を読み込み、学習データの出所と利用制限を一覧化しましょう。「提供者責任」と「利用者責任」は別物ですが、禁止用途向けに SDK を配布した時点で共犯になる恐れがあります。

最後に PoC 段階でのリスク評価。新規案件の企画書に「Article 5 適合チェック」欄を設け、入力データ、推論ロジック、出力用途を文章で記載してください。AI ガバナンス委員会が存在しない企業でも、技術レビューとリーガルレビューを最低二名体制で回すだけでリスクは大幅に低減します。

10. よくある質問（FAQ）で疑問を解消

講義の終盤は質疑応答です。まず「API を提供するだけでも違法になるのか」という質問が最頻出ですが、答えはイエスです。EU AI法は”モデルの提供者”と”ユーザー”を分けて定義し、双方に独立した義務を課しています。

「OSS モデルを社内で Fine-tune した場合どうなるか」。ライセンス形態は免罪符ではありません。禁止用途なら利用者が違法行為を構成します。

「医療研究目的での顔感情解析は使えるか」。医療安全という例外に該当しうるものの、ハイリスク要件（リスク管理、登録、CE マークなど）がフルに課されます。

「リアルタイム顔認識を同意取得で回避できるか」。Art. 5(1)(h) は原則禁止であり、同意では覆せません。司法許可と限定目的が不可欠です。

「動画プラットフォーム API から顔画像を取ればスクレイピングではないのか」。収集手段を問わず、大量の顔画像を無差別に集めてデータベースを作る行為自体が禁止されています。

11. まとめ

禁止AIとは「人の意思を操作し、差別を助長し、無差別監視する AI」であり、その三つの特徴をいずれか満たすだけで Art. 5 の禁域に踏み込みます。施行日まで既にカウントダウンが始まっています。本記事で示した棚卸しと PoC 設計書の改訂を、ぜひ明日から着手してください。