近年、生成AIを活用して業務の効率化を進める企業が増えています。しかしその一方で、生成AIの高度な言語生成能力を悪用した巧妙なサイバー攻撃も増加しています。

本記事では、生成AIを悪用したサイバー攻撃の手口や実際に起きた事例などをご紹介します。企業が講じるべきセキュリティ対策についても詳しく解説しますので、最後までご覧ください。

生成AIを悪用したサイバー攻撃の手口

生成AIは、業務の効率化やクリエイティブな作業の支援に役立つ技術です。しかし、その高い文章生成力やコード出力能力を悪用すれば、巧妙なサイバー攻撃をより実行しやすくなります。

ここでは、生成AIを悪用したサイバー攻撃の代表的な手口を三つご紹介します。

生成AIを利用したDDoS攻撃

DDoS（Distributed Denial of Service）攻撃とは、大量のアクセスを特定のサーバーに一斉に送りつけてサービスを停止させる攻撃手法です。生成AIは、この攻撃に用いるスクリプトやリクエストメッセージを自動で生成できるため、攻撃の規模や頻度を容易に拡大できます。

マルウエア・ランサムウエアの自動生成

生成AIはプログラミングにも対応しており、悪意あるコードやマルウエアを自動で生成することも可能です。攻撃者が高度なプログラミング技術を持っていなくても、AIの支援によって複雑で巧妙な攻撃を実行することができます。

企業の生成AIへのポイズニング攻撃

生成AIそのものを標的とする攻撃の一つに「機械学習ポイズニング」と呼ばれる手法があります。機械学習ポイズニングは、AIに意図的に誤った情報を継続的に与え、誤った学習を促すことで、予測精度の低下や誤作動を引き起こす攻撃です。この攻撃を受けたAIは、不正な出力を返したり、システム全体の信頼性を損なったりする恐れがあります。

生成AI関連のサイバー攻撃の事例

続いて、国内で実際に報告された生成AI関連のサイバー攻撃の事例を三つご紹介します。

①非公式のChatGPTを使ってマルウエアを作成

2024年5月、川崎市に住む男性が、ChatGPTを悪用してマルウエアを作成したとして、不正指令電磁的記録作成の容疑で逮捕されました。報道によると、懲役3年・執行猶予4年の有罪判決が言い渡されています。

この男性は、2023年3月頃から複数の生成AIを用いて、パソコンやスマートフォン上でファイルを暗号化し、仮想通貨口座への送金を要求する文書を表示するようなマルウエアを生成していたとされています。

注目すべきなのは、容疑者がIT企業での勤務経験もなく、IT知識も乏しい中で「1か月ほどで簡単に作成できた」と供述している点です。生成AIの進化により、専門的なスキルを持たない人物でも高度なサイバー攻撃ツールを作成できる時代に突入したことを示す象徴的な事例といえるでしょう。

②ディープフェイクで首相偽動画を拡散

ディープフェイクとは、AI技術を用いて人物の映像や音声を精巧に偽造する技術です。2023年11月、大阪府在住の男性が日本テレビのロゴが表示された画面で岸田元首相が発言しているように見える偽の動画をX（旧Twitter）に投稿しました。この動画は、実際の日テレのニュース映像を元に作成されたものでした。

男性は、自身が作成したセリフ音声を岸田元首相の会見や演説の音声データを学習させたAIで変換。さらに、ネット上から入手したニュース映像と首相の顔画像を組み合わせ、口元の動きを加工するなどして動画を生成したとされています。

③生成AIで被災状況を示す偽の写真を作成

2022年9月、台風15号の発生時にSNS上で拡散された被災地の空撮写真が話題となりました。広範囲に住宅地が浸水しているように見えるその写真は、後に生成AIによって作成された偽の災害画像であることが判明しました。

一見するとリアルに見えるこの写真によって誤った情報が広まり、混乱を招く結果となりました。災害時におけるAI生成画像の拡散リスクと影響の大きさを浮き彫りにした事例といえるでしょう。

企業が実施すべきセキュリティ対策

生成AIを悪用したサイバー攻撃のリスクが高まる中、企業には生成AIを安全に使うための対策が求められています。ここでは、企業が実施すべきセキュリティ対策を三つご紹介します。

①生成AIの社内利用ルールを明確に定める

特に重要なのが、従業員が生成AIをどのように使うかを明文化することです。生成AI利用のルールが曖昧なままでは、意図せず機密情報を外部に漏らすリスクが高まります。具体的には下記の対策を実施することをおすすめします。

入力禁止データの明示

まずは、従業員が生成AIに入力してはいけない情報（顧客情報、機密文書、契約書データなど）を明示しましょう。これにより、意図しない情報漏洩のリスクを最小限に抑えることができます。

業務利用可能なAIの指定

さらに、社内で使用を許可する生成AIサービスを明確に指定しましょう。これにより、ログ管理やアクセス制御を実施しやすくなります。

②セキュリティ教育を実施して従業員の危機意識を高める

どれだけルールを整備しても、実際に生成AIを使うのは従業員です。従業員一人一人の危機意識を高めることで、セキュリティ対策の効果を高められます。下記の取り組みを実施して、従業員の危機意識を高めていきましょう。

実際の事例を用いた訓練メール・疑似攻撃演習

生成AIで作成されたフィッシングメールの実例を基に、擬似攻撃演習を実施します。実践的なセキュリティ教育を実施することで、実際にサイバー攻撃を受けた際の対応力を向上することが可能です。

最新の攻撃傾向に焦点を当てた社内セミナー・eラーニングの実施

サイバー攻撃の手口は常に進化しています。社内セミナーやeラーニングを実施し、AIを悪用したサイバー攻撃の手口や実際に起きた事例などを提供するようにしましょう。

③ゼロトラストのセキュリティ体制を実現する

ゼロトラストとは、「すべての通信やユーザー、端末を信用せず、常に検証する」という考え方に基づくセキュリティモデルです。AIが関与する業務では、このゼロトラストの考え方を基にセキュリティ対策を講じることが重要です。

例えば、生成AIが作成したメールやコードなどの成果物も監視対象とし、人の目で内容を確認する仕組みを整えることで高いセキュリティレベルを維持できます。ゼロトラストを前提とした体制を整備することで、AI時代に適した堅牢なセキュリティ基盤を構築できるでしょう。

生成AI時代のセキュリティ対策は人・仕組みの両輪で実施しよう

今回は、生成AIを悪用したサイバー攻撃の手口や、企業が実施するべき対策について解説しました。生成AIは業務効率化に大きく寄与する一方で、サイバー攻撃の手口を高度化させるリスクもあります。企業は生成AIの脅威を前提とした、新たなセキュリティ体制を検討する必要があるでしょう。

今後、生成AIはさらに進化し、企業活動のあらゆる場面に関わる存在になると考えられます。生成AIの利便性を安全に享受するためにも「人」と「仕組み」の両輪でセキュリティ対策を講じましょう。