POST
自律化する生成AIは本当に安全?AIエージェント時代のセキュリティ対策

ここ最近Claudeを媒介にしたサイバー攻撃が話題によく上がりますね。
情報窃盗が主な事由ですが、それを元に身代金を要求されるなどの被害をこうむった事例も出てきているようです。
日々進化する生成AI。
実際のところ、全くの素人が使って大丈夫なものなんでしょうか?
気になったので少し調べてみました。
自律化するAIと「エージェント型」への進化
現在のAI(Claude Codeなど)は、人間の代わりにコードを読み書きし、テストを実行し、コマンドを叩く「システムに対する実行権限」を持っています。
例えばGemini in Chromeでは、オートブラウズというAI自身がブラウザの権限を行使して、目的に応じた検索行動を行うことができるようになりました。
ただ、この利便性と引き換えに、AIが攻撃の足場(起点)になるという新たなリスクが生まれています。
Claude の悪用事例
少し前の情報ですが、Claudeの開発元であるAnthropic社は、
自社のAIモデルがサイバー犯罪者にどのように悪用されたかを示す「脅威インテリジェンスレポート」を公開しました。
https://www.anthropic.com/news/detecting-countering-misuse-aug-2025
この報告は、AIが高度なサイバー犯罪の技術的ハードルを劇的に下げ、犯罪のあらゆるプロセス(標的の分析から攻撃の実行まで)にAIが組み込まれ始めている深刻な実態を浮き彫りにしています。
記事に記されている代表的な悪用事例は3つ。
1.Claude Codeを悪用したデータ恐喝
「公開されたくなければ身代金(50万ドル以上)を支払え」
攻撃者はClaude Codeを利用して盗み出したデータを悪用し、身代金の要求を少なくとも17の組織に行っていたそうです。
Claude Codeに「偵察、被害者の認証情報の収集、ネットワーク侵入」の動作をさせ、さらには戦略面(どのデータを流出させると恐喝しやすいか)
もAIに助言してもらっていたというから驚きです。
対応策
該当アカウントの停止およびそういったアカウントの自動発見機能を新たに導入し、再発防止に備えたとのこと。
2. AIを利用した不正雇用
北朝鮮工作員がClaudeを利用して、フォーチュン500に名前を連ねるテクノロジー企業で不正にリモートワークの職に就いていたそうです。
どうやって入り込んだんだという話ですが、
なんでも身元と信用できる職務経歴をAIで偽装し、さらには技術評価やコーディングテストもAIに遂行させて合格してしまったみたいです。
途中で人間が確認するプロセスがなかったんでしょうかね、、、
対応策
該当アカウントの停止、検知ツールの改善を行い監視強化をした
3. ランサムウェア(ウイルスソフト)をAIで開発して販売
サイバー犯罪者がClaudeを利用して複数のランサムウェアを開発し、ダークウェブ上で
400ドルから1200ドルで販売していたそうです。
しかもその犯罪者は主だったプログラミング知識があったわけでなく、AIと壁打ちすることで開発完了までこぎつけているから恐ろしいですね。
誰でも開発ができてしまう。
対応策
該当アカウントの停止、マルウェア(ウイルス)のアップロード、改変、生成を検知する手法の導入
従来のウイルスであれば、ファイルの読み込み、確認が起点になっていたので開かなければいい。で終わりますが、
AIのウイルスは自律して解析から実行まで一手に行ってしまうわけなので、対策もなかなか難しいですね。
結局、生成AIはセキュリティ面で「優れている」のか?
事例から見る結論としては、AI自体のセキュリティどうこうというよりは矛先がどこに向くかの問題な気がします。
AIの操作ミスで情報が漏洩したとかではなく、生成AIを悪用した結果、どこかのセキュリティ網破られる。という可能性の方が高そう。
とはいえ、生成AIは従来のセキュリティソフトと違い、推論ベースでガードレールを設けているので、悪意ある人がAIを騙せてしまうのも事実。
過信は禁物です。
秘匿しないと被害が出てしまうような情報は、なるべく入力しないほうが良さそうです。
AIエージェント時代のセキュリティ対策
前述した内容をもとに、思い当たるセキュリティ対策をいくつか考えてみました。
- 自律操作させる場合はAIエージェントにPC全体の権限を与えない。(隔離環境でのみ実行できるようにする)
- 送信前に人間のチェック・承認フェーズをはさむ
- AIに読み込ませる外部コードやサードパーティのパッケージを無条件に信頼しない。また、非公式の配布サイトや偽の広告(マルバタイジング)からツールをダウンロードしないよう注意喚起する。
特定の職や作業でしか当てはまらないものもありますが、心がけて被害にあうのを避けたいものですね。
セキュリティリスクを理由にAIエージェントの導入を躊躇すれば、それはそれで機会損失になってしまいます。
リスクを正しく認識し、適切な権限管理を行うことで、AIは最強のパートナーになり得ますね。
©2023 D.I.D.
