【ISC2メンバが書く】BLACKHAT-US24ブログ第２弾＜AI/LLM講演特集＞
こんにちは！またはこんばんは！
NOPにて社内外でサイバーセキュリティの啓蒙を行っておりますサンガワです。
今回はBLACKHATブログ第2弾として、「AI」「機械学習」等の自動化・ラーニング技術の進化に関する講演を、１講演につき約４分×４講演で計１６分でサクッと読めるブログにして共有および解説したいと思います。
※なお、第1回の、BLACK HAT USA2024 ＋ DEFCON32 の参加レポートはこちらを御覧ください！
（マンダレイ・ベイ内の講演会場写真）
目次[非表示]
強化学習(RL)とそのセキュリティ対策について
原題：Deep Backdoors in Deep Reinforcement Learning Agents
講演者：
Vasilios Mavroudis | Principal Research Scientist, The Alan Turing Institute
Jamie Gawith | Assistant Professor, University of Bath
Sañyam Vyas | AI Security PhD Candidate, Cardiff University
Chris Hicks | Co-lead, AICD Research Centre, Alan Turing Institute
この公演の要約：
＜強化学習(RL)の概要と実例＞
・機械学習モデルの一種として、何度もパターンの試行錯誤を繰り返し精度を上げていく「強化学習：Reinforcement Learning（RL）」という学習方法があります。これを更に「深層学習：Deep Lerning（DL）」のように自己学習化させたものを「深層強化学習：Deep Reinforcement Learning（DRL）」と言います。
・この技術を活用し、囲碁やチェス等の無数のパターンを読み解くゲームにおける利用をはじめ、
自動運転車、回路設計、ドローンの自律飛行等様々な分野に活用されています。
＜強化学習(RL)に関する問題点と実例＞
・このRLモデルのリポジトリを入手するエージェントにおいて、バックドアが仕込まれている事例を紹介していました。
・また別の事例として、核融合炉でRLが利用されている事について、実際の融合炉での使われ方をベースに想定されるリスクについて説明。エネルギー開発などに利用される場合、よりそのセキュリティ保護が必要となることを解説。
＜RLに対するセキュリティとは？＞
・具体的なソリューションとして、RLエージェントのバックドアを検出/軽減するために設計されたファイアウォールを紹介していました。（仕組みとして、ニューラルネットワークの活性化パターンを分析し、そのパターン内で異常な振る舞いを特定することが可能なようです）
まとめ：
・現在主流のAIのモデルとして「強化学習：Reinforcement Learning（RL）」があり、これは様々なシーンで活用されています。
・一方、そのAIモデルを導入する場合や利用する場合においてもセキュリティをいかに担保するかが重要となります。
・AIモデルの導入時に特化したファイアウォールもありますが、スループットなど利便性とのバランスを見据えることが重要です。
サンガワ的見解：
・今回事例に挙がったエネルギー業界をはじめ、他業種でも、オートモーティブにおけるCASE革命をはじめとした「高度な自動化」が求められています。そのためRL、DRLの高度化に沿ってそれらに対するセキュリティやトレンドも注視し続ける必要があると思われます。
参考文献：
強化学習とは | 機械学習との違い・深層強化学習・活用事例やその未来まで徹底解説
https://ledge.ai/articles/reinforcement-learning
LLMの活用による脅威ハンティングとATP発見の実例
原題：Threat Hunting with LLM_ From Discovering APT SAAIWC to Tracking APTs with AI
講演者：
Hongfei Wang | Senior Security Researcher, DBAPPSecurity Co Ltd
Dong Wu | Security Research Expert, DBAPPSecurity Co Ltd
Yuan Gu | Senior Security Researcher, DBAPPSecurity Co Ltd
この公演の要約：
・LLM(大規模言語モデル)を活用した脅威ハンティングにより、
APTグループ（標的型攻撃を行う集団）を発見、追跡した実例を解説。
＜今回事例紹介するAPTグループについて＞
・APACおよび日本を標的とするAPTグループ「SAAIWC」を特定した事例を紹介。
・SAAIWCの概要について紹介していました。別名 Dark Pink。（拠点は東南アジア）
・軍事機関、政府部門、非営利組織などの機密情報を保持する機関をメインターゲットにしています。
＜APTグループ特定に至るまで＞
・2022年、VirusTotal上にて不審なファイル(.isoファイル)を見つけた事例を紹介。ファイルをインターネットで検索したところ、フィリピン軍に関するファイルであることが判明。
・今回LLMを活用し、侵入に使われたテクニックと戦術を解析したところ「他のサンプルファイルも見つけ」、最終的にSAAIWCグループの特定が行えたと説明。
・では、どのように他のサンプルファイルを発見したのか？
・データベース内の関連サンプルを検索するため、LLM(ChatGPT)を使用してファイル名を比較し、サンプルファイルの特定に至ったとのことです。
＜どのようにChatGPTを活用したか＞
・LLMを活用したバッチにより、今回40,136の関連するファイル名を見つけ出せたようです。
・また、ファイル名に対しATPグループに利用されているかのリスクをスコアリングしラベリングすることまで自動化していました。（講演では、Yaraルールを活用した文字列とスコアリングのデモが行われました）
・この例のように、LLMの機能は脅威ハンティングに活用出来ることを説明していました。
まとめ：
・脅威ハンティングにおいて大量の情報をフィルタリングするにはLLMの活用が有効です。
・脅威ハンターは、セキュリティ用途にLLMをチューニングし、脅威ハンティングの精度を上げることが可能です。
・また、LLMによる脅威ハンティングはYara,Sigma,Snortなど既存のシグネチャと組み合わせ更に機能を拡張することが可能です。
サンガワ的見解：
・今後、どのような業種/業界でもLLMの活用はビジネスの進化に大きな影響を及ぼす可能性があります。特にサイバーセキュリティにおいては攻撃と防御の両方でLLMの活用が進むと思われます。例えばMicrosoft 365 Copilotのような大手メーカーのLLMをはじめ、様々なLLMとその活用法を注視することが今後のサイバーセキュリティの考え方にも影響していくと思われます。
参考文献：
サイバーイント、アジア太平洋地区および日本における政府機関やさまざまな企業セクターを標的にしている「Dark Pink」 APT グループの活発化を報告
https://prtimes.jp/main/html/rd/p/000000003.000129705.html
AIの進化に対し、安全性を確保するには何が必要か？
原題：AI Safety and You: Perspectives on Evolving Risks and Impacts
講演者：
Nathan Hamiel | Senior Director of Research, Kudelski Security
Amanda Minnich | Senior Red Team TL, Microsoft
Nikki Pope | Senior Director, AI and Legal Ethics, NVIDIA
Mikel Rodriguez | Research Scientist, Google Deepmind
この公演の要約：
Kudelski Security社リサーチディレクター、Microsoft社レッドチーム担当者、NVIDIA社AI及びリーガル担当責任者、およびGoogle Deepmindリサーチ担当者が集まり、パネルディスカッション形式でAIの活用における「安全性」と「実在的なリスク」を紹介します。
＜AIにおける潜在的なリスクとは＞
・金融サービスではAIを活用した事による偏ったアルゴリズムが悪影響を与えた例が存在。
・この事例の対策として、「脅威モデリング」と「リスクモデリング」に基づいた実装が必要であると解説。
＜AIの安全性の責任者とは＞
・安全性の確保は「チームスポーツ」のようなものであり、チーム内での認識と積極的な関与が重要となります。
・オープンなAIモデルの活用は、そのモデルがエンドユーザーに対し安全であることを保証する責任があります。
・モデルの開発から実際の配備までのサプライチェーン全体での責任に注意しなければならないと解説。
＜AIに対する「ガードレール」＞
・AIの安全性は「ガードレール」（※後述の参考文献を参照）やトレーニング後の調整などで担保されるがそれも限界があると指摘。
・しかしガードレールは実際のところ簡単にバイパスされ、もとに戻ってしまうことも多々あると指摘。
・そこで有害な行動を認識するためには、モデルの訓練を重ねることが効果的だという論文を紹介していました。
＜AIの安全性に対し、セキュリティ専門家の役割とは？＞
・利益ばかりに頼って特定のモデルを推進するのではなく、正しく潜在的に危険なコンテンツを回避・制御できる手段を常に調査する必要があります。
・脅威とリスクのモデリングから始め、MITRE ATT&CK for AIのようなツールを使うことを推奨していました。
・手作業によるプローピングから始め、更に精査を進められるような専用のリソース構築も効果的であると説明。
・プライバシー法と照らし合わせ、情報の取り扱いと機能のバランスをウォッチすることも大切とのことです。
＜3-5年後、AIの安全性は将来どうなる？＞
・より深い思考が出来るAIモデルの開発が望まれる。また、そのようなAIのコントロールを維持できることが大切であると解説。
まとめ：
・サイバーセキュリティの最前線のメンバによると、AI活用における安全性の担保は様々な側面での配慮が必要。
・脅威モデリングやリスク評価、法律・ガイドラインの対策など、一般的なシステムに対するセキュリティ対策と同等の考えがAIモデルに対しても必要。
・AIモデルの配置より前に、製品開発のライフサイクルの一貫にAIの安全性テストと評価を組み込むことが大切。
サンガワ的見解：
・AIの安全性は、昨今「SPAR」（Secure、Private、Aligned、Reliable の略称）という観点で評価されています。また「リスク」も技術的リスクや人的リスクなど、様々な観点があります。よって、AIの技術的な進化と同じくらいセキュリティリスクの排除・安全性の確保は重要になると思われます。
参考文献：
生成AIも安全運転！ 注目を集める「LLM用のガードレール」とは何か AIの事故を防ぐために企業がすべきこと
https://www.itmedia.co.jp/aiplus/articles/2409/06/news047.html
Introducing SPAR – Safety Attributes for Personal AI Assistants
https://perilous.tech/2024/03/06/introducing-spar-safety-attributes-for-personal-ai-assistants/
エンドポイント保護にAI･LLMの活用が必要な理由
原題：The Future of Cybersecurity: Embracing Prevention-First Strategies in the Age of Edge AI
講演者：
Carl Froggett | CSO, Deep Instinct
Brian Black | VP Global Sales Engineering, Deep Instinct
この公演の要約：
・対話型AIベースの脅威検知を実現するために、ディープラーニングと自社開発の「DIANNA」を説明。
・マルウェアの実行、フィッシング防止対策にはより先手の対策を取れるNPUチップベースのPoC・検討が必要となることを解説。
＜サイバーセキュリティ脅威の現実と進化＞
・サイバーセキュリティにおける脅威は進化し続け、単純なシグネチャベースの防御では限界があることを指摘。
・マイケル・デル氏の「AIがビジネスと脅威攻撃者の能力の両方に革命をもたらす」という言葉を引用し、サイバーセキュリティにおいてAIへの支出が増加しているが、ソリューションの有効性は低下していると指摘。
・特に、生成AIの影響によりフィッシング攻撃の割合が大幅に増加していることを報告。
＜生成AIがサイバーセキュリティに与える影響＞
・「ダークAI」（＝脅威攻撃者が使用する兵器化されたAI）による悪用のナレッジを紹介。
・212あるダークAI-LLMのうち93.4%が最小限の技術で「EDR」を回避するマルウェアを生成することが分かってきています。
・AIがセキュリティ運用にプレッシャーをかけており、現在のソリューションでは対応しきれないシーンが散見されます。
・更に、サイバー攻撃における偵察段階でもAIが使われることで、攻撃者による情報収集が容易になることを指摘。
・NPU（ニューラル・プロセッシング・ユニット）が搭載されたPCが登場したことで、個人で上記のような悪用が可能になってしまったためであると解説。
・またClaude,Llama2,GPT-4といった安易に使えるオープンLLMにより脅威アクターが独自のAIモデルによる攻撃を模索する等、従来の機械学習アプローチの対策が時代遅れになりつつあり、サイバーセキュリティにおいてはAIの活用が必要となる事を説明していました。
＜ディープラーニングと予防ファーストの戦略＞
・講演者のメーカーである「DeepInstinct」では、深層学習（ディープラーニング）モデルを活用し「DIANNA」（ダイアナ）というLLMを開発しました。
・DIANNAにより、侵入してきた脅威に対し、「どこから」「どのように」侵入してきたか、また自然言語のように、それが「なぜ悪いのか？」を対話式で確認するなど、サイバーセキュリティに特化したLLMであることを解説。
・この技術を、エンドポイントやサーバーを含め、あらゆる出入り口や標的となりうる場所で使うことが重要であるとコメント。
まとめ：
・AIの悪用により、脅威や攻撃手法はより高度化しており機械学習の考え方では限界がやってくる可能性があります。その対策として「深層学習」ベースのシグネチャは有効です。
・また、そのAIの悪用はハッカー集団だけではなく個人でも行えるレベルになっています。
・DeepInstinct社は、LLMを活用しEPP（エンドポイント保護）の検知結果を対話型で確認可能な技術を開発しました。
サンガワ的見解：
・AIによる「EDRをすり抜ける技術」は特にエンドポイント業界でトレンドになっていますが、その中で予防ファーストとなるDeepInstinct社のようなアプローチは今後重要度が増すことが予想されます。よって、深層学習ベースでの学習速度・精度の高さをサイバーセキュリティに活用することが、対APTグループの有効策のひとつになり得ます。
参考文献：
スタートアップ企業のサイバーレジリエンスを強化するためにディープラーニングが重要な理由とは?
Meet DIANNA
https://www.deepinstinct.com/dianna-ai-cyber-companion
ネットワンパートナーズ - DeepInstinct
https://www.netone-pa.co.jp/solution/security/deep-instinct/
まとめ
以上、今月のBLACKHAT講演ブログをお届けしました。
どの講演でも共通して、「AI vs AI」と言われるように、AIによるAPT（標的型攻撃）は、偵察にも攻撃にも使われており、今後はそれらを前提としていかにAIやLLMを有効活用するか、またその活用をどのようなソリューションで行うか、の選択が求められています。
弊社ネットワンパートナーズでも、AIやLLMの活用を含めたソリューションの提供、及び情報収集を進めております。
是非本記事の内容が、ご覧いただいた皆様のお役に立てましたら幸いです。
■関連記事
