サイバーセキュリティツールの選択肢は非常に多く、どれを導入すべきか判断に迷う企業も少なくありません。そこで、Meta Platformsとサイバーセキュリティ企業CrowdStrikeは、組織のセキュリティオペレーションセンター（SOC）内でAIモデルの性能を評価できるオープンソースのベンチマークスイート「CyberSOCEval」を公開しました。

この新しいフレームワークの目的は、増え続けるAI搭載サイバーセキュリティツールの中から、自社のニーズに最適なツールを見極める手助けをすることです。CrowdStrikeは、プレスリリースで「明確なベンチマークがなければ、どのシステムが実際の攻撃に対して本当にAIの優位性を発揮するか判断するのは困難」と述べています。

CyberSOCEvalを活用すれば、インシデント対応、脅威分析、マルウェアテストなど、主要なサイバーセキュリティ業務に基づいたベンチマークで大規模言語モデル（LLM）の性能を検証可能です。これにより、各システムの長所・短所を明確に把握でき、組織は自社に最適なAIツールの選定が容易になります。

さらに、AI開発企業がCyberSOCEvalを導入することで、企業顧客が自社モデルをどのように活用しているかを詳細に把握でき、より用途を絞った高性能モデルの開発にもつながります。Metaはこの取り組みを通じ、サイバーセキュリティ担当者が自由にテストや微調整を行えるオープンな評価フレームワークを提供し、AIモデルの改善速度を大幅に向上させる狙いです。

CyberSOCEvalは現在、GitHubから入手可能で、詳細なベンチマーク情報も公開されています。

引用元記事：https://japan.zdnet.com/article/35238005/