NEWS / 活用事例

Zenn:Jevにセキュリティ分析の判断をさせた検証

公開PoCの悪性判定、CVEの優先順位付け、攻撃主体の推定、Windowsログ分類、フィッシング判定の5分野でjev-1.13.0を試した報告。

要点

  • 著者は jev-1.13.0 に実際の公開情報を渡し、5つの分野で選んだ答えを、公開情報や研究データのラベル、人手の暫定評価と比べたと述べている
  • CVE の優先順位付けや Windows イベントログの分類では多くが想定に近かった一方、悪性と報告された依存関係を含む PoC を見抜けず、攻撃主体の推定ではいずれも「判断不能」を選んだと報告している
  • フィッシング判定では正常なメールはすべて一致したが、フィッシングの一部を高い確率で正常と判定した例もあったとしている

何が変わるか

「判断不能」を選択肢に入れておくと、情報が足りない場面で Jev が断定を避ける様子がわかる。ただし著者は、「判断不能」は安全の証明ではなく、高い確率も正しさの証明ではないとし、限られたサンプルでの検証なので人の確認や実環境の判断を置き換える根拠にはならないとまとめている。API の費用はごく小さかったとも書かれている。記事は保存した実験データと公開情報をもとに生成AIを使って書いたと明記されている。

関連ガイド

出典・参考リンク

  1. コミュニティ 判断特化AI『Jev』にセキュリティ分析業務をさせてみた