要点
- 著者は jev-1.13.0 に実際の公開情報を渡し、5つの分野で選んだ答えを、公開情報や研究データのラベル、人手の暫定評価と比べたと述べている
- CVE の優先順位付けや Windows イベントログの分類では多くが想定に近かった一方、悪性と報告された依存関係を含む PoC を見抜けず、攻撃主体の推定ではいずれも「判断不能」を選んだと報告している
- フィッシング判定では正常なメールはすべて一致したが、フィッシングの一部を高い確率で正常と判定した例もあったとしている
何が変わるか
「判断不能」を選択肢に入れておくと、情報が足りない場面で Jev が断定を避ける様子がわかる。ただし著者は、「判断不能」は安全の証明ではなく、高い確率も正しさの証明ではないとし、限られたサンプルでの検証なので人の確認や実環境の判断を置き換える根拠にはならないとまとめている。API の費用はごく小さかったとも書かれている。記事は保存した実験データと公開情報をもとに生成AIを使って書いたと明記されている。
関連ガイド
- Jev の3つの質問タイプ(Choice / Score / Noul)の書き方と選び方
- Jev の確率と confidence の読み方、しきい値での振り分け方
- Jev が苦手なこと: 公式が認める9つの弱点と、実際に試した結果
出典・参考リンク
- コミュニティ 判断特化AI『Jev』にセキュリティ分析業務をさせてみた