要点
- 著者は点検記録の体裁で合成した記録に正解ラベルを先に付け、「本日の操業再開前にエスカレーションすべきか」をJevとd1に判定させたと報告している
- 当日に上げるべき記録は、どちらのモデルも確率0.8以上で拾えた。一方「どの系統を呼ぶか」の一致はJevの方が多かったとしている
- 速度は両者とも中央値で1秒未満だったが、d1の無料枠では1件に十数秒以上かかりタイムアウトも出たという。JevはOpenCode Zenの無料枠経由で呼んだと書かれている
何が変わるか
製造現場の即時判断に当てる場合、どちらが賢いかより「どの経路・どの枠で呼び、しきい値をどこに置くか」が結果を左右した、というのが著者のまとめ。データは合成で、単一環境・単一時点の測定である。d1はJev互換の形のAPIを持つ別社のモデルで、この比較は著者による非公式なもの。