NEWS / 活用事例

Zenn:Line-by-line searchでスクレイパー失敗の原因をJevに探させた

HTMLの各行に番号を振り、消えた要素に当たる行をChoiceで選ばせて、失敗の分類と修正PRの確認に使った報告。

usecasezennscrapingline-search

要点

  • 著者は、セレクタが0件でもエラーにならないスクレイパーの失敗を、ルールの1段目と Jev の2段目に分けて調べる仕組みを作ったと述べている
  • Jev は HTML を DOM として読まないため、公式 cookbook の Line-by-line search にならい各行へ ID を付け、Choice で「消えた目印に当たる行」、Noul で「そもそもあるか」を聞いた
  • 架空サイトでの検証では、テストが通ってしまう誤ったセレクタの多くを、Jev が選んだ行との照合で止められたと報告している。役割の説明の書き方で結果が変わる点や、Jev 自身の選び間違いも挙げている

何が変わるか

修正は生成モデル、確かめは Jev と役割を分け、確信度のしきい値で自動修正へ進むかを決める設計例として読める。255択を超える長い HTML は窓を2段で選ぶ工夫も紹介されている。数値は著者の架空環境での測定。

関連ガイド

出典・参考リンク

  1. コミュニティ HTMLを解釈できないJevに、Line-by-line searchでスクレイパーの失敗原因を探させてみた