# instinct: URLパターンマッチを修正する前に実際のリンク構造をcurlまたはブラウザで検証する

スクレイピングや自動収集のURLパターンマッチングを修正する前に、実際のリンク構造をcurlまたはブラウザで事前検証するインスティンクト。Crowd TechのURL構造が `/sees/数字` から `/sees/detail/数字` へ変更されたため、正規表現がマッチせず案件を検出できなくなった失敗から学習。コーディング作業全般で、ハードコードされたURLパターンや正規表現を修正する前に、実際のHTMLソースやネットワークリクエストを確認することで、実装の無駄を防ぐ。

## ポイント
- URLパターンや正規表現を修正する前に、curlまたはブラウザの開発ツールで実際のリンク構造を確認する
- 対象サイトのURL構造は予告なく変わることがある（/sees/数字 → /sees/detail/数字）
- 正規表現がマッチしない場合は、コード側の問題だけでなくサイト構造の変化も疑う
- curl -s URL | grep -oP 'href="[^"]+"' などでリンク一覧を素早く取得して検証する

## 関連ページ
[[URLパターンマッチを修正する前に、実際のリンク構造（/sees/数字 vs /sees/detail/数字）をcurlまたはブラウザで検証する]] [[Scraplingを使う前に、対象サイトがSPAかどうかを確認し、JSレンダリングが必要ならPlaywrightFetcherを明示的に指定する]] [[スクレイピング対象サイトがCloudflare/403を返す場合事前にプロキシ要否とUser-Agentを検証]]

## 関連概念（未作成）
`スクレイピング前検証チェックリスト（curl/ブラウザでHTML構造確認）` `正規表現デバッグパターン（マッチ失敗時の診断手順）` `サイト構造変化の検知と自動アラート`