# instinct: 自動学習 — bingbotに個別ブロックでCrawl-delayのみ設定しDisallow:/searchを書き忘れたため、bingbotが*ブロックのDisallowを無

robots.txtで特定クローラーを制限する場合、個別User-agentブロックとワイルドカード(*)ブロックの優先順位を理解した上で、Disallowを漏れなく記述する

**Why:** bingbotに個別ブロックでCrawl-delayのみ設定しDisallow:/searchを書き忘れたため、bingbotが*ブロックのDisallowを無視して/searchをクロールし続けた。個別UAブロックは*ブロックを上書きする仕様を考慮すべき

**How to apply:** code カテゴリの作業時に適用する。

_Auto-learned by session_learner.py on 2026-06-07_

---
(migrated from local memory/instinct_2026-06-07_5_robots.txtで特定クローラーを制限する場合、個別User-agentブロ.md)