## 情報源
- URL: https://www.youtube.com/watch?v=LzICVHyruzM
- チャンネル: れん学長のAIツール実験室
- 投稿日: 2026-07-28 / 尺 18分 / スコア 95/100
- 詳細版note: https://note.com/renkon40/n/n47e6eebd49d0

## 何を測ったか
サムネのキャッチコピー作成スキルを4種に作り分け、Fable 5 に渡すスキルだけを差し替えて48回のブラインド判定（本人が匿名で左右比較）。予想は判定前に実験ノートへ先に登録して後付けの言い訳を封じている。

| 版 | 内容 | 固有情報 |
|---|---|---|
| 現行版 | 過去に採用したコピー83行の実績＋実クリック率由来のルール | あり |
| 制約マシマシ版 | 5月に事故った禁止ルールを盛り直した版 | あり |
| ほぼ白紙版 | 「4つのコピーの塊にする」枠の説明だけ残して全削除 | なし |
| ネットの教科書版 | 一般論のコピー講座17節分。わざと弱く作っていない | なし |

## 主要な発見
1. **勝敗を分けたのは指示の厚さではなく固有情報の有無**。固有情報あり2版 vs なし2版で **30勝2敗**、偶然で起きる確率は約 **800万分の1**。
2. **薄いから負けたのではない**。ほぼ白紙版も17節の教科書版も同じ **1勝15敗**。量を足しても固有情報がなければ効かない。
3. **マシマシ版 vs 現行版は10勝6敗＝判定できない**。コイン16回で10回表と同じ23%の偶然。判定できない差は、確実に測れるコスト（マシマシは出力3割増）で決めた → 現行版採用。
4. **5月の事故の真因は中身でなく「渡す順番」**。AIが出した案に後付けでルールを当てると候補を消すことにしか使えず刺さる案まで消える。同じルールを**作る前に**スキルへ書くと、AIはルールを守った上で新しい案を出すので候補が減らない。（料理の比喩：使えない食材リストを出てきた皿に当てても突き返すだけ、シェフに先に渡せば避けた一皿が出る）
5. **判定をAIに任せるなら判定側にも好みを教える必要がある**。好みを知らない Opus 4.8 にブラインド判定させた一致率は **28%**（左右の並び順を入れ替えて2回ずつ実施）。あてずっぽうの50%を下回り、系統的に逆を選んでいた。AIは本人が全敗させた教科書版に7割近く投票した。

## 仕分け基準（用途を選ばない）
- **削る**: 一般論（「プロらしく書いて」「読みやすくして」）と重複記述。あなたは優秀なアシスタントです等の役割付与も削除候補。
- **残す3種**: ①自分の好み（文体・一人称など）②事故から学んだガードレール ③ファイル名・保存先などの取り決め。
- 候補出しはAIに任せてよいが、**実際に消す最終判断は人間**がやる。1ファイル5分。

## 前提の整理
常設指示（CLAUDE.md / カスタム指示 / AGENTS.md）とスキルの違いは**読み込まれるタイミングだけ**で、どちらも渡しっぱなしの固定指示。常設指示は毎回読まれるので、一般論を消したときのコスト削減効果はスキルより大きい。

## 測っていないこと（本人が明示）
測ったのは「作者が採用したいか」であって視聴者のクリック率ではない。出口の検証は今後の宿題。

## アクションアイテム
- CLAUDE.md / rules / skills を1行ずつ「モデルが知らないことか」で仕分けし、一般論を削る
- 禁止ルールは生成後のダメ出しでなく生成前のスキル/指示に置く
- LLM-as-judge を組むときは判定側にも好み・実績データを渡す

## 関連
- [[Opus 5 / Fable 5への指示設計 6つの常識転換]]（Few-shot逆効果説と整合：量でなく固有性）
- ルータースキル方式（スキル肥大のトークン対策） https://www.youtube.com/watch?v=IU3wyu5S4BQ