AIに「90点に届くまで作らないで」と書いておいたのに、80点前後の台本のまま、動画ができあがっていました。
その前にも、85点の記事が「完了」にされていました。
🎥 この記事の内容は動画でも解説しています。
先に結論です。
- 「〜しないこと」とルールとして書くだけだと、AIは作業の流れの中で通り過ぎることがある
- ルールを、作業の手順の途中(「この次に進む前に」の場所)に書き直したら、止まるようになった
- 絶対に飛ばされたくないものは、hookで機械的に止めている(ただし、確かめられるのは「印のファイルがあるか」まで)
何が起きたか
このブログとYouTubeは、ほとんどClaude CodeとCodexに作業してもらっています。
記事や動画の台本は、書いたあとに別のAIに100点満点で採点してもらって、90点に届くまで直す決まりです。
このルールは、9月5日からAIの覚え書き(memory)に入れていました。
1回目: 85点を「実用水準」にされた(9月26日)
ブログ記事の採点が85点で止まったとき、Claude Codeが「何周も直したので、実用水準」と判断して、完了として報告してきました。
自分が「85点は合格じゃないよね」と返して、やり直しになりました。
2回目: 72〜82点の台本で、動画まで作られた(10月16日)
次は動画です。
ロングとShortの4本の台本が、採点で72〜82点でした。
なのに、そのまま音声を作って、映像を作って、確認用にYouTubeへアップするところまで進んでいました。
自分の返事は「ルールになってないの？前言ったはず」でした。
なんで守られなかった？
ルールは書いてありました。
ただ、書いてあったのはClaudeの覚え書き(memory)のほうで、動画の作業手順を書いたファイルの、採点の手順の中にはありませんでした。
動画の作業は、台本→採点→音声→映像→アップロード、と順番に進みます。
AIは、この順番どおりに手を動かしていきます。
自分の見立てでは、その途中に「ここで止まる」と書いてなかったので、採点のあとそのまま音声に進んでしまったんだと思います。
手順の途中に入れたら、止まった
10月16日に、動画の作業手順を書いたファイル(Claude CodeとCodexの両方が読むもの)の、採点の手順のところに、こう足しました。
- 採点と修正を2周しても90点に届かないときは、直す前に「なぜ届かないか」を調べて、本人に聞く
- 90点に届くまで、音声・映像・アップロードに進まない
3日後の10月19日、別の動画の台本が89点と82点のところで止まりました。
今度は音声にも映像にも進まず、「90に届かないので止めています。どうしますか」と聞いてきました。
1回だけなので、手順に入れたから止まったと言い切れはしません。でも、それまで2回は止まらなかったところで、止まりました。
書き方を並べると、こんな違いです。
- 前: 「自己採点して、90点未満なら自動でやり直す」(覚え書きの1行)
- 後: 採点の手順の5番目に「90点に届くまで、ナレーション生成・映像制作・アップロードに進まない」
そのあと、合格ラインも数字で決め直しました。
台本は「2人(CodexとOpus)の採点の平均が90点以上」。
用語のShortは、30秒の動画に合わせた専用の採点項目にしています(10月27日)。
同じ形のことが、ほかにも4つあった
振り返ると、「書いてあるのに、手順になかった」ものは、ほかにもありました。
- 「覚えておいて」と頼んだことを、AIが「記憶しました」と言いながら、別の会話から見つけられる形で残していなかった。別の会話で聞いたら「わからない」(9月9日)→覚え書きのファイルに書いたら、その場で索引(毎回最初に読まれる一覧)にも1行足す、を手順にした
- 「採点はCodex」と書いてあるのに、いつのまにかOpusでの採点に戻っていた(9月21〜22日)→採点の手順に、使う道具の名前とコマンドを書いた
- 書き出した動画をGoogle Driveに移すのが「してよい」とだけ書いてあって、8月26日から一度も動いていなかった。Macの空きが7.5GBまで減っていた(10月26日)→公開を確かめるときの手順に「毎回、移すスクリプトを動かす」と入れた。10月29日の朝は、手順どおり動いて空きは23GB
- ネタ帳に新しいネタを足すのが、終わるときの手順になかった。10月10日〜28日は、ほぼ増えていなかった(10月29日)→「今日はここまで」と言ったら、その日を見返して足す、を終わりの手順に入れた
どれも、ルールとしては書いてあったか、口で伝えてありました。
対策は全部、「いつ・どの作業の次に」やるかを書く形にしています。
動いたのを確かめられているのは、動画の90点とDriveの2つ。ほかは、また飛ばされたら直します。
飛ばされたくないものは、hookで止める
手順に入れても、AIが飛ばす可能性はゼロにはなりません。
なので、公開につながるコマンドだけは、機械で止めています(9月24日から)。
Claude Codeのhook(決まった操作の前に処理を挟む機能)で、記事を作るコマンドと、動画をアップするコマンドは、「確かめ終わった」という印のファイルがないと動きません。
印は15分で切れて、1回使うと消えます。
コマンドの文字列で判断するので、調べるだけのコマンドでも、名前が入っていれば止まります。
10月30日には、アップ用のスクリプトの名前を含むコマンドを打っただけで止まりました(中身を調べたかっただけでした)。
ただ、印のファイルを作るのはAI自身です。
なので、hookが確かめているのは「印のファイルがあるか」まで。止まって考える場所を作っている、という感じです。
採点が本当に90点だったかまでは見ていません。
点数のほうは、さっきの手順と、自分の目で見る確認で支えています。
それと、hookはClaude Codeの機能なので、Codexで作業するときは止まりません。Codexのほうは手順だけが頼りです。
ルールを書くときに見ていること
- そのルールは、作業のどの段階の「次に進む前」に関係するか(手順の途中に書けるか)
- 「〜してよい」「気をつける」ではなく、「〜したら、〜する」の形になっているか
- 合格・不合格を、数字や「ファイルがあるか」で判断できるか
- 破られたら困るものか(困るなら、hookで止められないか)
AIに頼んでいることで、同じ注意を2回以上しているものがあったら、そのルールがどこに書いてあるかを一度見てみてください。
心がまえの欄にあったら、手順の途中に移すだけで変わるかもしれません。
自分が使っている手順のひな形や、公開前に止めるhookのスクリプトは、noteにまとめています。
AIに毎日の発信を任せるためのハーネス(note)
