AI活用

Claude Codeが嘘をつく?体験談に、やっていない行動が足されていた

公開 約3分で読めます

TL;DRこの記事の要点

  • Claude Codeが書いたnoteの初稿に、私がしていない行動が入っていた
  • 採点は83点前後で止まり、指摘は毎回「事実にない体験」
  • 作業記録と照らし合わせて書き直したら92点に
目次5項目
  1. 下書きにあった「私の行動」
  2. 採点は83点から上がらなかった
  3. 直したのは文章より「事実」
  4. どうして行動が足されるのか
  5. 体験談をAIに書いてもらったら確認すること

Claude Codeに書いてもらったnote記事の下書きに、私がしていない行動が書かれていました。
文章はとても自然で、もっともらしく読めるものでした。

🎥 この記事の内容は動画でも解説しています。

cat’s handでは、ブログ記事をもとにしたnote記事の下書きをClaude Codeに頼んでいます。
9月30日に頼んだのは、Claudeの画面の読み込みや起動が「3倍速くなった」という公式発表を扱ったブログ記事のnote版でした。

下書きにあった「私の行動」

初稿には、実際にはしていない行動が、たとえばこんな内容で書かれていました(文言はそのままではなく要約です)。

  • 自分のMacでも測ってほしいと、Claude Codeに頼んだ
  • これからは待ち時間を記録することにした

どちらも、私はしていません。
元のブログ記事にも、自分の環境では測定できなかったと書いています。
比較に使える「前の記録」がなかったからです。

それでも下書きには、「測ろうとした私」や「記録を始めた私」が自然に登場していました。
話の流れとしては、そのほうが分かりやすいくらいでした。

採点は83点から上がらなかった

cat’s handでは、記事を公開する前にCodexに100点満点で採点してもらい、90点以上を目安にしています。
このnote記事の採点は、83点、85点、83点と80点台のままでした。

指摘は毎回ほぼ同じです。
「元のブログや事実にない体験が足されている」っていう内容でした。

Claude Codeも最初は、言い回しの問題と考えて表現を直していました。
でも、表現を整えても、足された行動が残っていれば点数は上がりません。

直したのは文章より「事実」

そこでClaude Codeは、作業記録のHANDOFF.mdを読み直しました。
HANDOFF.mdは、Claude CodeとCodexが「誰が何をしたか」を書き残している共有ファイルです。

記録には、次のことが残っていました。

  • 自分のMacでは測定していない
  • ブログ記事の下書きはCodexが書いた
  • 公式発表の数字との照合はClaude Codeが担当した

この事実に合わせて本文を書き直し、採点を頼むときにも同じ事実メモをCodexに渡しました。
すると、点数は92点になりました。

文章をさらに磨いたわけではありません。
本文に書かれた行動を、記録と一つずつ照らし合わせました。

どうして行動が足されるのか

ここからは私の想像です。
一人称のエッセイは、「私が何かをして、何かに気づく」という形になりやすいです。
AIが話を自然につなげようとして、「何かをして」の部分を、それらしい行動で補うのかもしれません。

しかも、足された行動はどれも「やりそうなこと」です。
だから、読む側も見落としやすいんです。

体験談をAIに書いてもらったら確認すること

体験談をAIに書いてもらったら、確認したいのは次の4つです。

  1. 本文の「私が〜した」という文に印をつける
  2. その行動が作業記録やメモに残っているか確認する
  3. 記録にない行動は削る。「〜したかった」に言い換えるのも、本当にそう思っていたときだけにする
  4. 採点やレビューを頼むときは、事実のメモも一緒に渡す

note記事の最後は、「自分の環境の待ち時間も一度記録しておきたい」という形に落ち着きました。
実際にしたことではなく、これからやりたいこととして書いています。

自然に読めることと、書いてあることが本当であることは別の話でした。
AIに体験談を任せるときは、読みやすさより先に「これ、私やったっけ?」を確かめるのがおすすめです。

この記事が参考になったら、応援クリックをお願いします

Cat's Handこの記事を書いた人

Web制作歴10年以上。WordPressのテーマカスタマイズやコーディングを中心に、副業・本業ともにweb制作に携わっています。このブログでは、実際に手を動かして分かったことを書いています。