「Claudeが3倍速くなった」と聞いて、まず気になったのは「何が」速くなったのかです。
全部の操作が3倍になったわけではありません。Anthropicのエンジニアが9月23日に公開した記事によると、claude.aiとデスクトップアプリでよく使われる操作を測り、2週間の改善で全体の体験を約3倍速くしたとのことです。
対象は8月に行われた2週間のパフォーマンス改善スプリントです。
公式の開発ブログには、計測した操作や改善前後の数値が載っています。
3倍は、よく使う操作をまとめた数字
Anthropicは、利用状況の95%を占める4つの操作を選び、Webとデスクトップを合わせて13種類の計測項目を作りました。
そのうち記事冒頭で比較しているのは、Webページを開いて入力できるまで、Claude Codeで新しいセッションを始めるまで、Coworkのクラウドセッションを読み込むまでの時間です。
75パーセンタイルの値で見ると、claude.aiの新規読み込みは3.1秒から0.55秒へ。Claude Codeの新規セッション開始は0.8秒から0.3秒へ、Coworkのクラウドセッション読み込みは2.6秒から0.73秒へ短くなりました。
改善幅はそれぞれ違います。Webの初回表示は約5.6倍、Claude Codeのセッション開始は約2.4倍、Coworkの読み込みは約3.5倍です。
75パーセンタイルは、計測時間を短い順に並べたときの75%地点です。
平均とは違います。全員がこの時間以内に使える、という意味でもありません。残りの4分の1は、これより長く待っています。
これは、AIの回答生成が3倍速くなったという意味ではありません。
測っているのは、ページを開いて入力できるまで、セッションを読み込むまでといった画面操作の待ち時間です。
公式記事によると、計測は利用者の操作から結果が画面に描画されるまでを対象にし、ブラウザー側とサーバー側の処理も区別したそうです。
数字の比較ができるよう、計測方法そのものを整えるところから始めていました。
改善の例もひとつ紹介されています。Web版では、ページ全体の準備が終わる前に、入力欄を先に表示する方法を取りました。
画面が完成するのを待たずに入力を始められます。待ち時間の感じ方が変わる工夫です。
「約3倍」は、どの操作でも同じではない
見出しの「3倍速く」は、Claudeのあらゆる操作が一律で3倍になった、という意味ではありません。
対象を絞った複数の操作を計測し、それらをまとめた結果です。Webの初回表示だけを見れば約5.6倍ですし、Claude Codeの新規セッション開始なら約2.4倍。どこを測るかで数字は変わります。
ここは、数字だけを切り取ると誤解しやすいところでした。
「3倍」という見出しより、何を測った数字かを先に見る。今回の記事では、測定対象がかなり具体的に書かれていたので、発表の中身を追いやすかったです。
改善の裏側では、計測方法も作り直していた
Anthropicは、利用者の操作から画面が表示されるまでを測れるように計測を足し、改善前後を比べられる状態を作りました。
実際の待ち時間はネットワークや端末の状態で揺れます。そこで、毎回同じ条件で数えられるJavaScriptの命令数やReactの再描画回数なども調べ、改善を継続的に確認できるベンチマークにしています。
最初に用意した改善目標は13項目。そのうち12項目は、スプリント開始から3日目までに達成したそうです。
当初の目標を超えた後も、新しく測れる場所を探して改善を続けたと書かれていました。
記事では、最終的に3,000件を超える変更をマージし、利用者に影響する障害やロールバックはなかったとしています。
ただ速くするだけではなく、テストや人間のレビュー、段階的な公開を組み合わせていた点も紹介されていました。
私のMacで今のClaudeを計っても、8月の改善前の記録がありません。だから同じ条件で「自分の環境でも3倍」とは確かめられませんでした。
今回確認できたのは、公式発表の数字がどの操作を指すのか、そして一つの倍率にまとめる前に何を測っていたのかです。
速度の発表を見るときは、倍率だけでなく、対象の操作・計測の位置・パーセンタイルも一緒に見る。
数字の大きさだけを追うより、どんな待ち時間が短くなったのかを知る方が、自分の使い方に当てはめやすいと感じました。
