FROM: https://x.com/addyosmani/status/2117512471930167377?s=12&t=4kCb1gN1qYTWVHTJnmDaKA
仕事は任せても、判断は手放さない
かつて批判的思考と言えば、新しい情報に謙虚な好奇心と適度な懐疑心で向き合うことでした。異なる意見を聞き、自分の意見を形成する。それは今も正しいのですが、私の日常では、そうせざるを得ない場面がほとんどなくなっています。仕事の多くがエージェントを通して進むからです。agentic workflow を全面的に取り入れているエンジニアやプロダクト担当者(複数のセッションを並行して走らせ、モデルが良くなることを期待している人たち)に、まずはっきり言っておきます。私はこれらのツールが大好きで、エージェントを減らそうと言うつもりはありません。
私が話したいのは別のことです。何でもエージェントに渡すのが簡単になった世界で、批判的思考をどうやって自分の日常に残すか。なぜなら、何も言わなければ、それを代わりにやってくれるものは何もないからです。
思考の余地は、数秒に圧縮された
以前は、私たちの認知的な処理や美的な判断の多くは、問いと答えの間の余白で行われていました。その余白は今、秒単位で測られます。使えば使うほど判断力を保つのは難しくなりますが、その難しさは人が想像するのとは少し違います。モデルが良くなるにつれて、明らかな誤りの割合は下がります。多くの(おそらく大半の)出力はうまく書けていて、おおむね正しい。だからこそ、二度見することを求められなくなります。
何十ものエージェントを同時に走らせていたとしても、出力を見る目はあなたの一対しかありません。だから批判的思考は、他の日課と同じように、意識して一日の中に組み込まなければなりません。これが難しいのは、agentic workflow が快適だからです。忙しい一日の中で、速くて心地よく、たいてい正しい答えが返ってくるのは気分がいい。そして、警戒を緩めるのはまさにそこから始まります。
委任から降伏までは、三段階
この話を人とするとき、私はそれをスペクトラムとして説明します。
一番上は認知的オフロード。タスクを AI に任せるけれど、結果の所有権は手元に残しておくことです。私は一日中これをやっています。あなたもやるべきです。真ん中は移譲。ツールの出力が自分の新しい入力になり、結果はもはや検証すべき仮説ではなくなります。一番下は認知的降伏。AI の出力が静かに自分のものになり、確認する必要を感じなくなる状態です。
この言葉はウォートン校の Steven Shaw と Gideon Nave が作ったもので、私が見てきたことによく当てはまります。信頼(あるいは怠惰)が増すにつれて、人はスペクトラムを下へ滑っていく。その移行はほとんど目撃されません。一歩一歩が緩やかで、それぞれがもっともらしく見えるからです。前の答えはちゃんと読んだから、次は斜め読みする。その次は骨組みだけを眺める。そしてある行について聞かれても、エージェントに助けてもらっても説明できない。
これが認知負債の溜まり方です。たいていは、システムについてのメンタルモデルを当てはめようとして、それが存在しないことに気づいたときに発覚します。Margaret-Anne Storey は、これがチームの中で共有されたシステム理論の侵食として現れることを書いています。Jeremy Twei は「理解負債」という言葉を作り、私はそのコード版について書きました。その瞬間には完全に見えません。コードベースはきれいに見え、テストも通ります。システムに変更を加えようとして、もう誰もそれを理解していないと気づくまで、明らかにならないのです。戦略ドキュメントや仕様書の目次を読んでサインした、というのも同じことです。
もちろん、不可能なことを勧めているわけではありません。大規模で現代的なコードベースの完全なメンタルモデルを維持することは不可能です。Claude Code のチームは公に、理解はオンデマンドで再構築すると言っています。ある部分を理解する必要があるとき、頭の中に全体像を保持するのではなく、Claude にその部分を説明させる。以前も書きましたが、この種の負債は多くのエンジニアが思うより回復可能です。必要なときに局所的に再構築できれば、完全なモデルを持ち続ける必要はありません。ただ、自分が何を知らないかを知っておく必要があります。
リスクが低いところでは、全部任せてしまって構いません。しかし、エージェントの助けを借りても答えを説明できないなら、あなたは所有権を手放しています。それが常に問題とも限りません。最近、コースを録画するのに、評価が似通った三つのホテルから撮影場所を一つ選ばなければならず、口コミを全部読む時間がなかったので、AI に決めてもらいました。うまくいったし、また同じことをするでしょう。ただ、私たちのお金をどう運用するか、子どものキャリアをどう助言するか、あるいは仕事で何を作るか、変更がどのユーザーに影響するか、安全にリリースできるか——これらは任せません。間違えても安く済むところで引き渡し、結果の責任を他の誰かが負うところでは推論を手元に残すのです。
問いを立てる前に、自分に六つ尋ねる
以前、自分が何を考えているかわからないとき、私は基本的な問いのリストに戻っていました。自分が正しい問題に取り組んでいることをどうやって知るのか。正しい方法で解いていることをどうやって知るのか。自分の結論を支える証拠はあるか。終わったことをどうやって知るのか。ほとんどの場合、それは who、what、where、why、when、how にすぎません。書き出すと子どもじみて見えますが、普段は無視してしまうカテゴリーで考えることを強制してくれます。今は、これを全部飛ばしてエージェントに「どうすればいいと思う?」と聞くのがあまりにも簡単です。以下が、私が今自分に尋ねている問いです。
問いを立てる前に、仮説を持ったか? 些細ではないタスクをエージェントに走らせる前に、自分が思う答えを書き留めます。頭の中だけでも構いません。的外れな推測でも大丈夫で、新しい情報が出ればいつでも考えを変えられます。ただ、うまく書かれた回答を一度読んでしまうと、他の可能性を想像するのが難しくなります。まったく見当がつかないなら、Thariq Shihipar が言う「盲点パス」を頼みます。自分が知っていることをモデルに与え、自分の unknown unknowns を見つけてもらうのです。
これは考えを助けてもらうのか、考えることをオフロードしているのか? どちらも構いません。自分がどちらをしているのかをわかっていれば。
これが間違いだとしたら、何が成り立たなければならないか? そして実際に確かめます。モデルの自信の自己評価は、自分で実行できる実際のテストにはるかに劣ります。だからテストを与えるのです。
反対の主張を、別の角度から聞いたか? ある程度オープンなテーマで強い立場を取ったとき、私は複数のモデルに反対側を論じさせ、出力を自分で読んで意見を形成します。時間はかかりますが、その主題についてずっと多くのことを知ることになります。
それを保守する人の前で、これに賭けられるか? コードにも、届けるあらゆる成果物にも当てはまります。これが「説明責任を果たせるか」の基準だと思っています。
自分は何を練習しなくなったか? 日常的なデバッグの一部かもしれません。手放すこと自体は構いませんが、それが意図的であってほしいのです。
検証を習慣にする。緑のチェックを見るのではなく
最近、検証についてよく書いています。ボトルネックがコードを書くことから「自分が正しいと確信すること」へ移ったと信じているからです。エージェントに検証の手段——エンドツーエンドテスト、プロパティテスト、あるいは実際のアプリ操作——を与えると、変更し、検証を走らせ、出力を読み、再試行するまでを、あなたが何も見る前に終わらせられます。これは Boris Cherny の言う「Claude に自分の仕事を検証する方法を与える」ことであり、良い結果を出すための最も重要な要素の一つだと思います。一行一行読む代わりに、これらのループを組み、証拠をレビューすることになります。
ただし、検証も降伏できます。「自分の結論を支える証拠はあるか」が「チェックは緑になったか」に変わるのです。エージェントはテストを書くことをあまりに安くしたので、緑をたくさん見ることになります。そして、通ったテストが壊れた機能を捕まえていないことはあり得ます。テストが機能と同じ間違いをして書かれていれば、それは通ります。緑のチェックが伝えるのは一つの性質だけなのに、すべてをカバーしていると想像するのはあまりに簡単です。チェックが緑になったら、それが何を証明したのか、そして何を証明していないのかを尋ねてください。「検証済み」は事前に定義しておくこと。後からでは、どんな結果にも理由をつけてしまうからです。
エージェントの仕事の終点は、触れられる何かであるべきです。通ったテスト、スクリーンショット、ログやトレース。そうすれば仕事の完了条件は事実になり、「終わったように見える」という解釈可能で(降伏も可能な)基準ではなくなります。エージェントから完了通知を受け取ったら、要約を読む前に、まず実行されたコマンドとその出力を確認します。
Claude Code は、新しいコンテキストの subagent に自分の仕事を批評させることもでき、サニティチェックとして使えます。思い出したときだけではなく、毎回走るようにループに組み込む価値があります。最後に私は「何か見落としている?」と聞きます。ばかげて聞こえますが、よくあることです。フロンティアモデルで複雑な機能を作り、見て、レビューして、それから「何か見落としている?」と聞くと、さらに二、三のことを返してきます。だから毎回聞くのです。
もちろん、すべてを厳密にやる必要はありません。どこで深く潜るべきかを知るのも技能です。Claude Code チームの code review に関する記事で私が一番好きな経験則はこれです。「これらのチェックが何を見逃すか言えないなら、素早い承認ではなく、本物のレビューを依頼せよ」。
これはコードの外にも当てはまります。エージェントが五十本の顧客通話や競合分析を要約してくれたなら、元の資料をいくつか抜き出して要約が正確か確認する。自分の提案が依存している数字を一つ選んで、正しく計算されているか確かめる。エージェントは検証のセットアップを安くしましたが、難しいのは、良い検証とは何かを見極めることです。
生成されたものを、実際に読む
エージェントが六百行の PR を出してきたとします。構造をざっと見て、一行一行は読みません。変数名はもっともらしく、テストも通るので、承認します。しかし真ん中のどこかに、トランザクション境界の微妙な順序変更や、考えもしなかったエッジケースのデフォルト値の反転が紛れ込んでいます。あなたは確かにレビューしました。ただし、自分がすでに見つかると知っているものだけを。
コードを書くこととレビューすることは別の技能で、レビューはある地点からスタンプを押す作業に変わります。だから diff を AI が書いていないつもりで読み、さらに diff の先へ進んで、エージェントが下した判断を見ます。長いセッションの間、それはあなたのために多くの小さな決定をしています。デフォルト値、何をスコープ外とするか、二つの要件が衝突したときにどちらを再解釈したか。それらは「すべて順調」という要約には出てきません。だから、下した決定と前提を列挙させ、自分自身にクイズを出します。いくつかの行をランダムに選んで、この行は何をしている?あの行は?ドキュメントなら、閉じて、主な論旨を記憶から書き出してみる。長いセッションで私が好きな習慣があります。Claude に変更レポートを書かせ、最後にクイズを付けさせ、「満点で合格するまでマージしない」というルールにするのです。
自分が届けるものを、弁護できる程度に理解すること。いつか、誰かが聞きに来るのですから。
エージェントは注意力を守ることもできます。たとえば私のオープンソースプロジェクトには多くの pull request が届きます。エージェントを使って、何が来ているか、どれがガイドラインに反しているか、どこに私の注意が必要そうかを判断します。エージェントに自己判断させることはほとんどありませんが、私が集中すべき範囲を絞ってくれます。そして私は、これらの変更が正しい問題を正しい方法で解いているかを本当に考えることができます。
それから量の問題があり、それについては自分に正直でなければなりません。私はこれを「オーケストレーション税」と呼んでいます。エージェントが生み出すものと、自分の名前を出してもいいと感じるものとの間のギャップです。完成した仕事が処理できる速さより速く積み上がるなら、そのギャップを埋めるまで、セッションをもう一つ開いても役に立ちません。チェックを厳しくして、あなたを必要とするものを減らすか、速度を落とすかです。自分が責任を持てる量を超えて産出しているとき、あなたはもうレビューしていません。願っているのです。
質を入れれば、質が出てくる
人のメンタルモデルは今も関与していますが、その位置は真ん中から前端と後端へ移りました。エネルギーを注ぐのは、タスク記述とコンテキストという前端、そして出力をレビューする後端です。だからこそ良い入力が出力の質にとって重要であり、私は良いプロンプトを批判的思考の技能だと考えています。
歴史的には、具体的でない依頼をすれば誰かが問い返し、あなたは「ああ、実はちゃんと考えていなかった」と気づくかもしれません。エージェントはたいていそこで止めません。あなたが省いた部分を補い、見た目は完成したものを返します。たとえその背後にある考えがまだぼんやりしていても。私はこれを「意図負債」と書きました。自分が書いていない成果物の中に存在する、暗黙の目標、制約、根拠のことです。他の負債と違い、これは誰も代わりに返せません。意図はあなたから出てこなければならないのです。
あなたのプロンプトは、問題に対するあなたの理解の反映です。うまく表現できないなら、それはあなたの頭の中でも明確でないのかもしれません。
助けを求める前に、自分の言葉でリクエストブリーフを書いてください。読者、スコープ外のもの、完了の定義を記述します。二回目の修正でそこに到達できないなら、微調整をやめてプロンプトを書き直してください。
これはエージェントに手伝ってもらうこともできます。私は Andy Clark の、AI システムへの「委任」と「協働」の区別が好きです。後者では、あなたは相互増幅の好循環の中にいます。プロンプトが出力を鋭くし、それが次のプロンプトを鋭くし、問題についてのメンタルモデルを鋭くする。明確でないなら、エージェントに自分が理解していないことをインタビューしてもらいましょう。セッションを終えるときに自分のメンタルモデルが洗練されていたら、それは成功のサインです。
入力にも注意してください。各エージェントが前のエージェントの要約を自分のコンテキストに入れるのは簡単で、しばらくすると三人目のエージェントは元の文書を読んでいない、ということになります。
出力について自分なりの基準も必要です。私は多くの創作メディアで AI を試しましたが、そのほとんどは私の基準を満たさないので人に見せていません。今はすべてがきれいに整形され、自信ありげに見えるので、洗練はもはや有用なシグナルではありません。AI が生産を速くしたとしても、その出力を自分の名前に帰すことに抵抗があるなら、私はそれを出しません。
基準に達しないものがあれば、なぜかを共有設定やフック、テストに記録して、二度と起こらないようにします。センスはそうやって複利で積み上がるし、なぜ落としたかを書き留めること自体が良い習慣です。
「でもモデルはそのうち私より上手くなる」
この分野の将来について、私の周りの多くの人と同じくらい強気なら、ここまでの節で何度かこう思ったかもしれません。一年か二年で、モデルは私が検出できるものを検出できるようになる。なら、なぜこの技能を維持するのか?
検出の多くについてはあなたが正しいかもしれませんし、私自身も検出をどんどんエージェントに任せるべきだと主張してきました。それでも私が重要だと思う理由はこうです。結局のところ、出荷されるものには誰かが責任を負います。AI がどれだけ助けたとしても、人間が責任を引き受けなければならない。
あるタスクについてエージェントをどこまで信頼するか、という問い自体が判断です。キャリブレーションを保つことの一部は仕事をレビューすることです。モデルが間違えるところは変わり続けるからです。Anthropic 自身のエンジニアと研究者に関する調査は、この罠を「監督のパラドックス」と呼んでいます。「Claude を監督するには、AI の使いすぎで萎縮するかもしれないコーディング技能そのものが要る」。
私にとって最も重要なことのいくつかは、より良いモデルでは解決されません。何を作っているのか、なぜ価値があるのか、誰に影響するのか、何を犠牲にするのか。これらはすべてあなたが答えるべき問いです。エージェントはそれを考える手助けができるし、私もそうしてほしいと思いますが、最終的にはあなたのものです。
仕事をオフロードしても、監査の大部分をオフロードしても、説明責任はオフロードできません。
日常に置くいくつかの実践
これらをすべて厳密にやる必要はありません。自分のワークフローに合うものをつなげばいい。
週に一度、エージェントを使わずに少しコードを書く。あるいは、やり方を忘れたら困るような本物のことを一つやる。私はこれをキャリブレーション演習と呼んでいますが、道徳的な話ではありません。月に一度、自分がやらなくなったことを書き出し、そのうちどれをやらなくてよいか決める。私の古いブログの問いは今も有効です。AI が存在しなかったら、あなたはどれくらい迷子になるだろうか?
理解を超えているものがあれば、学びに行く。文章を書いていて見慣れない言い回しに出会ったら、一行の説明を検索して入れれば済むかもしれません。でも私は少し調べてきちんと理解する方が好きです。そうすれば、それがどこに位置するかが見えるから。
機械をきちんと検査することは本物の仕事で、そうでないふりをすると、チームは最後にはそれをやらなくなります。無料ではないので、項目としてスケジュールに組み込めば、実際にやるようになります。
練習をやめた技能は失われます。しかも、あなたが思うより速く。手放したくないものは続けてください。
持っていくもの
意図的に。エージェントはあなたにクイズを出し、インタビューし、証拠を見せることができます。でも、あなたがそう設定して初めてそれが起こります。だから設定してください。
スペクトラム上の自分の位置に正直に。エージェントの助けを借りても答えを説明できないなら、あなたはそれを降伏しています。
仮説を持ってください。質問する前に一つ作る。たとえひどくても。
緑のチェックは一つのことしか意味しません。何をチェックしたのか?何をチェックしなかったのか?
証拠を探してください。要約を読む前に、何を実行し、何が返ってきたかを読みます。
それが下した決定を読んでください。何をあなたの代わりに決めたのか?
プロンプトを磨いてください。どう書くかが、あなたが問題をどれだけ理解したかを示します。
基準を設け、守ってください。自分の名前にできないなら、外に出さない。
手で重要な技能を適用して、ゲームに残り続けてください。一つできることがあります。聞く前に自分がどうなると思うかを書き、エージェントが終わった後にそれがチェックしなかったことを一つ書く。それが出力の読み方を変えるか、試してみてください。独立して考える。より良い問いを立てる。結果に責任を持つ。

