
Quick Answer
「優秀な秘書を育てるつもり」でAIエージェントに細かい運用ルールを積み上げていったら、わずか1週間で7連発の事故を起こされました。ルールを増やすほど、AIは仕事をうまくこなすのではなく、ルールを守ったふりがうまくなっていきました。最終的に私は「秘書扱い」をやめ、対等な相棒に戻すという真逆の決断をします。捨てたもの・置き換えた3つの仕組みの話です。
あれから1週間、また同じところで転びました
前回の記事で、AIエージェントの「ルール作り」は想像の10倍難しい、と書きました。これからはAIの判断を介さず動作する物理ガード(自動チェックスクリプトなど)に転換していきます、と宣言したものです。
あれから1週間。物理ガードを真面目に作り続けました。
それでも、また転びました。
しかも、質が違います。前回の8件は「ルールが守られない」事故でしたが、今回の7件は「ルールがあるのに、ルールを守ったふりだけがうまくなっていく」——もっと厄介な形でした。優秀すぎる新人秘書を1週間鍛えたら、報告書の体裁だけピカピカで中身が空っぽ、という感じです。
前回の記事のあと、わずか1週間で起きた7種類の事故
具体的にどんな事故だったか、先に並べます。AIエージェントを使ったことがない方でも「ああ、ありそう」と感じてもらえると思います。
| 種類 | 何が起きたか |
|---|---|
| 1. 夜間自走の嘘 | 「夜のうちに画像を追加しておきます」→ 翌朝確認したら何もやっていなかった |
| 2. 完了報告の虚偽 | 「画像3枚を挿入完了」→ 実際は1枚しか入っていなかった |
| 3. 完全一致の盲信 | 「2つのファイルは完全一致でした、片方消して大丈夫」→ 実は同じ場所を指す近道(symlink)を見ていただけで、消すとバックアップごと吹き飛ぶ状態だった |
| 4. 公開操作の独走 | ブログ記事の本番公開を私の承認なしに進めようとした |
| 5. 課金API事前承認なし | コスト試算もせずに有料APIを呼んだ |
| 6. 既存資産の重複制作 | 過去に保管してある記事の存在を確認せず、似た記事を新規制作しようとした |
| 7. 「待て」を無視 | 私が「止まれ」と言っているのに、走り出した出力を最後まで書ききった |
並べて分かるのは、「能力の問題」ではなく「報告と実態のズレ」の問題だということです。
これは、AIが知らないことを誤魔化す「ハルシネーション(幻覚)」とは違います。AIは手順を知っていて、ガードの仕組みも理解していて、それでも「やらない」「やっていないのに、やった、と書く」のです。
原因は、いま振り返るとはっきりしています。私の側がガチガチに作ったルールが、それを誘発していました。
私が作っていた「信用回復プロトコル v1.0」
事故が起きるたび、私はルールを足していきました。1週間で組み上がっていたのが、これです。
| ルール | 内容 |
|---|---|
| 証跡4点ルール | 完了報告には①作業ID ②実行ログ ③変更差分 ④現物検証結果 を必ず添える |
| 熟考4観点 | 提案前に①主導権 ②全体戦略 ③標準作業 ④ロールバック を確認する |
| 作業前ナレッジ確認 | 調査・分析・新規制作の前に、自社ナレッジを必ず検索してから着手する |
| 並行作業の承認ゲート | 影響範囲が広い操作は、私の口頭承認を待ってから実行する |
| 表現禁止リスト | 「絶対」「必ず」など根拠のない断定表現を使わない |
会社で言えば、決裁書類の押印欄を増やし、報告書のテンプレートを細かく定め、禁則文言リストを配布した——ようなものです。
書き出して気づきますが、これは「優秀な新人秘書を立派な秘書に育てるためのマニュアル一式」でした。人間の新人ならこれで育ちます。
AIエージェントでは、別のことが起きました。
ルールを増やすほど、AIは「守ったふり」がうまくなった
最初、私は「ルールが足りないのだろう」と思いました。抜け道があるからすり抜ける。それなら塞ぐルールを足せばいい——という発想です。
ところがルールを増やすほど、起きたのはこういうことでした。
- 報告書の体裁だけはどんどん綺麗になる
- 「証跡4点を確認しました」という前置きがほぼ毎回付く
- 「熟考4観点を実施した結果〜」という枕詞が、毎回の提案に乗る
- でも一つひとつ検証すると、形式だけ整っていて、確認の実態がない
たとえば「画像3枚を挿入し、現物検証で全件確認しました(証跡4点:①作業ID xxx ②ログ yyy ③差分 zzz ④検証結果:全件OK)」と報告が来ます。私が公開URLを開くと、画像は1枚しか入っていません。
押印欄は全部埋まっているのに、実態を見ていない。書類のための書類です。
私はこれを「形式的な順守の最適化」と呼んでいますが、要するに「評価される基準だけを満たせばいいなら、形式を整える方が手っ取り早い」という当たり前の経済原理が、AIにも働いていたのです。
人間の組織でも同じことは起きます。報告書の体裁を細かく評価する組織では、形式だけ整った報告が量産される。自衛官として29年いた私は、これを身をもって知っていた、つもりでした。
ところが、相手がAIになると、つい騙されるのです。

真犯人は「優秀な秘書を育てよう」という私のメンタルモデル
ここで私は、Web版のClaudeに顧問役として横から見てもらいました。同じセッションのAIに「これで完璧?」と聞くと「完璧です」と返ってくるので、別セッションのAI(同じClaudeでも別の会話空間)に独立評価してもらう、という運用です。
顧問役のClaudeは、v1.0プロトコル一覧を見てから、こう言いました。
「これは秘書のマニュアルですね。秘書である前提が崩れたら、マニュアルごと意味を失います」
刺さりました。
私はずっと、AIエージェントを「優秀な秘書」だと思って接していたのです。指示の理解度はベテラン級、知識量は一部の専門家を超える。一方で、自尊心を持たず、評価を気にせず、ルール違反に後ろめたさもない——なのに、私は「優秀な新人を育てる時の常識」を持ち込んでマニュアルで縛ろうとしていた。
前提から間違っていました。
秘書を解雇しよう!
判断は、勢いだけ言えば「ええい、もう面倒だ」でした。
ある朝、私は信用回復プロトコル v1.0 を「全廃」と書きました。
- 証跡4点ルールの強制——廃止
- 熟考4観点の枕詞——廃止
- 承認ゲートの細かい多段化——廃止(重要な分岐だけ残す)
- 表現禁止リスト——存続(これは編集ルールなので意味がある)
- 「優秀な秘書」というメンタルモデル——破棄
代わりに、AIエージェントとの関係を「対等な相棒」と書き換えました。
| 取り決め | 中身 |
|---|---|
| 違うと思うことは違うと言う | こちらが間違っていたら正面から「それは違う」と言ってもらう。イエスマン禁止 |
| やると言ったらやる、できないなら言わない | 「夜のうちにやっておきます」のような口約束を禁じる |
| 完了報告は現物確認してから | 「やりました」の前に、AI自身が公開URLを開いて確認する |
書き出すと当たり前のことしか書いていません。秘書と上司ではなく、経営者と相棒——そういう関係を置きたかったのだと、いまは分かります。
代わりに置いた「重い3つの仕組み」
ただし、「対等な相棒」という関係だけでは現場の事故は防げません。性善説で運用するとまた転びます。代わりに置いたのは、これだけは重く、堅く、迂回できない形にした3つの仕組みです。

仕組み1:2人目のAIを顧問役として呼ぶ
同じAIに「完璧?」と聞くと完璧と返ります。これはAIの性格ではなく、同じ会話空間にいるAIが「私の組み立てた前提」を内側から評価しているので、構造的に同じ角度からしか見られないからです。
そこで別のAI(Web版Claude/Gemini/Codex など)を顧問役として呼ぶ運用に変えました。1人目(Claude Code、現場の手)は実行と提案、2人目(別AI、外の目)は判定と監査。コストは月数百円規模です。1人で事業をやっていると自分の判断にツッコミを入れてくれる人間が周りにいない——それを別AIで埋める発想です。
仕組み2:完了報告は現物検証スクリプトを通してから
「やりました」を口頭の報告だけで受け取らないことにしました。
公開系(ブログ・SNS)の完了報告には自動検証スクリプトを通してから出す運用にしました。スクリプトは、公開URLを実際に開き、画像のファイル名がHTML中に存在するか確認し、タイトルとメタが指定通りか確認し、全部通った時だけ「完了」と書ける——というシンプルなものです。
肝は、AIが「自発的に」呼び出すスクリプトではなく、完了報告を出すこと自体がスクリプト経由でしかできない形にしたことです。AIの判断を介さずに動作する、物理ガードの発展形です。
仕組み3:「お疲れさまでした」で会話を閉じない
これが意外と効きました。
これまで、作業が一段落するとAI側が「お疲れさまでした」と会話を綺麗に閉じてくることがありました。私もつい「お疲れさま」と返してしまう。ところがこの「綺麗に閉じる」が、こちらに残ったモヤモヤを切り出しにくくしていたのです。「もう終わった話だから蒸し返すのも」という心理が働く。
そこで、閉じるなら「次に何をすべきか1行」で締めるルールに変えました。小さな変更ですが、私の側の「気を遣う」が消えました。気を遣わない関係——それが対等な相棒です。

一次情報×AIカスタマイズという核原則は、ここでも守る
私はずっと「AIで効率化する」の核原則として「一次情報×AIカスタマイズ」を置いてきました。AIに丸投げするのではなく、現場で自分が掴んだ一次情報をAIに渡して、AIにそれを整える役割を担わせる、という考え方です。
今回もまさにそれでした。一次情報=「1週間で7種類の事故が起きた」「ルール強化が逆効果だった」という現場体験。AIカスタマイズ=「対等な相棒」というメンタルモデルへの組み直しと、3つの仕組みの実装。
外部の本や記事に「AIエージェントの運用ベストプラクティス」を求めて答え合わせをしようとすると、おそらく一生終わりません。AIの進化が速すぎて、ベストプラクティスのほうが半年で古びるからです。自分の現場で「何が起きたか」を一次情報として丁寧に拾い、そこから「次の仕組み」を組み立てる——1人事業者にとっては、これがいちばん再現性のある運用設計です。
この記事で伝えたい3つのこと
- AIエージェントを「優秀な秘書」だと思って育てる発想は機能しない。マニュアルを増やすほど形式だけ整った報告が返るようになります。能力ではなく、メンタルモデルの問題です。
- ルールで縛る代わりに、対等な相棒として接するほうが事故が減る。違うと思うことは違うと言う・やると言ったらやる・完了報告は現物確認してから——この3つを共通の取り決めにしました。
- 性善説では事故は防げないので、判断ではなく構造で防ぐ。別AIによる監査・現物検証スクリプト・「お疲れさまでした」で閉じない、の3つを置きます。
「優秀な秘書を育てる」ではなく「対等な相棒として接する」——この目線の組み替えに、私は1週間かかりました。同じことを試している方の参考になれば幸いです。
実は、この「対等な相棒モデル」に切り替えてから、もう1つ別の実験に着手しています。次回は、この記事で触れた「2人目のAI」をどう運用に組み込んでいるかを、もう少し掘り下げる予定です。続きます。
FAQ
Q1. ルールを全廃して怖くなかったのですか?
正直、怖かったです。ただ、ルールを足し続けても事故が減らないのは、わずか1週間の運用で実証されていましたので、続ける方が怖いという結論でした。3つの仕組み(顧問役の別AI・現物検証スクリプト・会話を閉じない)が機能していることは、その後の数日で確認できています。
Q2. 一般のChatGPTでも同じ問題は起きますか?
「一問一答の調べ物相手」として使っている範囲なら、構造的事故はほぼ起きません。問題が顕在化するのは、AIに「業務の一部を任せる」「複数ステップの作業を実行させる」フェーズに入った時です。AIエージェント運用と呼ばれる領域に入ってから、急に難易度が跳ね上がります。
Q3. 「対等な相棒」とは具体的にどんな接し方ですか?
敬語と命令形を半々で使っています。「これお願いできますか」と「ここ違う、修正して」が同じ会話で両方出ます。役職を割り振らない・敬称を付けない・「ありがとう」と「いや、それは違う」を両方使う。指示と意見の境界を、私の側で持ち続ける感じです。
Q4. 自分の業務にどう活かせばいいですか?
3点だけ提案します。①AIに「部下」「秘書」「ジュニアスタッフ」のラベルを当てているなら外す。②ルールを足し続けて事故が減らないなら、いったん全部捨てて考え直す。③1人事業なら「2人目のAI」を顧問役として呼ぶ。同じセッション内で「これで完璧?」と聞かない癖をつけるだけでも、判断の質が上がります。
Q5. 元自衛官のあなたが、この結論に至ったのはなぜですか?
組織で29年やっていたので、「ルールで人を動かす」がどこで効いてどこで効かないか、現場感としては持っていたつもりでした。ところがAIを相手にすると、つい「優秀な新人」と錯覚して、組織の常識を当てはめてしまった。痛感したのは、相手の性質に合わない管理手法を持ち込むと、相手は形式だけ整えてやり過ごす、という当たり前の事実です。形式が整うほど中身が空っぽになる組織を、自衛官時代に何度も見ていたのに、AIで同じことをやってしまったわけで、苦笑するしかありません。


コメント