「昨日まで動いていたAIが、今日から使えない」——これは他人事ではない
2024年2月のアップデート以降、Anthropicの開発者向けAIコーディングツール「Claude Code」が複雑なエンジニアリングタスクにおいて事実上使用不能になったという報告がGitHubのIssueトラッカーに大量に集まっている。
問題の核心は単純なバグではない。大規模アップデートによってモデルの挙動そのものが変質し、それまで安定していた複雑な推論・コード生成のクオリティが著しく低下したというものだ。
「コンテキストを維持できなくなった」「複数ファイルにまたがるリファクタリングが途中で崩壊する」「以前は一発で通っていたアーキテクチャ設計の提案が支離滅裂になった」——こうした声が、主に海外のシニアエンジニアから相次いでいる。
これを「海外の話」と読み流すのは危険だ。日本のエンジニアリング現場においても、AIコーディング支援ツールの導入・依存度は急速に高まっている。そして同じリスクに、あなたのチームは今この瞬間もさらされている。
なぜ「AIの品質劣化」はこれほど深刻なのか
従来のソフトウェアツールは、バグがあれば再現性があり、修正できる。しかしAIモデルは違う。
アップデートによる品質変化は「非決定論的」であり、同じプロンプトが昨日と今日で異なる結果を返す。 しかもその変化は公式なチェンジログには記載されないことが多い。Anthropicに限らず、OpenAIのGPT-4もMicrosoftのCopilotも、過去に「モデル更新後にパフォーマンスが低下した」という報告を受けてきた歴史がある。