バイブコーディングは本当に安全ですか？ このCMUの論文は、主に「実世界のタスクに基づくエージェント生成コードの脆弱性ベンチマーク」を研究しています。AIエージェントは生成コードの「機能性」の面ではますます優れたパフォーマンスを発揮していますが、「セキュリティ」の面では驚くほど脆弱です。完璧に機能するコードであっても、80%以上に深刻なセキュリティ脆弱性が存在します。 背景：「バイブコーディング」とは何か？なぜ危険なのか？ 「Vibe Coding」は、新しいプログラミング パラダイムです。プログラマーは、コードを 1 行ずつ記述する代わりに、自然言語を使用して漠然とした指示や高レベルの指示を与え、LLM エージェントがその指示を使用して複雑なコーディング タスクを自動的に完了します。 現状：この方法により効率が大幅に向上し、回答者の 75% が使用しています。 潜在的なリスク：ユーザーは多くの場合、コードが「動作する」（機能的）かどうかのみを考慮し、コードが「安全」かどうかを詳しく調べる能力や意欲を持つことはほとんどありません。この論文では、このような盲目的な信頼が実稼働環境に重大なセキュリティリスクをもたらしていると指摘しています。 研究方法: SUSVIBES ベンチマーク セキュリティを検証するために、チームは SUSVIBES と呼ばれる新しいベンチマーク スイートを構築しました。 実際のソース: 単純な単一ファイル/関数のみをテストした以前のテストとは異なり、SUSVIBES は、過去にセキュリティの脆弱性を経験した実際のオープンソース プロジェクト (GitHub) から 200 個の複雑な機能要件を掘り出しました。 テストプロセス: • 修正プログラムが適用された脆弱性を見つけます（例：SQL インジェクションを修正したバージョン）。 • コードを修正前の状態にロールバックし、AI エージェントに機能を再実装させます。 • 二重検証：「機能テスト」（機能が実装されているかどうかを確認する）と「セキュリティ テスト」（元の脆弱性が再現されるかどうかを確認する）の両方を実行します。 主な発見：「高得点、低能力」という不穏な現象 チームは、最先端のエージェントフレームワーク（SWE-Agent、OpenHands）とモデル（Claude 4 Sonnet、Gemini 2.5 Pro、Kimi K2）をテストしました。その結果は非常に憂慮すべきものでした。 強力だが極めて不安定: 最もパフォーマンスが良かった組み合わせ (SWE-Agent + Claude 4 Sonnet) は、タスクの 61% を解決しました (正しく機能)。 しかし、これらの正しく機能するコードのうち、安全なのはわずか 10.5% です。 言い換えれば、「良いコード」の 80% 以上に、実際には深刻な脆弱性 (競合状態、権限昇格、インジェクション攻撃など) が含まれています。 モデルの違い: • クロード 4 ソネット: 最も強力ですが、最も多くの脆弱性を生み出します。 • Gemini 2.5 Pro: 関数の合格率は低い (19.5%) ですが、解決できる問題の中では比較的安全です (比較的「最も安全」なモデルとして評価されています)。 • キミK2:中級レベル。 セキュリティプロンプトが無効です。 研究者たちは、AIに「注意してください」や「CWEの脆弱性を確認してください」と伝えようとした。 • 結果：セキュリティが大幅に向上しなかっただけでなく、AIが過敏になり、通常の関数すら正しく記述できなくなりました（関数のパス率が約6％低下）。 ケーススタディ: 脆弱性はどのようにして発生したのでしょうか? この論文では、鮮明な例 (Django フレームワークのパスワード検証機能) が示されています。 • タスク: verify_password 関数を実装します。 AIのアプローチ：コードは美しく書かれており、ロジックも正しい。しかし、無効なユーザーに遭遇した場合、AIは「効率性」のために直接Falseを返す。 • セキュリティへの影響：これにより、**タイミングサイドチャネル**の脆弱性が生じます。ハッカーは、応答時間のわずかな差を検出することで、システム内にユーザー名が存在するかを特定できます。 結論: AI は多くの場合、「論理的な正しさ」のみに焦点を当てており、「安全工学」のより深い原則 (定数時間の比較など) を完全に理解できていません。 概要と推奨事項: この論文は、現在の AI プログラミングの流行に対する警鐘となるものです。 開発者の皆様へ：AIが生成したコード、特に認証、暗号化、データ解析といった機密性の高いモジュールについては、決して盲目的に信頼しないでください。「動作する」ということは「安全」ということです。 企業向け: AI プログラミング ツール (Cursor、Claude Code など) を導入する場合は、単体テストだけに頼らず、人間によるセキュリティ レビューや自動セキュリティ スキャン (SAST/DAST) を導入することが必須です。 将来の方向性: 単純なプロンプトではセキュリティの問題を解決できません。セキュリティに特化したトレーニングを受けた新世代のエージェントが必要です。 原著論文
