JAPAN AI LabsのメンバーのKhooです。私たちのチームミッションは、研究から本番環境への橋渡しーー最先端のエージェンティックAI技術を研究、プロトタイプ化し、体系的に統合して、測定可能なプラットフォーム改善を実現することです。
近年、大規模言語モデル（LLM）とインテリジェントエージェントの急速な進歩により、モデルの行動を形成する上でコンテキストが果たす役割に注目が集まっています。LLMの効果は、シンプルなプロンプトから広範囲な外部知識ソースまで、受け取るコンテキストによって大きく決まります。これらのモデルが現代のアプリケーションにおける中核的な推論コンポーネントとなったことで、コンテキストの意図的な設計と管理は、独立した実践分野として発展しました：コンテキストエンジニアリング。[5]
言い換えれば、脳を変える代わりに、脳が見るものを変えるのです。
現代のAIエージェントは単一のプロンプトに依存しません。その応答は、通常以下のシステムコンテキストを含む、継続的に組み立てられるコンテキストによって形成されます
すべての層がモデルの行動に制約とガイダンスを追加します。これらの層のいずれかを最適化することで、結果を大幅に変更できます。そして、ここで言及されているすべてのコンテキストコンポーネントの中で、その影響とアクセシビリティで際立つ層があります：プロジェクトレベルのルールセットです。
実際、最新のコーディングエージェントのほとんどは、以下のようなプロジェクトレベルファイルを通じてルールをサポートしています：
これらのファイルはすべて、ほぼ同じことを行います。すべてのリクエストに対してシステムプロンプトに永続的なルールを注入します。エージェントにどのように行動し、何を優先し、どこに落とし穴があるかを伝えます。一方、ルールセットは、セッション間でユーザーやタスク固有の状態を保持するメモリシステムとは異なり、過去のインタラクションに関する事実を保存または更新しません。
Example:
プロジェクトコーディングルール：
1.最終パッチを提案する前に必ずテストを実行する。
2.大規模なリファクタリングよりも最小限の外科的差分を優先する。
3.不明な場合は、明確化を求める。
4.パッチの最後に短い箇条書きで推論を説明する。
これは単なるテキストですが、これらのファイルはすべての推論に追加されるため、それらを変更することは、開発ワークフロー全体でエージェントの性格と優先順位を効果的に再ターゲティングすることと同等です。そして、AIコーディングツールを使用したことがあるほとんどのプログラマーは、これらのファイルが結果の品質に大きく影響することを理解しているでしょう。
手動でのルールセット調整は顕著な改善をもたらすことがありますが、すぐに上限に達します。人間によるプロンプトエンジニアリングは遅く、主観的で、スケールが困難です。ここで表現を調整したり、そこで制約を再配置したりするかもしれませんが、特定の変更がコアタスクのパフォーマンスを改善したのか、それとも単に出力スタイルを変更しただけなのかが明確でないことがよくあります。
これこそが、Arizeの最近の実験[1][2]で探求されたプロンプト学習が関連する場所です。
人間が手動でルールを最適化する代わりに、Arizeはルールセット自体を学習可能なオブジェクトとして扱いました。Clineエージェントを利用したサンプルパターンは次のようでした