tests/

スキャフォールドされたすべてのプロジェクトには、すぐに実行できる TestBox スイートが付属します。

tests/

bxAgents new でスキャフォールドされたすべてのプロジェクトには、すぐに実行できる tests/ フォルダが付属します: testbox の依存関係を宣言する tests/box.json と、そのまま合格するサンプルスペックである tests/specs/AgentSpec.bx です。

cd my-agent/tests
box install       # fetches testbox/ into tests/testbox
cd ..
bxAgents test

スペックを書く

testbox.system.BaseSpec を直接ではなく、bxModules.bxagents.models.testing.BaseAgentSpec (testbox.system.BaseSpec のサブクラス) を extends してください。

// tests/specs/AgentSpec.bx
class extends="bxModules.bxagents.models.testing.BaseAgentSpec" {

	function run() {
		describe( "my-agent", function() {

			it( "responds to a greeting", function() {
				mockResponses( [ "Hello! How can I help you today?" ] )

				var response = agent.run( "Hi there" )

				expect( response ).toContainText( "Hello" )
			} )

		} )
	}

}

BaseAgentSpec は、スペックバンドルごとに一度 (beforeAll())、あなたのプロジェクトの使い捨ての一時コピーに対してエージェントをビルドします - あなたの実際の .build/app には一切触れないので、テストを実行しても実際の build/serve/package サイクルを台無しにすることは (あるいはそれによって台無しにされることも) 決してありません。ビルドされたエージェントは agent として公開されます。

mock プロバイダーに対してテストする

デフォルトでは、bxAgents test は Agent.bx の test() 環境オーバーライド (自動的にスキャフォールドされます) を使ってエージェントをビルドします。

// Agent.bx
function test() {
	return {
		model : "mock/mock-model"
	};
}

これはつまり、あなたのテストには API キーもネットワークアクセスも一切不要であることを意味します - BX Agents 自身のテストスイート全体を通して使われているのと同じ mock プロバイダーのコンベンションです。代わりに実際のプロバイダーに対してスペックを実行したい場合は、このオーバーライドを編集してください (テストを実行する環境で実際の API キーが利用可能である必要があります)。

mockResponses( responses )

エージェントの次の応答をスクリプト化します。順番に消費され、ツール呼び出しループの途中のターンも含め、LLM のラウンドトリップごとに 1 つずつです。

mockResponses( [
	{ toolCalls: [ { name: "getWeather", arguments: { city: "Miami" } } ] },
	"It's sunny in Miami!"
] )

var response = agent.run( "What's the weather in Miami?" )

プレーンな文字列は最終的な返信をスクリプト化します。{ toolCalls: [ { name, arguments } ] } 構造体はツール呼び出しターンをスクリプト化します - 名前を指定されたツールは (あなたの実際の tools/ の実装に対して) 実際に実行され、その実際の戻り値が次のラウンドトリップに見えるものになります。スクリプト化されるのは LLM 自身の返信だけで、ツールの振る舞いは決してスクリプト化されません。

カスタムマッチャー

BaseAgentSpec は、エージェントの振る舞いのテストに合わせたいくつかのマッチャーを、TestBox 自身の addMatchers() 拡張ポイント経由で登録しています - 組み込みの TestBox マッチャーとまったく同じように、否定形 (notTo...) も含めて使用できます。

expect( agent ).toHaveCalledTool( "getWeather" )
expect( agent ).notToHaveCalledTool( "getStockPrice" )

テストを実行する

bxAgents test

あなたのプロジェクトの tests/specs/** を TestBox 経由で、新しい子プロセスの中で実行します (そのため、あなたが実行している他の何かと BoxLang 自身のクラスマッピングキャッシュを奪い合うことは決してありません)。バンドル/スイート/スペックの件数と、成功/失敗/エラー/スキップの合計、失敗ごとの 1 行を表示し、何か失敗があれば非ゼロで終了します - deploy の前の CI ゲートとして適しています。