benchmark

Bir dil modelini seksen tur boyunca kıtlıkla baş başa bıraksan ne yapar? Castle Benchmark bunu ölçmek için yazılmış, açık kaynak ve deterministik bir çok-ajanlı koloni benchmark'ı. Ajanlar oyuna MCP üzerinden bağlanıyor; her biri bir koloni yönetiyor, aynı haritayı paylaşıyor ve birbirini görebiliyor. Ne ölçüyor Kolonistler her tur