mirror of
https://github.com/openswarm-ai/openswarm.git
synced 2026-08-17 18:25:42 +02:00
arena: WebChoreArena reddit partition (deterministic evals, their max_steps=50)
Co-Authored-By: Claude Fable 5 <noreply@anthropic.com> Claude-Session: https://claude.ai/code/session_01WsbS5x2rYsMDxP2kW3qqmQ
This commit is contained in:
co-authored by
Claude Fable 5
parent
2aade59eb5
commit
60318f2c1f
@@ -0,0 +1,100 @@
|
||||
{
|
||||
"benchmark": "webchorearena",
|
||||
"site": "reddit",
|
||||
"filter": "deterministic evals only (no fuzzy LLM judging)",
|
||||
"max_steps": 50,
|
||||
"universe": 91,
|
||||
"tasks": [
|
||||
"30000",
|
||||
"30001",
|
||||
"30010",
|
||||
"30020",
|
||||
"30021",
|
||||
"30022",
|
||||
"30023",
|
||||
"30024",
|
||||
"30030",
|
||||
"30031",
|
||||
"30032",
|
||||
"30033",
|
||||
"30034",
|
||||
"30040",
|
||||
"30041",
|
||||
"30042",
|
||||
"30043",
|
||||
"30050",
|
||||
"30051",
|
||||
"30052",
|
||||
"30053",
|
||||
"30054",
|
||||
"30060",
|
||||
"30061",
|
||||
"30062",
|
||||
"30063",
|
||||
"30070",
|
||||
"30071",
|
||||
"30072",
|
||||
"30073",
|
||||
"30074",
|
||||
"30080",
|
||||
"30081",
|
||||
"30082",
|
||||
"30083",
|
||||
"30084",
|
||||
"30090",
|
||||
"30091",
|
||||
"30092",
|
||||
"30093",
|
||||
"30094",
|
||||
"30100",
|
||||
"30101",
|
||||
"30102",
|
||||
"30103",
|
||||
"30104",
|
||||
"30110",
|
||||
"30111",
|
||||
"30112",
|
||||
"30113",
|
||||
"30114",
|
||||
"30120",
|
||||
"30121",
|
||||
"30122",
|
||||
"30123",
|
||||
"30124",
|
||||
"30130",
|
||||
"30131",
|
||||
"30132",
|
||||
"30133",
|
||||
"30134",
|
||||
"30140",
|
||||
"30141",
|
||||
"30142",
|
||||
"30143",
|
||||
"30144",
|
||||
"30150",
|
||||
"30151",
|
||||
"30152",
|
||||
"30153",
|
||||
"30154",
|
||||
"30160",
|
||||
"30161",
|
||||
"30162",
|
||||
"30163",
|
||||
"30164",
|
||||
"30170",
|
||||
"30171",
|
||||
"30172",
|
||||
"30173",
|
||||
"30174",
|
||||
"30180",
|
||||
"30181",
|
||||
"30182",
|
||||
"30183",
|
||||
"30184",
|
||||
"30190",
|
||||
"30191",
|
||||
"30192",
|
||||
"30193",
|
||||
"30194"
|
||||
]
|
||||
}
|
||||
Reference in New Issue
Block a user