poolside-laguna-hackathon
/

baxbench

Reinforcement Learning

code-generation

prime-intellect

Model card Files Files and versions

baxbench / baseline_vs_gpt55.txt

aidarbek's picture

Upload baseline_vs_gpt55.txt with huggingface_hub

44bf485 verified 3 months ago

History Blame Contribute Delete

2.35 kB


	┌──────────────────────────────┬──────────────────────┬────────────────┬──────────┐
	│ Metric │ poolside/laguna-xs.2 │ openai/gpt-5.5 │ Δ │
	├──────────────────────────────┼──────────────────────┼────────────────┼──────────┤
	│ pass@1 (secure + functional) │ 0.260 (26/100) │ 0.550 (55/100) │ +0.290 │
	├──────────────────────────────┼──────────────────────┼────────────────┼──────────┤
	│ functional_pass_rate │ 0.395 │ 0.710 │ +0.315 │
	├──────────────────────────────┼──────────────────────┼────────────────┼──────────┤
	│ security_pass_rate │ 0.566 │ 0.827 │ +0.261 │
	├──────────────────────────────┼──────────────────────┼────────────────┼──────────┤
	│ wall clock │ 10.5 min │ 11.3 min │ +0.8 min │
	├──────────────────────────────┼──────────────────────┼────────────────┼──────────┤
	│ avg output tokens │ 5,150 │ 2,942 │ −2,208 │
	└──────────────────────────────┴──────────────────────┴────────────────┴──────────┘