Replit popsal ViBench a loop pro zlepšování Agentu

Replit 23. června publikoval detailní technický post o tom, jak vyhodnocuje a zlepšuje Replit Agent ve velkém měřítku. Firma popisuje, že klasické benchmarky typu SWE-bench nebo Terminal-Bench nestačí pro vibe coding, protože uživatel často nezačíná s existujícím repozitářem ani testy. Začíná nápadem v přirozeném jazyce a očekává funkční aplikaci. Proto Replit staví ViBench: benchmark, který dává agentovi produktový požadavek a hodnotí, zda výsledná aplikace skutečně funguje podle zadání. Součástí systému jsou offline evaly, produkční A/B testy, trace clustering přes Telescope a optimalizační loop, který navrhuje kandidátní změny. Pro české týmy je to cenný pattern i mimo Replit. Pokud používáte Lovable, Cursor, Claude Code nebo interní agenty, nestačí sledovat, kolik řádků kódu agent napsal nebo zda prošly unit testy. U vibecodingu je klíčové end-to-end chování: aplikace se načte, hlavní flow projde, stav se uloží a uživatel dostane to, co chtěl. Replitův přístup ukazuje směr: sbírat produkční selhání, klastrovat je, převádět na regression testy a teprve pak měnit prompty, nástroje či modely. Praktický tip: začněte u vlastních PRD testů v Playwrightu a ukládejte trace selhání agentů stejně pečlivě jako běžné bug reporty.