Supabase vydal evals pro AI agenty

Supabase open-sourcuje benchmark, který měří, jak dobře Claude Code, Codex nebo OpenCode staví se Supabase. Hodí se všem, kdo agentům svěřují databázi, Auth nebo RLS.

Supabase 31. července představil `supabase/evals`, open-source benchmark a framework pro testování toho, jak dobře AI coding agenti zvládají reálné Supabase úlohy. Nejde o abstraktní benchmark typu „vyřeš algoritmus“, ale o praktické scénáře: návrh schématu, oprava nefunkční Edge Function, práce s Auth, RLS policy nebo interakce přes Supabase CLI a MCP server. Supabase testuje různé agentní harnessy včetně Claude Code, Codex a OpenCode proti reálnému Supabase prostředí a kombinuje deterministické kontroly s LLM-as-a-judge tam, kde je potřeba semantické hodnocení. Pro vibecodery je to velmi užitečné, protože databáze je místo, kde AI-generated appky často selžou nejbolestivěji: špatné RLS, ručně napsané migrace, zastaralé SDK patterny nebo chybějící ověření uživatele. Supabase píše, že evals používá i jako interní regression suite, aby zlepšení dokumentace, skillů a MCP opravdu měřili. Praktický dopad: pokud stavíte AI-first stack, začněte měřit agenty na vlastních scénářích stejně jako běžný software. Prompt nestačí; potřebujete evals, regresní testy a produkčně blízké úlohy.