Co to jest LiveCodeBench
LiveCodeBench to benchmark (zestaw testów) do oceny dużych modeli językowych (LLM) w zakresie programowania. Zbiera zadania z cyklicznych konkursów na platformach LeetCode, AtCoder i Codeforces i na ich podstawie buduje ocenę modeli. Hostuje ponad trzysta zadań opublikowanych między majem 2023 a lutym 2024 roku. Oprócz samego generowania kodu sprawdza też naprawę własnego kodu, wykonywanie kodu i przewidywanie wyniku testów.
Benchmark pozwala sprawdzić, jak model radzi sobie z zadaniami, których nie widział podczas treningu, bo każde zadanie ma datę publikacji. Dzięki temu można porównać wyniki modeli na nowszych problemach i wykryć możliwe przecieki danych. Wyniki 29 modeli są dostępne w tabeli liderów, a własne modele można zgłosić przez pull request na GitHubie.
Co potrafi
- Generowanie kodu na podstawie zadań z konkursów programistycznych
- Ocena naprawy własnego kodu przez model
- Sprawdzanie przewidywania wyniku testów i wykonania kodu
- Tabela liderów z wynikami 29 modeli
- Zgłaszanie własnych modeli przez GitHub
Dla kogo
- Badacze modeli językowych
- Zespoły tworzące modele do kodowania
- Programiści porównujący modele AI
Plusy i minusy
- Zadania z datami publikacji, co ogranicza przecieki danych treningowych
- Ocena wielu zadań związanych z kodem, nie tylko generowania
- Otwarty kod źródłowy i możliwość zgłaszania własnych modeli
- Zbiór obejmuje ponad trzysta zadań z okresu maj 2023 - luty 2024
Ile kosztuje LiveCodeBench
Producent nie pokazuje cen w formie, którą da się przepisać (często cennik wyświetla się dopiero po zalogowaniu). Model rozliczeń: open source.
Czy jest za darmo?
Tak, ma darmowy plan. Benchmark, tabela liderów i kod są udostępnione za darmo na stronie projektu.
LiveCodeBench za darmo - co daje plan bez opłat
Czy działa po polsku?
Strona narzędzia jest po angielsku i producent nie wymienia polskiego wprost. Sprawdź na darmowym planie, jak radzi sobie z polskim tekstem.
Gdzie działa
web.
Alternatywy dla LiveCodeBench
| Narzędzie | Cena od | Za darmo | Po polsku | Kategoria |
|---|---|---|---|---|
 Semantic Scholar | brak w cenniku | tak | ? | Badania i nauka |
 SciSpace | 12 USD/mies. | nie | tak | Badania i nauka |
 Gemini Notebook | 23,99 zł/mies. | tak | ? | Badania i nauka |
 Connected Papers | 3 USD/mies. | tak | ? | Badania i nauka |
 ResearchRabbit | 10 USD/mies. | tak | ? | Badania i nauka |
 Scite | 20 USD/mies. | trial | ? | Badania i nauka |
Wszystkie alternatywy dla LiveCodeBench →
Najczęstsze pytania
Do czego służy LiveCodeBench?
Benchmark do oceny modeli językowych w zadaniach programistycznych, z zadaniami publikowanymi po datach treningu modeli.
Czy LiveCodeBench jest darmowy?
Tak, ma darmowy plan. Benchmark, tabela liderów i kod są udostępnione za darmo na stronie projektu.
Ile kosztuje LiveCodeBench?
Producent nie podaje cen publicznie albo cennik wymaga zalogowania.
Czy LiveCodeBench działa po polsku?
Strona narzędzia jest po angielsku i producent nie wymienia polskiego wprost. Sprawdź na darmowym planie, jak radzi sobie z polskim tekstem.
Jakie są alternatywy dla LiveCodeBench?
Najbliższe zamienniki: Semantic Scholar, SciSpace, Gemini Notebook, Connected Papers, ResearchRabbit.
Dane sprawdzone 8 października 2026 na stronie producenta (livecodebench.github.io). Widzisz błąd? Napisz: kontakt@dobieracz.pl.