Page with important stats for Jury

[tonowak]

Interfejs admina contestu SIO2 jest aktualnie w kiepskim stanie. Pewne bardzo cenne informacje dla jury znajdują się w przeróżnych podstronach, typu "czy istnieje zgłoszenie, które ma błąd systemowy" wymaga wejścia w submissions i przefiltrowanie ich. Wierzę, że dałoby się znacząco usprawnić ten interfejs, ale to jest kupa roboty. To, co teraz zaproponuję, to trochę sklejanie taśmą problemu, ale jest proste do zrobienia i tak czy siak taki feature byłby mile widziany.

Chciałbym mieć jedną podstronę (tylko do wyświetlenia, bez możliwości edycji), która wyświetla wszystko, co Jury potrzebuje do upewnienia się, że contest jest w dobrym stanie:

• na kiedy ustawione są rundy (podane czasem zarówno absolutnym, jak i relatywnym),
• ile użytkowników widzi każdą rundę w aktualnym momencie czasu (jeżeli byśmy widzieli, że \infty, to byśmy wiedzieli, że jest ryzyko leak'a zadań),
• ile jest zarejestrowanych uczestników, ile jest adminów, ile jest obserwujących, itd,
• jak jest skonfigurowana każda runda i każde zadanie: jakie zgłoszenie się liczy do wyniku, jaki typ raportu widzą uczestnicy, czy są treści do zadań, jaki jest limit zgłoszeń, jaki jest limit uruchomień próbnych, jaki jest limit czasu/pamięci do zadania, itd,
• ile jest nieodpowiedzianych pytań oraz jak bardzo stare jest najstarsze nieodpowiedziane pytanie,
• "pączki" dla każdego zadania - rozkład typów submitów na każdym zadaniu i ile jest z takim typem (a szczególnie ile jest system errorów). Jeżeli się da, to mile widziane są pączki dla każdego subtaska, bo mogłoby to pomóc z wykryciem problemu w subtasku,
• rozmiar kolejki zgłoszeń / oczekiwany czas sprawdzenia rozwiązań dla uczestnika,
• jakie pliki są widoczne przez uczestników w danej chwili oraz kiedy dany plik będzie widoczny,
• jakie są przedłużenia zawodów dla zawodników i jaki jest max,
• ile jest "podejrzanych" zgłoszeń.

Jeżeli udałoby się to wszystko zmieścić na jednym ekranie laptopa, to Jury mogłoby dodać autoodświeżanie i gapić się na tę stronę cały czas. Wierzę, że to znacząco zmniejszy czas reakcji Jury w razie pożarów. Posiadanie takiej podstrony już na najbliższy finał za ~miesiąc by bardzo pomogło.

[tonowak]

Od najważniejszych do najmniej ważnych:

1. Mechanizmy pokazujące organizatorom Olimpiady, że w danej chwili nie powinni upubliczniać jakichś materiałów, bo będą one (teraz lub wkrótce) widoczne dla uczestników. Patrz: na kiedy ustawione są rundy, ile użytkowników widzi każdą rundę, ile jest zarejestrowanych uczestników, jaki typ raportu widzą uczestnicy, jakie pliki są widoczne.
2. Informacje sugerujące, że jest jakiś problem z zawodami podczas trwania zawodów. Patrz: "pączki" dla każdego zadania, oczekiwany czas sprawdzenia, czy istnieje zgłoszenie, które ma błąd systemowy.
3. Informacje potwierdzające, że zawody są dobrze skonfigurowane. Patrz: jakie zgłoszenie się liczy do wyniku, czy są treści do zadań, jaki jest limit uruchomień próbnych.

[tonowak]

@Markadiusz, czy takie priorytety są sensowne?

[Markadiusz]

Myślę, że tak.
W kwestii pączków, to błędne werdykty są ważniejsze od tych pozytywnych, bo mogą pokazać, że np. padł system lub jest błędna checkerka w zadaniu. Na drugim planie jest dopiero rozkład dodatnich wyników punktowych.

[tonowak]

Poruszyłeś dobrą kwestię co do błędnej checkerki. Jeszcze o tym głębiej nie myślałem, ale myślę, że ważną statystyką byłaby informacja "jak często checkerka zwraca, że test przeszedł na X% punktów", gdzie 0 < X < 100 (zazwyczaj X=50).

[tonowak]

Czy będzie coś na finał? @zggf-zggf @SZonkil

[zggf-zggf]

Trochę zrobione jest, ale nie jest sprawdzone tak żeby mergować to kilka dni przed finałem.

[tonowak]

A tak żeby zmergować wieczór przed finałem? :D

[SZonkil]

Na razie zrobione jest tyle:

Na ma jeszcze zrobionych żadnych testów.

[MasloMaslane]

@tonowak jeśli chcesz to możemy zmergować to co na razie jest do naszego repo, a po finale cofniemy i poczekamy na merge tutaj

[tonowak]

Wygląda wspaniale. Czy uda wam się coś jeszcze dodać/wytestować?

[zggf-zggf]

Jutro mogę siąść i jeszcze coś dodać. @MasloMaslane kiedy najpóźniej pasuje Ci mergować?

[MasloMaslane]

We wtorek rano najpóźniej

[tonowak]

+1. Musimy to wytestować na próbnym, inaczej nie odważymy się tego użyć.

[MasloMaslane]

@zggf-zggf jak tam? Kiedy będę mógł zmergowac do sio2.mimuw?

[zggf-zggf]

Możesz mergować