Raport z analizy międzyoddziałowego współzawodnictwa PZK w zawodach SP DX Contest 2017

(wykresy mogą się długo generować, w zależności od komputera)
(popr. 2017-09-05, [czytaj])

wynik sumaryczny zawodników indywidualnych i klubowych wg OT

rezultat współzawodnictwa międzyoddziałowego wg różnych kryteriów

Niebieski wykres pokazuje iloczyn sumarycznego wyniku zawodników danego OT osiągniętego w Zawodach (K), odsetka uczestników wśród członków OT (N), średniej zdobytych punktów przez uczestników z danego OT (O) oraz ilości uczestników jakiej oddział dostarczył (E). (w tab. poniżej kolumny: A = K x O x N x E). Wszystkie te wartości pokazują całokształt pracy OT w zawodach. Na wykresie rezultat został podzielony przez wartość 650.000 dla zachowania skali.

Dawny współczynnik aktywności (N, który w sposób wykorzystywany niezgodnie z duchem dla jakiego zostało zorganizowane Współzawodnictwo, doprowadził do aktywnego uruchamiania znaków do statystyk, nie aktywności w Zawodach) został przemianowany na współczynnik obecności, a za współczynnik aktywności uznaje się średni wynik zawodników (O). Wzięto też pod uwagę - bardzo istotną dla wizerunku i frekwecji w Zawodach - ogólną liczbę uczestników z każdego OT, co nie było wcześniej uwzględniane, a umniejszało znaczny wkład dużych OT w Zawody i działało demotywująco na zawodników w ich barwach startujacych. Dopiero te trzy współczynniki - w połączeniu z wynikiem - razem dają miarodajną skalę wartości i zaangażowania w zawody przez dany Oddział i mają wpływ na zbiorczą ocenę Oddziału pod względem jego reprezentacyjności i pracy w Zawodach.

Zielony wykres pokazuje rezultat wg takiego samego wzoru jak niebieski, po odrzuceniu przypadkowych uczestników i stacji "widmowych" (poniżej 1000 pkt.), pozostawiając jedynie stacje zawodnicze.

Stacje które osiągają wyniki poniżej 1000pkt. praktycznie nie są aktywne w zawodach, nie uatrakcyjniają zawodnikom zagranicznym konkursu, a drastycznie zawyżają współczynik obecności (N, daw. "aktywności") - fałszując statystyki. Pomijanie ich we współzawodnictwie nie odbiera im możliwości skorzystania z Zawodów dla własnej przyjemności, czy okazji do "zdobycia" brakujących krajów, precyzuje jednak statystyki i pozwala poprawniej ocenić aktywność w eterze - zarówno OT, jak i w przyszłości ogółu krótkofalowców. Ponadto, nie uwzględniając stacji o marginalnie niskiej aktywnosci w średniej zawodniczej (O), eliminuje się wpływ przypadkowych uczestników Zawodów na rezultat uzyskany przez Oddział i nie powoduje zaniżenia przez nie oceny OT. Jednocześnie ujęcie takie uniemożliwia banalnie łatwe (i dotychczas uprawnione) wykorzystanie "5 minut przerwy" w pracy stacji zawodniczej na wygenerowanie sporego - w skali Współzawodnictwa - przyrostu wartości współczynnika obecności (N). Tym większego, im mniej liczny jest oddział, jednak nie mającego nic wspólnego z duchem Współzawodnictwa.

Czerwony wykres pokazuje iloczyn sumarycznego wyniku uczestników danego OT osiągnięty w Zawodach i odsetka uczestników wśród członków OT (B = K x N), czyli wg algorytmu rozliczeń z poprzednich lat.

Pomarańczowy wykres wygenerowano wg takiego samego wzoru jak czerwony, po odrzuceniu przypadkowych uczestników i stacji "widmowych", czyli eliminując wpływ nadużywania współczynnika obecności do uzyskania rezultatu we współzawodnictwie.

W tej analizie danych za stacje przypadkowe i "widmowe", nie zawodnicze, uznano arbitralnie stacje, które uzyskały poniżej 1000pkt. W przyszłości wskaźnik ten powinien zostać zastąpiony np. ułamkiem średniej zawodniczej lub dolnym percentylem wyników danego Oddziału, aby wartość ta nie była znana przed zawodami. Takie analizy można przygotowywać wg. dowolnego algorytmu, żaden z pewnością nie będzie idealny i zasługujący na kwalifikujacy do szególnych wyróżnienień. W tym opracowaniu starałem się, aby każdy mógł łatwo porównać i przeanalizować interesujący go współczynnik, dla własnego i innych Oddziałów. Dla jednego czytelnika będzie to średnia zawodnicza, dla innego rezultat liczony "jak przed rokiem", a każdy - także Zarządy OT, Komisja Zawodów i ZG PZK - powinien znaleźć coś dla siebie.

Zapraszam do zapoznania się z ponizszymi, szczegółowymi analizami sporządzonymi dla Oddziałów, a także pytań, dyskusji nad ew. usprawnieniami, pomocami i ułatwieniami przy przygotowywaniu podobnych analiz.
Spike (op. SP9NJ)
Koordynator ds Sportu PZK
spike9nj@gmail.com

tabela porównawcza, ujmująca wszystkich uczestników - członków OT PZK

miejsce numer oddziału
1. OT-73 195037,20 25 2 27 84 6 90 288529 361595 650124 29,76% 33,33% 30,00% 24078,67
2. OT-04 143646,66 27 5 32 155 12 167 484592 265064 749656 17,42% 41,67% 19,16% 23426,75
3. OT-15 75053,29 21 1 22 252 17 269 844397 73300 917697 8,33% 5,88% 8,18% 41713,50
4. OT-17 52705,71 14 0 14 129 8 137 515763 0 515763 10,85% 0,00% 10,22% 36840,21
5. OT-27 111705,98 23 6 29 114 15 129 456711 40188 496899 20,18% 40,00% 22,48% 17134,45
6. OT-16 59394,22 11 2 13 79 10 89 264001 142621 406622 13,92% 20,00% 14,61% 31278,62
7. OT-32 65796,96 18 0 18 109 10 119 434991 0 434991 16,51% 0,00% 15,13% 24166,17
8. OT-37 78571,21 22 3 25 131 14 145 454532 1181 455713 16,79% 21,43% 17,24% 18228,52
9. OT-18 54575,70 15 0 15 94 6 100 363838 0 363838 15,96% 0,00% 15,00% 24255,87
10. OT-31 181142,23 42 3 45 115 15 130 504842 18388 523230 36,52% 20,00% 34,62% 11627,33
11. OT-14 40959,09 19 1 20 206 14 220 448678 1872 450550 9,22% 7,14% 9,09% 22527,50
12. OT-26 83726,29 30 4 34 118 14 132 320189 4866 325055 25,42% 28,57% 25,76% 9560,44
13. OT-11 32483,72 11 2 13 119 8 127 86271 231070 317341 9,24% 25,00% 10,24% 24410,85
14. OT-10 28320,71 10 1 11 97 21 118 242561 61243 303804 10,31% 4,76% 9,32% 27618,55
15. OT-28 48645,43 13 5 18 75 9 84 135831 91181 227012 17,33% 55,56% 21,43% 12611,78
16. OT-22 31389,57 12 2 14 106 10 116 186963 73122 260085 11,32% 20,00% 12,07% 18577,50
17. OT-09 42051,41 22 2 24 171 12 183 313412 7230 320642 12,87% 16,67% 13,11% 13360,08
18. OT-20 42456,44 25 0 25 177 17 194 329462 0 329462 14,12% 0,00% 12,89% 13178,48
19. OT-50 21691,52 10 1 11 127 11 138 212798 59332 272130 7,87% 9,09% 7,97% 24739,09
20. OT-01 30596,30 23 2 25 303 21 324 390508 6020 396528 7,59% 9,52% 7,72% 15861,12
21. OT-25 39842,72 32 1 33 275 32 307 330668 39990 370658 11,64% 3,13% 10,75% 11232,06
22. OT-03 21698,15 9 0 9 72 2 74 178407 0 178407 12,50% 0,00% 12,16% 19823,00
23. OT-13 25517,26 15 1 16 131 9 140 223222 54 223276 11,45% 11,11% 11,43% 13954,75
24. OT-06 27045,20 22 3 25 223 27 250 155763 114689 270452 9,87% 11,11% 10,00% 10818,08
25. OT-12 24115,20 13 3 16 113 7 120 154657 26207 180864 11,50% 42,86% 13,33% 11304,00
26. OT-21 19021,31 13 0 13 108 16 124 181434 0 181434 12,04% 0,00% 10,48% 13956,46
27. OT-29 13971,54 7 1 8 75 4 79 115100 22869 137969 9,33% 25,00% 10,13% 17246,13
28. OT-24 9266,59 4 0 4 32 5 37 85716 0 85716 12,50% 0,00% 10,81% 21429,00
29. OT-23 5604,58 4 0 4 91 6 97 135911 0 135911 4,40% 0,00% 4,12% 33977,75
30. OT-08 12438,39 14 1 15 143 12 155 128026 504 128530 9,79% 8,33% 9,68% 8568,67
31. OT-51 8704,95 9 0 9 104 7 111 107361 0 107361 8,65% 0,00% 8,11% 11929,00
32. OT-05 7213,07 10 0 10 117 10 127 91606 0 91606 8,55% 0,00% 7,87% 9160,60
33. OT-35 0 0 0 0 27 3 30 0 0 0 0,00% 0,00% 0,00% 0,00

udział współczynników w ocenie (wszyscy uczestnicy)

Na wykresach pokazano, jak poszczególne współczynniki kształtują ocenę aktywności OT jesli weźmie się pod uwagę stacje o niskiej akrywności. Poszczególne kolory obrazują udział: wyniku OT w zawodach (K), współczynnika obecności (N), średniej zawodniczej (O) i ilości uczestników (E). Porównane zostały do modelowych, przeciętnych wartości: 400.000pkt. wyniku OT, 15% frekwencji wśród czł., śr. wyniku 25.000/stację i 20 uczestników z OT.

Jakkolwiek podstawowy wpływ mają wartości, nie same proporcje, jednak dla zawodników z poszczególnych Oddziałów wskazówką może być dążenie do podniesienia niskich współczynników i ich wzajemnego wyrównywania.

współczynnik obecności (dawniej "aktywności")

Wykresy pokazują graficzne odwzorowanie liczby uczestników - stacji indywidualnych i klubowych - w proporcji do liczby pozostałych członków niestartujących w Zawodach. To tak zwany "współczynnik aktywności", jedyny - poza sumarycznym wynikiem punktowym Oddziału w Zawodach - brany pod uwagę przy poprzednich rezultatach Współzawodnictw. Pamiętać należy, iż część operatorów startowała jedynie zespołowo (bez wykorzystywania luki "współczynnika przesłanych logów") pod znakami klubowymi, zaniżając ten współczynnik. Nie jest on miarodajny i zaniża wyniki oddziałów z aktywnie działającymi klubami. Obecne narzędzia nie pozwalają na jego doprecyzowanie, o czym niżej.

ilośc stacji pod względem ich aktywności w Zawodach

Kolorem zielonym została oznaczona ilośc najlepszych stacji, uzyskujących wynik wiekszy od 10000pkt. Żółty kolor oznacza stacje o przeciętnym wyniku (od 1000 do 10000pkt.). Czerwone to natomiast stacje nie mające praktycznie żadnego wpływu na aktywność polskich stacji w eterze. Ciemniejszymi odcieniami zostały oznaczone stacje klubowe.

Na poniższych wykresach widać, jak stacje nie biorące (z rożnych względów) choćby przeciętnego udziału w Zawodach, wpływały na dawny, jedyny, współczynnik aktywności i zafałszowanie dawnych, uproszczonych ocen - oczywiście w większosci wypadków bez premedytacji. Należy podkreslić, że jakikolwiek udział w Zawodach jest wartością dodaną do całokształtu, jednak niemozliwa jest prawidłowa ocena pracy OT w danych zawodach, uwzględniająca uczestników niezaangażowanych sportowo w same Zawody. Z drugiej strony, uczestnicy tacy, po ich pominięciu w statystyce, nie zaniżają oceny OT pod względem aktywności w eterze.

tabela porównawcza, pomijająca stacje z marginalnie niskim udziałem w Zawodach

Tabela ta, w celach przejrzystości, zawiera dane biorące udział w ocenie, pozostałe nie ulegają zmianie. Obok wartości podano zmianę w stosunku do poprzedniej tabeli. O tym, jak mikry fragment aktywności (a więc atrakcyjności zawodów na arenie międzynarodowej) stanowią nie brane pod uwagę w aktywności stacje, świadczy zmiana procentowa zdobytego wyniku (K, grubo poniżej 1% ogółem), tj. realnej aktywności na falach. Jak zmieniają się inne istotne współczynniki (w tym jedyny stosowany wcześniej, nazywany "aktywnością" - N), po ich nieuwzględnieniu, mozna również zobaczyć poniżej.

miejsce numer oddziału

udział współczynników w rzetelnej ocenie (stacje zawodnicze)

Wykresy podobne do przedstawionych wcześniej. Poszczególne kolory obrazują udział: wyniku OT w zawodach (K), współczynnika obecności (N), średniej zawodniczej (O) i ilości uczestników (E). Tym razem w statystykach pominięto stacje ze znikomym wkładem w aktywność w Zawodach.

wyniki uczestników w poszczególnych OT

Tabele - podobnie jak cały raport - powstały w oparciu o oficjalne wyniki zawodów SP DX Contest i dane OSEC z dnia Zawodów przekazane przez administratora portalu PZK. Z racji niemożności weryfikacji przyczyn klasyfikacji logu jako CHECKLOG, takie stacje nie zostały uwzględnione. Również stacje o znakach nie zarejestrowanych w systemie OSEC nie mogły zostać uwzględnione. Uwzględniono natomiast trzy stacje nasłuchowe, ponieważ ich operatorzy włączają się do liczby członków OT PZK. Na wykresach widać, jak bardzo arbitralne postawienie poprzeczki dla stacji zawodniczych na poziomie 1000pkt. jest niedoskonałe i z pewnością w przyszłych analizach należy zastosować bardziej miarodajny wskaźnik. Symulacje pokazały jednak, że zmiana tego parametru w rozsądnych granicach nie powoduje znaczącej zmiany rezultatu. Innym, byc może właściwszym pomysłem, nie eliminującym całkowicie takich stacji ze statystyk, było by zastosowanie - jako wagi dla współczynnika obecności - wyniku zawodnika. Niemniej, taka kryza pozwala - na razie - na choćby pobieżne odfiltrowanie ze statystyk stacji przypadkowych lub - co gorsza - wykorzystujących niedoskonałość zasad poprzednich Współzawodnictw.

Podczas opracowywania nowych narzędzi do obsługi i analizy Zawodów, wszelkie te niedociągnięcia zostały lub zostaną wzięte pod uwagę i miejmy nadzieję, że przyszłe analizy (tych i innych aktywności w Oddziałach) pozwolą na lepszą ich mobilizację, organizację i aktywizację.

podsumowanie

Na podstawie powyższej analizy rekomenduję do wyróżnienia następujące stacje zawodnicze z najlepiej ocenionych Oddziałów:

Pozostałym stacjom i Oddziałom życzę również powodzenia w najbliższych Zawodach, oraz ponownego zmierzenia się z rywalami, w kontekście nowego, moim zdaniem lepszego i wciąż ulepszanego sposobu oceniania. Miejmy nadzieję, że zastosowanie większej ilości istotnych współczynników zmobilizuje do zwiększonej aktywności i podjęcia rękawicy przez zespoły z Oddziałów dotychczas skazanych - z przyczyn obiektywnych - na niskie rezultaty we Współzawodnictwie.

errata

Adam SQ9S wykazał się czujnością (i zaangażowaniem) - wychwycił dosyć poważny błąd, pochodzący z systemu OSEC. Otóż, zarówno w tym jak i w poprzednim roku stacja SP9N (nalepsza stacja z OT31, 134532 pkt.) nie figurowała w wykazie OSEC. Została dopisana ok. maja 2017 - z adnotacją "od marca 2016". W związku z tym nie znalazła się w wykazie stacji-członków PZK na dzień zawodów. Ponadto przez ponad rok stacja ta nie była obłsugiwana przez biuro, zostałaby również pominięta w obliczaniu zeszłorocznego Współzawodnictwa (gdyby startowała pod tym znakiem). W raporcie stację dopisałem, a statystyki OT-31 zostały zaktualizowane - wszak to nie papier, nie konkurs, nie wyniki - a zmiana w ocenie (zarówno w "starym" jak i "nowym" trybie) - dośc istotna. Jak istotna, można samemu zobaczyć.

Zmiana w statystykach OT-31, wg kolumn pierwszej tabeli:

Zwracam uwagę, że źródła, na podstawie których raport (i wcześniejsze wyniki Współzawodnictw) został przygotowany, zależą od prawidłowej pracy osób odpowiedzialnych za dane w systemie OSEC. Czyli wyłącznie zainteresowanych operatorów i wyznaczone w oddziałach osoby aktualizujące system.

Zachęcam wszystkich do "zabawy w detektywa", wszelkie znalezione błędy zostaną tu wypisane a raport zaktualizowany z odpowiednią adnotacją. Wszak płynące z przyczyn błędów wnioski są istotne przy usprawnianiu metodologii rozliczeń i wyborze źródeł wiarygodnych danych. Szczególnie, że należy to robić przed obdarowywaniem się pucharami i zaszczytami. Swoich rekomendacji nie bedę zmieniał, chociaż byłoby to uzasadnione nowymi rezultatami. Załóżmy, że będzie to drobna kara dla OT-31 za niefrasobliwość, bo widać przecież, jak dobrze sobie poradzili jako zawodnicy, czynnik ludzki zawiódł jedynie na poziomie biurokracji. No i każdy zainteresowany nagradzaniem - za którekolwiek z osiągnięć - sam może wywnioskować kogo, na podstawie aktualizowanych (dzięki Wam) tabel. A warto spojrzeć, jak jedno niedopatrzenie po stronie Oddziału wpływa na liczby.

Grzegorz "Spike" Rendchen (op. SP9NJ)
Koordynator ds Sportu PZK
spike9nj@gmail.com