Ogimet Extremes Data Ranking je jeden z velmi velkych projektu.

Nejdou sem davat prilohy, takze verze z grafy na Amaterske Meteorologii (a ze e tam tech grafu dost, na MeteoTommy a meteomodel.pl jeste vice):

http://forum.amaterskameteorologie.cz/v ... f=4&t=1702

Na foru meteomodel.pl lze mnohem snaze dostat vetsi mnozstvi priloh. Anglicka verze clanku s mnohem vice grafy je tam:

https://meteomodel.pl/forum2/index.php?topic=2332

List extremnich hodnot (serazeni od nejnizsi-nejvyssi hodnoty) je k dispozici pro kazdou zemi, svetadil, severni-jizni polokouli, cely svet, i mensi teritoria, pro Nejvyssi maximalni denni teplotu Txx, Nejnizsi minimalni denni teplotu Tnn, Nejvyssi denni srazky za 24 hodin PrecipX je k dispozici na strance Ogimet Weather Ranking http://www.ogimet.com/ranking.phtml.en , data jsou za poslednich 24 hodin k danemu terminu. Datum a hoina se zadava ve formulari (nebo v URL v pripade wget), v URL adrese je take mozne specifikovat minutu. Ale suma srazek a extremni teploty jsou obvykle hlaseny jednou za 12 hodin, i kdyz uhrn srazek se hlasi kazdou hodinu (Extremni teploty za poslednich 12 nebo 24 hodin se obvykle udavaji v 06 UTC a 18 UTC), Nekdy se extremni tepoly udavaji jednou za 3 nebo 6 nebo 24 hodin. Souhrny pozorovani na stanicich i list extremu vychazi z hlaseni SYNOP report z celeho sveta. Data sou serazeny podle nejvyssi a nejnizsi hodnoty, ve vypisu je mozne zvolit 1 az 1024 hodnot. Data SYNOP i extremy sou k dispozici od 28.09.1999.

Generovani listu s extremy - serazeni podle nejvyssich a nejnizsich hodnot zabere pomerne dost vypocetniho vykonu, zvlaste pokud se seskupi vice uzivatelu (vyznamna synopticka situace) najednou a nebo pro velke oblasti s vice nez 1000 stanicemi (Cely svet, severni-jizni polokoule, svetadily, Rusko, USA atd.). Prave proto je pristup omezen na max. jeden pozadavek za minutu (minimalne 60 s pauza mezi dvema dotazy), az do roku 2017 byl limit jeden pozadavek za 3 minuty (minimalne 180 s pauza mezi dvema databazovymi dotazy).

20 vybranych oblasti:
Druhy kratky nazev je prvek promenne v URL adrese, indikujici danou oblast (muze byt i s mezerou).

Africa - Afr
America_North_and_Central - Amen
America_South - Ames
Antarctica - Anta (Jen Antarktida)
Antarctica - Ant (Antarktida s okolim, mozna jsou tam data i z jine oblasti podle hodnot)
Asia - Asi
Australia_and_Pacific - Pacs
Australia - Austra
Canada - Cana
China - Chin
Czech_Republic - Czec
Europe - Eur
India - India
Northern_Hemisphere - North
Poland - Pola
Russia - Russ
Slovakia - Slova
Southern_Hemisphere - South
United_States - United S
World - World

Projekt Ogimet Extremes Data Ranking pro vsechny dostupne oblasti (vice nez 230 oblasti) je v procesu. Bude to ale trvat jeste hodne dlouho a vysledkem budou jen automaticky vytvorene CSV a HTML soubory, ne Excelovske XLS soubory.


List extemu (Weather Ranking) - Nejvyssi maximum Txx, nejnizsi minimum Tnn a nejvyssi srazky (PrecipX ?) je pro kazdy den zbiran od 28.09.1999 do 31.12.2017 zatim, seznamu extremu jsou html soubory s barevnym formatovanim. Pro kazdy den a kazdou oblast patri list extremu k casu 23:59 UTC, data jsou za poslednich 24 hodin od zvoleneho terminu. Mezi vygenerovanim a stazenim dvou seznamu musi byt pauza minimalne 60 s, drive to bylo 180 s (a do roku 2017). Prave proto zber seznamu extremu zabere velmi dlouhou dobu. Cele obdobi 28.09.1999-31.12.2017 trva 6670 dni a vybrano bylo 20 regionu. To je celkove 133 400 dotazu do databaze i vyslednych HTML souboru, celkem temer 50 GiB HTML souboru (temer 1 GiB v 7zip archivu). List extremu v HTML obsahuje vsechny dostupne stanice (Extremni teploty a srazky), maximalni pocet stanic je ale 1024, u velkych oblasti obsahuje list extremu prvnich 1024 hodnot. Nekdy je weberver Ogimet pretizen a neni mozne stahnout list extremu. Celkem bezel skript vice nez 50krat a stazeny byly jen chybejici soubory, kterych bylo porad mene a mene pomerne rychle (ne vsechny soubory pokazde samozrejme). Vyjimecne, v pripade nekterych oblasti, chybi list extremu k nekterym datum kompletne, nejsou data. Takovych pripadu je dost malo.

Pote, co byl pro vsechny dny a vsechny oblasti ziskan list extremu v HTML podobe, dalsim BASH skriptem byly html soubory rozparsovany a prvni hodnota (nebo vsechny hodnoty, cely list) extremu (Nejvyssi maximum, nejnizsi minimum, nejvyssi srazky) byla odeslana do CSV souboru pro danou oblast. Data z CSV souboru byla pouzita dal pro tvorbu grafu, statistik v Excelu MS Office 2003. Excelovske soubory jsou s vypracovanym grafickym rozhranim.

I kdyz ma Ogimet mnoho kontrol pro data (podle vseho jsou automaticky odstranovany denni uhrny srazek nad 800 mm, teplotni maxima nad +60 °C a teplotni minima pod -90 °C ?), porad se velmi casto stava, ze se na prvni misto v seznamu nejvyssich resp. nejnizsich hodnot dostane chybna hodnota, zvlaste u srazek je to velmi casto Nejde s tim nic moc poradne delat, az na manualni a zdlouhavou kontrolu. U nejvyssi maximalni teploty a nejnizsi minimalni teploty se chybna data detekuji a odstrani mnohem snaze, nez v pripade nejvyssich dennich srazek. Reporty o uhrnu srazek jsou chybne velmi casto a nejde s tim nic moc delat (smazat hodnoty vyssi, nez urcita mez, aktualne na Ogimetu 800 mm) CSV soubory jsou bez manualni detekce a vymazani chybnych hodnot extremu. XLS excelovske soubory s grafy a statistikou pro cele obdobi 2000-2017 uz zahrnuji manualni vymaz chybnych hodnot, vymazany byly evidentne spatne prilis vysoke a nebo nizke hodnoty teploty, v pripade srazek manuani kontrola extremu nebyla a ani to moc nejde. Pro oblast Ceska Rapublika, Evropa (vc. Spicberku, Turecka, casti Ruska), a cely svet jsou navic k dispozici XLS soubory pro kazdy rok s grafy a pomerne rozsahlou statistikou. Data pro Ceskou Republiku jsou temer bez chyb. V CR je jen 33-38 SYNOP stanic k dispozici, oblykle 38 stanic, lisi se to den de dne, ne pokazde jsou k dispozici vsechny stanice, posledni dobou ale ano. Evidentne spatne hodnoty (nad +40 °C, pod -40 °C, nebo prilis velky extrem na danou rocni dobu) byly odstraneny. XLS soubory pro kazdy rok s extremy pro cely svet obsahuji evidentni velke mnozstvi chybnych hodnot. Hodnoty nad +60 °C jsou automaticky odstraneny jiz na Ogimetu, ale hodnoty prez +55 °C nebo stejne hodnoty pro nekolik dni jsou evidentne chybne. V pripade extemu pro celu svet nebyla data modifikovana - bez odstraneni chybnych hodnot (neni to jen tak) Take pro cele obdobi a cely svet minimalni teplota 27.01.2014 -88.7 °C je evidentne spatne. XLS soubory pro Evropu pro kazdy rok obsahovaly velke mnozstvi chybnych hodnot teplotnich extremu (nad +50 °C, nebo evidentne prilis vysokona dany stat a danou rocni dobu). Evropa je zname prostredi a v urcitem state a v urcite rocni dobe jsou detekovatelne evidentne prilis vysoke nebo nizke hodnoty. Data pro rocni soubory s extremy v Evrope byla opravena pomerne znacne, dost chybnyh hodnot teplotnich extremu bylo odstraneno, ale urcite ne vsechny. V pripade extremnich dennich srazek v Ervrope je situace komplikovnejsi a chybne hodnoty nebyly odstraneny, tezko na to vymyslet strategii (Uhrny nad 800 mm za 24 hod maze Ogimet automaticky). Extremy v Evrope pro cele obdobi nebyly tak dusledne opraveny, jen evidentne prilis vysoka-nizka hodnota byla odstranena. Ale rocni soubory s extremy v Evrope byly opraveny pomerne znacne (jen teplota, srazky ne a ani to nejde).

DATA KE STAZENI:

Data z projektu - CSV textove soubory bez manualni opravy chybnych hodnot a XLS soubory s propracovanym grafickym rozhranim, statistikou a grafy (MS Office 2003 Excell). XLS soubory s grafy a statistikou pro cele obdobi 2000-2017 byly manualne opraveny, jen prilis vysoke nebo nizke evidentne spatne teplotni extremy byly odstraneny. A rocni excelovske soubory - v pripade extremu pro Evropu byla kontrola pomerne rozsaha a chybne hodnoty odstraneny, data pro Ceskou republiku maji jen malo chyb, evidentne spatne hodnoty byly odstraneny. Nejvyssi denni maximum Txx obsahuje podstatne vic chybnych hodnot, nez Nejnizsi minimum Tnn. V pripade srazek je situace jeste horsi, nez v pripade nejvyssich maxim. Data s extremnimi srazkami modifikovana manualne nebyla a ani to moc poradne nejde. I kdyz u srazek je chyb podstatne nejvic.

http://meteotommy.twilightsparkle.cz/Og ... XLS_CSV.7z

Data z projektu - vsechny grafy - Nejvyssi teplotni maximum a nejnizsi teplotni minimum Txx Tnn, jen nejvyssi maximum Txx, jen nejnizsi minimum Tnn, nejvyssi uhrn srazek. Grafy pro cele obdobi jsou dva typy - normalni velikost a velke grafy (vysoke horizontalni rozliseni, velky vysledny obrazek). Rocni grafy extremu pro cely svet (bez rucni opravy), Evropu (znacna rucni oprava u teplot), Ceska republika (malo chyb v datech, jen nejake opravy provedeny). V pripade srazek nikde rucni oprava dat neprobehla.

http://meteotommy.twilightsparkle.cz/Og ... _Images.7z

http://meteotommy.twilightsparkle.cz/OB ... as_Images/