cs:reporting

Reporting

Reportovací nástroj je klíčovou komponentou systému Mentat. Jeho úkolem je v pravidelných intervalech zpracovávat přijaté události a prostřednictvím emailu rozesílat hlášení odpovědným správcům.

Aktuální reportovací algoritmus

Popis

Klíčové vlastnosti nového reportéru vycházejí z připomínek nashromážděných v průběhu provozu předchozí verze. Klíčové připomínky, které nejvíce ovlivnily výsledný návrh, jsou:

  1. Pozdržení již nahlášených problémů po určitou dobu
  2. Možnost zasílání souhrnných reportů za větší časový interval (den, týden), rozdílné intervaly reportování

Obě připomínky v sobě v podstatě skrývají určitou formu agregace dat. A v případě agregace je vždy nutné najít optimální kompromis mezi co největším agregačním intervalem, po kterém zpravidla touží přijímající strana a který znamená menší množství přijatých zpráv, a mezi rozumným časovým zpožděním při odeslání hlášení, neboť týden stará data jsou již obvykle k ničemu. Zároveň jsme dospěli i k rozdílu mezi jednotlivými událostmi: určité události nejsou příliš závažné a skutečně není nutné zasílat upozornění častěji než řekněme jednou denně/týdně, ale včasné informování o kritičtější události může znamenat výrazné omezení konečných škod v napadeném systému/síti. Dospěli jsme tedy k nutnosti zavedení hodnocení událostí z hlediska námi navrhované závažnosti z našeho pohledu jakožto operátorů páteřní sítě. Navrhovaná klasifikace je prezentovaná na stránkách týmu CESNET-CERTS.

Nový reportovací algoritmus funguje podle následujícího schématu:

  1. Rozdělení nových událostí do skupin podle úrovní závažnosti
  2. Pro každou skupinu poté provede samostatné zpracování
    1. Agregace zpráv podle cílového abuse kontaktu (IP adresa)
    2. Získání konfigurace reportování pro danou úroveň závažnosti a cílový abuse kontakt
    3. Vygenerování a odeslání reportu

Samotný reportovací algoritmus, který provádí vlastní zpracování dat, je konfigurovatelný pomocí následující trojice hodnot:

  1. period - Perioda, se kterou se report pravidelně generuje
  2. threshold - Doba, po kterou se o daném nahlášeném incidentu mlčí a neobjevuje se v následujících reportech. Klíčem pro zapamatování je kombinace (IP adresa|klasifikace události)
  3. relapse - Heuristika, která určuje, v jakém případě budou zamlčená data zpětně odeslána (detekce vyřešení/nevyřešení daného incidentu)

Princip fungování reportovacího algoritmu ilustruje násldující obrázek: Princip fungování reportovacího algoritmu

Generované reporty

Všechny reporty jsou odesílány s následujícími hodnotami hlaviček identifikujícími jako odesílatele systém Mentat:
  • From: CESNET-CERTS Reporting < reporting@cesnet.cz >
  • Return-Path: reporting@cesnet.cz
  • Reply-To: abuse@cesnet.cz

V tuto chvíli systém generuje dva typy reportů: summary a extra. Summary report obsahuje souhrn všech událostí dané zavažnosti, týkající se všech IP adres, což je vhodné např. pro automatické generování statistik, případně pro udržování obecného přehledu o zranitelnostech v dané síti. Extra report obsahuje vždy události týkající se pouze jediné IP adresy, což je vhodné pro přímou redistribuci konkrétním správcům a pro jednoduchou manipulaci a párování událostí v rámci nějakého tiketovacího systému.

Předmět odesílaných emailů vypadá následujícím způsobem:

[Unikátní identifikátor] Závažnost - Popisný text ("souhrn"|IP adresa stroje)

Např.:

  # Souhrnné reporty
  [M20151125L-Dg2ur] Low - Upozorneni na mozne problemy ve Vasi siti (souhrn)
  [M20151125M-Dg2ur] Medium - Upozorneni na mozne problemy ve Vasi siti (souhrn)
  [M20151125H-Dg2ur] High - Upozorneni na mozne vazne problemy ve Vasi siti (souhrn)
  [M20151125C-Dg2ur] Critical - Upozorneni na mozne kriticke problemy ve Vasi siti (souhrn)

  # Extra reporty
  [M20151125L-Dg2ur] Low - Upozorneni na mozne problemy ve Vasi siti (192.168.0.1)
  [M20151125M-Dg2ur] Medium - Upozorneni na mozne problemy ve Vasi siti (192.168.0.1)
  [M20151125H-Dg2ur] High - Upozorneni na mozne vazne problemy ve Vasi siti (192.168.0.1)
  [M20151125C-Dg2ur] Critical - Upozorneni na mozne kriticke problemy ve Vasi siti (192.168.0.1)
Předmět generovaných reportů je záměrně bez diakritiky z důvodů problému v kódování češtiny u některých tiketovacích systémů používaných našimi uživateli.

Formát unikátního identifikátoru, uzavřeného v hranatých závorkách, je také významový, např. pro M20151125L-Dg2ur:

  • M - konstanta, M jako systém Mentat
  • 20151125 - datum vygenerování reportu ve formátu YYYYMMDD
  • L - kód závažnosti události, jedna z možností (L = Low, M = Medium, H = High, C = Critical)
  • Dg2ur - náhodný řetězec pro rozlišení jednotlivých reportů generovaných v rámci jednoho dne

Pro lepší automatizované zpracovaní generovaných reportů jsou přidávány následující X hlavičky:

Hlavička Význam
X-Cesnet-Report-Id Unikátní identifikátor reportu
X-Cesnet-Report-Type Typ reportu, jedna z možností: „summary“/„extra“
X-Cesnet-Report-Severity Závažnost reportu, jedna z možností: „low“, „medium“, „high“, „critical“
X-Cesnet-Report-Srcip IP adresa původce události, pouze u reportů typu „extra“

K vygenerovanému reportu jsou přiložena relevantní data ve strojově zpracovatelném formátu CSV a/nebo JSON (v závislosti na konfiguraci).

Možná nastavení

Formulář pro nastavení vlastností skupiny

Formulář pro vložení a úpravu filtru

Aktuální výchozí nastavení

Výchozí nastavení reportovacího algoritmu reflektuje proces incident handlingu v týmu CESNET-CERTS a vypadá následujícím způsobem:

Stupeň závažnosti (severity) Popis Period Threshold Relapse
Low Informační charakter 24h (1d) 168h (7d) 48h (2d)
Medium Vážná událost, vyřešit do 2 dní 2h 48h (2d) 24h (1d)
High Velmi vážná událost, vyřešit ASAP ASAP (10min) 2h 0
Critical Kritická událost, vyřešit ASAP ASAP (10min) 0 0

Původní reportovací algoritmus

Původní prototyp reportovacího algoritmu fungoval velmi jednoduchým a naivním způsobem. Každé dvě hodiny provedl následující kroky:

  • Najdi všechny nové zprávy od okamžiku posledního reprtingu
  • Nabalíčkuj je podle příslušnosti do koncové sítě, naformátuj report a odešli

Hlavní nevýhody tohoto přístupu byly již popsány v textu výše, nicméně pro úplnost:

  • Příliš velké množství generovaných emailů
  • Nemožná rychlá reakce na kritické zprávy a naopak zbytečná urgence zpráv s nízkou (pouze informační) závažností

Poslední úprava: 20.03.2017 09:39