Syslog-ng: logování nové generace

17. 5. 2010 • Daniel Smolárik ⟶ BCVlog → Operating system → Syslog-ng: logování nové generace

Syslog-ng je moderní (syslog-ng = syslog new generation – syslog nové generace) logovací nástroj pro sbíraní a zpracování logů. Samotná aplikace však logy neanalyzuje, jenom upravuje jejich výstupní podobu. Tento SW využíváme pro Webhosting Klenot.cz.

Syslog-ng disponuje širokou škálou možností konfigurace, je dobře škálovatelný, robustní a flexibilní. Syslog-ng představuje vhodné řešení pro nasazení na centrální logovací systém. Je dostupný pro mnohé operační sytémy (GNU/Linux, *BSD, Solarix, AIX, HP-UX, MS Windows, …) a různé platformy.

Samotná aplikace je dostupná ve třech variantách: Open Source Edition, Premium Edition a Store Box Edition. Komerční varianty (Premium a Store Box) přidávají oproti open source variantě několik vlastností, například podpora SSL/TLS, ukládaní logů do databází, atd. My budeme pracovat s open source variantou. Kompletní přehled vlastností a možností konfigurace můžeme najít v dokumentaci na stránkách projektu.

V případě logování na dekstopových stanicích nám často vyhovuje předvolené nastavení logování a výběr logovací aplikace a většinou do toho nepotřebujeme zasahovat. Na serverech je však situace jiná. Tady pracujeme s obrovským množstvím logů různých aplikací důležitých pro chod našeho serveru.

Na severu musíme zabezpečit vysokou dostupnost, spolehlivost a bezpečnost serverových aplikací. Proto v případě problémů musíme být schopni rychle dohledat příčinu a řešit případné potíže. Právě v takovýchto situacích bývájí nejčastějším zdrojem klasifikace problémů právě log soubory. Proto je důležité jakou aplikaci pro správu logů zvolíme a jak ji nakonfigurujeme. V případě, že používáme centrální logovací server to platí dvojnásob.

V dnešním zápisku si ukážeme instalaci a základní konfiguraci (vzhledem k možnostem aplikace) syslog-ng na dva servery, z nichž jeden bude představovat centrální logovací server (loghost) a druhý bude klientem, tj. logy bude jenom přeposílat na loghost. V obou případech se jedná o servery běžících na systému CentOS 5.

Instalace

Dřív než se pustíme do samotné instalace a konfigurace je vhodné ze systému odinstalovat aktuální syslog. V našem případě je to balíček sysklogd

[root@nps1:~]$ yum remove sysklogd

Balíček pro syslog-ng se nenachází v žádném ze standarních repozitářů pro CentOS 5. Proto si přidáme repozitář EPEL (Extra Packages for Enterprise Linux)

[root@nps1:~]$ rpm -Uhv http://download.fedora.redhat.com/pub/epel/5/i386/epel-release-5-3.noarch.rpm

Teď už můžeme naistalovat syslog-ng (v našem případě verze 2.1.4)

[root@nps1:~]$ yum install syslog-ng

Samozřejme balíček syslog-ng naistalujeme uvedeným způsobem jak na logovací server (loghost) tak na klienta. V případě klienta můžeme použit i jinou varinatu syslog-u, která ale umí přeposílání logů přes síť.

Centrální logovací server

Princip práce syslog-ng je znázorněn na následujícim schematu

+-----------+
| source #1 |---+
+-----------+   |
	       ...	+-----------+	     +-----------+	+-------------+
		|------>| filter #1 |--...-->| filter #N |----->| destination |
	       ...	+-----------+	     +-----------+	+-------------+
+-----------+	|
| source #M |---+
+-----------+

Syslog sbírá zprávy ze zdrojů (source #1 .. source #M), které procházejí různymi filtry (filter #1 .. filter #N) a výsledek posílá do cílové destinace (destination). Jednotlivé prvky mechanizmu práce se definují v konfiguračním souboru /etc/syslog-ng/syslog-ng.conf. Konfigurace je rozdělena na pět základních direktiv (za popisem je uvedeno v tabulce několik voleb pro danou direktivu):

options – obsahuje globální nastavení pro syslog-ng

PARAMETR	POPIS
`sync (<pocet_radku>);`	počet řádek, které se uloží do bufferu než se zapíšou do souboru
`time_reopen (<cas>);`	čas, za který znovu navázat spojení
`time_reap (<cas>);`	čas, za který se má uzavřít cíl, když není používán
`log_fifo_size (<pocet_radku>);`	počet řádků ve výstupní frontě
`log_msg_size(<pocet_znaku<);`	maximmální délka zprávy (znaky)
`keep_hostname (on/off);`	používat/nepoužívat hostname ze zprávy
`use_dns (yes/no);`	používání DNS
`use_fqdn (yes/no);`	používat plné doménové jméno
`owner(<username>);`	předvolený vlastník log souborů
`group(<username>);`	předvolená vlastnícká skupina log souborů
`perm(<prava>);`	práva pro vytvořené log soubory
`dir_owner(<username>);`	předvolený vlastník adresářů
`dir_group(<username>);`	předvolená vlastnícká skupina adresářů
`dir_perm(<prava>);`	práva pro vytvořené adresáře

source – definovaný zdroj zpráv, ze kterého bude syslog číst zpravý, jeden zdroj se můze může skládat z několika komponent/zdrojů

ZDROJ	POPIS
`file ("/cesta/k/souboru");`	čtení zpráv ze zadaného souboru
`unix-stream ("/cesta/k/socketu");`	čtení zpráv ze zadaného socket-u
`tcp (ip(<ip_adresa>) port(<port#>));`	čtení zpráv ze síťového zdroje přes TCP protokol
`udp (ip(<ip_adresa>) port(<port#>));`	čtení zpráv ze síťového zdroje přes UDP protokol
`internal ();`	interní zprávy syslogu

filter – definuje filter pro filtrování zpráv získaných ze zdrojů, filter se skládá z pravidel

PRAVIDLO	POPIS
`facility (<skupina_1>, ..., <skupina_N>);`	filtrování podle skupiny/skupin
`match (<regex>);`	filtrování podle regulárního výrazu
`level (<level_1>, ..., <level_N>);`	filtrování podle úrovně/úrovní zprávy/zpráv
`filter (<filter>);`	filtrování podle jiného filtru
`program (<program>);`	filtrování podle názvu programu

destination – cíl pro filtrovaná zprávy, cíle můžou být různých druhů

CÍL	POPIS
`file ("/cesta/k/souboru");`	ukládá zprávy do souboru
`unix-stream ("/cesta/k/socketu");`	posílá zprávy na socket
`tcp ("<ip_adresa>" port(<port#>));`	posílá zprávy po síťi přes TCP protokol
`udp ("<ip_adresa>" port(<port#>));`	posílá zprávy po síťi přes UDP protokol
`usertty (<username>);`	posílá zprávy nauživatelský terminál

U cest k souborům můžeme používat proměnné, které se dají použít předevšim pro srehlednění logů:

PROMĚNNÁ	POPIS
`$YEAR`	rok
`$MONTH`	měsíc
`$DAY`	den v měsíci
`$HOUR`	hodina
`$WEEK`	číslo týdne
`$PROGRAM`	jméno programu
`$HOST`	hostname
`$SOURCEIP`	IP adresa

log – záznam, který definuje, které zdroje se mají zpracovat kterými filtry a do které destinace má být výsledek poslán (jeden záznam může obsahovat více zdojů a více filtrů, v takovém případě se budou filtry aplikavat v pořadí, v jakém jsou uvedeny)

LOG ZÁZNAM	POPIS
`log { source(<zdroj_1>); ...; source(<zdroj_M>); filter(<filter_1>); ...; filter(<filter_N>) destination(<destinace>); };`	představuje jeden log

Pro kompletní výčet parametrů konfigurace viz manuálovou stránku syslog-ng.conf nebo dokumentaci. Teď si upravíme na našem loghostu konfiguraci pro syslog-ng

[root@nps1:~]$ vim /etc/syslog-ng/syslog-ng.conf
# globální nastavení
options {
        sync (0);
        time_reopen (10);
        log_fifo_size (1000);
        use_dns (no);
        use_fqdn (yes);
        create_dirs (yes);
        keep_hostname (no);
        owner(root);
        group(root);
        perm(0640);
        dir_owner(root);
        dir_group(root);
        dir_perm(0755);
};

# definice zdrojů
source s_sys {						#jméno zdroje - v našem případě dáme všechno do jednoho zdroje
        file ("/proc/kmsg" log_prefix("kernel: "));	#zdroj zpráv kernelu
        unix-stream ("/dev/log");			#standardní zdroj zpráv
        internal();					#zdroj interních zpráv syslogu
};

# definice destinací - použijeme proměnné pro spřehlednění
destination d_mesg { file("/var/log/syslog-ng/$HOST/$YEAR/$MONTH/$DAY/messages"); };
destination d_auth { file("/var/log/syslog-ng/$HOST/$YEAR/$MONTH/$DAY/secure"); };
destination d_mail { file("/var/log/syslog-ng/$HOST/$YEAR/$MONTH/$DAY/maillog"); };
destination d_spol { file("/var/log/syslog-ng/$HOST/$YEAR/$MONTH/$DAY/spooler"); };
destination d_boot { file("/var/log/syslog-ng/$HOST/$YEAR/$MONTH/$DAY/boot.log"); };
destination d_cron { file("/var/log/syslog-ng/$HOST/$YEAR/$MONTH/$DAY/cron"); };
destination d_kern { file("/var/log/syslog-ng/$HOST/$YEAR/$MONTH/$DAY/kern"); };
destination d_daem { file("/var/log/syslog-ng/$HOST/$YEAR/$MONTH/$DAY/daemon.log"); };
destination d_sysl { file("/var/log/syslog-ng/$HOST/$YEAR/$MONTH/$DAY/syslog"); };
destination d_mlal { usertty("*"); };

# definice filtrů - filtry můžeme kombinovat pomocí operátorů logických "and" a "or"
filter f_kernel     { facility(kern); };
filter f_daemon     { facility(daemon); };
filter f_syslog     { facility(syslog); };
filter f_default    { level(info..emerg) and		#projdou všechny zprávy levelu info..emerg kromě těch, které projdou jinými filtry
                        not filter(f_auth) and
                        not filter(f_mail) and
                        not filter(f_cron) and
                        not filter(f_daemon) and
                        not filter(f_syslog); };
filter f_auth       { facility(authpriv) or
                        facility(auth); };
filter f_mail       { facility(mail); };
filter f_emergency  { level(emerg); };
filter f_news       { facility(uucp) or
                        (facility(news)
                        and level(crit..emerg)); };
filter f_boot   { facility(local7); };
filter f_cron   { facility(cron); };

# definice logů - jeden zdroj proženem různymi filtry -> růzé cíle
log { source(s_sys); filter(f_kernel); destination(d_kern); };
log { source(s_sys); filter(f_default); destination(d_mesg); };
log { source(s_sys); filter(f_auth); destination(d_auth); };
log { source(s_sys); filter(f_mail); destination(d_mail); };
log { source(s_sys); filter(f_emergency); destination(d_mlal); };
log { source(s_sys); filter(f_news); destination(d_spol); };
log { source(s_sys); filter(f_boot); destination(d_boot); };
log { source(s_sys); filter(f_cron); destination(d_cron); };
log { source(s_sys); filter(f_daemon); destination(d_daem); };
log { source(s_sys); filter(f_syslog); destination(d_sysl); };

Nakonec ještě upravíme syslog-ng službu a spustíme

[root@nps1:~]$ chkconfig syslog-ng on

[root@nps1:~]$ service syslog-ng start {stop|restart}

Samotné log soubory nalezneme v adresáři, který jsme definovali v konfiguraci syslog-ng, tj. /var/log/syslog-ng, kde můžeme vidět adresáře, které si vytvořil syslog-ng podle proměnných. Zatím tam můžeme najít log soubory jenom pro loghost.

Konfigurace kliena

Těd když už máme funkční loghost, přidáme k jeho zdrojům také další server. Syslog na straně klienta již máme naistalovaného. Zůstává ještě upravit konfiguraci pro syslog-ng na straně klienta

[root@nps2:~]$ vim /etc/syslog-ng/syslog-ng.conf
# globální nastavení pro syslog-ng
options {
        log_fifo_size (8192);
        use_fqdn (yes);
};

# definice zdrojů - zdroje zpráv na straně klienta
source s_sys {
        file ("/proc/kmsg" log_prefix("kernel: "));
        unix-stream ("/dev/log");
        internal();
};

# definice cílů - všechno posíláme na loghosta přes UDP
destination d_loghost { udp("<ip_adresa_loghosta>" port(<port#>)); };

# defince filtrů - odfiltrujeme jenom zprávy levelu debug
filter f_defaut { level(info..emerg); };

# definice logů - nakonec to všechno pošleme na loghost
log { source(s_sys); filter(f_default); destination(d_loghost); };

Syslog jsme nakonfigurovali tak, že všchny zprávy posílá na loghost, kde se budou zpracovávat podle definovaných pravidel. Podobně jako na straně loghosta upravíme službu a spustíme

[root@nps2:~]$ chkconfig syslog-ng on

[root@nps2:~]$ service syslog-ng start {stop|restart}

Aby syslog na straně loghosta zbíral zprávy z dané adresy na daném portu, musíme ještě v konfiguraci na straně loghosta přidat síťovej zdroj

[root@nps1:~]$ vim /etc/syslog-ng/syslog-ng.conf
...
source s_sys {
        file ("/proc/kmsg" log_prefix("kernel: "));
        unix-stream ("/dev/log");
        internal();
        udp(ip(<ip_adresa_loghostu>) port(<port#>)); #síťovej zdroj, adresa našeho loghostu, na dané adrese/portu bude zbírat zprávy
};
...

Restartujeme syslog-ng na straně loghostu aby se nám načetla nová konfigurace se síťovým zdrojem zpráv.

[root@nps1:~]$ service syslog-ng restart

najdeme v adresáři /var/log/syslog-ng (v příslušných podadresářích) i logy pro našeho klienta případně další stanice organizované podle proměnných použitých v konfiguraci loghostu, tj. HOST, YEAR, MONTH a DAY

[root@nps1:~]$ tree -d /var/log/syslog-ng
.
|-- nps1.xxxxxx.xx
|   `-- 2010
|       `-- 05
|           |-- 05
|           |-- 06
|           |-- 07
|           |-- 08
|           `-- 09
`-- nps2.xxxxxx.xx
    `-- 2010
        `-- 05
            |-- 05
            |-- 06
            |-- 07
            |-- 08
            `-- 09

Syslog-ng je efektivní nástroj pro organizaci našich logů a vhodným řešením pro centrální logovací systém. Možnosti aplikace jsou výrazně širší než bylo obsaženo v dnešním zápisku.

Jak již bylo v úvodu zmíněno, syslog-ng neanalyzuje logy a tak je metoda prohlížení a nalýza zpráv na volbě správce systému. Tento fakt se dá eliminovat použitím některé aplikace (například logwatch) pro analýzu logů, která periodicky prohlíží logy podle konfigurace a reportuje, například zasíláním emailů, případné zjištěné problémy, které jsou obsažené ve zprávách. Tímto způsobem se tak dá alespoň částečně zautomatizovat proces zpracování a analýzy logů. Částečně proto, protože některé aplikace si spravují logy samy a zaspisují zprávy do různých souborů a v různých formátech. V takovém případě je potřeba např. přidat do syslog-u novej zdroj, který odpovídá logům pro danou aplikaci nebo na straně aplikace upravit posílaní zpráv do souboru/socketu, který je zdrojem zpráv syslogu.

Další témata

Operating system Syslog-ng

Syslog-ng: logování nové generace

Like this:

Instalace

Centrální logovací server

Konfigurace kliena

Like this:

Related

Další témata

Doporučujeme přečíst

15 let partnerství a spolupráce

Like this:

Related

Jak na Identity management v nemocnicích – Případová studie FN Olomouc

Like this:

Related

Zranitelnost Springu CVE-2022-22965 a CzechIdM

Like this:

Related

Syslog-ng: logování nové generace

Sdílej:

Like this:

Instalace

Centrální logovací server

Konfigurace kliena

Sdílej:

Like this:

Related

Další témata

Doporučujeme přečíst

15 let partnerství a spolupráce

Sdílej:

Like this:

Related

Jak na Identity management v nemocnicích – Případová studie FN Olomouc

Sdílej:

Like this:

Related

Zranitelnost Springu CVE-2022-22965 a CzechIdM

Sdílej:

Like this:

Related