Blog archive 2011/10

Běžná práce se systemd

Oct|26 2011

Stejně jako v předchozích variantách service managerů existuje i v systemd program, pomocí kterého se služby spouští, zastavují, restartují nebo se načítá jejich konfigurace za běhu. Pro tyto a další úkony slouží aplikace systemctl:

Spuštění služby, pokud již běží, nic se neděje:

systemctl start mysqld.service

Zastavení služby, pokud je již zastavena, nic se neděje:

systemctl stop mysqld.service

Restart a podmíněný restart služby; drůhý z uvedených bude proveden pouze pokud služba běží, tedy nespustí zastavenou službu, jako by to udělal první z nich:

systemctl restart mysqld.service
systemctl try-restart mysqld.service

Znovu-načtení konfigurace:

systemctl reload mysqld.service

Spouštět službu na defaultních runlevelech po startu:

systemctl enable mysqld.service

Nespouštět službu automaticky po startu:

systemctl disable mysqld.service

Zjištění, zda je služba automaticky spouštěna po startu:

systemctl is-enabled mysqld.service

Přepnutí do runlevelu 3:

systemctl isolate multi-user.target
systemctl isolate runlevel3.target

Přepnutí do runlevelu 5:

systemctl isolate graphical.target
systemctl isolate runlevel5.target

Výpis všech služeb a jejich stavů:

systemctl list-units

Znovu-načtení konfigurace démona, důležitý krok po úpravě unit souborů:

systemctl daemon-reload

Pro zpětnou kompatibilitu systemd podporuje i dřívější způsob provádění těchto operací - tedy pomocí programů service, chkconfig apod., nicméně preferovaná je novější varianta.

Pokud jste si vyzkoušeli například příkaz systemctl enable, všimli jste si, že systemd hojně pracuje se symbolickými odkazy. Například instalace služby po startu znamená přidání symbolického odkazu na příslušný service file do adresáře cíleného runlevelu, který končí příponou "target". Pokud pochopíte tento celkem jednoduchý princip, nic vám nebrání vytváření vlastních symbolických odkazů manuálně, tedy bez programu systemctl.

Jak ze systemd dostat více informací

Pokud se dostanete tak daleko, že bude te upravovat nějakou službu, například její unit soubor, případně vytvářet službu novou, bude se vám hodit trochu ukecanější systemd. To v GRUBu zařídíme přidáním následujících parametrů do příkazu načtení jádra:

systemd.log_level=debu systemd.log_target=kmsg

v případě GRUB 2 můžeme nastavit proměnnou v souboru /etc/default/grub:

GRUB_CMDLINE_LINUX="systemd.log_target=kmsg systemd.log_level=debug"
Tags: Programování | Počítače | Vývoj | Linux | Fedora | Operační systém



Démonizace po startu a zrychleni bootování

Oct|25 2011

V jednom z předešlých dílů seriálu jsem se zmínil o PID a PPID nově spuštěných procesů. Pokud spouštíme démona, chceme ho vyvázat ze stromu procesů, aby nebyl nijak ovlivněn procesem, který ho spustil. Tomu říkáme démonizace, přičemž je dobré změnit i aktuální pracovní adresář a ignorovat signály týkajicí se práce v terminálu. Ukázkovou démonizaci můžeme vidět na následujícím kódu, který je vypůjčen z implementace lighttpd, jednoduchého http serveru.

signal(SIGTTOU, SIG_IGN);
signal(SIGTTIN, SIG_IGN);
signal(SIGTSTP, SIG_IGN);
if (0 != fork()) exit(0);

if (-1 == setsid()) exit(0);

signal(SIGHUP, SIG_IGN);

if (0 != fork()) exit(0);

if (0 != chdir("/")) exit(0);

Jak vidíme, klasická démonizace navíc obsahuje tzv. double-fork, tedy celkem dvakrát se spouští nový proces se všemi důsledky pro výkon. Rodičovský proces vždy končí s návratovým kódem 0, což je již na první pohled neefektivní z hlediska výkonu (uvědomme si, kolikrát se daná procedura provádí během jednoho bootu), ale také nám dost znesnadňuje kontrolu inicializace démona. V mnoha případech je totiž načítání konfigurace a další inicializační činnost prováděna až v démonizovaném procesu.

Pokud inicializace selže, démon není spuštěn, nicméně rodičovský proces při démonizaci již vrátil nulový návratový kód, tedy hlásil úspěšné spuštění. Tento problém je většinou pomíjen a je pouze na init systému, aby si pomocí pid souboru dohledal, že efektivní proces daného démona již neběží a zaujal příslušná opatření.

Tam, kde by nesprávný návratový kód znamenal větší potíže, je potřeba vytvořit IPC komunikaci mezi novým procesem a původním rodičem, což přináší další nemalé zásahy do kódu démona. Využít můžeme například dbus nebo komunikaci pomocí socketů, nicméně asi cítíme, že to všechno by bylo docela zbytečné, pokud bychom měli lepší způsob, jak se vyvázat z terminálu, resp. od rodičovského procesu.

systemd a démonizace

Nejnovější implementace procesu init spatřilo světlo světa v roce 2010 a jmneuje se systemd. Označení init systém vychází z historického označení systémů sysvinit, proto se pokusím nadále používat obecného označení systémový manažer a manažer služeb (system and service manager).

systemd dokáže používat i starší skripty používané pro Upstart nebo System V. Nicméně pro plné využití je doporučeno vytvořit nativní konfigurační soubory, tzv. Unit files.

Zkusme vzít například lighttpd, jednoduchou implementaci http démona. Ten používá ukázkovou démonizaci pomocí double-fork metody. systemd dokáže takovou implementaci vzít bez změn a díky své vnitřní logice pozná hlavní proces od rodičovského (v tomto případě zůstane běžící pouze jeden, přičemž rodičovské jsou ukončeny). Tento proces potom stráží a případně restartuje službu, pokud hlavní proces neočekávaně skončí. Nativní Unit file pro lighttpd se zachovanou démonizací i s definicí konfiguračního souboru pro démona vypadá následovně:

[Unit]
Description=Lightning Fast Webserver With Light System Requirements
After=syslog.target network.target

[Service]
Type=forking
PIDFile=/var/run/lighttpd.pid
EnvironmentFile=-/etc/sysconfig/lighttpd
ExecStart=/usr/sbin/lighttpd -f /etc/lighttpd/lighttpd.conf

[Install]
WantedBy=multi-user.target

Všimněme si typu služby "forking", která právě definuje, že démon používá démonizaci pomocí double-fork. systemd nicméně dovoluje (a dokonce doporučuje, pokud je to možné) používat spouštění bez démonizace, tedy pouze v jednom procesu. lighttpd démon nám dovoluje spuštění na popředí pomocí přepínače -D, kdy se démonizace neprovede a můžeme tak démona snáze ladit. V případě systemd můžeme tento mód použít a místo "forking" definovat službu jako "simple", což je výchozí hodnota, takže to nemusíme do Unit souboru vůbec uvádět. Výsledný soubor tedy bude vypadat následovně:

[Unit]
Description=Lightning Fast Webserver With Light System Requirements
After=syslog.target network.target

[Service]
PIDFile=/var/run/lighttpd.pid
EnvironmentFile=-/etc/sysconfig/lighttpd
ExecStart=/usr/sbin/lighttpd -D -f /etc/lighttpd/lighttpd.conf

[Install]
WantedBy=multi-user.target

Čeho jsme docílili? Tak zejména systemd nemusí zjišťovat, který proces je výkonný pomocí pid souboru nebo jiného mechanizmu, protože je ve skutečnosti spuštěný všehovšudy pouze jeden proces. Zároveň neprovádíme démonizaci, což znamená ušetření určitého výpočetního času.

Jednoduché je i reportování či případné ukončení služby a správné vrácení návratové hodnoty v případě, že inicializace démona neproběhne v pořádku. A v neposlední řadě si můžeme (pokud by systemd byl používán na všech systémech, které používají našeho démona) ušetřit čas při programování a ladění démona. Při spuštění se o veškerou démonizaci postará systemd.

Tags: Programování | Počítače | Vývoj | Linux | Fedora | Operační systém



Co je to proces init a jaká je jeho historie

Oct|24 2011

První z krátké série článků o systémech init, spouštění procesů a moderním způsobu programování démonů. Nejprve se pojďme podívat, co je to init proces a co se musí stát, než se spustí koncová aplikace - například server databáze mysql.

Všechny spuštěné aplikace, tedy procesy, jsou označeny číslem zhruba od 1 do 32000, kterému říkáme PID (process ID) a jednoznačně daný proces identifikuje. Tato čísla jsou většinou přiřazována postupně a až na jednu výjimku nezáleží, jaké číslo daný proces má. Tou jedinou výjimkou je proces init, proces, který je vždy označen PID 1 a který spouští ostatní. Spuštěné procesy poté mohou spouštět další procesy a vzniká tak strom procesů, které jsou propojeny tzv. PPID (parent process ID). PPID tedy udává, který proces byl tím, který daný proces spustil.

Všichni démoni, tedy ne-interaktivní aplikace, které běží na pozadí, mají většinou PPID 1, tedy nejsou závislé na žádném jiném procesu. Jak lze z obyčejného programu udělat démona (někde můžeme vidět výraz démonizace procesu) si povíme v některém z následujících článků.

Narozdíl od živočišné říše jsou rodičovské procesy umírají (rozumněj končí) zpravidla později než jejich potomci a jsou navíc povinní přebrat od svých potomků závěť - v tomto případě návratový kód, aby se z nich nestaly zoombie. To jen pro úplnost.

Co se děje při startu systému?

Asi nás nepřekvapí, že kromě kromě operačních systémů máme nainstalovaný bootloader, tedy program, který ví o všech systémech na daném počítači. V případě linuxu také ví o všech verzích kernelu a dovoluje nám mezi těmito verzemi vybírat. Je umístěn na části disku zvaném MBR (Master Boot Record) a dnes nejpoužívanější implementace jsou GRUB a LILO.

Pak tu máme samotný kernel, který je základem operačního systému a funguje jako prostředník mezi uživatelskými aplikacemi a operacemi jádra (například práce s pamětí, systémová volání, přepínání kontextu úloh apod.). Bootloader má za úkol především nahrát do paměti kernel a většinou i ramdisk, zvaný initrd, pomocí kterého jsou do paměti již v raném startu k dispozici všechny kritické moduly jádra. Nakonec samotný kernel spustí.

Potom je tu další prostředník, tentokrát mezi uživatelskými aplikacemi a kernelem samotným - init systém. V podstatě se již jedná o běžnou aplikaci, spouštěnou s rootovskými právy. Ta má za úkol kontrolovat své potomky, přebírat jejich návratové hodnoty, posílat jim signály (například HUP pro znovunačtení konfigurace), znovu spouštět aplikace (pokud byly ukončeny nečekaně) a v neposlední řadě řídit, který proces se při startu systému spustí dříve a který později. Zejména k poslední bod nás bude zajímat v dalších částech tohoto seriálu.

No a nakonec tu máme aplikace, z nichž si pro mé demonstrace vyberu démona databáze mysql. Ty mohou spouštět další procesy, ale zárověň mohou vyžadovat, aby již jiné procesy byly spuštěny předtím, než jsou sami spuštěny. Například démon mysqld žádá, aby byl již aktivní syslog (démon starající se o logování různých zpráv na systémové úrovni).

Zároveň často chceme, aby byly při neočekávaném ukončení znovu spuštěny - démon databázového serveru je pro tento požadavek ideální kandidát, přesto, že zrovna v tomto případě nenecháváme tuto kotrolu na init systému, nýbrž se o kontrolu běhu stará pomocný skript mysql_safe, který je součástí démona mysqld.

Historie INIT systémů

System III byl prvním init systémem vypuštěným na veřejnost firmou AT&T v roce 1982 a byl součástí operačního systému UNIX 3.0. Následovan byl o rok později verzí s označením System V, zkráceně často SysV nebo sysvinit. Tento systém při spouštění přečte soubor /etc/inittab, ve kterém je definována cesta k init systému a defaultní runlevel.

Zde mi dovolte malou odbočku, vysvětlujicí pojem runlevel. Runlevel si můžeme představit jako množinu služeb (aplikací) které mají být spuštěny. Jednotlivé runlevely jsou zpravidla označeny číslem 1 až 6, přičemž 6 paradoxně znamená reboot. Runlevel 1 potom zařídí spuštění jen nejzákladnějších služeb pro použití systému v jednouživatelském režimu. Uživatel je přihlášen jako root a tento mód se používá zpravidla v nouzových režimech, například v případě, že zapomenete root heslo.

Ostatní označení runlevelů se liší v různých distribucích, ale pokud se budu držet Fedory a jí podobným, runlevel 3 spustí víceuživatelské prostředí v textovém terminálu a runlevel 5 potom víceuživatelské prostředí v grafickém prostředí (KDE, Gnome apod.). Něco jako jednouživatelské prostředí v grafickém režimu nedává smysl a proto jsou runlevely 2 a 4 nepoužívány. Jako praktická ukázka nám může posloužit výše zmíněná aplikace mysqld (démo databázového serveru mysql). Tohoto démona tedy dává smysl spouštět na runlevelech 3 a 5.

Po malé odbočce zpět k init systému sysvinit. Aby systém věděl, která binárka se má spouštět a jak s ní komunikovat, bylo navrženo jednoduché rozhraní. Pro každou službu je vytvořen skript, který rozumí parametrům start, stop, restart, reload apod. Skript samotný potom volá samotnou aplikaci s potřebnými parametry, zasílá jí signály nebo někdy i načítá konfiguraci.

Skripty všech služeb jsou uloženy v /etc/rc.d a symbolické odkazy jsou potom umístěny v /etc/rc1.d až /etc/rc6.d, kde čísla značí jednotlivé runlevely. V těchto adresářích najdeme soubory pojmenované například S23NetworkManager, S08iptables nebo S24cups. 'S' znamená start, dvojmístné číslo potom slouží ke správnému pořadí spouštěných služeb. Služba s nižším číslem je vždy spuštěna dříve, než služba s vyšším číslem.

V praxi to tedy vypadá takto:

/etc/rc3.d/S23NetworkManager -> /etc/init.d/NetworkManager

a spuštění démona provedeme buďto:

# /etc/init.d/NetworkManager start

nebo pomocí speciální utility:

# service NetworkManager start

V devadesátých létech se tedy nacházíme ve stavu, kdy existují stovky služeb se svými SysV skripty, které buďto spravuje vývojář dané služby nebo vývojáři dané distribuce. Samozřejmě se objevují návrhy, že by bylo dobré implementovat spouštění služeb jiným, pokročilejším způsobem, umožňujícím například paralelní start služby, opožděné spuštění až v době, kdy je služba opravdu potřeba a nebo jen jednodušší zápis než stále dokola opakovat téměř totožné bashové skripty.

Problém ovšem byl, že v tu dobu již existují stovky služeb, které mají nějakým způsobem definovány své skripty. Potom není jednoduché všechny skripty jen tak přepsat pro systém nový. A naopak není možné nasadit nový systém, pokud pro něj nebudou napsány nové konfigurační soubory, nahrazující SysV skripty. Klasický problém vejce a slepice tedy brzdil vývoj v oblasti init systémů dlouhá léta.

V roce 2006 přišla implementace Upstart, založená na asynchronním spouštění služeb pomocí událostí a která mohla být nasazena zejména díky možnosti používat SysV skritpy. Pokud jste se setkali s výrazem LSB init skripty, vězte, že se jedná pouze o mírně upravené SysV init skritpy podle standardu LSB. LSB tedy standardizovalo to, co System V implementoval. Pomocí relativně malých úprav umožnil Upstart asynchronní spouštění více služeb najednou, aniž by se muselo vždy čekat na dokončení startu předcházející služby. Od pouhého spouštění aplikací se Upstart rozrostl o komunikaci pomocí dbus a správu spouštění úloh v daných intervalech, což dříve prováděl démon cron.

Jen čtyři roky na to spatřila světlo světa implementace od německého vývojáře Lennarta Poetteringa a dalších, která se jmenuje systemd. Ta umožňuje plně paralelní start služeb při startu, přidává aktivaci služeb pomocí socketů nebo dbus a přidává monoho pokročilých optimalizací. Stejně jako Upstart umožňuje využívat sysv init skripty, což byla podmínka, díky které bylo vůbec možné přemýšlet o nasazení v reálné distribuci. Místo skriptů ale již doporučuje služby definovat pomocí nativních konfiguračních souborů, které jsou značně jednodušší, nicméně přináší některé problémy. O systemd si blíže povíme v dalším článku z této mini série.

Tags: Programování | Vývoj | Linux | Fedora | Operační systém



Jak uspět v open-source světě?

Oct|20 2011

Zajímavé slidy ze své nedávné prezentace zveřejnil na svém blogu [1] hacker (v dobrém slova smyslu) Lennart Poettering. Autor PulseAudia, Avahi nebo systemd sumarizuje základní rady, jakými by se měl řídit jak začínající, tak dlouholetý člen open-source komunity.

Chvilku jsem přemýšlel, jestli duplicitní slide "Don't lose yourself in details" byl záměr nebo chyba, přičemž první mi přijde pravděpodobnější. "Neztrácet čas a mysl v detailech" je totiž základem úspěchu nejen v open-source komunitě.

Přikládám pár postřehů, které se mi zdály nejzajímavější:

  • začínat malými patchi a učit se od zkušenějších, než začnete svůj vlastní projekt
  • dělat více než mluvit
  • být vděčný ale nečekat vděčnost od ostatních
  • být připraven na to, že život v meritokratické komunitě není lehký

[1] http://0pointer.de/blog/projects/hinter-den-kulissen.html

Tags: Osobní | Internet | Programování | Vývoj | Linux