Blog archive 2011/11

Upgrade Fedora 15 na Fedora 16

Nov|10 2011

Krátká zpráva o právě provedeném upgradu operačního systému Fedora 15 na několik hodin nový systém Fedora 16. Pokud se chcete pustit do upgradu, není špatné pamatovat na několik věcí. Berte, prosím, tento text jako popis mých kroků, ne jako návod - nechci nést zodpovědnost za případné problémy s tím vzniklé.

Nebudu zdůrazňovat nutnost zálohovat data, protože upgrade je vždy riskantní operace, přestože je ze strany distribuce podporována. Je na uvážení každého, jaká data může případně postrádat, ať již je ztratí při upgradu nebo jiným způsobem. Podpora ze strany distribuce se navíc týká pouze upgrade z N na N+1, neboť přechod přímo z N na N+2 již podporován není, alespoň co se týká Fedory. Nicméně neznamená to, že je to nemožné, jen to nemusí jít tak hladce.

Na stránkách Fedora projektu je uveden postup, jak upgrade provést, šel jsem podle něho a doplnil pár kroků:

Krok 1: nabootovat do runlevelu 3 a přihlásit se jako root

Místo přechodu do konzole pomocí ctrl + alt + F2 jsem přímo nabootoval do runlevelu 3 - tedy můžeme buďto provést ln -s /lib/systemd/system/runlevel3.target /etc/systemd/system/default.target nebo přidat znak "3" nakonec příkazu v grubu.

Krok 2: importovat klíč F16 a updatovat yum

rpm --import https://fedoraproject.org/static/A82BA4B7.txt yum update yum yum clean all

Krok 3: provést samotný update

yum --releasever=16 --disableplugin=presto distro-sync

Tato operace trvá dlouho. Záleží na počtu nainstalovaných balíčků a rychlosti stahování. Upgrade cca 1600 balíčků mi například zabral hodinu a půl času.

Krok 4: instalace nového grub2

/sbin/grub2-mkconfig -o /boot/grub2/grub.cfg /sbin/grub2-install /dev/sda

Fedora 16 má konečně grub2, nicméně ten není po upgradu nainstalován na MBR. Pro instalaci na /dev/sda jsem to napravil výše uvedeným způsobem.

Krok 5: relabel a reboot

touch /.autorelabel reboot

Po upgradu bylo potřeba re-labelovat SELinux kontext celého systému, protože se může stát, že některé soubory mohli (a také měly) kontext špatný. V mém případě například nebylo možné přihlásit se do gnome a najít důvod tohoto problému mi zabralo zhruba půl hodiny. Relabel celého systému trvá samozřejmě dlouho, můj 300 GB filesystem (kde ale mnoho souborů má několik GB) byl přelabelován za zhruba 10 minut.

Suma sumárum dvě hodinky práce. Oproti čisté instalaci, která zabere zhruba třetinu času, mám ale všechny potřebné balíky již na svém místě a konfigurace zůstala zachována.

Tags: Linux | Fedora | Operační systém



Aktivace "on demand" v systemd

Nov| 2 2011

Výraz bootovací sekvence vychází z dřívější implementace spouštění služeb (doby SysV a prakticky i Upstart), kdy se jednotlivé služby staticky seřadily podle priorit spouštění a init systém je při bootu spouštěl v daném pořadí, pěkně jednu po druhé. Důsledkem toho nebyla výjimkou situace, že zpoždění jedné služby mělo za následek zpoždění celého bootu, nehledě na to, že díky mnoha systémových volání se procesor během bootu často nudil a pouze čekal na nějakou I/O operaci.

Upstart sice dokázal přidat částečnou paralelizaci, nicméně závislosti mezi službami zůstaly lineární. Revoluci v tomto přináší až systemd. Jeho autoři si položili otázku, proč vlastně na sebe služby závisí a zda je skutečně potřeba mít spuštěnu celou službu, předtím, než začneme spouštět službu druhou, která na ni závisí. Zjistili, že v podstatě vše závisí na komunikačních kanálech, konkrétně socketech, dbus sběrnici, apod. Pokud dokážeme mít daný komunikační kanál k dispozici již dříve, není nutné čekat na spuštění celé služby a můžeme vesele spouštět další.

Vezměme si například službu komunikující s NetworkManagerem pomocí dbus. systemd ví, jakým komunikačním kanálem (v případě dbus object path, nicméně můžeme si místo toho představit např. unix socket) tyto dvě služby komunikují a tento kanál dopředu vytvoří. Daná služba se startuje paralelně s NetworkManagerem a může vesele zapisovat do kanálu, aniž by se jakákoliv zpráva ztratila. Až ve chvíli, kdy potřebuje z tohoto kanálu číst, dochází k případnému zastavení, což nicméně odpovídá běžnému čekání na I/O operaci.

Startování služeb pomocí systemd navíc navíc nabízí tzv. start na požádání, kdy služby nejsou spouštěny v případě, že zatím nejsou potřeba. Můžeme danou službu nadefinovat tak, že bude spouštěna až v případě, že s daným kanálem (např. socketem) začne někdo komunikovat. V tomto případě je ovšem nutné si uvědomit, že start a inicializace některých služeb trvá déle a je tedy nutné počítat s určitým zpožděním. Na druhou stranu služby jako cups, kde zpomalení v řádu sekund nehraje roli, je ideálním kandidátem na spouštění pomocí socket aktivace. Démon cups tak neběží ihned po startu systému, ale spouští se až v době, kdy chce uživatel tisknout.

Následuje ukázka jednoduché služby předpovědi počasí. Služba bude naslouchat na portu 8289 a přijímat requesty ve formátu YYYY-MM-DD. Odpovědí bude předpověď počasí na tento den. Pokud chceme takovou službu vytvořit a používat se systémem Upstart nebo obdobným init systémem, musíme do serveru implementovat minimálně:

  • funkci pro zpracování dotazů a vrácení výsledku
  • démonizaci (obdobný proces v mnoha aplikacích = duplicita kódu)
  • inicializaci socketu pro komunikaci
  • navázání tohoto socketu na port 8289
  • vytváření procesů pro jednotlivé requesty pro zajištění paralelního zpracování dotazů
  • vytvoříme init script například zkopírováním základu z jiné služby (duplicita kódu)

Často si chceme být navíc jisti, že pokud náš démon spadne, bude vždy znova spuštěn, takže vytvoříme chůvičku -- jednoduchý program, který obalí našeho démona, hlídající jeho případný kolaps.

Pomocí systemd je situace značně jednodušší. Pokud nám stačí podpora systemd, necháme si socket vytvořit jím a přesměrujeme stdin/stdout na tento socket.

Seznam kroků, které budeme muset implementovat, se tedy změní na:

  • funkci pro zpracování dotazů a vrácení výsledku
  • dotaz přečteme z stdin a odpověď zapíšeme do stdout
  • vytvoříme unit soubory pro službu (12 řádků) a unit soubor pro socket (8 řádků)

systemd se umí postarat o znovu-spuštění démona v případě pádu (pokud si to přejeme), vytvořený socket správně naváže na port a v našem případě (služba se spouští rychle) spustí novou instanci procesu pro každé příchozí spojení na daném socketu. systemd si démonizační proces obstará sám a program je navíc implementován pro běh na popředí, což umožňuje snadnější ladění.

Pokud vynecháme funkci, která zpracovává dotazy a vrací do odpovědi, celý program je velmi jednoduchý:

char req[BUFFSIZE], resp[BUFFSIZE];
/* get requests and leave when request = q|quit */
while (fgets(req, sizeof(req) - 1, stdin) != NULL)
{
  if (strncmp(req, "q", 1) == 0 || strncmp(req, "quit", 4) == 0)
    return;
  process_request(req, resp);
  printf(resp);
  fflush(stdout);
}

Unit soubory jsou při instalaci ukládány v /lib/systemd/systme. Adresář /etc/systemd/system slouží pro unit soubory, které jsou lokálně upraveny, stačí jen zkopírovat unit soubor z /lib do /etc a nový soubor bude po reloadu systemd démona upřednostněn. Konfigurace služby pro démona uvedeného výše může být následující:

[Unit]
Description=Forecast daemon
After=syslog.target network.target
Requires=forecastd.socket

[Service]
ExecStart=/home/hhorak/Dropbox/forecastd
StandardInput=socket
StandardOutput=socket
StandardError=syslog

[Install]
WantedBy=multi-user.target
Also=forecastd.socket

Konfigurace socketu pro výše uvedenou službu potom bude následující:

[Unit]
Description=Forecast Daemon Socket

[Socket]
ListenStream=8289
Accept=yes

[Install]
WantedBy=sockets.target

Po provedení systemctl daemon-reload a spuštění socketu pomocí systemctl start forecastd.socket, můžeme pomocí netstat -a | grep 8289 vidět, že systém naslouchá na portu 8289. Pokud se například programem telnet připojíme k danému portu, systemd spustí program forecastd, se kterým můžeme komunikovat jako s démonem.

Tags: Internet | Programování | Vývoj | Linux | Fedora | Operační systém