Datová pumpa

Změníl(a) - Lucie Mácová

Obecně se dá říci, že datová pumpa umožňuje výměnu dat na bázi SQL dotazů mezi databázemi a pracuje na principu plánovače úloh, který spouští předem připravené úkoly, popsané v jazyku SQL.

V systému plusPortal je vestavěná datová pumpa a najdete ji v postranním menu v Nastavení / Konfigurace / Datová pumpa:

Jedná se o nástroj umožňující řízenou výměnu dat mezi databází plusPortalu a jinými datovými úložišti, ke kterým lze přistupovat za pomoci ovladačů OLEDB: relační databáze, XML soubory, textové soubory, Excel tabulky, Active Directory, atd.

Pumpa provádí čerpání dat po krocích. V každém kroku lze čerpat data z jednoho zdroje do cílové tabulky databáze. Kroky je možné sdružovat do úkolů, takže v rámci jednoho úkolu se provede několik kroků za sebou.

Úlohy pro datovou pumpu lze definovat za pomoci stránek uživatelského rozhraní plusPortalu.
Pro každou úlohu je definován:
  • směr přenosu dat - z plusPortalu ven nebo do plusPortalu (při svém spuštění provede načtení dat z/do databáze plusPortalu nebo z/do různě definovaných zdrojů);
  • časový rozvrh neboli časovač, který určuje, jak často a kdy se má úloha spouštět;
  • jeden nebo více kroků, popisující vlastní datové transfery. V rámci jednoho kroku je vždy popsána manipulace s daty za pomocí jazyka SQL a připojovací řetězec v syntaxi „OLEDB connection string“.
Spuštění jednotlivých úkolů datové pumpy je automaticky zajištěno pomocí API časovače.

Co se odkud a kam má přečerpat je uživatelsky nastavitelné (předpoklad činnosti administrátora, ne běžného uživatele) a nastavení je uchováno ve speciálním konfiguračním souboru.

Existují 3 typy manipulace s daty:
  • Synchronizace dat - musí se definovat externí ID = klíčový sloupec v cílové tabulce;
  • Spustit SQL příkaz - nejjednodušší možnost, používá se např. na přepočet;
  • Dávková úloha - definuje se připojovací řetězec do zdrojové databáze a také SQL příkaz.

Případy připojovacích řetězců najdete zde. Definují se pouze u Synchronizace dat a Dávkové úlohy.

Uživatelské rozhraní datové pumpy je tvořeno vybranými stránkami webové aplikace a slouží pro nastavení kroků přečerpávání dat. Samotné přečerpání žádné uživatelské rozhraní nemá a provádí se na pozadí jako proces spuštěný na webovém serveru. Jeho výsledek může administrátor zkontrolovat v log souboru, který se při každém spuštění cyklu vytvoří.

Proces může skončit chybou a proto se vždy při zadávání datové pumpy nastavuje e-mail pro zasílání notifikací.


Jak hodnotíte článek?