3. diel - Zoznámenie s Power Query a úvod do čistenia dát

V minulej lekcii, Import dát do nástroja Power BI, sme sa zoznámili so základnými spôsobmi importu dát do nástroja Power BI Desktop.

V tomto Power BI tutoriáli si vysvetlíme, prečo je dôležité čistiť dáta a čo všetko nám umožňuje nástroj Power Query. Zoznámime sa aj s jeho prostredím a základnými prvkami. To všetko je nevyhnutný základ pre každého, kto chce tvoriť kvalitné a spoľahlivé reporty v Power BI.

Editor Power Query a jeho prostredie

Najprv si vysvetlime, prečo je dôležité čistiť dáta a aké konkrétne problémy sa pri tom v praxi riešia. Tento prehľad nám pomôže pochopiť, na čo Power Query slúži a prečo je jeho ovládanie kľúčové pri akejkoľvek práci s dátami.

Prečo je dôležité čistiť dáta?

Práca s dátami sa začína omnoho skôr, než vytvoríme prvú vizualizáciu. Bez úprav dát by výsledná analýza bola nespoľahlivá a mohla by viesť k nesprávnym záverom. Dôvody na čistenie dát môžu byť rôzne, ale medzi najčastejšie patria:

• Zabezpečenie kvality dát – Chybné alebo nekompletné hodnoty skresľujú výsledky.
• Konzistentnosť – Rôzne formáty, napríklad pri dátume, je potrebné zjednotiť, aby sa dali dáta prepájať.
• Odstránenie duplicít – Opakujúce sa riadky môžu ovplyvniť súčty, počty alebo priemery.
• Zvýšenie výkonu – Menšia a vyčistená dátová sada sa načítava rýchlejšie a lepšie sa s ňou pracuje.
• Prehľadnosť a interpretovateľnosť – Dobre štruktúrované dáta sa ľahšie čítajú a vysvetľujú ostatným.

Kedy čistiť dáta?

Úprava a čistenie dát nie je jednorazová akcia. V reálnych projektoch sa k nej vraciame opakovane. Často odhalíme problémy až vo chvíli, keď začneme vytvárať reporty alebo kombinovať viac dátových zdrojov. Dáta čistíme:

• Pri spájaní z viacerých zdrojov – Tabuľky môžu mať rôzne štruktúry, kľúče alebo názvy stĺpcov.
• Pred vizualizáciou alebo reportingom – Aby sa v grafoch nezobrazovali neplatné alebo zavádzajúce hodnoty.
• Pri migrácii do iného systému – Nový systém očakáva presne dané typy a formáty dát.
• Pri automatizácii – Chybné alebo chýbajúce dáta môžu spôsobiť zlyhanie celého procesu.
• Pri modelovaní a predikcii – Na presné výpočty a trénovanie modelov potrebujeme kvalitné vstupy.

Ukážkové scenáre z praxe

Aby bolo jasnejšie, ako vyzerá čistenie dát v konkrétnych situáciách, pridávame niekoľko príkladov. Niektoré z nich si vyskúšame pri práci s pripraveným datasetom:

• Zlúčenie dát z viacerých tabuliek – Spojíme tabuľku objednavky s tabuľkou zakaznici pomocou spoločného stĺpca id_zakaznika.
• Odstránenie chýbajúcich hodnôt – Vynecháme riadok, v ktorom chýba napríklad údaj o veku alebo pohlaví.
• Štandardizácia formátu dát – Zjednotíme rôzne zápisy dátumu, napríklad 1. 1. 2023 a 2023-01-01.
• Oprava chybných hodnôt – Odstránime alebo upravíme záporné čísla v stĺpci mnozstvo, kde dáva zmysel len kladná hodnota.
• Odstránenie neplatných údajov – Vyfiltrujeme neplatné e-mailové adresy alebo telefónne čísla so znakmi, ktoré do nich nepatria.

Power Query je nástroj, ktorý tieto úpravy zvládne efektívne, prehľadne a bez nutnosti programovania.

Načítanie tabuliek do Power Query

V tejto lekcii budeme pracovať s pripraveným datasetom o predajoch. Ak ešte nemáte pripravený súbor s dátami, môžete si ho stiahnuť z prílohy na konci lekcie alebo sa vrátiť k lekcii Import dát do nástroja Power BI, kde je celý postup podrobne vysvetlený.

Pri importe vyberieme excelový zošit predaje.xlsx a z neho všetky tabuľky. Namiesto priameho načítania klikneme na šípku vedľa tlačidla Load a z rozbalenej ponuky vyberieme možnosť Transform data (Transformovať údaje). Tým sa otvorí editor Power Query, ktorý si teraz predstavíme.

Editor Power Query

Po načítaní dát do Power Query sa ocitneme v prostredí, ktoré slúži na vizuálnu úpravu tabuliek. Nejde o jednoúčelový importný nástroj, ale o plnohodnotné prostredie na dátovú prípravu. Tu budeme väčšinu času upravovať štruktúru a obsah dát ešte pred ich načítaním do modelu Power BI.

Prostredie editora Power Query vyzerá nasledovne:

Popis panelov Power Query

Ako vidíme, Power Query sa skladá z niekoľkých základných častí, ktoré nám umožňujú prehľadnú a postupnú prácu:

• Zoznam dotazov (vľavo) – Tu vidíme všetky tabuľky, ktoré sme načítali a medzi ktorými môžeme prepínať. Aktuálne sa nachádzame v zobrazení tabuľky zakaznici.
• Náhľad tabuľky (uprostred) – Zobrazuje aktuálny stav dát vybranej tabuľky s jednotlivými stĺpcami a riadkami. Tento náhľad sa priebežne aktualizuje pri každej úprave.
• Nastavenia dotazu (vpravo) – Každá úprava, ktorú vykonáme, sa uloží ako samostatný krok v časti Použité kroky. Tento zoznam obsahuje všetky kroky transformácie dát, ktoré sme doteraz vykonali. Každý krok môžeme spätne upraviť, premenovať alebo odstrániť kliknutím na ikonu krížika vedľa danej operácie.
• Pás kariet (hore) – Obsahuje jednotlivé funkcie rozdelené do logických sekcií, ktoré používame na transformáciu dát.

Prehľad hlavných kariet Power Query

Podobne ako v Exceli alebo Worde pracujeme s kartami, ktoré združujú súvisiace nástroje. Tu je prehľad tých najdôležitejších:

• Súbor – Nájdeme tu ponuku na uloženie a načítanie dotazov, prístup k možnostiam dátových pripojení a nastaveniam Power Query.
• Domov – Ponúka základné akcie, ako sú zatvorenie a načítanie dát, odstránenie stĺpcov, filtrovanie, zoskupenie alebo zlúčenie dotazov.
• Transformovať – Obsahuje nástroje na zmenu dátových typov, nahradenie hodnôt, rozdelenie alebo zlúčenie stĺpcov, transpozíciu tabuliek a ďalšie operácie na úpravu dát.
• Pridať stĺpec – Umožňuje vytvárať nové stĺpce z výpočtov, podmienok alebo kombinácií iných polí.
• Zobrazenie – Tu nájdeme nastavenie náhľadu a pracovného priestoru, zobrazenie krokov transformácie, dátových typov a ďalších náhľadových prvkov.
• Nástroje – Poskytuje pokročilé možnosti, napríklad správu dotazov, sledovanie výkonu alebo prístup k editoru jazyka M.
• Pomocník – Obsahuje odkazy na oficiálnu dokumentáciu, interaktívne návody, podporu a ďalšie užitočné zdroje.

Jazyk M

Power Query pri vykonávaní transformácií automaticky na pozadí generuje každý náš krok ako zápis v jazyku M. Tento jazyk umožňuje hlbšie úpravy dát pomocou vlastných skriptov. Každý krok je reprezentovaný konkrétnym M kódom, ktorý možno zobraziť a ručne upraviť v Rozšírenom editore, ak potrebujeme zložitejšie operácie alebo väčšiu kontrolu nad procesom transformácie.

Jazyk M vyzerá nasledovne:

Teraz už vieme, prečo je dôležité čistiť dáta, kedy sa to v praxi najčastejšie rieši a ako s tým pomáha Power Query. Zoznámili sme sa s jeho prostredím, logikou práce a stručne sme si predstavili jazyk M, ktorý zaznamenáva každý krok úprav. Tento základ využijeme pri konkrétnych transformáciách dát v praxi.

V ďalšej lekcii, Základné úpravy a transformácia dát v Power Query, sa zoznámime so základnými transformáciami v Power Query.

Mal si s čímkoľvek problém? Stiahni si vzorovú aplikáciu nižšie a porovnaj ju so svojím projektom, chybu tak ľahko nájdeš.