3. diel - Zoznámenie s Power Query a úvod do čistenia dát

V minulej lekcii, Import dát do nástroja Power BI , sme sa zoznámili so základnými spôsobmi importu dát do nástroja Power BI Desktop.

V tomto Power BI tutoriále si vysvetlíme, prečo je dôležité dáta čistiť a čo všetko nám umožňuje nástroj Power Query. Zoznámime sa aj s jeho prostredím a základnými prvkami. To všetko je nevyhnutný základ pre každého, kto chce tvoriť kvalitné a spoľahlivé reporty v Power BI.

Editor Power Query a jeho prostredie

Najprv si vysvetlíme, prečo je dôležité dáta čistiť a aké konkrétne problémy sa pri tom v praxi riešia. Tento prehľad nám pomôže pochopiť, na čo Power Query slúži a prečo je jeho ovládanie kľúčové pre akúkoľvek prácu s dátami.

Prečo je dôležité dáta čistiť?

Práca s dátami začína oveľa skôr, než vytvoríme prvú vizualizáciu. Bez úprav dát by výsledná analýza bola nespoľahlivá a mohla by viesť k zlým záverom. Dôvody na čistenie dát môžu byť rôzne, ale medzi najčastejšie patria:

• Zaistenie kvality dát – chybné alebo nekompletné hodnoty skresľujú výsledky.
• Konzistencia – rôzne formáty (napríklad pri dátume) je potrebné zjednotiť, aby išli dáta spájať.
• Odstránenie duplicít – opakujúce sa riadky môžu ovplyvniť súčty, počty alebo priemery.
• Zvýšenie výkonu – menšia a očistená dátová sada sa načíta rýchlejšie a lepšie sa s ňou pracuje.
• Prehľadnosť a interpretovateľnosť – dobre štruktúrované dáta sa ľahšie čítajú a vysvetľujú ostatným.

Kedy dáta čistiť?

Úprava a čistenie dát nie je jednorazová akcia – v reálnych projektoch sa k nej vraciame opakovane. Často zistíme problémy až vo chvíli, keď začneme tvoriť reporty alebo kombinovať viaceré dátové zdroje. Dáta čistíme:

• Pri zlučovaní z viacerých zdrojov – tabuľky môžu mať rôzne štruktúry, kľúče alebo názvy stĺpcov.
• Pred vizualizáciou alebo reportingom – aby sa v grafoch nezobrazovali neplatné alebo zavádzajúce hodnoty.
• Pri migrácii do iného systému – nový systém očakáva presne dané typy a formáty dát.
• Pri automatizácii – chybné alebo chýbajúce dáta môžu spôsobiť zlyhanie celého procesu.
• Pri modelovaní a predikcii – na presné výpočty a trénovanie modelov potrebujeme kvalitné vstupy.

Ukážkové scenáre z praxe

Aby bolo jasnejšie, ako vyzerá čistenie dát v konkrétnych situáciách, pridávame niekoľko príkladov. Niektoré z nich si neskôr vyskúšame:

• Zlúčenie dát z viacerých tabuliek – spojenie tabuľky objednavky s tabuľkou zakaznici pomocou spoločného stĺpca id_zakaznika.
• Odstránenie chýbajúcich hodnôt – vynechanie riadkov, kde chýba napríklad údaj o veku alebo pohlaví.
• Štandardizácia formátu dát – zjednotenie rôznych zápisov dátumu, napríklad 1.1.2023 a 2023-01-01.
• Oprava chybných hodnôt – odstránenie alebo úprava záporných čísel v stĺpci mnozstvi, kde dáva zmysel len kladná hodnota.
• Odstránenie nevalidných údajov – vyfiltrovanie neplatných e-mailových adries alebo telefónnych čísel so znakmi, ktoré do nich nepatria.

Power Query je nástroj, ktorý tieto úpravy zvládne efektívne, prehľadne a bez nutnosti programovania.

Načítanie tabuliek do Power Query

V tejto lekcii budeme nadväzovať na dáta, ktoré sme importovali skôr. Pokiaľ ešte nemáme pripravený súbor s dátami, môžeme si ho stiahnuť z prílohy na konci lekcie alebo sa vrátiť k lekcii Import dát do nástroja Power BI, kde je celý postup podrobne vysvetlený.

Pri importe vyberieme excelový zošit prodeje.xlsx az neho všetky tabuľky. Následne klikneme na možnosť Transformovať dáta. Tým sa nám otvorí editor Power Query, ktorý si teraz predstavíme.

Editor Power Query

Po načítaní dát do Power Query sa ocitneme v prostredí, ktoré slúži na vizuálnu úpravu tabuliek. Nejde o jednoúčelový importný nástroj, ale o plnohodnotné prostredie pre dátovú prípravu. Tu budeme väčšinu času upravovať štruktúru a obsah dát ešte pred ich načítaním do modelu Power BI.

Prostredie editora Power Query vyzerá nasledovne:

Popis panelov Power Query

Ako vidíme, Power Query sa skladá z niekoľkých základných častí, ktoré nám umožňujú prehľadnú a postupnú prácu:

• Zoznam otázok (vľavo) – tu vidíme všetky tabuľky, ktoré sme načítali, a medzi ktorými sa môžeme prepínať. Aktuálne sa nachádzame v zobrazení tabuľky zakaznici.
• Náhľad tabuľky (uprostred) – zobrazuje aktuálny stav dát vybranej tabuľky s jednotlivými stĺpcami (atribútmi) a riadkami (záznamy). Tento náhľad sa priebežne aktualizuje pri každej úprave.
• Nastavenie otázok (vpravo) – každá úprava, ktorú vykonáme, sa uloží ako samostatný krok v časti Použitý postup. Tento zoznam obsahuje všetky kroky transformácie dát, ktoré sme doteraz vykonali. Každý krok môžeme spätne upraviť, premenovať alebo odstrániť kliknutím na ikonu krížika vedľa danej operácie
• Pás kariet (hore) – obsahuje jednotlivé funkcie rozdelené do logických sekcií, ktoré používame na transformáciu dát.

Prehľad hlavných kariet Power Query

Podobne ako v Exceli alebo Worde pracujeme s kartami, ktoré združujú súvisiace nástroje. Tu je prehľad tých najdôležitejších:

• Súbor – ponuka na uloženie a načítanie dotazov, prístup k možnostiam dátových pripojení a nastavenia Power Query.
• Domov – základné akcie ako zatvorenie a načítanie dát, odstránenie stĺpcov, filtrovanie, zoskupenie alebo zlúčenie dotazov.
• Transformácia – nástroje na zmenu dátových typov, nahradenie hodnôt, rozdelenie alebo zlúčenie stĺpcov, transpozíciu tabuliek a ďalšie operácie na úpravu dát.
• Pridanie stĺpca – vytváranie nových stĺpcov z výpočtov, podmienok alebo kombinácií iných polí.
• Zobrazenie – nastavenie náhľadu a pracovného priestoru, zobrazenie krokov transformácie, dátových typov a ďalších náhľadových prvkov.
• Nástroje – rozšírené možnosti ako správca dotazov, sledovanie výkonu alebo prístup k editoru jazyka M.
• Pomocník – odkazy na oficiálnu dokumentáciu, interaktívne návody, podporu a ďalšie užitočné zdroje.

Jazyk M

Power Query pri vykonávaní transformácií automaticky generuje na pozadí každý náš krok ako zápis v jazyku M. Tento jazyk umožňuje hlbšie úpravy dát pomocou vlastných skriptov. Každý krok je reprezentovaný konkrétnym M kódom, ktorý je možné zobraziť a ručne upraviť v Editore pokročilých otázok, ak potrebujeme zložitejšie operácie alebo väčšiu kontrolu nad procesom transformácie.

Jazyk M vyzerá nasledovne:

Teraz vieme, prečo je dôležité dáta čistiť, kedy sa to v praxi najčastejšie rieši a ako s tým pomáha Power Query. Zoznámili sme sa s jeho prostredím, logikou práce a krátko si uviedli jazyk M, ktorý zaznamenáva každý krok úprav. Nabudúce si ukážeme konkrétnu transformáciu dát v praxi.

V nasledujúcom kvíze, Kvíz - Import a čistenie dát v Power Query, si vyskúšame nadobudnuté skúsenosti z predchádzajúcich lekcií.

 

Mal si s čímkoľvek problém? Stiahni si vzorovú aplikáciu nižšie a porovnaj ju so svojím projektom, chybu tak ľahko nájdeš.