5. diel - Dáta Lifecycle a metódy zberu dát Nové

V predchádzajúcej lekcii, Databázy a tabuľky , sme sa zoznámili so základnou štruktúrou databázových tabuliek

V tomto tutoriále dátovej analýzy sa zoznámime s pojmom Data Lifecycle. Ten popisuje kompletný životný cyklus dát od ich vzniku a zberu cez spracovanie a analýzu až po archiváciu alebo likvidáciu. Súčasťou Data Lifecycle je aj zber dát – kľúčová fáza, v ktorej určíme, aké informácie potrebujeme a akým spôsobom ich získame. Venovať sa budeme tradičným aj moderným metódam zberu dát, vysvetlíme niektoré pojmy, ktoré sa v tejto oblasti používajú (napr. web scraping, API, IoT), a ukážeme si, čo všetko musíme zohľadniť z hľadiska legislatívy, etiky aj bezpečnosti.

Dáta Lifecycle

Životný cyklus dát obvykle zahŕňa niekoľko na seba nadväzujúcich fáz. Ako dátoví analytici v každej z týchto fáz uplatňujeme trochu inú sadu zručností a nástrojov:

• Stanovenie cieľov: Určíme, ktoré ukazovatele sledujeme a čo chceme z dát zistiť (napr. predpovedať dopyt, pochopiť nákupné správanie alebo detekovať anomálie vo výrobe).
• Zber dát: Zisťujeme, ako dáta získať (dotazníky, databázy, API, IoT senzory), a posudzujeme kvalitu aj dostupnosť rôznych zdrojov.
• Čistenie a úprava: Kontrolujeme konzistenciu, odstraňujeme chybné či duplicitné záznamy a prevádzame formáty do podoby vhodnej pre ďalšiu analýzu.
• Analýza a interpretácia: Využívame štatistické metódy, vizualizácie či modely strojového učenia, aby sme z dát odhalili užitočné poznatky.
• Prezentácia výsledkov: Pripravujeme reporty, dashboardy alebo odporúčania pre rozhodovanie.
• Archivácia či odstránenie: Uchovávame dáta, ktoré môžu poslúžiť aj v budúcnosti, a zároveň sa zbavujeme záznamov, ktoré už nepotrebujeme, aby sme si udržali prehľad a splnili právne požiadavky (napr. GDPR).

.<>

Vďaka ucelenému pohľadu na dáta si dokážeme lepšie naplánovať jednotlivé kroky a zohľadniť všetky dôležité aspekty – od zabezpečenia a kvality dát až po ich dlhodobú hodnotu pre firmu alebo výskumný tím. V našom kurze si jednotlivé kroky postupne predstavíme. Dnes sa zameriame na samotný zber dát.

Zber dát

Než sa pustíme do metód zberu, zostavíme si stručný plán - aké informácie hľadáme, ako ich získame, ako overíme ich kvalitu a ako s nimi budeme pracovať ďalej. Pripravíme si zoznam potenciálnych zdrojov (interné databázy, externé API, senzory atď.) a vyberieme vhodné technológie na extrakciu a ukladanie dát. Ako dátoví analytici zároveň zvažujeme, nakoľko je dátová štruktúra kompatibilná s našimi nástrojmi a aké zložité bude dáta ďalej spracovávať. Starostlivým plánovaním sa vyhneme zbytočným oneskoreniam, chybným formátom či komplikáciám pri analýze.

Metódy zberu dát

Akonáhle určíme, čo a prečo chceme skúmať, je kľúčový výber správnej metódy zberu dát. Na získanie názorov, pocitov alebo skúseností je možné použiť dotazníky a rozhovory, ktoré umožňujú rýchle oslovovanie veľkého množstva respondentov a poskytujú hlbšie vhľady. Naopak, pre automatizované meranie fyzických javov, ako je teplota či pohyb, alebo sledovanie užívateľského správania na webe av aplikáciách, sa hodí senzory a logy. Pri výbere je dôležité zamerať sa na metódy, ktoré sú najrelevantnejšie pre stanovené ciele a zaisťujú kvalitné a presné dáta bez toho, aby bolo nutné používať všetky dostupné prístupy.

Tradičné postupy a ich využitie

Tradičné prístupy, ako sú dotazníky, ankety či pozorovania v teréne, majú nižšie technologické nároky, takže sú vhodné pre menšie tímy alebo rýchle pilotné štúdie. Pri tvorbe dotazníkov si dávame pozor na jasné a zrozumiteľné otázky, aby respondenti poskytli relevantné odpovede. Pri rozhovoroch a fokusných skupinách záleží na schopnosti moderátora viesť diskusiu a nestrácať sa v nepodstatných detailoch. Pozorovanie potom využívame v situáciách, keď chceme zaznamenávať správanie ľudí či procesov bez priameho zásahu. Táto metóda však vyžaduje starostlivé protokolovanie a často aj vyššiu mieru subjektívneho posúdenia.

Automatizovaný zber z digitálnych zdrojov

V modernej dátovej analytike sa väčšinou nezaobídeme bez automatizovaných techník, ktoré sú rýchle a minimalizujú ľudské chyby. Patria sem:

• Interné databázy a analytické aplikácie - Najjednoduchšie je samozrejme spracovávať dáta, ktoré už máme lokálne uložené (napr. v databáze nášho e-shopu) alebo k nim máme prístup. Pomocou špecializovaných nástrojov ako sú Google Analytics, Snowplow alebo Hotjar môžeme zbierať a vyhodnocovať správanie zákazníkov vrátane informácií ako kam najčastejšie jazdia myšou a pod. Môžeme im tiež ľahko zobraziť dotazník na vyplnenie, napr. cez Google Forms, a získať automaticky zhrnutie výsledkov. Analyzovať môžeme tiež najrôznejšie logy, čo sú záznamy o vykonaných akciách, napr. chybách alebo vyťažení.
• Otvorené externé dáta a API (Application Programming Interface): Rozhranie partnerov a verejných služieb poskytujúce prístup k dátam a funkciám. Napríklad, ak náš dodávateľ materiálu ponúka API, môžeme z neho sťahovať aktuálne informácie o produktoch, cenách a skladových zásobách. Rovnako si môžeme z webu Slovenského štatistického úradu stiahnuť Excel súbory alebo použiť výsledky verejného dotazníka.
• Web scraping: Technika zberu dát z webových stránok, kedy program (tzv. scraper) prechádza obsah a ukladá vybrané informácie (napríklad cenu tovaru, hodnotenie produktov, textové články). Pre web scraping je možné použiť rôzne nástroje (napr. Beautiful Soup, Selenium, Scrapy), ktoré umožňujú dáta extrahovať a ďalej spracovávať.
• Komerčné dátové balíčky a dátové trhovisko – platené dáta od firiem, ktoré sa kúpia hotové s licenciou (napr. česká databáza firiem Merk).

Ako dátoví analytici pri automatizovanom zbere definujeme filtre, aby sme získavali skutočne relevantné dáta a predišli zahlteniu nepotrebnými informáciami.

Senzory a IoT technológie

V mnohých oblastiach (priemysel, logistika, múdre domácnosti, poľnohospodárstvo) je dôležitým zdrojom dát Internet vecí (IoT), teda sieť chytrých zariadení a senzorov. Tá meria rôzne veličiny (teplota, tlak, poloha, vlhkosť) a odosielajú ich v reálnom čase na ďalšie spracovanie. Pre dátového analytika to znamená:

• zaistiť správnu konfiguráciu a kalibráciu senzorov, aby merali presne.
• vybrať vhodnú komunikačnú technológiu (Wi-Fi, Bluetooth a pod.) pre prenos nameraných hodnôt.
• riešiť spoľahlivosť pripojenia, výpadky a prípadné oneskorenie v dátach.
• ukladať a spracovávať veľké objemy dát v reálnom čase alebo v krátkych intervaloch.

Tieto kroky vyžadujú často špecializované nástroje a väčšie investície do hardvéru, ale odmenou je detailný a kontinuálny pohľad na sledované javy.

Externé zdroje a ich kvalita

Nie vždy máme k dispozícii vlastné dáta – v praxi sa často hodí využiť open data (voľne dostupné zdroje), platené databázy alebo API ďalších organizácií. Predtým, než dáta integrujeme do nášho systému, sa oplatí otestovať:

• Štruktúru a formát: Zodpovedá JSON, XML alebo CSV našim potrebám?
• Aktuálnosť a presnosť: Ako pravidelne je zdroj aktualizovaný, sú v ňom časté chyby?
• Licenčné a právne obmedzenia: Je možné údaje použiť na komerčné účely? Je nutné uvádzať zdroj?
• Metodiku zberu: Ako údaje vznikli, či sú reprezentatívne a neskrývajú skreslenie?

Vďaka dôkladnej kontrole predídeme situácii, kedy by sme pracovali s nepoužiteľným alebo zavádzajúcim datasetom.

Ochrana osobných údajov a etika

S akýmkoľvek zberom dát sa spája aj zodpovednosť za ochranu citlivých informácií. V praxi to znamená dôsledne aplikovať princípy GDPR a ďalších legislatívnych predpisov, ale tiež mať interné smernice pre anonymizáciu či pseudonymizáciu záznamov. Etické hľadisko je rovnako dôležité ako to právne – zbierame len také dáta, ktoré naozaj potrebujeme a dokážeme ich ochrániť pred zneužitím. Pokiaľ je to nutné, užívateľom musí byť poskytnutý prehľad o tom, aké údaje o nich evidujeme, prípadne možnosť svoj súhlas odvolať.

V nasledujúcej lekcii, Ukladanie a archivácia dát , si vysvetlíme, čo je ukladanie a archivácia dát a ukážeme si rozdiel medzi aktívnou prácou s dátami a ich dlhodobým uchovávaním.