21. diel - Neurónové siete – Model a tréning

V minulej lekcii, Neurónové siete – Dense vrstva a optimalizátory , sme prebrali dennú vrstvu a optimizéry, témy potrebné na vytvorenie našej prvej neurónovej siete.

V tejto lekcii tutoriálu Neurónovej siete - Pokročilé si nadefinujeme triedu Model. Trieda bude reprezentovať samotný model a bude obsahovať vrstvy v atribúte layers. Okrem toho bude mať aj štandardné metódy, ktoré sme už videli predtým v logistickej regresii. Zameriame sa tiež viac na kódovanie a skúmanie výstupov.

Model

Predikcia sa vykonáva vrstvu po vrstve. Jej kód môže vyzerať takto:

inputs = mnist_dataset
for layer in self.layers:
    inputs = layer(inputs)

Pre backpropagation bude algoritmus obdobný. Výstupy vrstiev, ktoré sú zároveň vstupom do ďalšej vrstvy, si zapamätáme v premennej outputs. Využijeme ich potom vo fáze backpropagation. Najprv spočítame gradient loss funkcie a odovzdáme ho metóde gradient() poslednej vrstvy. Gradient sa bude šíriť vrstvami z poslednej do prvej, kým nebudeme mať gradienty váh. Pretože náš kód gradienty váh akumuluje (volanie np.add vo všetkých triedach v minulej lekcii), najprv ich musíme vynulovať. Kód vyzerá takto:

...koniec náhľadu článku...
Pokračuj ďalej