20. diel - Neurónové siete – Dense vrstva a optimalizátory
V minulej lekcii, Neurónové siete – Softmax a refaktoring , sme sa zoznámili s funkciou Softmax a vykonali ďalší refaktoring.
V tejto lekcii tutoriálu Neurónovej siete - Pokročilé sa zameriame na dense vrstvu a optimizéry.
Dense vrstva
Nadišiel čas, aby sme sa venovali našej poslednej vrstve. Pripomeňme si, že logistická regresia mala vektor váh w, ktorý bol vynásobený vektorom x obsahujúcim atribúty jedného príkladu (alebo maticou v prípade batch príkladov). Pre prístup one-vs-rest sme mali niekoľko logistických regresií. Keď sme potom spracovávali príklady z dátovej sady, museli sme ich odovzdať každému neurónu. Ako sa ukázalo, môžeme spojiť váhy všetkých neurónov dohromady do matice váh: ?. Okrem toho môžeme pridať bias explicitne a zbaviť sa dodatočnej 1, ktorú sme dopĺňali ku každému príkladu. V dôsledku toho môžeme celú logistickú regresiu pre viac tried vyjadriť nasledujúcim vzorcom:
CrossEntropy(softmax(??+?))
Vrstva, ktorá je zodpovedná za lineárnu kombináciu (??+?), sa nazýva denso vrstva, alebo tiež fully-connected vrstva. Práve na ňu sa teraz zameriame. Zostávajúce prvky vrstvy ako softmax a cross entropy už máme z minulých lekcií.
...koniec náhľadu článku...
Pokračuj ďalej
Došiel si až sem a to je super! Veríme, že ti prvé lekcie ukázali niečo nového a užitočného.
Chceš v kurze pokračovať? Prejdi do prémiové sekcie.
Kúpiť iba tento kurz
Získaj okamžitý prístup ku kurzu bez
časového obmedzenia.
475 kreditov
Pred kúpou tohto článku je potrebné kúpiť predchádzajúci diel
Obsah článku spadá pod licenciu Premium, kúpou článku súhlasíš so zmluvnými podmienkami.
- Prístup k jednotlivým lekciám podľa spôsobu obstarania.
- Kvalitné znalosti v oblasti IT.
- Zručnosti, ktoré ti pomôžu získať vysnívanú a dobre platenú prácu.
Popis článku
Požadovaný článok má nasledujúci obsah:
V tomto tutoriále Pythonu pre pokročilých preberieme dense vrstvu a optimizéry. Tieto znalosti budeme potrebovať pre našu prvú neurónovú sieť.
Kredity získaš, keď podporíš našu sieť. To môžeš urobiť buď zaslaním symbolickej sumy na podporu prevádzky alebo pridaním obsahu na sieť.
