20. diel - Neurónové siete – Dense vrstva a optimalizátory
V minulej lekcii, Neurónové siete – Softmax a refaktoring , sme sa zoznámili s funkciou Softmax a vykonali ďalší refaktoring.
V tejto lekcii tutoriálu Neurónovej siete - Pokročilé sa zameriame na dense vrstvu a optimizéry.
Dense vrstva
Nadišiel čas, aby sme sa venovali našej poslednej vrstve. Pripomeňme si, že logistická regresia mala vektor váh w, ktorý bol vynásobený vektorom x obsahujúcim atribúty jedného príkladu (alebo maticou v prípade batch príkladov). Pre prístup one-vs-rest sme mali niekoľko logistických regresií. Keď sme potom spracovávali príklady z dátovej sady, museli sme ich odovzdať každému neurónu. Ako sa ukázalo, môžeme spojiť váhy všetkých neurónov dohromady do matice váh: ?. Okrem toho môžeme pridať bias explicitne a zbaviť sa dodatočnej 1, ktorú sme dopĺňali ku každému príkladu. V dôsledku toho môžeme celú logistickú regresiu pre viac tried vyjadriť nasledujúcim vzorcom:
CrossEntropy(softmax(??+?))
Vrstva, ktorá je zodpovedná za lineárnu kombináciu (??+?), sa nazýva denso vrstva, alebo tiež fully-connected vrstva. Práve na ňu sa teraz zameriame. Zostávajúce prvky vrstvy ako softmax a cross entropy už máme z minulých lekcií.
...koniec náhľadu článku...
Pokračuj ďalej
Došiel si až sem a to je super! Veríme, že ti prvé lekcie ukázali niečo nového a užitočného.
Chceš v kurze pokračovať? Prejdi do prémiovej sekcie.
ročné PREDPLATNÉ
44 €
mesačne, platené ročne (528 €)14 000+ lekcií, cvičení a testov
6 000+ ti zostane navždy
Neobmedzený prístup ku všetkým aktuálnym
aj pripravovaným kurzom.
Kúpiť iba tento kurz
Získaj okamžitý prístup ku kurzu bez
časového obmedzenia.
19 €
Pred kúpou tohto článku je potrebné kúpiť predchádzajúci diel
Obsah článku spadá pod licenciu Premium, kúpou článku súhlasíš s Prevádzkovými podmienkami.
- Prístup k jednotlivým lekciám podľa spôsobu obstarania.
- Kvalitné znalosti v oblasti IT.
- Zručnosti, ktoré ti pomôžu získať vysnívanú a dobre platenú prácu.
Popis článku
Požadovaný článok má nasledujúci obsah:
V tomto tutoriále Pythonu pre pokročilých preberieme dense vrstvu a optimizéry. Tieto znalosti budeme potrebovať pre našu prvú neurónovú sieť.
