16. diel - Neurónové siete - Dokončenie krížovej entropie

V minulej lekcii, Neurónové siete – Krížová entropia , sme prebrali stratovú funkciu cross entropy a binary cross entropy.

V tejto lekcii tutoriálu Neurónovej siete - Pokročilé rozšírime naše znalosti krížovej entropie - cross entropy. Pozrieme sa na variant multi-class a na negative log-likelihood.

Prečo je binary cross entropy lepší ako MSE

V predchádzajúcej lekcii nám grafy zobrazili niečo veľmi zaujímavé. Presnosť BCE sa zvyšovala oveľa rýchlejšie v porovnaní s MSE loss funkciou, aj keď model bol rovnaký. Prečo tomu tak je? Táto skutočnosť súvisí s aktivačnou funkciou sigmoid a binary cross entropy. Pripomeňme si graf funkcie sigmoid a jej deriváciu:

def sig(x):
    return 1 / (1 + np.exp(-x))
x = np.arange(-6, 6, 0.1)
plt.figure(figsize=(12,4))
plt.plot(x, sig(x), label="function")
plt.plot(x, sig(x)*(1-sig(x)), label="derivative")
plt.title("Sigmoid")
plt.legend()
plt.show()

Priebeh funkcie a jej derivácia v grafe:

...koniec náhľadu článku...
Pokračuj ďalej