Funciones de activación a detalle (Redes neuronales)

En este video vemos a detalle varias de las funciones de activación que se usan actualmente en redes neuronales. Revisamos cómo funcionan, por qué se necesitan y comparamos algunas de sus características.

Ya tengo cursos!
Aprende a programar desde cero con Python:
https://www.domestika.org/es/courses/...
Aprende IA desde cero con Python:
https://www.domestika.org/es/courses/...

Si quieres apoyarme y formar parte de este proyecto, puedes hacerlo de varias maneras:
Patreon: http://bit.ly/patreon-ringatech
Membresía Youtube:    / @ringatech  
Si el video te gustó, da clic en me gusta y déjame un comentario!

= = = CONTENIDO
0:00 ¿Para qué sirven?
4:18 Escalón / Step
4:55 Derivadas
6:48 Logística / Sigmoid
7:52 Desvanecimiento de gradiente
9:07 Tangente hiperbólica y Softsign
11:00 ReLU
12:45 Neuronas muertas
13:35 Leaky ReLU
14:00 PReLU y GELU
14:44 Softplus, Maxout, ELU
15:43 Swish / SiLU
16:29 Mish
17:15 Identidad y Softmax
19:47 Cuándo usar cada una
21:24 ¿Oscilatorias?
= = =

Descripción larga para el algoritmo:
Las funciones de activación son un componente indispensable para que las redes neuronales puedan generar el aprendizaje para poder hacer predicciones. En este video vemos funciones como la función logística / sigmoid, la tangente hiperbólica / tanh, Softsign, ReLU, Leaky ReLU, Parametric ReLU, GELU, SILU, ELU, Softplus, Maxout, Swish, Mish, GCU, Softmax y la función de identidad.

Muchas de las funciones permiten que el proceso de propagación hacia atrás funcione de manera más eficiente, por lo que buscamos funciones de activación con diversas propiedades como ser diferenciables, que tengan un bajo costo computacional, y en algunos casos que estén centradas en el cero, o que sean no monotónicas.

En el video vemos de manera intuitiva cómo y por qué funcionan, con apoyos visuales y revisión de publicaciones.

#machinelearning #redesneuronales #inteligenciaartificial