A matemática do Gradiente Descendente & Regressão Linear (machine learning)

Nesse vídeo vamos dissecar o "Gradient Descent" passo a passo, para que você consiga compreender como funciona e para que serve. Curso completo: https://didatica.tech/curso-de-machin...

O exemplo mostrado será com o modelo de regressão linear, porém o mesmo conceito se aplica a outros algoritmos de machine learning. Essa aula está organizada da seguinte forma:
0:10 A importância do gradiente descendente
0:35 Objetivo dessa aula
1:58 Explicação conceitual do gradiente descendente (sem matemática)
12:05 Início da explicação matemática do gradiente descendente
12:44 Como medir o ajuste da reta aos dados (distância dos dados)
15:18 O que é função de custo (cost function) e como calcular
17:55 A minimização da função de custo
18:52 Atualizando os valores dos pesos e dos viéses (weight, bias) em cada iteração
21:20 A taxa de variação da função de custo
22:40 Derivada parcial da função de custo em relação ao coeficiente angular
27:50 Derivada parcial da função de custo em relação ao coeficiente linear
29:22 Calculando a derivada da função de custo em relação ao coeficiente angular da reta
29:40 Relembrando a regra da cadeia (cálculo)
35:39 Calculando a derivada da função de custo em relação ao coeficiente linear da reta
39:34 Como novas retas são construídas a partir de novos valores dos parâmetros
44:01 O que é a taxa de aprendizagem (learning rate) e sua importância na equação
47:22 Algoritmo em Python que calcula o gradiente descendente
48:40 Próximos objetivos
50:02 O que significa o nome "gradiente descendente"

O gradiente descendente é uma das técnicas mais importantes do machine learning, pois permite que o algoritmo aprenda a cada nova iteração qual direção seguir para minimizar a função de custo.
Uma função de custo captura a diferença entre o resultado encontrado pelo modelo e o resultado esperado (valor de teste). Quanto maior essa função, mais distante o modelo está de fazer previsões corretas.
Todo o conceito de gradient descent se baseia em derivadas parciais, onde os valores dos coeficientes da função a ser otimizada são atualizados a cada nova iteração, pelo valor que depende da magnitude da derivada parcial da função de custo em relação a cada coeficiente.
Essa atualização dos pesos e vieses (weight, bias) é feita com base em uma constante chamada learning rate, que significa "taxa de aprendizagem".

Apesar de parecer complexa em uma primeira abordagem, a técnica do gradiente descendente é concisa e muito elegante para resolver problemas de alta magnitude, permitindo a descoberta mais conveniente de parâmetros em algoritmos de machine learning, não apenas em regressão linear, mas também em redes neurais, como vemos nesse artigo: https://bit.ly/redeNeural

#redesNeurais #machinelearning #gradienteDescendente