Um estudo sobre métodos de máxima descida e acelerações

Abstract

Neste trabalho é apresentado um estudo sobre o método de máxima descida (método do gradiente ou método de Cauchy) e variações mais recentes, como o gradiente acelerado de Nesterov e gradiente espectral. Foi realizada uma revisão dos principais resultados teóricos destes métodos de primeira ordem, com foco na complexidade de iteração destes métodos. Além de estudar a complexidade de pior caso, também foi investigado o desempenho prático destes métodos através de experimentos numéricos com funções quadráticas com Hessiana simétrica positiva definida. Por fim, comentamos brevemente sobre a “pior função do mundo” para a qual a taxa de convergência ótima do método de Nesterov fica evidenciada.