Extremen van functies in n veranderlijken

We hebben het hier over het zoeken van minima van functies f(x) met x een reële vector met n componenten en f(x) reëel.

de Rosenbrock functie

We illustreren verschillende methoden op het voorbeeld van de Rosenbrockfunctie.

Wat leren we hieruit?

De orde van een methode heeft bepaalt hoe snel een methode convergeert.
De gulden snede en bisectiemethoden zijn traag maar robuust.
De kwadratische interpolatie en de Newton methode zijn sneller maar niet zo robuust. Ze kunnen een lokaal maximum in plaats van een lokaal minimum geven.
De methode van Newton is voor "eenvoudige minima" kwadratisch convergent. De orde van de kwadratische interpolatie wordt experimenteel bepaald als zijnde ongeveer 1.32.

Steilste afdaling

We illustreren hoe de methode van de steilste afdaling voor een kwadratische functie een zigzageffect heeft. en dat men beter toegevoegde richtingen zou gebruiken.

Wat leren we hieruit?

De methode van de steilste afdaling geeft niet altijd de beste manier om een minimum te bepalen. Er kan een zigzageffect optreden. Daardoor is de methode, zelfs voor kwadratische functies nog traag.
Men kan beter gebruik maken van de informatie opgebouwd door de steilste afdalingsmethode en daaruit toegevoegde richtingen distilleren zodat veel vluggere convergentie optreedt.