Smer padanja
Iz Wikipedije, proste enciklopedije
Pri optimizaciji je smer padanja funkcije oziroma padajoča smer v točki 
vektor 
, za katerega velja, da vrednost namenske funkcije 
v tej smeri »lokalno pada«.
Bolj natančno to pomeni, da lahko najdemo takšen skalar ε > 0, da velja
, je
Če gradient funkcije ni enak nič (
), je 
smer padanja funkcije f natanko takrat, ko je
,
kjer 
označuje skalarni produkt.
Pri optimizacijskih algoritmih je iskanje padajočih smeri namenske funkcije pomembno, ker lahko funkcijo v takšni smeri zagotovo zmanjšamo, če uporabimo dovolj majhen korak. Negativen neničelen gradient funkcije je vedno padajoča smer, saj velja
.
To dejstvo uporabimo pri metodi najstrmejšega padca, kjer funkcijo zaporedoma minimiziramo v smeri negativnega gradienta. Obstajajo še druge metode za izračun smeri padanja, na primer metoda konjugiranih gradientov. Ta metoda se uporablja pogosteje od metode najstrmejšega padca, ki v resnici ni učinkovita, kar se intuitivno zdi v nasprotju z dejstvom, da funkcija v smeri negativnega gradienta najhitreje pada.
