Levenberg & Marquardt Algoritması

Eğim düşüm ve Newton algoritmalarından türetilerek, LM algoritmasına ait parametre güncelleme işlemi aşağıda verilmiştir.

Denklemde, ω ağırlık vektörü, I birim matrisi,  µ kombinasyon katsayısıdır. J, [(P x n), N] boyutunda Jacobian matrisini, e (P x n), 1] boyutunda hata vektörünü göstermektedir. P, eğitim örnek sayısını,  n çıkış sayısını ve  N ağırlık sayısını göstermektedir.

Levenberg & Marquardt algoritması parametre güncelleme işlemlerini, tüm giriş örnek değerleri için oluşturduğu hata vektörünü ve Jacobian matrisini kullanarak yapmaktadır. Jacobian matrisinin elde edilmesi aşağıda gösterilmektedir.

Jacobian matrisi parametrelerinin oluşumu ise aşağıdaki şekilde gösterilmiştir.

Hata vektörü ise aşağıdaki gibi elde edilir.

Güncelleme denkleminde µ ayarlanabilir bir parametredir. Eğer bu parametre çok büyükse yöntem eğim düşüm metodu gibi davranmaktadır. Eğer çok küçükse Newton metodu gibi davranmaktadır