Levenberg & Marquardt Algoritması

Eğim düşüm ve Newton algoritmalarından türetilerek, LM algoritmasına ait parametre güncelleme işlemi aşağıda verilmiştir.

Adsız

Denklemde, ω ağırlık vektörü, I birim matrisi,  µ kombinasyon katsayısıdır. J, [(P x n), N] boyutunda Jacobian matrisini, e (P x n), 1] boyutunda hata vektörünü göstermektedir. P, eğitim örnek sayısını,  n çıkış sayısını ve  N ağırlık sayısını göstermektedir.

Levenberg & Marquardt algoritması parametre güncelleme işlemlerini, tüm giriş örnek değerleri için oluşturduğu hata vektörünü ve Jacobian matrisini kullanarak yapmaktadır. Jacobian matrisinin elde edilmesi aşağıda gösterilmektedir.

Adsız

Jacobian matrisi parametrelerinin oluşumu ise aşağıdaki şekilde gösterilmiştir.

Adsız

Hata vektörü ise aşağıdaki gibi elde edilir.

Adsız

Güncelleme denkleminde µ ayarlanabilir bir parametredir. Eğer bu parametre çok büyükse yöntem eğim düşüm metodu gibi davranmaktadır. Eğer çok küçükse Newton metodu gibi davranmaktadır

Adsız