👩🔧 NN Düzenlileştirme (Regularization)
Last updated
Was this helpful?
Last updated
Was this helpful?
Kısaca: Aşırı öğrenmeyi önleyen -ve varyansı- azaltan bir tekniktir
Aşırı öğrenme durumunda, modelimiz eğitim verilerindeki ayrıntıları ve gürültüyü çok iyi öğrenmeye çalışır, bu da sonuçta görülmeyen verilerde (test seti) düşük performansa neden olur.
Aşağıdaki grafik, bu durumu daha iyi açıklar:
Modelin daha iyi genelleşmesi için öğrenme algoritmasında ufak değişiklikler yapan bir tekniktir. Bu da modelin görülmeyen veriler üzerindeki performansını artırmaktadır.
En yaygın düzenlileştirme türüdür, aşağıdaki formüle göre uygulanır
Burada, lambda düzenlileştirme parametresidir. Daha iyi sonuçlar için değeri optimize edilmiş olan hiper-parametredir. L2 düzenlileştirmesi, ağırlıkları sıfıra (ancak tam olarak sıfıra değil) indirgemeye zorladığı için ağırlık azalması (Weight decay) olarak da bilinir.
Bazı sinirleri rastgele belirli bir oranda elimine ederek başka bir düzenlileştirme yöntemidir.
Basitçe: Her p olasılığına sahip düğüm için, geri yayılma sırasında giriş veya çıkış ağırlıklarını güncellemiyoruz (Yani onu düşürüyoruz 😅)
Daha iyi görselleştirme:
Eleme işleminden önce ve sonra bir NN
Genellikle bilgisayarlı görüşte kullanılır, ancak olumsuz yönü maliyet fonksiyonu J'nin artık iyi tanımlanmamasıdır.
Aşırı öğrenmeyi azaltmanın en basit yolu, eğitim verilerinin boyutunu artırmaktır, daha fazla veri elde etmek çok maliyetli olduğu için her zaman mümkün değildir, ancak bazen verilerimize dayanarak verilerimizi artırabiliriz, örneğin:
Resimler üzerinde dönüşüm yapmak veri setimizi büyütebilir
Eğitim setinin bir bölümünü doğrulama seti olarak tuttuğumuz bir tür çapraz doğrulama stratejisidir. Doğrulama setindeki performansın kötüye gittiğini gördüğümüzde, modelin eğitimini derhal durdururuz. Bu Erken Durma olarak bilinir.
Uzun Lafın Kısası 😅: Overfitting and Regularization in Neural Networks
