CNN'leri Kurmak İçin Diğer Yaklaşımlar
Last updated
Was this helpful?
Last updated
Was this helpful?
Yaklaşım
Açıklama
Artıklı Ağlar
Derin NN'lerde kaybolan eğim sorununu önlemek için bir yaklaşım
Bire bir konvolüsyon
Renk Kanallarında filtre uygulanması
Bir sinir ağı eğitiminin her iterasyon sırasında, tüm ağırlıklar, mevcut ağırlığa göre hata fonksiyonunun kısmi türeviyle orantılı bir güncelleme alır. Eğer gradyan çok küçükse, ağırlıklar etkili bir şekilde değişmeyecek ve sinir ağını ileri eğitimden tamamen durdurabilir 🙄😪. Bu olaya Kaybolan Eğim (vanishing gradients) denir 🙁
Basitçe 😅: Çok yavaş gradiyan inişi nedeniyle verilerin derin sinir ağının katmanları arasında kaybolduğunu söyleyebiliriz
ResNet'in ana fikri, aşağıdaki gibi bir veya daha fazla katmanı atlayan identity shortcut connection sunmaktır.
Bloklardan birinin identitiy fonksiyonunu öğrenmesi kolay
Performansa zarar vermeden daha derine gidebilir
Düz NN'lerde, Kaybolan ve Patlayan Gradyanlar problemleri nedeniyle, ağın performansı derinleştikçe azalmaktadır.
Sıkıştırma ve çeşitli evrişim uygulayarak girişlerin boyutunu azaltabiliriz, bu filtreler girişin görüntüsünün yüksekliğini ve genişliğini azaltabilir; peki renk kuralları ne oluyor? 🌈, başka bir deyişle derinliği ne oluyor?
Bir CNN çıktısının derinliğinin girişte uyguladığımız filtre sayısına eşit olduğunu biliyoruz;
Yukarıdaki örnekte 2 filtre uyguladık, böylece çıkış derinliği 2
CNN'lerimizi geliştirmek için bu bilgiyi nasıl kullanabiliriz? 🙄
Diyelim ki 28x28x192 boyutlu girişimiz var, 1x1x192 boyutunda 32 filtre ve Dolgulamalı konvolüsyon uygularsak çıkışımız 28x28x32 ✨
