💫
Derin Öğrenme
  • 💫Derin Öğrenme Notları
  • 🚀English Version
  • 🦋Projeye Katkıda Bulunma
  • 💼Kullanışlı Araçlar
  • 💎Yapay Sinir Ağları Kavramları
    • 🌱Giriş
    • 🔎Esas Problem
    • 👷‍♀️ Yapay Sinir Ağlarının Uygulanması Üzerine Notlar
    • 📚Yapay Sinir Ağlarının Kavramları
    • 💥Yapay Sinir Ağlarında Aktivasyon Fonksiyonları
    • 🎈NN Uygulama İp Uçları
    • 👩‍🔧 NN Düzenlileştirme (Regularization)
    • ✨Optimizasyon Algoritmaları
    • 🎨Softmax Regression
    • 🏃‍♀️ Tensorflow'a Hızlı Giriş
    • 👩‍💻 Yapay Sinir Ağlarıyla ilgili Pyhton Kod Parçaları
  • 🙋‍♀️ Yapay Sinir Ağları ile Derin Öğrenme'nin Hello World'u
    • 🌱Giriş
    • 🌐Tarayıcıda CNNler
  • 🚪Bilgisayar Görüşüne Giriş
    • 🌱Giriş
  • 🚩Evrişimli Sinir Ağları Kavramları
    • 🌱Giriş
    • 📌Evrişimli Sinir Ağları ile İlgili Genel Kavramlar
    • 🌟Evrişimli Sinir Ağları Gelişmiş Kavramları
    • 👀Evrişimli Sinir Ağlarının Görselleştirilmesi
    • 👵Klasik Evrişimli Sinir Ağları
    • ✨CNN'leri Kurmak İçin Diğer Yaklaşımlar
    • 🕸️CNN'lerin Popüler Uygulamaları
  • 👩‍💻 CNN'ler Üzerinde Kodlar ve Notlar
    • 🌱Giriş
  • 💄Derin Öğrenmenin Popüler Stratejileri
    • 🌱Giriş
    • 🚙Öğrenme Aktarması (Transfer Learning)
    • 📚Derin Öğrenmede Diğer Stratejiler
  • 🤡Resim Artırma (Image Augmentation)
    • 🌱Giriş
  • 🤸‍♀️ Uygulamalı Makine Öğrenmesi Üzerine Notlar
    • 🌱Giriş
    • 👩‍🔧 Makine Öğrenimi Projelerinin Yapılandırılması Üzerine Notlar
    • 👩‍🏫 Uygulama Talimatları
  • 🕵️‍♀️ Obje Algılama Temelleri
    • 🌱Giriş
    • ⭕Bölge Tabanlı (Region-Based) CNN'ler
    • 🤳SSD ve YOLO
    • 🤖TensorFlow Object Detection API
  • ➰Derin Öğrenmede Dizi Modelleri
    • 🌱Giriş
    • 📚Dizi Modellerinin Genel Kavramları
    • 🔄Tekrarlayan Sinir Ağları (RNN)
    • 🌌RNN'deki Vanishing Gradients
    • 🌚Kelime Gösterimi
    • 💬NLP Hakkında Karışık Bilgiler
  • 📕Proje Sözlüğü
  • 📚Faydalı PDF'ler
  • 👀Hızlı Görsel Bilgiler
Powered by GitBook
On this page
  • 🙄 Problem
  • 👩‍🏫 Düzenlileştirme Daha İyi Tanımı
  • 🔨 Düzenlileştirme Teknikleri
  • 🔩 L2 Düzenlileştirmesi (Weight Decay)
  • 🔩 Sönümleme (Dropout)
  • 🤡 Veri Artırma (Data Augmentation)
  • 🛑 Erken Durdurma
  • 🌞 Yazının Aslı
  • 🧐 Daha Fazla Oku

Was this helpful?

Export as PDF
  1. Yapay Sinir Ağları Kavramları

👩‍🔧 NN Düzenlileştirme (Regularization)

PreviousNN Uygulama İp UçlarıNextOptimizasyon Algoritmaları

Last updated 3 years ago

Was this helpful?

Kısaca: Aşırı öğrenmeyi önleyen -ve varyansı- azaltan bir tekniktir

🙄 Problem

Aşırı öğrenme durumunda, modelimiz eğitim verilerindeki ayrıntıları ve gürültüyü çok iyi öğrenmeye çalışır, bu da sonuçta görülmeyen verilerde (test seti) düşük performansa neden olur.

Aşağıdaki grafik, bu durumu daha iyi açıklar:

👩‍🏫 Düzenlileştirme Daha İyi Tanımı

Modelin daha iyi genelleşmesi için öğrenme algoritmasında ufak değişiklikler yapan bir tekniktir. Bu da modelin görülmeyen veriler üzerindeki performansını artırmaktadır.

🔨 Düzenlileştirme Teknikleri

🔩 L2 Düzenlileştirmesi (Weight Decay)

En yaygın düzenlileştirme türüdür, aşağıdaki formüle göre uygulanır

J=Loss+λ2m−∑∣∣w∣∣2J=Loss+\frac{\lambda}{2m}-\sum ||w||^{2}J=Loss+2mλ​−∑∣∣w∣∣2

Burada, lambda düzenlileştirme parametresidir. Daha iyi sonuçlar için değeri optimize edilmiş olan hiper-parametredir. L2 düzenlileştirmesi, ağırlıkları sıfıra (ancak tam olarak sıfıra değil) indirgemeye zorladığı için ağırlık azalması (Weight decay) olarak da bilinir.

🔩 Sönümleme (Dropout)

Bazı sinirleri rastgele belirli bir oranda elimine ederek başka bir düzenlileştirme yöntemidir.

Basitçe: Her p olasılığına sahip düğüm için, geri yayılma sırasında giriş veya çıkış ağırlıklarını güncellemiyoruz (Yani onu düşürüyoruz 😅)

Daha iyi görselleştirme:

Eleme işleminden önce ve sonra bir NN

Genellikle bilgisayarlı görüşte kullanılır, ancak olumsuz yönü maliyet fonksiyonu J'nin artık iyi tanımlanmamasıdır.

🤡 Veri Artırma (Data Augmentation)

Aşırı öğrenmeyi azaltmanın en basit yolu, eğitim verilerinin boyutunu artırmaktır, daha fazla veri elde etmek çok maliyetli olduğu için her zaman mümkün değildir, ancak bazen verilerimize dayanarak verilerimizi artırabiliriz, örneğin:

  • Resimler üzerinde dönüşüm yapmak veri setimizi büyütebilir

🛑 Erken Durdurma

Eğitim setinin bir bölümünü doğrulama seti olarak tuttuğumuz bir tür çapraz doğrulama stratejisidir. Doğrulama setindeki performansın kötüye gittiğini gördüğümüzde, modelin eğitimini derhal durdururuz. Bu Erken Durma olarak bilinir.

🌞 Yazının Aslı

🧐 Daha Fazla Oku

Uzun Lafın Kısası 😅:

💎
Burada 🐾
Overfitting and Regularization in Neural Networks