Esas Problem
Aşağıda verilen veri seti için:
Bizim amacımız:
📚 Temel Kavramlar ve Notasyonlar
Kavram
Açıklama
m
Veri setindeki örnek sayısı
Veri setindeki i
'nci örnek
ŷ
Tahmin edilen çıktı
Kayıp Fonksiyonu Loss Function 𝓛(ŷ, y)
Tek bir örnek için hata hesaplama fonksiyonu
Cost Function Maliyet Fonksiyonu 𝙹(w, b)
Tüm eğitim setinin kayıp fonksiyonlarının ortalaması
Konveks Fonksiyon
Tek bir yerel değere sahip fonksiyon
Konveks Olmayan Fonksiyon
Çok sayıda farklı yerel değere sahip fonksiyon
Gradyan İnişi Gradient Descent
Maliyet Fonksiyonunun global değerini bulmak için kullanılan iteratif bir optimizasyon yöntemidir
Başka bir deyişle: Maliyet Fonksiyonu
w
veb
veri seti için ne kadar iyi olduklarını ölçer. Ona dayanarak, en iyiw
veb
değerleri,𝙹(w, b)
'ı mümkün olduğunca küçülten değerlerdir
📉 Gradyan İnişi
Gradyan inişi, türevlenebilir bir fonksiyonun yerel minimumunu bulmak için birinci dereceden yinelemeli bir optimizasyon algoritmasıdır. Buradaki ana fikir, mevcut noktada fonksiyonun gradyanının (veya yaklaşık gradyanının) zıt yönünde tekrarlanan adımlar atmaktır, çünkü bu en dik iniş yönüdür. Diğer taraftan, gradyan yönünde adım atmak, bu fonksiyonun yerel bir maksimumuna yol açacaktır; bu prosedür de gradyan yükselişi olarak bilinir.
Genel Formül:
α
(alpha) Öğrenme Hızı'dir (Learning Rate)
🥽 Öğrenme Hızı (Learning Rate)
Model ağırlıkları her güncellendiğinde karşılık gelen tahmini hata nedeniyle her Gradyan İnişi tekrarının adımının boyutunu belirleyen pozitif bir skalardır, bu nedenle bir sinir ağı modelinin bir problemi ne kadar hızlı veya yavaş öğrendiğini kontrol eder.
🎀 İyi Öğrenme Hızı
💢 Kötü Öğrenme Hızı
🌞 Yazının Aslı
🧐 Referanslar
Last updated