Cross Validation Nedir, Nasıl Çalışır ve Mantığı Nedir

-

 Makine Öğrenmesinde bazı durumlarda model verilen eğitim verisini (training data) çok iyi öğrenir ancak test için verilen veride ise kötü performans gösterebilir. Buna terimsel olarak aşırı uyma (overfitting) denir. Bu durum istenilen bir şey değildir. Bunun sebebi ise basitçe, bu modelin gerçek dünyadaki verilerle test edildiği zaman güzel performans vermesinin istenmesidir. 

Peki bu durumu (overfitting) kaldırmak için neler yapılabilir, bugün onlardan birini göreceğiz. 

CROSS VALIDATION

Cross Validation nedir nasıl çalışır

   Üstte gösterilen şema kısaca makine öğrenmesinde eğitim nasıl olarak gerçekleştiğini gösteriyor. 
  • parameters modelin parametreleri olarak yer alır.
  • Cross Validation'ı göreceğiz.
  • Best Parameters modelin nasıl hangi parametreler ile en iyi performans vereceğini gösterir.
Amacımız modelin en iyi çalıştığı parametreli bulmak. Böylece veriden en çok verimi alabiliriz.


Peki bu Cross Validation nasıl çalışır.

Varsayalım ki elimizde \(S\) eğitim verisi var. Diyelim ki elimizde \(k\) tane model var. Akla ilk gelen şey
  1. Bu her model \(M_{i}\) ı \(S\) verisi üzerinde eğitmek bir hipotez almak
  2. En düşük eğitme hatası (training error) olan modeli seçmek
Ne yazık ki bu algoritma gerçek hayatta işe yaramıyor. Polinomsal verileri düşünün. Polinomun derecesi yükseldikçe model \(S\) verisinde daha iyi öğrenecek ve bundan dolayı daha az hata verecek.
Bundan dolayı bu metod her zaman en yüksek dereceli modeli seçecek ve bu da genellikle kötü bir sonuç doğuruyor.

HOLD OUT CROSS VALIDATION

Şimdi bundan daha iyi çalışacak bir algoritma verelim. Basit bir Hold out (Tutma) Cross Validation'da  yapılan
  1. Eğitme verimiz \(S\)'i rastgele \(S_{eğitme}\) ve \(S_{test}\) olarak %70 ve %30 oranında ayırmak.
  2. Daha sonra her model \(M_{i}\)'ı  \(S_{eğitme}\) verisi üzerinde eğitip bir hipotez almak
  3. Daha sonra \(S_{test}\) üzerinde test edip en düşük hatalı hipotez \(h_{i}\) seçmek.
Modelin daha önce görmediği veri ile test ettiğimiz için daha iyi bir generalization error elde ediyoruz. 
Ancak burada da bir sorun var. Testi yapacağız diye verimizin %30 unu kullandık. Eğer elimizde çok veri yoksa bu modelin eğitimini kısıtlayabilir.

K-FOLD CROSS VALIDATION

Bundan dolayı şimdi k-fold Cross Validation'a bakacağız. Adımlar
  1. \(S\) eğitme verimizi rastgele \(k\) dosyaya ayırıyoruz. Bu kümelere de \(S_{1},..., S_{k}\) diyelim.
  2. Her bir model \(M_{i}\) için
    1. her bir \( j = 1, ..., k \) için
      1. Model \(M_{i}\)'yi \(S_{1}\cup ...S_{j-1} \cup S_{j+1} \cup ... S_{k} \) yani \(S_{j}\) hariç her veri kümesinde eğitmek
      2. Model \(M_{i}\)'yi  \(S_{j}\) üzerinde test etmek
    2. Model \(M_{i}\) için bütün \(j\) ler üzerinden hatayı hesaplayıp, bu hataların ortalamasını almak
  3. En düşük hatalı \(M_{i}\) seçmek
Cross Validation NEdir, sklearn cross-validation, cross validation nasıl çalışır


Genel olarak \( k= 10\) seçilebiliyor. 
Bu yöntemle beraber modelimiz verimizin tüm kısmıyla test edildiği için daha iyi bir sonuç verebiliyor. Kısaca söyleyeceklerim bu kadar.

References:
  1. http://cs229.stanford.edu/syllabus-autumn2018.html
  2. https://scikit-learn.org/stable/modules/cross_validation.html

Yorumlar

Yorum Gönder

Bu blogdaki popüler yayınlar

Decision Tree (Karar Ağacı) Nedir ve Nasıl Çalışır

-
Resim
 Decision Tree (Karar Ağacı) böl ve fethet (divide and conquer) algoritmasını kullanan hiyerarşik bir veri yapısıdır. Hem sınıflandırma (classification) hem de regresyonda (regression) kullanılabilen etkili bir metoddur. Bu yazıda Decision Tree'nin nasıl çalıştığını ve bazı terimleri inceleyeceğiz. GİRİŞ Parametrik tahminlemede, bir modeli bütün data üzerine tanımlarız ve modelin parametreleri üzerinden öğrenmeye çalışırız. Daha sonra aynı modeli ve aynı parametereleri kullanarak test verisi üzerinde deneriz. Ancak parametrik olmayan (nonparametric) input uzayını belirli bölgelere ayırıp, daha sonra her bir input için bu bölgeleri kullanarak öğrenmeye çalışırız. Bir decision tree, bu bölgeleri bir dizi recursive ayırma yaparak bulmaya çalışan hiyerarşik bir yapıdır. Decision Tree içsel nodelardan oluşur. Bu her node belirli bir fonksiyon kullanarak belirli sonuçlar doğurur. Verilen her inputta, her node belli bir test uygular ve node   dallarından biri seçilir. Bu süreç tepede...
Devamı

Lineer Regresyon Metodu (Linear Regression) Nedir, Nasıl Çalışır | Matematiksel Anlatımı

-
Resim
Lineer Regresyon   (Linear Regression) makine öğrenmesinde kullanılan iki veya daha fazla değişkenin ilişikisini doğrusal yönden inceleyen bir algoritmadır. Lineer Regresyon Örneği Bu yazıda Linear Regresyon ( ingilizcesi ile Linear Regression) nasıl çalışır bunu inceleyeceğiz. Regresyon problemleri makine öğrenmesinde tahmin edilmek istenen parametrenin sürekli olduğu zaman ortaya çıkan bir durumdur. Bu yazıda da işleyeceğimiz üzere bir evin fiyatını tahmin etmek bir regresyon problemidir. Evin Alanı (Metre Kare) Evin Fiyatı (Bin Dolar) 1416 232 1600 330 2104 400 2400 369 3000 540 Diyelim ki elimizde bir evin alanı ve fiyatı olan bir veri kümemiz olsun. Ve bu kümenin dağılımı grafikteki gibi olsun.  Bu grafiğe bakarak bu noktalara uyan bir çizgi çizebiliriz. İşte Linear Regresyon daki amaç da bu çizgiyi en verimli şekilde yerleştirmektir. Peki hangi çizginin en verimli olacağını nasıl bileceğiz. Yazımızda ilerlemede...
Devamı