VeriSeti İnceleme ve Model Oluşturma

""" 
Elimizdeki tüm veri kümeleri birer değişkene atanıyor. 
Verisetlerinde kolon isimleri yer almadığı için ardışık rakamlar tanımlandı. 
""" 
import pandas as pd 
test_data = pd.read_fwf("madelon_test.data", header=None) 
train_data = pd.read_fwf("madelon_train.data", header=None) 
train_labels = pd.read_fwf("madelon_train.labels", header=None) 
valid_data = pd.read_fwf("madelon_valid.data", header=None) 
valid_labels = pd.read_fwf("madelon_valid.labels", header=None) 
label = valid_labels[0] 
#Veri kümesinden 5 örnek veri şu şekildedir; 
train_data.head() 

5 rows × 500 columns

test_data.info(), print(42*"-") , train_data.info()

(None, None, None)

#Burada sınıf sayısı ve isimleri, her sınıfa düşen örnek sayısı gibi bilgiler görülmektedir.
train_labels.value_counts()

#Veri kümesindeki her bir özniteliğe ait toplam eksik veri sayıları: 
train_data.isnull().sum()

Length: 500, dtype: int64

Veri Setiyle ilgili ihtiyaç duyacağımız tüm verileri topladık. Bundan sonraki adımlarda veri önişleme yapacağız ve veri setini en iyi verimi alacağımız modele uygun hale getireceğiz.

#Veri kümesi içerisinde integer a dönüştürülemeyen değerlerin olduğu satırlar belirlenir.

X = train_data
y = train_labels

for i in range(len(X)):
  for j in range(len(X.columns)):
    try:
      int(X[j][i])
    except:
      print(i)
      break

577

#Bozuk veriler içeren satır veri kümesinden temizlenir.

X.drop([577], axis=0, inplace=True)
X1 = X.reset_index(drop=True)

y.drop([577], axis=0, inplace=True)
y1 = y.reset_index(drop=True)

Veri kümesinde çok fazla sayıda öznitelik mevcut. Bu özniteliklerin sonuca götüren yolda ne kadar önemli olduğunu görmek için feature selection işlemi uygulayacağız ve en önemli 50 özniteliği gözlemleyeceğiz. Bu öznitelikler içerisinden de önem skorlarına göre en optimum seçimleri gerçekleştirip modeli bu öznitelikler üzerinden eğiteceğiz.

from sklearn.feature_selection import SelectKBest
from sklearn.feature_selection import chi2

BestFeatures = SelectKBest(score_func=chi2, k=10)
fit = BestFeatures.fit(X1,y1)
df_scores = pd.DataFrame(fit.scores_)
df_columns = pd.DataFrame(X1.columns)
f_Scores = pd.concat([df_columns,df_scores],axis=1)
f_Scores.columns = ['Specs','Score']
k = f_Scores.nlargest(50,'Score').reset_index(drop=True)
k

l = k.loc[:11,:]
list_ = list(l["Specs"])
X2 = X1.loc[:, list_]
y2 = y1[0]

X2.head()

Veri önişleme adımını tamamlamadan önce her bir özniteliğe ait değerler kümesinde aykırı değerler olup olmadığını boxplot çizdirerek net bir biçimde gözlemliyoruz. Aykırı değerleri tespit edip bunları ortalama değerler ile değiştireceğiz.

import seaborn as sns

for v in list_:
  X2[v] = X2[v].astype(int)
sns.boxplot(x = X2[493])

<AxesSubplot:xlabel='493'>

sns.boxplot(x = X2[475])

<AxesSubplot:xlabel='475'>

sns.boxplot(x = X2[105])

<AxesSubplot:xlabel='105'>

sns.boxplot(x = X2[336])

<AxesSubplot:xlabel='336'>

sns.boxplot(x = X2[64])

<AxesSubplot:xlabel='64'>

#Tüm öznitelikler için aykırı değerleri ortalama değerler ile değiştiriyoruz.

for value in list_:

  df_table = X2[value].copy()

  Q1 = df_table.quantile(0.25)
  Q3 = df_table.quantile(0.75)
  IQR = Q3 - Q1
  lower_bound = Q1 - 1.5*IQR
  upper_bound = Q3 - 1.5*IQR

  outliers_vector = (df_table < (lower_bound)) | (df_table > (upper_bound))

  outliers = df_table[outliers_vector]

  df_table[outliers_vector] = df_table.mean()

  X2[value] = df_table

#Aykırı değerlerin ortalama değerler ile değiştirilip değiştirilmediğini kontrol ediyoruz.

sns.boxplot(x = X2[64])

<AxesSubplot:xlabel='64'>

sns.boxplot(x = X2[336])

<AxesSubplot:xlabel='336'>

sns.boxplot(x = X2[493])

<AxesSubplot:xlabel='493'>

from sklearn.tree import DecisionTreeClassifier

clf = DecisionTreeClassifier()
clf.fit(X2, y2)

test = valid_data.loc[:, list_]
for v in list_:
  test[v] = test[v].astype(int)

predictions_dt = clf.predict(test)

from sklearn.ensemble import RandomForestClassifier

clf=RandomForestClassifier()
clf.fit(X2, y2)
predictions_rf = clf.predict(test)

from sklearn.svm import SVC

clf = SVC()
clf.fit(X2, y2)
predictions_svm = clf.predict(test)

#Elde ettiğimiz tahminleri gerçek etiketler ile karşılaştırarak modellerimizin başarı oranlarını kıyaslayabiliriz.

from sklearn import metrics
from sklearn.metrics import confusion_matrix
print("Accuracy_RF:",metrics.accuracy_score(label, predictions_rf))
print("Accuracy_DT:",metrics.accuracy_score(label, predictions_dt))
print("Accuracy_SVM:",metrics.accuracy_score(label, predictions_svm))
print("--------------------------------")
print("F1_RF:",metrics.f1_score(label, predictions_rf))
print("F1_DT:",metrics.f1_score(label, predictions_dt))
print("F1_SVM:",metrics.f1_score(label, predictions_svm))
print("--------------------------------")
print("Precision_RF:",metrics.precision_score(label, predictions_rf))
print("Precision_DT:",metrics.precision_score(label, predictions_dt))
print("Preciison_SVM:",metrics.precision_score(label, predictions_svm))
print("--------------------------------")
print("Recall_RF:",metrics.recall_score(label, predictions_rf))
print("Recall_DT:",metrics.recall_score(label, predictions_dt))
print("Recall_SVM:",metrics.recall_score(label, predictions_svm))

Accuracy_RF: 0.88
Accuracy_DT: 0.785
Accuracy_SVM: 0.8333333333333334
--------------------------------
F1_RF: 0.8791946308724832
F1_DT: 0.7902439024390244
F1_SVM: 0.8310810810810811
--------------------------------
Precision_RF: 0.8851351351351351
Precision_DT: 0.7714285714285715
Preciison_SVM: 0.8424657534246576

confusion_matrix(label, predictions_rf)

array([[266, 34],
       [38, 262]], dtype=int64)

confusion_matrix(label, predictions_dt)

array([[228, 72],
       [57, 243]], dtype=int64)

confusion_matrix(label, predictions_svm)

array([[254, 46],
       [54, 246]], dtype=int64)