Karışıklık (veya hata) matrisi, klasifikasyon (sınıflandırma) modellerinin performansını gösteren istatistiksel bir terimdir. Matris (tablo) bize test verilerindeki gerçek sonuçlarla (hedef değer) karşılaştırıldığında doğru ve yanlış sınıflandırılmış örneklerin sayısını ve oranını gösterir. Karışıklık matrisininin genel avantajlarından biri, dengesiz veri setlerinde doğru sınıflandırabilme (accuracy) oranını da göstermesidir.

İstatistiksel alanda doğruluk (accuracy), sensitivite, spesifisite, NPV, PPV gibi terimler sık kullanılmakla beraber makine öğrenimi (machine learning) ve yapay zeka gibi alanlarda da sıkça kullanılmakta ve modellerin doğruluğu sınanmaktadır. Bu amaca yönelik doğruluk (accuracy), F1 skoru ve Matthews korelasyon katsayıs (MCC) gibi hesaplamalar da araca dahil edilmiştir. Makine öğrenimi ve algoritma geliştirme (ve kıyaslama) aşamalarında bu verilerden istifade edilerek aloritmanın başarısı ve kullanılabilirliği ölçülmüş olur.

Gerçek Pozitif (TP): Bir sonucu doğru tahmin etmek (“evet” diye tahmin ettik ve sonuç gerçekten “evet”),
Gerçek Negatif (TN): Diğer sonucu doğru tahmin etmek (“hayır” diye tahmin ettik, sonuç gerçekten “hayır”),
Yanlış Pozitif (FP): Yanlışlıkla doğru olan sonucu tahmin etmek (“evet” diye tahmin ettik ama sonuç aslında “hayır”),
Yanlış Negatif (FN): Eksik tahmin (“hayır” diye tahmin etmiştik ama sonuç aslında “evet”).

Sensitivite ve spesifisite nedir?

Tıp ve istatistik alanında, sensitivite (duyarlılık) ve spesifisite (özgüllük), tıbbi bir durumun varlığını veya yokluğunu bildiren bir testin doğruluk oranını matematiksel olarak tanımlaya yarayan objektif kavramlardır. Kısaca bu değerler hastalar içerisinde gerçek hastaları ayırabilme kabiliyeti (prediksiyon) olarak da ifade edilebilir.

Sensitivite ve spesifisite kavramlarının hesaplanması şu matris örneği ile açıklanabilir:

Sensitivite: A/ (A+B)
Spesifisite: D/ (D+C)

Diğer Kavramlar:

True positive (TP): Hastalığınız olduğunu öngörüyorsanız (testin pozitif sonuçlanacağını tahmin ettiniz) ve sonuç itibariyle testin pozitif çıkması durumudur. Yani hipoteziniz doğru olduğunu öngördeniz ve sonuç itibariyle hipoteziniz doğru çıktı.

False positive (FP): Hastalığınızın olduğunu varsaydınız (tahmininiz pozitif yönde) ama test negatif olarak sonuçlandı.

False negative (FN): Hastalığınızın olmadığını tahmin ediyorsunuz(tahmininiz negatif yönde) ama test sonucunuz pozitif olarak sonuçlandı.

True negative (TN): Hastalığınız olmadığını öngördünüz (tahmininiz negatif yönde) ve test sonucunuz negatif olarak sonuçlandı.

F1 skoru nedir?

Kesinlik (presicision) ve recall (true positive) gibi istatistiksel kavramların harmanik ortalaması ile elde edilen bir kavram olup, Makine Öğrenimi (ML) gibi alanlarda algoritma modellerinin doğruluğunu ve gücünü sınamaya yarayan bir kavramdır.

Hesaplama aracımız, MCC skorunu otomatik olarak hesaplamakta ve sonucu vermektedir.

F1 skoru = 2 x kesinlik x recall / (kesinlik + recall)
(recall=positif sınıfın tahmin edilebilme oranıdır.)

Matthews’s correlation coefficient (MCC) ve Hesaplama

Matthew’un korelasyon katsayısı (MCC olarak da kısaltılır) 1975 yılında Brian Matthews tarafından icat edilmiştir. MCC, model değerlendirmesi için kullanılan bir istatistiksel kavramdır. Tahmin edilen değerler ile gerçek değerler arasındaki farkı ölçmek ve 2 x 2 konfüzyon matrisi tablosu için ki-kare istatistikleri ile eşdeğer kabul edilir. Matthews correlation coefficient hesaplaması, özellikle makine öğrenimi (ML) gibi alanlarda algoritmaların gücünü ve başarısını predikte etmeye yarayan bir değerlendirme katsayısı olarak da kullanılır.

MCC = (TP + TN) - (FP+FN ) / √ [ (TP+FP)(TP+FN)(TN+FP)(TN+FN) ]

Hesaplama aracımız, MCC skorunu otomatik olarak hesaplamakta sonucu vermektedir.