Model Performance Assesment

Uncategorized

Kamu tahu kan bahwa tujuan dari pembuatan machine learning adalah untuk membuat model yang mampu memprediksi unseen data dengan tepat?

Lalu, bagaimana caranya mendapatkan model yang paling baik?

Model yang paling baik adalah model machine learning yang sebelumnya telah dilakukan proses training sehingga siap digunakan untuk prediksi dengan dataset yang baru. Model evaluation merupakan bagian integral dari proses pengembangan model hal ini bertujuan untuk menemukan model terbaik yang mewakili data kita dan seberapa baik generalisasi model yang dipilih tersebut akan bekerja pada data yang belum pernah dilihat sebelumnya.

Data tersebut kita gunakan pada proses training dan testing. Selanjutnya, masing – masing proses tadi harus kita evaluasi menggunakan performance metrics. Performance metrics memberi tahu kita jika kita membuat kemajuan dan memberikan angka kuantitatif. Metrics tersebut digunakan untuk memantau dan mengukur kinerja model selama training dan juga testing. Metrics pada problem regresi membutuhkan metrik berdasarkan penghitungan semacam jarak antara prediksi dan nilai sebenarnya, seperti mean absolute eror (MAE), mean square error (MSE), root mean square error (RMSE), dan r-square (R^2).

Selanjutnya, kita bahas metrics pada problem klasifikasi.

Confusion Matrix adalah visualisasi berbentuk tabel matriks yang memberikan informasi perbandingan hasil klasifikasi yang dilakukan oleh model dengan hasil klasifikasi sebenarnya. Ini merupakan dasar yang digunakan dalam perhitungan performance metrics lain di kasus klasifikasi. Terdapat 4 istilah dari confusion matrix yaitu true positive (TP), true negative (TN), false positive (FP), dan false negative (FN). Cara mudah untuk mengingatnya adalah jika diawali dengan true maka hasil prediksi tersebut benar, jika diawali false maka prediksinya salah. Positif dan negatif merupakan hasil prediksi dari model.

Bagaimana cara untuk mengukur performance metrics dari confusion matrix tersebut? 

Beberapa metric yang populer digunakan adalah accuracy, precision dan recall. Accuracy menggambarkan seberapa akurat model dapat mengklasifikasikan dengan benar. Maka, accuracy merupakan rasio prediksi benar (TP dan TN) dengan keseluruhan data. Semakin tinggi nilai accuracy mendekati 1, maka semakin baik model yang dibuat.

Selanjutnya, precision menggambarkan tingkat keakuratan antara data yang diminta dengan hasil prediksi yang diberikan oleh model. Maka, precision merupakan rasio prediksi benar positif dibandingkan dengan keseluruhan hasil yang diprediksi positif. Semakin tinggi nilai precision mendekati 1, maka semakin baik model yang dibuat.

Terakhir, recall menggambarkan keberhasilan model dalam menemukan kembali sebuah informasi. Maka, recall merupakan rasio prediksi benar positif dibandingkan dengan keseluruhan data yang benar positif. Sama dengan sebelumnya, bahwa semakin mendekati nilai 1, maka semakin baik model tersebut.

Pelajari lebih lengkap di JIWA Learning.

0
    0
    Your Cart
    Your cart is empty