Mungkin kita sering menghadapi situasi dimana terdapat perbedaan tingkat kesalahan antara dataset training dan dataset testing. 

Bagaimana mungkin model dapat bekerja sangat baik pada data training, tapi buruk ketika menghadapi data testing?

Kita akan membahas overfitting, underfitting, dan best fitting untuk menjawab pertanyaan tersebut, kita pahami menggunakan analogi berikut ini.

Terdapat 3 orang mahasiswa dan seorang profesor di kelas matematika. Pertama adalah Mahasiswa A. Dia tidak tertarik dengan apa yang diajarkan di kelas, dan karena itu tidak memperhatikan profesor dan konten yang diajarkan. Kemudian ada Mahasiswa B. Dia berfokus dengan menghafal setiap pertanyaan yang diajarkan di kelas daripada konsep-konsep kunci. Pada dasarnya, dia tidak tertarik mempelajari pendekatan pemecahan masalah. Terakhir, kita memiliki Mahasiswa C. Dia tertarik untuk mempelajari konsep-konsep kunci dan pendekatan pemecahan masalah di kelas matematika daripada menghafal solusi dari setiap pertanyaan. 

Kita semua mungkin memiliki pengalaman tentang apa yang terjadi di kelas. Professor memberikan kuis yang mudah, tetapi sangat sulit ketika ujian. Dapat kita analogikan kuis menyerupai dataset training yang digunakan untuk melatih model. Sedangkan, ujian semester mewakili dataset testing yang merupakan kumpulan pertanyaan yang belum pernah dilihat sebelumnya.

Mahasiswa A mendapat skor 50% saat kuis, dan 47% saat ujian semester. Dia sama sekali tidak mampu untuk mempelajari soal-soal pada data training. Hal ini diperburuk ketika dia menghadapi data testing sehingga keduanya menghasilkan skor yang rendah. Ini disebut sebagai underfitting.

Di sisi lain, Mahasiswa B mendapat skor kuis 98% dan skor ujian semester 67%. Itu terjadi karena dia menghafal semua soal pertanyaan sehingga mendapat skor yang tinggi pada data training, namun ia tidak mampu untuk menjawab pertanyaan yang belum pernah ia lihat sebelumnya pada data testing. Ini disebut sebagai overfitting.

Terakhir, kita memiliki Mahasiswa C yang ideal karena ia menggunakan konsep pembelajaran. Skor kuis nya 92% dan skor ujian semester 89%. Ia mampu mempelajari data training dan men-generalisasikan dengan baik konsep pembelajaran tersebut untuk menjawab soal pada data testing. Akhirnya, skor training dan testing tinggi dan saling mendekati. Ini disebut sebagai best fitting.

Dalam machine learning, kinerja model dievaluasi berdasarkan akurasi dan generalisasi. Akurasi berarti seberapa baik model memprediksi nilai target yang tepat, dan generalisasi berarti seberapa baik model berperilaku pada data yang terlihat dan data tidak terlihat. Underfitting berarti model memiliki skor akurasi yang rendah pada data training dan data testing. Selanjutnya adalah overfitting, overfitting memiliki skor akurasi tinggi pada data training, tetapi skor rendah pada data testing. Ini berarti model yang dibuat tidak digeneralisasi. Model dianggap best fitting ketika digeneralisasikan dan berperilaku kurang lebih dengan cara yang sama, baik pada data training, maupun data testing. Akurasi model harus hampir sama pada skor data training dan testing. Singkatnya, best fitting itu bukan overfitting dan underfitting, ini adalah model umum yang tidak berubah untuk menghadapi data, seperti yang ditunjukkan pada gambar.

Untuk mengoptimalkan akurasi model, kita dapat memperhitungkan bias dan variasi dalam model. Bias adalah perbedaan antara prediksi rata-rata model dan nilai target yang benar yang coba diprediksi oleh model. Kondisi ideal yang kita inginkan adalah bias rendah, sedangkan nilai bias yang tinggi akan menyebabkan model underfitting. Model dengan bias tinggi memberikan sedikit perhatian pada data training dan terlalu menyederhanakan model.Selanjutnya, variansi adalah jumlah estimasi fungsi target akan berubah jika data pelatihan yang digunakan berbeda. Nilai variansi yang rendah adalah kondisi ideal yang kita inginkan, sedangkan nilai variansi tinggi menyebabkan overfitting. Model dengan variansi tinggi memberikan banyak perhatian pada data training dan gagal untuk menggeneralisasi pada data testing.

Sekarang kita telah mengetahui bahwa undefitting adalah kondisi saat nilai akurasi training rendah, nilai akurasi testing rendah, dan nilai bias tinggi. Kemudian, overfitting adalah nilai akurasi training tinggi, nilai akurasi testing rendah, dan nilai variansi tinggi. Dan kondisi ideal yang kita inginkan adalah best fitting, yaitu nilai akurasi training tinggi, nilai akurasi testing tinggi, tetapi nilai bias dan variansi rendah.

Pelajari lebih lengkap .