Eksperimen dengan MNIST : Digit & Fashion Database

Saya membuat eksperimen sederhana memakai 1-Nearest Neighbor Classifier memakai MNIST Handwritten Digit & MNIST Fashion Database.  Saya buat code sederhana, tanpa melakukan ekstraksi fitur, normalisasi input dan berbagai proses yang lain. Hanya memakai nilai intensitas tiap pixel sebagai fitur. Tentu bukan cara yang baik, tapi ini hanya sekedar coba-coba awal saja. Confusion matrix kedua eksperimen saya rangkumkan dalam dua tabel berikut

Tabel 1  Hasil eksperimen 1-Nearest Neighbor Classification pada  MNIST Handwritten Digit Database

Screen Shot 2017-11-11 at 9.05.45 AM

Tabel 2  Hasil eksperimen 1-Nearest Neighbor Classification pada Fashion MNIST Database

Screen Shot 2017-11-11 at 9.03.33 AM

Ternyata hasil eksperimen dengan kedua dataset tersebut memperlihatkan bahwa Fashion MNIST Database relatif lebih sulit daripada MNIST Handwritten Database, dengan selisih akurasi sekitar 12% ( 85.0% vs 96.9% ). Sebagai perbandingan,  tingkat akurasi terbaik saat ini yang dilaporkan adalah 96.7%  (per 11 Nov 2017) untuk Fashion MNIST Database (Pls.see  https://github.com/zalandoresearch/fashion-mnist ).

Analisis lebih lanjut dari Tabel 2 di atas, memperlihatkan bahwa class yang recall-nya relatif rendah adalah class 4 (Coat) dan 6 (Shirt).  Akan menarik jika dilanjutkan dengan analisa lebih mendalam. Tapi biarlah ini jadi PR untuk murid-murid saya 🙂

Tentang Anto Satriyo Nugroho

My name is Anto Satriyo Nugroho. I am working as research scientist at Center for Information & Communication Technology, Agency for the Assessment & Application of Technology (PTIK-BPPT : Pusat Teknologi Informasi & Komunikasi, Badan Pengkajian dan Penerapan Teknologi). I obtained my doctoral degree (Dr.Eng) from Nagoya Institute of Technology, Japan in 2003. My office is located in Serpong, Tangerang Selatan City. My research is on pattern recognition and image processing with applied field of interests on biometrics identification & development of computer aided diagnosis for Malaria. Should you want to know further information on my academic works, please visit my professional site at http://asnugroho.net
Pos ini dipublikasikan di kuliah, research. Tandai permalink.

Tinggalkan Balasan

Isikan data di bawah atau klik salah satu ikon untuk log in:

Logo WordPress.com

You are commenting using your WordPress.com account. Logout /  Ubah )

Foto Google

You are commenting using your Google account. Logout /  Ubah )

Gambar Twitter

You are commenting using your Twitter account. Logout /  Ubah )

Foto Facebook

You are commenting using your Facebook account. Logout /  Ubah )

Connecting to %s