Mengukur kinerja sistem biometrics dari rasio between & within class variance

Pernah saya mendapat pertanyaan “berapa akurasi sistem biometrics ini ? kalau tidak 99.99999% ya tidak akan bisa terpakai !”. Mungkin beliau kurang yakin dengan performa sistem biometrics. Sistem biometrics memang bekerja atas dasar statistics. Selalu ada peluang error sekecil apapun. Tetapi terhadap pertanyaan di atas, saya jawab “Saya bisa membuat sistem ini mengenali sidik jari 100% perfect, nggak akan tertolak. Tetapi, itu meaningless, karena pada saat threshold saya atur agar sidik jari anda tidak pernah tertolak, pada saat yang sama saya membuka peluang error kedua : sidik jari siapapun tidak akan tertolak. Akibatnya fatal. Absensi di BPPT (misalnya) bisa diwakili siapa saja. Ruang rahasia yang dijaga dengan biometrics authentication, akan bisa dimasuki siapa saja. Sebaliknya, saya bisa saja atur agar tidak ada orang bisa menyelundup ke ruang rahasia, agar tidak ada orang bisa menitipkan absen sidik jari, dengan mengatur threshold-nya setinggi-tingginya. Tapi akibatnya fatal. Orang yang legitimate tidak akan bisa masuk ke ruang rahasia, pegawai BPPT tidak bisa absen karena selalu tertolak. Tunkin pun melayang.

Pertanyaan di atas tidak dapat dijawab hanya dengan “akurasi-nya 99.99999%”, karena itu hanya menghitung porsi True Match Rate dan/atau True Non Match Rate. Ada 2 tipe error yang harus diperhitungkan. Tipe I : ketika dua data yang sebenarnya tidak match tapi sistem menyatakan “match”, dan TIpe II : ketika dua data yang sebenarnya match tapi sistem menyatakan “tidak match”. Yang pertama disebut False Match (False Accept), sedangkan yang kedua disebut False Non Match (False Reject).

Ilustrasi yg mudah ttg kedua tipe error ini : Tipe I adalah ketika dokter melakukan pemeriksaan dan menyatakan “anda hamil” pada seorang laki-laki buncit, sedangkan Tipe II error adalah ketika dokter melakukan pemeriksaan kehamilan, dan menyatakan “anda tidak hamil” terhadap ibu yang mau melahirkan.

Jika suatu sistem biometrics mengatur matching threshold terlalu rendah, akibatnya sistem akan selalu menyatakan “match”, sehingga true match rate-nya 100%, tetapi false match ratenya juga 100%. Karena terhadap dua data (misalnya sidik jari) dari orang yang jelas-jelas beda sekalipun, sistem menyatakan “match”.

Sebaliknya jika suatu sistem biometrics mengatur matching threshold terlalu tinggi, akibatnya sistem akan selalu menyatakan “tidak match”, sehingga true non match rate-nya 100%, tetapi false non match ratenya juga 100%. Karena terhadap dua data (sidik jari) dari orang yang sama sekalipun tetap tertolak. Sistem selalu menyatakan “tidak match”.

Untuk mengukur kinerja sebuah sistem biometrics, diperlukan sejumlah data dan dilakukan impostor maupun genuine matching. Ketika impostor matching scores dan genuine matching scores dari sebuah matcher dapat diukur, discriminative power dari data yang diolah tersebut bisa dihitung dari rasio antara between class variance terhadap within class variance. Kekuatan sebuah sistem biometrics diukur dari seberapa besar magnitude rasio antara between terhadap within. Semakin besar rasio tersebut, semakin kuat discriminatory power dari sistem itu. Formula perhitungan rasio didefinisikan sebagai berikut [1]:

Screen Shot 2015-02-21 at 5.19.25 AM

 

Screen Shot 2015-02-21 at 5.15.49 AM

Screen Shot 2015-02-21 at 4.14.20 AM

 

Ilustrasi di bawah menjelaskan mengenai keterkaitan dua jenis error di atas.
Screen Shot 2015-02-21 at 4.28.58 AM

  1. Dalam penjelasan ini, diasumsikan metrik proximity yang dipakai untuk mengukur nilai pemadanan adalah similarity. Dengan demikian, dua data yang sama (misalnya 2 sidik jari dari orang yang sama) akan menghasilkan nilai pemadanan yang besar, sedangkan dua data yang berbeda (misalnya 2 sidik jari dari orang yang berbeda) akan menghasilkan nilai pemadanan yang kecil. Pemadanan dengan memakai 2 data dari object yang sama disebut genuine, sedangkan dari 2 orang yang berbeda disebut impostor.
  2. Urutkan nilai impostor matching score dan genuine matching score. Pada gambar di bawah diilustrasikan dengan 2 stack. Kotak kiri menyimpan impostor matching score, nilai terendah berada di atas, makin ke bawah makin besar. Kotak kanan menyimpan genuine matching score, nilai terendah berada di atas, makin ke bawah makin besar.
  3. Misalnya nilai pemadanan berada pada rentang [0,100], dan  ditetapkan nilai threshold pemadanan adalah 60. Pemadanan 2 data akan dinyatakan “MATCH”, jika nilainya lebih dari atau sama dengan 60, sebaliknya akan dinyatakan “TIDAK MATCH” jika nilainya kurang dari 60.
  4. Perhatikan kotak kiri yang berisi deretan impostor matching score. Pada saat threshold 60, maka nilai pemadanan yang kurang dari 60 akan dinyatakan “TIDAK MATCH”, dan proporsinya terhadap seluruh data impostor matching score disebut True Non Match Rate (TNMR). Sedangkan nilai yang lebih atau sama dengan 60 akan dinyatakan “MATCH”. Karena data impostor, seharusnya ditolak (non match), sehingga area yang lebih atau sama dengan 60 disebut “False Match Rate”. Dalam gambar tersebut, area False Match Rate (Tipe I Error) atau disingkat FMR diarsir. Misalnya saja pada saat itu, FMR sebanyak 1%dan TNMR sebanyak 99%.
  5. Perhatikan kotak kanan yang berisi deretan genuine matching score. Pada saat threshold 60, maka nilai pemadanan yang kurang dari 60 akan dinyatakan “TIDAK MATCH”, dan proporsinya terhadap seluruh data impostor matching score disebut False Non Match Rate (FNMR). Sedangkan nilai yang lebih atau sama dengan 60 akan dinyatakan “MATCH”. Karena data genuine, seharusnya diterima (match), sehingga area yang kurang dari 60 disebut “False Non Match Rate” (FNMR). Dalam gambar tersebut, area False Non Match Rate (Tipe II Error) diarsir. Misalnya saja pada saat itu, FNMR sebanyak 5%dan TNMR sebanyak 95%.
  6. False Match Rate sering disebut False Acceptance Rate (FAR), sedangkan False Non Match Rate sering disebut False Rejection Rate (FRR).
  7. Dalam ketentuan kinerja sistem biometrics, sering disebutkan “FRR maksimum x% pada saat FAR y%”.  Untuk memeriksa lolos tidaknya sistem yang diuji, gambar di bawah bisa dipakai sebagai ilustrasi. Karena FAR (atau FMR) sudah dipatok y%, maka threshold digeser ke atas atau ke bawah, sedemikian hingga luas daerah arsiran kiri atau FMR mencapai y%. Pada saat itu, luas arisan daerah kanan yang menyatakan FRR (FNMR) diukur. Jika ternyata kurang dari x%, berarti sistem biometrics itu memenuhi persyaratan akurasi yang ditetapkan.
  8. Dalam peraturan menteri No.14 tahun 2014, Suplemen B. Speksifikasi teknis perangkat pembaca KTP-el terintegrasi2. Spesifikasi teknis perangkat lunak, ditetapkan FRR maksimum 3% pada saat FAR 0.01%. Dengan demikian, threshold digeser ke atas atau ke bawah sedemikian hingga luas area arsiran kiri mencapai 0.01%. Pada saat itu lihatlah ke kotak kanan, dan ukurlah luas arsiran pada kotak kanan. Jika tidak lebih dari 3%, maka dapat disimpulkan bahwa kinerja sistem biometrics tersebut memenuhi syarat.

Referensi

[1] わかりやすいパターン認識, 健一郎, 石井、 英作, 前田, オーム社 (1998/08)

Posting sebelumnya terkait pembahasan ini :

  1. https://asnugroho.wordpress.com/2014/11/20/memahami-syarat-false-acceptance-rate-dam-false-rejection-rate-sistem-biometrics-secara-sederhana/
  2. https://asnugroho.wordpress.com/2015/02/11/memahami-fmr-fnmr-pada-sistem-biometrics/ 
  3. https://asnugroho.wordpress.com/2013/10/01/memahami-false-match-false-non-match/
  4. https://asnugroho.wordpress.com/2013/01/09/gagal-absen-setelah-mesin-absensi-diganti/
Iklan

Tentang Anto Satriyo Nugroho

My name is Anto Satriyo Nugroho. I am working as research scientist at Center for Information & Communication Technology, Agency for the Assessment & Application of Technology (PTIK-BPPT : Pusat Teknologi Informasi & Komunikasi, Badan Pengkajian dan Penerapan Teknologi). I obtained my doctoral degree (Dr.Eng) from Nagoya Institute of Technology, Japan in 2003. My office is located in Serpong, Tangerang Selatan City. My research is on pattern recognition and image processing with applied field of interests on biometrics identification & development of computer aided diagnosis for Malaria. Should you want to know further information on my academic works, please visit my professional site at http://asnugroho.net
Pos ini dipublikasikan di research. Tandai permalink.

Tinggalkan Balasan

Isikan data di bawah atau klik salah satu ikon untuk log in:

Logo WordPress.com

You are commenting using your WordPress.com account. Logout / Ubah )

Gambar Twitter

You are commenting using your Twitter account. Logout / Ubah )

Foto Facebook

You are commenting using your Facebook account. Logout / Ubah )

Foto Google+

You are commenting using your Google+ account. Logout / Ubah )

Connecting to %s