Memahami False Match & False Non Match

False Match dan False Non Match adalah dua jenis error pada sebuah sistem biometrics. Untuk memahaminya, kita bahas sebuah sistem absensi sidik jari di BPPT. Dalam melakukan absensi, seseorang (misalnya si A) datang ke mesin absensi, kemudian memasukkan data NIP (Nomer Induk Pegawai)-nya. Selanjutnya dia meletakkan jari telunjuk (misalnya) kanan ke atas pemindai, dan jika match, akan keluar pemberitahuan bahwa dia telah berhasil absen dan tercatat. Di mesin absensi BPPT, indikator saat berhasil match adalah ditampilkannya NIP ybs. Proses ini adalah pemadanan 1:1. Dalam proses di atas, saat si A memasukkan NIP, sebenarnya sistem akan meretrieve data sidik jari telunjuk kanan A yang sudah pernah direkam sebelumnya dari fingerprint gallery. Kemudian saat proses pemadanan, sidi jari yang ditempelkan akan dibandingkan dengan data sidik jari yang sudah terekam. Jika nilai pemadanannya tinggi, berarti kedua sidik jari tersebut dikatakan Match. Sebaliknya jika nilai pemadanannya rendah, berarti kedua sidik jari tersebut dikatakan tidak Match. Pemadanan jari telunjuk dari orang yang sama biasanya menghasilkan nilai pemadanan yang tinggi, sedangkan pemadanan jari telunjuk orang yang berbeda biasanya menghasilkan nilai yang rendah. Alur proses ini dijelaskan pada Gambar 1 dan 2.

verify-1

Gambar 1 Alur proses verifikasi sidik jari

verify-2

Gambar 2 Alur proses ekstraksi minutiae

Dalam sebuah sistem biometrics, hasil akhir “match” atau “non match” ditentukan dengan membandingkan nilai pemadanan terhadap suatu threshold. Misalnya hasil matching dua buah sidik jari menghasilkan nilai 30 (range nilai misalnya 0-100), sedangkan thresholdnya 50, maka sistem akan menyatakannya sebagai “non match”. Tetapi jika thresholdnya diturunkan hingga 25, maka sistem akan menyatakannya sebagai “match”.

Apakah False Match itu ?

False Match adalah kondisi dimana seseorang salah teridentifikasikan sebagai orang lain. Misalnya saat melakukan absen sidik jari, si A mengisikan NIP orang lain (misalnya NIP si B), meletakkan jarinya. Sistem biometrics yang seharusnya menolak A, ternyata menerima A, karena matching scorenya terhadap sidik jari B yang diretrieve dari database, cukup tinggi. Sistem yang False Match Rate (FMR) nya tinggi, akan mudah untuk diakali dengan menyaru sebagai pihak lain. Sebuah sistem yang dipakai untuk keperluan sekuriti, harus memiliki nilai False Match Rate yang rendah. Karena kalau FMR nya tinggi, ruang tersebut akan bisa dimasuki oleh mereka yang tidak berwenang. Ekstrim-nya siapa saja akan bisa masuk ke ruang tersebut. False Match Rate sering disebut dengan False Acceptance Rate (FAR).

Apakah False Non Match itu ?

False Non Match adalah kondisi seseorang yang tidak dapat teridentifikasikan sebagai dirinya sendiri. Misalnya saat melakukan absensi seperti di atas, si A mengisikan NIP nya sendiri, meletakkan jarinya sendiri,  tetapi sistem selalu menyatakan “tidak match”, karena score pemadanannya terlalu rendah terhadap threshold. Jika sebuah sistem subsidi kepada rakyat miskin memakai sistem biometrics yang False Non Match Rate (FNMR) nya tinggi, akibatnya rakyat akan sulit mendapatkan subsidi. Setiap kali mereka melakukan verifikasi sidik jari, selalu dinyatakan “non match”, selalu tertolak. False Non Match Rate sering disebut dengan False Rejection Rate (FRR). Contoh mengenai False Rejection pernah saya tulis di sini

Untuk memahami lebih lanjut, kita asumsikan 100 orang melakukan perekaman sidik jari untuk absensi, kemudian mereka diminta untuk melakukan absensi dengan memasukkan NIP-nya sendiri. Dengan demikian yang terjadi adalah pemadanan sidik jari orang yang sama, sebanyak 100x. Apabila distribusi nilai pemadanan ini digambarkan dalam grafik, akan diperoleh bentuk Gaussian, dengan nilai mean yang cukup besar. Misalnya saja dalam rentang nilai [0,100], ditribusi itu berpusat di 80.  Selanjutnya dilakukan pemadanan sidik jari dengan memasukkan NIP yang berbeda. Dengan demikian dari 100 orang tersebut, akan terjadi pemadanan sebanyak  4950 kali ( combination 2 of 100 = 100! / ( (100-2)! 2! ). Karena pemadanan dilakukan oleh sidik jari dari orang yang berbeda, maka distribusi Gaussiannya akan memiliki pusat (mean) pada nilai yang rendah. Misalnya saja berpusat di 40. Grafik yang diperoleh ditampilkan pada gambar di bawah. Grafik yang diperoleh dari pemadanan orang yang sama disebut dengan genuine distribution, sedangkan grafik yang diperoleh dari pemadanan orang yang berbeda disebut dengan impostor distribution. Gambar 3 menunjukkan distribusi frekuensi matching score jari telunjuk kanan orang yang sama dan orang yang berbeda (Genuine & Impostor) dalam kondisi ideal, yaitu terpisah secara sempurna. Matching threshold dapat ditentukan dengan mudah, sedemikian hingga FMR dan FNMR kesemuanya nol. Gambar 4 menunjukkan distribusi frekuensi matching score jari telunjuk kanan orang yang sama dan orang yang berbeda (Genuine & Impostor) dalam kondisi yang lazim ditemui di lapangan, yaitu ada bagian yang beririsan yang menjadi sumber terjadinya FMR dan FNMR.

dist-01

Gambar 3 Distribusi frekuensi matching score jari telunjuk kanan orang yang sama dan orang yang berbeda (Genuine & Impostor) dalam kondisi ideal

dist-02
Gambar 4 Distribusi frekuensi matching score jari telunjuk kanan orang yang sama dan orang yang berbeda (Genuine & Impostor) dalam kondisi yang lazim ditemui di lapangan

Formulasi  False Match & False Non Match memakai kaidah statistika

Dalam kaidah statistika, kedua error tersebut dapat dijelaskan sebagai berikut [1]. Misalnya data sidik jari yang direkam dari seseorang saat perekaman dan disimpan di database absensi direpresentasikan dalam T, sedangkan data sidik jari saat seseorang melakukan absensi dinotasikan sebagai I, maka hipotesis-nya adalah sbb.

H_0:   I != T   (Null hypothesis, yaitu kedua sidik jari tidak berasal dari jari yang sama )

H_1: I = T (Alternate hypothesis, yaitu kedua sidik jari berasal dari jari yang sama)

Selanjutnya keputusan yang diambil ada 2 kemungkinan.

D_0: non-match

D_1: match

Ada dua type error:

Type I:  keputusan yang diambil adalah D_1 pada saat  H_0  benar (False Match, sistem menyatakan MATCH, padahal dua sidik jari itu berasal dari orang yang berbeda)

Type II: keputusan yang diambil adalah  D_0 pada saat H_1 benar (False Non Match, sistem menyatakan NON-MATCH, padahal dua sidi jari tersebut berasal dari jari yang sama)

False Match Rate adalah probability error type I, sedangkan False Non Match Rate adalah probability error type II.

FMR = P( D_1|H_0 )

FNMR = P( D_0|H_1 )

Pada gambar 2, sebagian dari ujung kiri distribusi frekuensi nilai pemadanan jari telunjuk kanan orang yang sama (Genuine)  berada di sebelah kiri matching threshold. Maksudnya matching score pada nilai tersebut (sekitar 43-50) lebih rendah daripada threshold 50, karena itu sistem menyatakan sebagai “NON MATCH” padahal berasal dari jari yang sama. Karena itu luas relatif area berwarna coklat tersebut menjadi False Non Match Rate dari sistem. Sebaliknya, sebagian dari ujung kanan distribusi frekuensi nilai pemadanan jari telunjuk kanan orang yang berbeda (Impostor) berada di sebelah kanan matching threshold. Area yang berwarna biru tersebut merupakan False Match Rate dari system.

Brandon Mayfield Case sebagai contoh kasus False Match yang fatal

Contoh kasus False Match yang cukup fatal misalnya sebagai yang terjadi pada Brandon Mayfield. Mayfield dituduh dan ditahan sebagai pelaku pengeboman kereta di Spanyol pada tanggal 11 Maret 2004, karena sidik jarinya dinyatakan oleh FBI, match dengan sidik jari latent yang ditemukan di tas detonator.  Kepolisian Spanyol menyatakan bahwa sidik jari Mayfield tidak match dengan sidik jari latent, melainkan ke orang lain, yaitu Ouhnane Daoud.  Akhirnya FBI meminta maaf kepada Brandon Mayfield dan keluarganya atas kesalahan tersebut [2][4].

Kebun binatang Doddington  & Empat kategori sidik jari:  sheep (domba), goat (kambing), lamb (domba muda), wolf (serigala)

Sumber error tidak semata berasal dari sistem biometrics, tetapi bisa juga berasal dari object itu sendiri.  Kemampuan inheren sidik jari (maupun modality biometrics yang lain) dalam sistem identifikasi berbeda-beda untuk tiap individu, Ada sidik jari yang sangat berbeda dengan orang lain sehingga sulit terjadi false match maupun false non match, ada juga sidik jari yang mudah false match dengan orang lain.  Dalam hal ini ada 2 konsep yang dipakai untuk mengukurnya, yaitu intra-class variation dan inter-class variation. Sidik jari dengan intra-class variation yang rendah artinya saat orang yang sama melakukan pemindaian berkali-kali, variasi fiturnya rendah. Dengan demikian saat dia melakukan absensi, hampir tidak pernah tertolak karena fiturnya konsisten dengan fitur sidik jari saat perekaman. Sebaliknya jika intra-class variationnya tinggi, berarti saat melakukan pemindaian sidik jari berkali-kali, minutiae yang diperoleh memiliki fitur yang berbeda secara signifikan.  Akibatnya akan sulit untuk match dengan data sidik jari hasil perekaman yang tersimpan di gallery.  Inter-class variation adalah seberapa beda fitur sidik jari seseorang dengan orang yang lain. Berdasarkan karakteristik ini, Doddington membaginya ke dalam 4 kategori (sebenarnya Doddington melakukan klasifikasi ini dalam konteks speaker recognition, tetapi sifatnya universal dan bisa dipakai dalam sidik jari maupun modality yang lain) yang disebut dengan kebun binatang Doddington (Doddington zoo) [3].

  1. Sheep (domba), yaitu fitur sidik jari yang sangat berbeda dengan orang lain dan memiliki intra-class variation yang rendah. Sidik jari seperti ini akan mengalami false match error & false non match  error yang rendah.
  2. Goats (kambing), yaitu sidik jari yang memiliki intra-class variation besar, sehingga mudah mengalami false reject.
  3. Lambs (domba muda), yaitu sidik jari yang memiliki karakteristik yang overlap dengan sidik jari orang lain, sehingga similaritynya dengan sidik jari orang lain cukup besar. Sidik jari yang demikian mudah mengalami false match error.
  4. Wolves (serigala), yaitu orang yang mampu memanipulasi biometricsnya sedemikian hingga mirip dengan karakteristik biometrik orang lain. Contoh yang paling mudah adalah orang yang mampu mengubah suaranya agar mirip dengan orang lain, sehingga bisa menipu sistem biometrics yang berbasis suara. Hal ini akan meningkatkan false match error.

Referensi

  1. Handbook of Fingerprint Recognition, 2nd Ed, Maltoni, Mario, Jain, Prabhakar, Springer, 2009
  2.  “More than zero : Accounting for Error in Latent fingerprint identification”, Simon A. Cole, Journal of Criminal Law & Criminology, Vol. 95, No.3, pp.985-1078 (Spring 2005)
  3. “Sheep, Goats, Lambs and Wolves: A Statistical Analysis of Speaker Performance in the NIST 1998 Speaker Recognition Evaluation,” G. Doddington, W. Liggett, A. Martin, M. Przybocki and D. Reynolds,, Proc. of International Conference on Spoken Language Processing (ICSLP), vol. 4, 1998, pp. 1351-1354.

  4. Video on Brandon Mayfield case

Tentang Anto Satriyo Nugroho

My name is Anto Satriyo Nugroho. I am working as research scientist at Center for Information & Communication Technology, Agency for the Assessment & Application of Technology (PTIK-BPPT : Pusat Teknologi Informasi & Komunikasi, Badan Pengkajian dan Penerapan Teknologi). I obtained my doctoral degree (Dr.Eng) from Nagoya Institute of Technology, Japan in 2003. My office is located in Serpong, Tangerang Selatan City.Since 2015, I was appointed as Program Director of R&D activities in Intelligent Computing Laboratory (former name: Digital Signal Processing Laboratory). The activities in the laboratory are organized into three groups : (i) Natural Language Processing (ii) Multimodal biometrics Identification (iii) ICT solution for Tropical Disease. I also enjoy to teach the students, as a part time lecturer in Swiss German University Serpong & UNS Sebelas Maret Surakarta. Should you want to know further information on my academic works, please visit my professional site at http://asnugroho.net
Pos ini dipublikasikan di research. Tandai permalink.

Tinggalkan Balasan

Isikan data di bawah atau klik salah satu ikon untuk log in:

Logo WordPress.com

You are commenting using your WordPress.com account. Logout / Ubah )

Gambar Twitter

You are commenting using your Twitter account. Logout / Ubah )

Foto Facebook

You are commenting using your Facebook account. Logout / Ubah )

Foto Google+

You are commenting using your Google+ account. Logout / Ubah )

Connecting to %s