Memahami kurva Receiver Operating Characteristics (ROC) dan Pengujian Biometrik KTP-elektronik di PTIK BPPT

Pada tulisan sebelumnya, telah dijelaskan dua tipe error biometrik : False Match (error tipe I) dan False Non Match (error tipe II). Kedua error tersebut berelasi trade-off.

Ketika threshold pemadanan diset rendah, semua upaya otentikasi akan diloloskan, termasuk impostor sekalipun. Sehingga nilai False Match Rate (FMR) tinggi, sedangkan False Non Match Rate (FNMR) nya rendah. Dalam aplikasi sekuriti, hal ini menyebabkan semua orang bisa lolos otentikasi, dan mengakses informasi yang sifatnya harus diamankan.

Sebaliknya, jika threshold diset sangat tinggi (misalnya saja infinite), maka nilai False Match akan minimal, sebaliknya nilai False Non Match akan maksimal. Sangat susah untuk lolos otentikasi, sehingga jika dipakai dalam aplikasi subsidi, orang yang berhak mendapatkan subsidi akan selalu tertolak dan kehilangan haknya.
Relasi antara FMR dan FNMR ini kalau diplot, akan diperoleh gambar seperti gambar berikut

Kurva ini disebut Receiver Operating Characteristics (ROC) curve. Dalam beberapa literatur, disebut sebagai Detection Error Tradeoff (DET) curve. Angka di atas sekedar ilustrasi untuk memudahkan memahami korelasi keduanya. Salah satu titik pada kurva tersebut berada pada saat nilai FMR sama dengan FNMR, yaitu 25%. Tingkat error seperti ini disebut Equal Error Rate (EER). Pada contoh ini EER pada threshold kedua adalah 25%.

Gambar di atas memperlihatkan kinerja suatu software biometrik, akan tetapi tingkat EER nya jauh lebih besar, yaitu 70%. Sistem biometrik seperti ini, kinerjanya akan lebih buruk dibandingkan kinerja software yang diulas sebelumnya. Walaupun threshold diset sedemikian hingga FMR sangat tinggi (90%), tingkat FNMR tidak bisa ditekan menjadi sangat rendah. Pada gambar tersebut, FNMR terendah sekitar 65%. Sebaliknya, ketika FMR ditekan (dengan mengubah nilai threshold pemadanan) agar menjadi sangat rendah, ternyata mentok di angka 60%, walaupun FNMR sudah maksimal. Hal ini menyebabkan software biometrik kedua sering gagal di lapangan, karena tingkat error tipe I maupun tipe II sangat tinggi.

Gambar di atas menggabungkan dua kurva sebelumnya. Software biometrik pertama (kurva merah) performanya lebih unggul dibandingkan software biometrik kedua. Upaya untuk memperbaiki kinerja algoritma biometrik bertujuan untuk meningkatkan akurasinya, sedemikian hingga yang awalnya seperti kurva biru bisa ditekan sedemikian hingga menjadi kurva merah. Tentu saja bukan hanya aspek akurasi, tapi juga faktor kecepatan menjadi aspek yang sangat penting. . Proses ini kadang makan waktu berpuluh tahun, untuk bisa menghasilkan algoritma terbaik di dunia, yang bisa dipakai pada data dengan skala besar. (Contoh perlunya waktu lama dalam riset komputasi misalnya : Fourier Transformation dikenalkan sekitar tahun 1800, tetapi baru bisa dipakai di dunia industri digital, setelah Fast Fourier Transformation atau FFT dikembangkan sekitar tahun 1960-an)

Nilai threshold yang dipakai dalam aplikasi biometrik berbeda-beda tergantung pada kebutuhannya.  Aplikasi di bidang forensik misalnya, cenderung menginginkan tingkat FNMR yang rendah walaupun agak mengorbankan nilai FMR. Sebaliknya, aplikasi sekuriti, demi keamanan, lebih menginginkan agar FMR rendah, walaupun agak mengorbankan tingkat FNMR.

Dalam pengujian KTP-el reader yang dilakukan di laboratorium biometrik Pusat Teknologi Informasi & Komunikasi BPPT,  sekitar 3 ribu data biometrik penduduk dipakai untuk mengukur tingkat FMR dan FNMR. Kami memakai 3 ribu records, sehingga dilakukan 9 juta matching. Kemudian karena ada dua jari : kiri dan kanan, untuk satu skenario akan dilakukan 9 juta x 2 = 18 juta matching. Total ada dua skenario dalam pengujian memakai data 3 ribu, sehingga total jumlah pemadanan pada saat menguji satu device adalah 36 juta matching. Dari data yang diperleh, kemudian diplot kurva ROC seperti pada gambar di atas. Kemudian sesuai dengan peraturan menteri dalam negeri no.34 tahun 2014, dilakukan pengukuran tingkat error. Syarat lolos uji adalah ketika FMR 0.01%, maka FNMR maksimum adalah 3%. Hingga saat ini, lab. biometrik (Pusat Teknologi Informasi & Komunikasi BPPT) bersama lab. smart card (Pusat Teknologi Elektronika BPPT)  telah melakukan pengujian perangkat pembaca KTP-el, dan diantaranya melakukan pengukuran  error terhadap sekitar 20 perangkat uji (disebut dengan DUT yang merupakan singkatan dari Device Under Test) yang dikembangkan oleh industri dalam negeri.

Iklan

Tentang Anto Satriyo Nugroho

My name is Anto Satriyo Nugroho. I am working as research scientist at Center for Information & Communication Technology, Agency for the Assessment & Application of Technology (PTIK-BPPT : Pusat Teknologi Informasi & Komunikasi, Badan Pengkajian dan Penerapan Teknologi). I obtained my doctoral degree (Dr.Eng) from Nagoya Institute of Technology, Japan in 2003. My office is located in Serpong, Tangerang Selatan City. My research is on pattern recognition and image processing with applied field of interests on biometrics identification & development of computer aided diagnosis for Malaria. Should you want to know further information on my academic works, please visit my professional site at http://asnugroho.net
Pos ini dipublikasikan di research. Tandai permalink.

Tinggalkan Balasan

Isikan data di bawah atau klik salah satu ikon untuk log in:

Logo WordPress.com

You are commenting using your WordPress.com account. Logout /  Ubah )

Foto Google+

You are commenting using your Google+ account. Logout /  Ubah )

Gambar Twitter

You are commenting using your Twitter account. Logout /  Ubah )

Foto Facebook

You are commenting using your Facebook account. Logout /  Ubah )

Connecting to %s