Pada tulisan sebelumnya, telah dijelaskan dua tipe error biometrik : False Match (error tipe I) dan False Non Match (error tipe II). Kedua error tersebut berelasi trade-off.
Ketika threshold pemadanan diset rendah, semua upaya otentikasi akan diloloskan, termasuk impostor sekalipun. Sehingga nilai False Match Rate (FMR) tinggi, sedangkan False Non Match Rate (FNMR) nya rendah. Dalam aplikasi sekuriti, hal ini menyebabkan semua orang bisa lolos otentikasi, dan mengakses informasi yang sifatnya harus diamankan.
Sebaliknya, jika threshold diset sangat tinggi (misalnya saja infinite), maka nilai False Match akan minimal, sebaliknya nilai False Non Match akan maksimal. Sangat susah untuk lolos otentikasi, sehingga jika dipakai dalam aplikasi subsidi, orang yang berhak mendapatkan subsidi akan selalu tertolak dan kehilangan haknya.
Relasi antara FMR dan FNMR ini kalau diplot, akan diperoleh gambar seperti gambar berikut
Kurva ini disebut Receiver Operating Characteristics (ROC) curve. Dalam beberapa literatur, disebut sebagai Detection Error Tradeoff (DET) curve. Angka di atas sekedar ilustrasi untuk memudahkan memahami korelasi keduanya. Salah satu titik pada kurva tersebut berada pada saat nilai FMR sama dengan FNMR, yaitu 25%. Tingkat error seperti ini disebut Equal Error Rate (EER). Pada contoh ini EER pada threshold kedua adalah 25%.
Gambar di atas memperlihatkan kinerja suatu software biometrik, akan tetapi tingkat EER nya jauh lebih besar, yaitu 70%. Sistem biometrik seperti ini, kinerjanya akan lebih buruk dibandingkan kinerja software yang diulas sebelumnya. Walaupun threshold diset sedemikian hingga FMR sangat tinggi (90%), tingkat FNMR tidak bisa ditekan menjadi sangat rendah. Pada gambar tersebut, FNMR terendah sekitar 65%. Sebaliknya, ketika FMR ditekan (dengan mengubah nilai threshold pemadanan) agar menjadi sangat rendah, ternyata mentok di angka 60%, walaupun FNMR sudah maksimal. Hal ini menyebabkan software biometrik kedua sering gagal di lapangan, karena tingkat error tipe I maupun tipe II sangat tinggi.
Gambar di atas menggabungkan dua kurva sebelumnya. Software biometrik pertama (kurva merah) performanya lebih unggul dibandingkan software biometrik kedua. Upaya untuk memperbaiki kinerja algoritma biometrik bertujuan untuk meningkatkan akurasinya, sedemikian hingga yang awalnya seperti kurva biru bisa ditekan sedemikian hingga menjadi kurva merah. Tentu saja bukan hanya aspek akurasi, tapi juga faktor kecepatan menjadi aspek yang sangat penting. . Proses ini kadang makan waktu berpuluh tahun, untuk bisa menghasilkan algoritma terbaik di dunia, yang bisa dipakai pada data dengan skala besar. (Contoh perlunya waktu lama dalam riset komputasi misalnya : Fourier Transformation dikenalkan sekitar tahun 1800, tetapi baru bisa dipakai di dunia industri digital, setelah Fast Fourier Transformation atau FFT dikembangkan sekitar tahun 1960-an)
Nilai threshold yang dipakai dalam aplikasi biometrik berbeda-beda tergantung pada kebutuhannya. Aplikasi di bidang forensik misalnya, cenderung menginginkan tingkat FNMR yang rendah walaupun agak mengorbankan nilai FMR. Sebaliknya, aplikasi sekuriti, demi keamanan, lebih menginginkan agar FMR rendah, walaupun agak mengorbankan tingkat FNMR.
Dalam pengujian KTP-el reader yang dilakukan di laboratorium biometrik Pusat Teknologi Informasi & Komunikasi BPPT, sekitar 3 ribu data biometrik penduduk dipakai untuk mengukur tingkat FMR dan FNMR. Kami memakai 3 ribu records, sehingga dilakukan 9 juta matching. Kemudian karena ada dua jari : kiri dan kanan, untuk satu skenario akan dilakukan 9 juta x 2 = 18 juta matching. Total ada dua skenario dalam pengujian memakai data 3 ribu, sehingga total jumlah pemadanan pada saat menguji satu device adalah 36 juta matching. Dari data yang diperleh, kemudian diplot kurva ROC seperti pada gambar di atas. Kemudian sesuai dengan peraturan menteri dalam negeri no.34 tahun 2014, dilakukan pengukuran tingkat error. Syarat lolos uji adalah ketika FMR 0.01%, maka FNMR maksimum adalah 3%. Hingga saat ini, lab. biometrik (Pusat Teknologi Informasi & Komunikasi BPPT) bersama lab. smart card (Pusat Teknologi Elektronika BPPT) telah melakukan pengujian perangkat pembaca KTP-el, dan diantaranya melakukan pengukuran error terhadap sekitar 20 perangkat uji (disebut dengan DUT yang merupakan singkatan dari Device Under Test) yang dikembangkan oleh industri dalam negeri.
Corat-coret Anto S. Nugroho 