Dalam pengukuran akurasi biometrik, ada tiga skenario pengujian : open set identification, closed set identification dan verifikasi [1]. Open set dan closed set dipakai untuk proses identifikasi (1:N Matching), sedangkan verifikasi dipakai untuk 1:1 matching. Misalnya 10 orang teregister dalam sistem, Open Set diuji dengan melibatkan orang yang tidak teregister. Sebaliknya, closed set hanya menguji dibatasi pada yang teregister.
Minggu ini salah satu anggota tim penelitian biometrik mempresentasikan FRVT NIST-NISTIR 8271 yang merupakan laporan kinerja algoritma identifikasi wajah yang diterbitkan pada 11 September 2019. Laporan tersebut merangkum kinerja untuk 203 algoritma prototipe dari 51 vendor. Mayoritas vendor berasal dari industri. Skenario yang dipakai dalam Face Recognition Vendor Test (FRVT) adalah open set identification.
Dalam pengujian tersebut ada 4 dataset yang dipakai, yaitu (i) Frontal Mugshots (13.3 juta individu, masing-masing 2 foto), (ii) profile views, (iii) webcam photos dan (iv) wild-images. Frontal relatif bagus dengan background homogen, sedangkan Profile views memiliki data dengan rotasi 90 derajat. Dua dataset terakhir relatif beragam background maupun posenya. Dari contoh yang ditampilkan, intra-class variance paling kecil pada dataset pertama, dan besar pada dua dataset terakhir. Perbedaan dataset ini berkaitan dengan tujuan pengujian yang dilakukan. Satu hal yang penting dicatat adalah terdapat peningkatan akurasi karena algoritma pengenalan wajah mengadopsi deep-convolutional neural network.
Referensi
- Handbook of Face Recognition 2nd Edition, Stan Z. Li, Anil K. Jain, Springer, 2010. Pada Chap.21 Evaluation Methods in Face Recognition, halaman 551-574.
Corat-coret Anto S. Nugroho 