Komentar u/ tulisan Pak Tahir

Yth.Pak Tahir

Menanggapi statement pak Tahir

“Kalau OCR membaca huruf hasil cetakan, maka ICR membaca tulisan tangan. Kalau OCR saja tidak 100% akurat apalagi ICR, maka adalah omong kosong jika ada ICR yang mampu mencapai akurasi 98%, kecuali jika tesnya sangat terbatas dan kondisinya terekayasa dengan apik.”

di
http://geeks.netindonesia.net/blogs/tahir/archive/2009/04/08/teknologi-icr-dan-pemilu-2009.aspx

perkenankan saya menanggapi dalam kapasitas pribadi, sebagai seorang scientist yang memang menekuni pattern recognition, khususnya handwriting character recognition. Komentar ini juga sekaligus saya tampilkan di blog saya https://asnugroho.wordpress.com

  1. Akurasi handwriting digit recognition di dunia sudah lazim kalau lebih dari 99%. Silakan bapak explore tulisan2 Yan Le Cun (beliau salah satu tokoh terdepan di dunia untuk masalah handwriting character recognition) di web MNIST
  2. Setidaknya, dari pengalaman kami melakukan riset character recognition, akurasi 99% ke atas untuk handwriting digit itu sudah sewajarnya yang harus dicapai, bukan omong kosong (sebagaimana bapak tulis). Silakan bapak membaca paper kami sbb.
    H. Kawajiri, Y. Takatoshi, T. Junji, A.S. Nugroho and A. Iwata : Hand-written Numeric Character Recognition for Facsimile Auto-dialing by Large Scale Neural Network CombNET-II, Proc. of 4th.International Conference on Engineering Applications of NeuralNetworks, pp.40-46, June 10-12,1998, Gibraltar.
    Paper ini sudah lolos dari evaluasi para reviewer yang memang ahli di bidang tersebut, sehingga diterima untuk dipublikasikan di conference di atas. Versi pdf nya bisa didownload dari http://asnugroho.net/publist.html
  3. Character recognition yg dipakai oleh SANYO yang dilaporkan di paper tsb. dikembangkan dari hasil riset di Iwata Laboratory, Nagoya Inst. of Technology, Japan. Model yang dipakai disebut “CombNET-II” yang merupakan gabungan competitive neural network & multilayer perceptron. Paper mengenai CombNET-II mendapat best paper award dari IEICE Japan (IEEE-nya Jepang) sekitar tahun 1992. Selain untuk character recognition, saya memakai model tsb. untuk meteorological prediction dan meraih first prize award dari kompetisi peneliti neural network di Jepang pada th.1999. Jadi keberadaaan riset tsb. , model tsb. dan akurasinya bukan omong kosong, pak.
  4. Sanyo sejak awal tahun 90 an tertarik untuk memakai model tsb. pada facsimile-nya dan berhasil mencapai akurasi lebih dari 99%. Setting training & testing setnya silakan bapak baca di paper tsb. Testing set diperoleh dari tulisan tangan sekitar 2000 orang yang dikumpulkan oleh Tottori Sanyo Electric Co. Total sekitar 13 ribu samples per huruf, 5500 sample (per huruf) untuk training dan sisanya untuk testing. mplementasi dari riset itu sudah dipasarkan di Jepang lebih dari 10 tahun yll. a.l. facsimile SFX-70CL.
  5. Salah satu kesulitan dalam handwriting character recognition adalah bervariasinya tulisan tangan orang. Dalam pattern recognition, ini diatasi dengan mengkonversikan variasi tulisan tersebut ke representasi yang disebut feature vector. Feature maksudnya adalah informasi yang membedakan sebuah kategori dengan kategori yang lain. Walaupun variasi penulisannya bermacam-macam, feature extraction algorithm yang baik akan mampu fokus mengekstrak discriminative information dari citra angka tersebut. Selanjutnya variasi yang terdapat pada feature vector ini akan diolah oleh bagian classifier yang bertugasmenghasilkan input output mapping yang benar.
  6. Resiko false positive adalah hal wajar dalam pattern recognition. Tidak ada sebuah model yang dijamin mampu mencapai akurasi 100%. Justru disitulah tantangannya. Bukan hanya untuk character recognition, tetapi juga untuk berbagai aplikasi machine learning yang lain.
  7. Berita di kompas, bahwa tim BPPT telah melakukan ujicoba dengan 50 ribu sampel itu tidak benar. Pak Husni saat itu salah dalam menjelaskannya. Namun informasi itu telah kami koreksi bersama, saat konferensi pers di KPU 7 April 2009. Silakan baca di http://tipemilu2009.wordpress.com/2009/04/07/pengujianperformaicr/

Agar sebuah teknologi bisa mencapai performa yang baik, ada syarat-syarat yang harus dipenuhi. ICR yang dipakai dalam pemilu ini misalnya mensyaratkan cetakan kertas yang memenuhi standard, penulisan yang “wajar” (di dalam kotak), maupun sosialisasi yang cukup memadai kepada para pelaksana di TPS dan KPUD. Apabila syarat-syarat ini tidak terpenuhi, tentu saja hasilnya tidak akan optimal, tetapi tidak lantas dapat diambil kesimpulan bahwa teknologi yang dipakai adalah salah. Demikian penjelasan tambahan saya. Harapan saya, agar kita semua bisa fair memandang kelebihan dan kelemahan sebuah teknologi.

Tentang Anto Satriyo Nugroho

My name is Anto Satriyo Nugroho. I am working as research scientist at Center for Information & Communication Technology, Agency for the Assessment & Application of Technology (PTIK-BPPT : Pusat Teknologi Informasi & Komunikasi, Badan Pengkajian dan Penerapan Teknologi). I obtained my doctoral degree (Dr.Eng) from Nagoya Institute of Technology, Japan in 2003. My office is located in Serpong, Tangerang Selatan City.Since 2015, I was appointed as Program Director of R&D activities in Intelligent Computing Laboratory (former name: Digital Signal Processing Laboratory). The activities in the laboratory are organized into three groups : (i) Natural Language Processing (ii) Multimodal biometrics Identification (iii) ICT solution for Tropical Disease. I also enjoy to teach the students, as a part time lecturer in Swiss German University Serpong & UNS Sebelas Maret Surakarta. Should you want to know further information on my academic works, please visit my professional site at http://asnugroho.net
Pos ini dipublikasikan di neuro, research. Tandai permalink.

7 Balasan ke Komentar u/ tulisan Pak Tahir

  1. Tahir berkata:

    Komentar ini saya tulis juga dalam blog saya:
    http://geeks.netindonesia.net/blogs/tahir/archive/2009/04/21/teknologi-icr-dan-pemilu-2009-lesson-learned.aspx

    Pak Anto yang saya hormati, terima kasih telah mampir dan memberi komentar pada blog saya.
    Saya minta maaf jika kata-kata yang saya gunakan dalam tulisan saya telah menyinggung perasaan rekan-rekan scientist yang sehari-hari bergelut dengan teknologi ICR. Tulisan tersebut saya buat pada tanggal 6 April setelah membaca cuplikan berita kompas pada hari yang sama seperti yang terlampir dan setelah dilengkapi ulasan lainnya baru saya publish tanggal 8, sehari sebelum pemilu. Saat itu saya belum membaca posting dari link yang diberikan pak Anto.

    Saya tidak menyangkal akurasi teknologi ICR yang bisa mencapai hasil 99% (hint, ada pengecualian dalam kalimat saya). Tapi dalam konteks topik di atas yaitu teknologi ICR dan pemilu 2009, berdasarkan spesifikasi yang saya temui(dikeluarkan sebelum KPU menggandeng BPPT), saya sangat meragukan bahwa produk ICR yang disarankan kepada KPU dan dicari untuk digunakan dalam mendukung tabulasi elektronik adalah produk ICR yang sudah cukup teruji. Karena itu saya sangat tidak mengerti ketika membaca cuplikan berita di kompas tersebut, sangat khawatir gitu loh… Berita di Kompas tersebut menimbulkan kesan kepada publik seolah-olah produk ICR yang akan digunakan KPU telah diuji BPPT dan akurasinya 98% (silakan disimak kembali cuplikan beritanya), sebenarnya ini yang saya komentari dengan ‘omong kosong’, dan ini melalui komentar blog sudah Pak Anto tegaskan bahwa apa yang tertulis di Kompas tersebut memang tidak benar, terima kasih.

    Kalau Pak Anto sehari-hari bergelut dengan teknologi ICR di lab, maka tulisan saya hanya berdasarkan pengalaman saya di lapangan, sebagai orang yang membantu beberapa customer dalam menggunakan solusi-solusi form processing termasuk OCR, DMR dan ICR.
    Ketika seseorang menanyakan kepada saya tentang akurasi ICR, maka selalu saya jawab dengan pertanyaan juga, akurasi pada kondisi yang bagaimana?
    1. apakah formnya sudah beredar dan/atau sudah diisi?
    2. apakah formnya dirancang untuk diproses komputer?
    3. apakah petunjuk pengisiannya ada dan cukup mudah dimengerti?
    4. apakah yang mengisi berkepentingan pada hasil pembacaan form yang diisi?
    5. kalau belum dicetak, adakah anggaran yang tersedia untuk penyediaan form yang memadai?
    6. berapa target throughput yang ingin dicapai?

    Dari jawaban atas pertanyaan-pertanyaan tersebut, kita bisa membuat strategi bagaimana memaksimalkan akurasi pembacaan ICR, seperti bagaimana rancangan form yang cocok, bagaimana memudahkan operator melakukan validasi dan verifikasi, dan bagaimana memaksimalkan throughput dari proses secara keseluruhan.

    Kita sebaiknya jangan terlalu optimis dalam menjanjikan akurasi ICR, karena ini akan sangat besar risikonya, apalagi kalau risiko ini tidak dikelola dengan baik, seperti yang terjadi pada kegiatan IT pemilu 2009 ini. Boleh optimis tapi harus realistis dan jangan sampai timbul over-expectation yang pada akhirnya tidak bisa kita wujudkan. Ini yang ingin saya tekankan pada tulisan saya tersebut.

    Tentang pernyataan saya, “Kalau OCR saja tidak 100% akurat apalagi ICR, maka adalah omong kosong jika ada ICR yang mampu mencapai akurasi 98%, kecuali jika tesnya sangat terbatas dan kondisinya terekayasa dengan apik.”, yang saya maksud ICR di sini adalah produk ICR yang ingin digunakan sesuai spesifikasi KPU dan bukan teknologi ICR nya, karena itu saya harap akan lebih bisa diterima kalau penulisannya saya koreksi menjadi …jika ada produk ICR untuk pemilu 2009 yang telah diuji bppt yang…

    Sama seperti yang dituliskan Pak Oskar dan Pak Anto, dan pada kalimat saya tersebut di atas, untuk mencapai akurasi yang optimal dari sebuah produk ICR, kondisi penerapannya harus terekayasa dengan apik. Perancangan formulirnya harus direkayasa dengan baik, pencetakan formulirnya harus direkayasa dengan baik, cara pengisiannya harus direkayasa dengan baik, teknik scanningnya harus direkayasa dengan baik, serta metode validasi dan verifikasinya harus direkayasa dengan baik, tidak boleh lepas kendali, lalu kemudian berharap akurasinya 98%.
    Hal yang sama berlaku juga untuk produk OMR/DMR, namun pengalaman keberhasilan DMR pada UASBN 2008, di mana pelaksananya adalah operator-operator yang baru pertama kali mengoperasikan scanner di tingkat kabupaten dan dengan jumlah kertas belasan juta lembar jawab yang diisi jutaan siswa-siswi setingkat SD, sudah cukup sebagai bukti bahwa produk DMR telah teruji untuk volume yang sangat besar dalam waktu singkat dan hasilnya akurat. Metode untuk mencapai hasil yang optimal pun sudah ada, bukan just do it and let see.
    Menjanjikan akurasi dan kemudahan tanpa menuntut kondisi yang harus dipenuhi, sama saja dengan menyesatkan KPU sebagai pelaksana pemilu, dan akibatnya mengecewakan semua pihak yang turut menanggung biaya pelaksanaan kegiatan TI Pemilu 2009 yang tidak kecil. Setelah melihat hasil dan pelaksanaannya, semakin jelas bahwa dasar pemilihan ICR untuk tabulasi pemilu 2009 mungkin berasal dari petunjuk orang yang keliru dan karena itu tidak dapat dipertanggung jawabkan, apalagi jika tidak ada feasibilty study yang mendukung, hanya berdasarkan janji-janji dan harapan.

    Sekali lagi terima kasih atas komentarnya dan semoga bisa menjadi pelajaran buat kita semua di masa yang akan datang dalam memilih dan menyarankan sebuah teknologi atau produk.

  2. Irwansyah berkata:

    Pelajaran yang sangat mahal sepertinya yah?

  3. riani berkata:

    kalo sudah tahu teknologi ini bakal bermasalah, kenapa kok KPU tetap ngotot menggunakannya, padahal kan yg mengoperasikannya adalah orang-orang yg kebanyakan masih awam ttg teknis form processing ditambah dengan waktu pelatihan yg sangat singkat. saya ini hanya orang biasa akan tetapi saya sangat yakin sepintar apapun anda sbg seorang programmer/ scientist pattern recognition tidak akan bisa membuat sebuah perangkat/ software ICR dengan akurasi > 50% dengan kondisi tulisan tangan setiap orang yg bervariasi. Kalo anda mendikte setiap orang agar menulis sesuai dengan keinginan anda, yah kalo sedikit orang mungkin saja, tp untuk pemilu ini menurut saya sangat mustahil. Jadi intinya saya setuju dengan langkah KPK yg akan menyelidiki penggunaaan teknologi ICR yg luar biasa byk menghabiskan uang rakyat dengan sia-sia. hasilnya nihil!!!

    Saya ada dikasih oleh keponakan saya yang kerja di KPU sebuah software ICR dari Orchid, setelah saya liat, software ini sangat luar biasa tidak akurat, karena seringnya melakukan kalibrasi jika ada cetakan yg berlainan / kertas miring ditambah hasil pembacaan yg sering salah membuat puyeng keponakan saya mengoperasikannya. Dengan entengnya orang IT dari perusahaan produsen software tersebut membuat berbagai macam alasan berbau istilah asing, yg makin membuat pening sang operator.

    Jadi apakah teknologi ini masih akan digunakan untuk pilpres nanti. kita lihat saja…

  4. riani berkata:

    kalo sudah tahu teknologi ini bakal bermasalah, kenapa kok KPU tetap ngotot menggunakannya, padahal kan yg mengoperasikannya adalah orang-orang yg kebanyakan masih awam ttg teknis form processing ditambah dengan waktu pelatihan yg sangat singkat. saya ini hanya orang biasa akan tetapi saya sangat yakin sepintar apapun anda sbg seorang programmer/ scientist pattern recognition tidak akan bisa membuat sebuah perangkat/ software ICR dengan akurasi > 50% dengan kondisi tulisan tangan setiap orang yg bervariasi. Kalo anda mendikte setiap orang agar menulis sesuai dengan keinginan anda, yah kalo sedikit orang mungkin saja, tp untuk pemilu ini menurut saya sangat mustahil. Jadi intinya saya setuju dengan langkah KPK yg akan menyelidiki penggunaaan teknologi ICR yg luar biasa byk menghabiskan uang rakyat dengan sia-sia. hasilnya nihil!!!

    Saya ada dikasih oleh keponakan saya yang kerja di KPU sebuah software ICR dari Orchid, setelah saya liat, software ini sangat luar biasa tidak akurat, karena seringnya melakukan kalibrasi jika ada cetakan yg berlainan / kertas miring ditambah hasil pembacaan yg sering salah membuat puyeng keponakan saya mengoperasikannya. Dengan entengnya orang IT dari perusahaan produsen software tersebut membuat berbagai macam alasan berbau istilah asing, yg makin membuat pening sang operator.

    Jadi apakah teknologi ini masih akan digunakan untuk pilpres mendatang. kita lihat saja nanti…

  5. %Riani
    Berbicara dari sisi teknologi ICR secara umum, keyakinan anda

    “saya ini hanya orang biasa akan tetapi saya sangat yakin sepintar apapun anda sbg seorang programmer/ scientist pattern recognition tidak akan bisa membuat sebuah perangkat/ software ICR dengan akurasi > 50% dengan kondisi tulisan tangan setiap orang yg bervariasi.”

    Komentar ini adalah salah besar ! Apa nggak bisa baca tulisan saya di atas dengan teliti, sih ? Capek deeh 😦

    “Saya ada dikasih oleh keponakan saya yang kerja di KPU sebuah software ICR….karena seringnya melakukan kalibrasi jika ada cetakan yg berlainan / kertas miring ditambah hasil pembacaan yg sering salah membuat puyeng keponakan saya mengoperasikannya.”

    Yang salah di sini adalah kertas-nya yang tidak sesuai dengan standar kebutuhan ICR, bukan teknologinya. (Baca lagi dengan teliti deh….) Bukan hanya ICR vendor tersebut, mau pakai ICR vendor yang lain atau bahkan ICR dari luar negeri sekalipun kalau kertasnya tidak sesuai dengan spesifikasi yg diperlukan, maka ICR itu nggak akan bisa bekerja dengan baik. Anda kalau pakai mobil tapi bensinnya diganti dengan air, tentunya nggak bisa jalan dari Jakarta ke Bogor, bukan ? Apakah anda akan menyalahkan mobilnya atau anda akan menyalahkan bahan bakarnya ? Tulisan anda di atas cenderung menyalahkan mobilnya 🙂

  6. Dr. Budi Mulyana, SpOG berkata:

    Cuma ingin sumbang saran, Pak. Saya tidak mempersoalkan akurasi ICR, tapi lebih concern pada adanya kemungkinan validasi ulang oleh sekian banyak operator di daerah dengan beragam tingkat kemampuan dan keinginan. Tidak seharusnya kita mempercayakan hal sebesar Pemilu (dengan uang puluhan trilyun rupiah) pada sistem yang membutuhkan perjalanan data yang sangat panjang dan rumit dengan teknologi ICR ini.

    Saat ini telah terbukti bahwa IT KPU ternyata tidak berjalan sebagaimana mestinya, sehingga kita memang tidak perlu lagi ribut-ribut soal ICR, OMR dan sebagainya. Kita harus mengambil pelajaran agar Pilpres yang akan datang berjalan dengan sukses dan dapat dipertanggungjawabkan.
    Terima kasih.

  7. adinusa putra berkata:

    Mahal sekali ICR, dengan uang triliunan rupiah indonesia bisa mengalokasikan dana untuk hal yang lebih berguna,
    Terima kasih

Tinggalkan Balasan

Isikan data di bawah atau klik salah satu ikon untuk log in:

Logo WordPress.com

You are commenting using your WordPress.com account. Logout / Ubah )

Gambar Twitter

You are commenting using your Twitter account. Logout / Ubah )

Foto Facebook

You are commenting using your Facebook account. Logout / Ubah )

Foto Google+

You are commenting using your Google+ account. Logout / Ubah )

Connecting to %s