Data Transformation & metode dalam Pattern Recognition

  1. SVM dan ANN (MLP-BP) memiliki pendekatan yang berbeda dalam menyelesaikan non-linear classification problem. SVM memetakan data ke ruang vektor dimensi tinggi sehingga data menjadi linearly separable. Sedangkan ANN(MLP-BP) memetakan data ke ruang vektor -yang lazimnya- berdimensi rendah yang dibentuk oleh output hidden neuron (biasanya hidden neuron < input neuron) sedemikian hingga linearly separable.
  2. Bisa jadi bahwa neuron pada hidden layer lebih banyak daripada input neuron, terutama untuk kasus-kasus yang kompleks. Misalnya pada spiral problem, yang mana inputnya hanya 2 tapi discrimination boundary nya melingkar mengikuti pola spiral. Diperlukan cukup banyak (ratusan) hidden neuron untuk membuat pendekatan descrimination boundary yang melingkar-lingkar walau pada prakteknya saya sangat sulit menemukan boundary tsb dengan neuron 500 buah di hidden layer. Pada eksperimen tsb neuro gagal menemukan boundary. Saya berhasil membuat boundary tsb dengan SVM poly kernel. Karena itu pada no.1 di atas, saya tulis “lazimnya” karena biasanya pada real application (misalnya character recognition) seringkali input neuron berjumlah ratusan sesuai dg banyaknya attribute.
  3. 3-layer MLP trained by backprop with hidden neuron 10, 50, 100, respectively.

    Result of SVM

  4. Principal Component Analyis (PCA, atau Karhunen Loeve Transform) melakukan transformasi terhadap data juga ke dimensi yang lebih rendah, dengan memaksimalkan variance. Di satu sisi memiliki kemiripan dengan ANN yaitu projection to lower dimension. Tetapi ANN melakukannya secara non linear, sedangkan PCA linear. Dalam transformasi tsb. PCA memiliki resiko menghilangkan discriminative information dari data, sehingga dari sisi klasifikasi, PCA tidak selalu menguntungkan. PCA lebih bertujuan melakukan dimensionality reduction (data representation). Beberapa penelitian kadang mengabaikan syarat PCA, yaitu jumlah sampel harus lebih dari dimensi data. Kalau tidak terpenuhi, eigen value yang tidak nol hanya sebanyak sample dan sisanya nol.
  5. Lazimnya dalam membangun model pattern recognition, data perlu dipreprocess agar “memudahkan” proses learning. Misalnya dinormalisasikan agar memiliki mean 0 & stdev 1. Misalnya pada SVM, proses perhitungannya berdasarkan dot product, yaitu jumlah dari
    hasil kali attribute yang sama pada dua buah data. <\overrightarrow{x},\overrightarrow{y}>=x_1\times y_1+x_2\times y_2+...+x_l\times y_l . Misalnya attribute ke-1 memilki range [0,1] sedangkan attribute yang kedua memiiki range [0,10000], hasil dot product dua buah data akan didominasi oleh attribute kedua. Padahal bisa jadi nominal itu besar karena masalah pengukuran saja, seperti tinggi badan seseorang dinyatakan dengan nano-meter
  6. Bagaimana kita mengetahui bahwa pemakaian kernel pada Non-Linear SVM berimplikasi data tsb. dipetakan ke ruang dimensi yang lebih tinggi ? Sebuah kernel yang valid harus memenuhi syarat-syarat dalam Mercer theorem, yaitu seluruh matrix yang dibentuk oleh hasil hitung fungsi kernel dua buah data bernilai positive semi-definite. Misalnya Gaussian kernel K(\overrightarrow{x},\overrightarrow{y})=-exp(\frac{||\overrightarrow{x}-\overrightarrow{y}||^2)}{\sigma^2}) , nilainya tidak pernah 0 dan selalu positif. Implikasinya, seluruh data yang menempati ruang vektor asal akan diproyeksikan ke ruang vektor baru yang satu sama lain tidak orthogonal (dot product antara sebarang 2 data hasil proyeksi nya tidak pernah 0), dengan kata lain dimensinya infinit.

Tentang Anto Satriyo Nugroho

My name is Anto Satriyo Nugroho. I am working as research scientist at Center for Information & Communication Technology, Agency for the Assessment & Application of Technology (PTIK-BPPT : Pusat Teknologi Informasi & Komunikasi, Badan Pengkajian dan Penerapan Teknologi). I obtained my doctoral degree (Dr.Eng) from Nagoya Institute of Technology, Japan in 2003. My office is located in Serpong, Tangerang Selatan City.Since 2015, I was appointed as Program Director of R&D activities in Intelligent Computing Laboratory (former name: Digital Signal Processing Laboratory). The activities in the laboratory are organized into three groups : (i) Natural Language Processing (ii) Multimodal biometrics Identification (iii) ICT solution for Tropical Disease. I also enjoy to teach the students, as a part time lecturer in Swiss German University Serpong & UNS Sebelas Maret Surakarta. Should you want to know further information on my academic works, please visit my professional site at http://asnugroho.net
Pos ini dipublikasikan di research. Tandai permalink.

2 Balasan ke Data Transformation & metode dalam Pattern Recognition

  1. surya berkata:

    yg spiral poly kernel svm nya bagus banget… itu betul semua?

  2. Iya, benar semua mas Surya. Saya kaget waktu lihat hasilnya juga. Saya coba pakai Gaussian/RBF kernel tidak berhasil. Polynomial yang bagus dalam kasus ini.

Tinggalkan Balasan

Isikan data di bawah atau klik salah satu ikon untuk log in:

Logo WordPress.com

You are commenting using your WordPress.com account. Logout / Ubah )

Gambar Twitter

You are commenting using your Twitter account. Logout / Ubah )

Foto Facebook

You are commenting using your Facebook account. Logout / Ubah )

Foto Google+

You are commenting using your Google+ account. Logout / Ubah )

Connecting to %s