Data Transformation & metode dalam Pattern Recognition

1. SVM dan ANN (MLP-BP) memiliki pendekatan yang berbeda dalam menyelesaikan non-linear classification problem. SVM memetakan data ke ruang vektor dimensi tinggi sehingga data menjadi linearly separable. Sedangkan ANN(MLP-BP) memetakan data ke ruang vektor -yang lazimnya- berdimensi rendah yang dibentuk oleh output hidden neuron (biasanya hidden neuron < input neuron) sedemikian hingga linearly separable.
2. Bisa jadi bahwa neuron pada hidden layer lebih banyak daripada input neuron, terutama untuk kasus-kasus yang kompleks. Misalnya pada spiral problem, yang mana inputnya hanya 2 tapi discrimination boundary nya melingkar mengikuti pola spiral. Diperlukan cukup banyak (ratusan) hidden neuron untuk membuat pendekatan descrimination boundary yang melingkar-lingkar walau pada prakteknya saya sangat sulit menemukan boundary tsb dengan neuron 500 buah di hidden layer. Pada eksperimen tsb neuro gagal menemukan boundary. Saya berhasil membuat boundary tsb dengan SVM poly kernel. Karena itu pada no.1 di atas, saya tulis “lazimnya” karena biasanya pada real application (misalnya character recognition) seringkali input neuron berjumlah ratusan sesuai dg banyaknya attribute.

3-layer MLP trained by backprop with hidden neuron 10, 50, 100, respectively.







Result of SVM



3. Principal Component Analyis (PCA, atau Karhunen Loeve Transform) melakukan transformasi terhadap data juga ke dimensi yang lebih rendah, dengan memaksimalkan variance. Di satu sisi memiliki kemiripan dengan ANN yaitu projection to lower dimension. Tetapi ANN melakukannya secara non linear, sedangkan PCA linear. Dalam transformasi tsb. PCA memiliki resiko menghilangkan discriminative information dari data, sehingga dari sisi klasifikasi, PCA tidak selalu menguntungkan. PCA lebih bertujuan melakukan dimensionality reduction (data representation). Beberapa penelitian kadang mengabaikan syarat PCA, yaitu jumlah sampel harus lebih dari dimensi data. Kalau tidak terpenuhi, eigen value yang tidak nol hanya sebanyak sample dan sisanya nol.
4. Lazimnya dalam membangun model pattern recognition, data perlu dipreprocess agar “memudahkan” proses learning. Misalnya dinormalisasikan agar memiliki mean 0 & stdev 1. Misalnya pada SVM, proses perhitungannya berdasarkan dot product, yaitu jumlah dari
   hasil kali attribute yang sama pada dua buah data. . Misalnya attribute ke-1 memilki range [0,1] sedangkan attribute yang kedua memiiki range [0,10000], hasil dot product dua buah data akan didominasi oleh attribute kedua. Padahal bisa jadi nominal itu besar karena masalah pengukuran saja, seperti tinggi badan seseorang dinyatakan dengan nano-meter
5. Bagaimana kita mengetahui bahwa pemakaian kernel pada Non-Linear SVM berimplikasi data tsb. dipetakan ke ruang dimensi yang lebih tinggi ? Sebuah kernel yang valid harus memenuhi syarat-syarat dalam Mercer theorem, yaitu seluruh matrix yang dibentuk oleh hasil hitung fungsi kernel dua buah data bernilai positive semi-definite. Misalnya Gaussian kernel , nilainya tidak pernah 0 dan selalu positif. Implikasinya, seluruh data yang menempati ruang vektor asal akan diproyeksikan ke ruang vektor baru yang satu sama lain tidak orthogonal (dot product antara sebarang 2 data hasil proyeksi nya tidak pernah 0), dengan kata lain dimensinya infinit.

About these ads