Di kuliah teknologi multimedia, saya menjelaskan tentang konsep entropy coding. Simbol yang paling sering muncul harus di-encode dengan kode yg dengan bit-length paling pendek, sedangkan yang semakin jarang munculnya, memakai bitlength yg makin panjang. Saya bahas di kelas, huruf apa yg sering muncul dalam bhs Inggris. Dari literatur, diketahui bahwa huruf yang paling sering muncul dalam kata bahasa Inggris adalah E, diikuti T, A, I, N, O, S dan seterusnya. Paling jarang muncul adalah Z. Morse memakai informasi untuk mengkonstruksi kode Morsenya. Huruf paling sering muncul di-encode dengan simbol yang relatif pendek, vice versa.
Kemudian saya tanyakan ke kelas, bagaimana dengan bahasa Indonesia ? Huruf apakah yang paling sering dipakai ? Saat itu anak-anak tidak ada yg bisa menjawab. Saya juga belum pernah menghitungnya. Pagi ini saya coba menjawab pertanyaan itu, dengan memakai teks pada bahasa Indonesia. Salah satu yg saya temukan, adalah novel Khopinghoo : Sepasang Pedang Iblis, jilid 007. Dengan membuat satu baris command di linux, akhirnya ketemu juga urutan frekuensi pemakaian huruf dalam kata-kata bahasa Indonesia. Urut dari yang paling sering :
a, n, e, i, k, u, t, m, g, r, d, s, l, h, p, b, y, o, j, w, c, f
Yang belum muncul : q, v, x dan z.
Tentunya ini baru dari 1 novel saja. Perlu dicoba dengan data yg lebih besar agar mendapatkan urutan yang akurat.
tr -sc ‘[A-Za-z]’ ‘\n’ < kbbi-kamus-besar-bahasa-indonesia-resmi-official.pdf |tr '[A-Z]' '[a-z]' |fold -w1|sort|uniq -c|sort -nr
126699 t
125586 e
110578 r
100243 o
93893 n
91717 i
83811 s
83751 a
81589 b
80651 p
80266 d
79424 j
77845 c
75538 l
74128 m
73775 g
71234 x
71129 h
68471 y
68184 f
66403 w
64924 u
64178 q
63015 v
62384 k
59958 z