Lewahan (teori maklumat)

Dalam teori maklumat, lewahan (ليواهن) mengukur perbezaan pecahan di antara entropi Templat:Mvar bagi suatu ensembel Templat:Mvar, dan nilai maksimum yang mungkin $\log (|{𝒜}_X|)$.Templat:RTemplat:R Secara tidak rasminya, ia adalah jumlah "ruang" terbazir yang digunakan untuk menghantar data tertentu. Pemampatan data merupakan satu cara untuk mengurangkan atau menyingkirkan lewahan yang tidak diingini, manakala hasil tambah semak pula merupakan satu cara untuk menambah lewahan yang diinginkan dengan tujuan untuk mengesan ralat apabila berkomunikasi melalui saluran hingar bagi muatan terhad.

Takrifan kuantitatif

Dalam menerangkan lewahan data mentah, kadar suatu sumber maklumat ialah entropi purata setiap simbol. Untuk sumber tanpa ingatan, ini hanyalah entropi bagi setiap simbol, manakala, dalam kebanyakan kes umum bagi suatu proses stokastik, ia adalah:

$r=\underset{n\to \mathrm{\infty }}{\lim }\frac{1}{n}H(M_1,M_2,\dots M_n),$

had, apabila n pergi ke ketakterhinggaan, bagi entropi tercantum bagi simbol-simbol n pertama dibahagikan dengan n. Ia adalah biasa dalam teori maklumat untuk membincangkan "kadar" atau "entropi" bagi suatu bahasa. Ini adalah sesuai, contohnya, apabila sumber maklumat merupakan prosa bahasa Inggeris. Kadar sumber tanpa ingatan hanyalah $H(M)$, kerana dengan takrifan, tiada kesalingbergantungan mesej-mesej berturutan bagi suatu sumber tanpa ingatan.

Rujukan

• Templat:Cite book
• Templat:Cite book
• Templat:Cite book