iL sOlE nUdO

Nella teoria dell’informazione, viene definita capacità di canale il massimo flusso di informazione trasportabile dal canale stesso. Per un flusso informativo minore od uguale alla capacità, il Secondo Teorema di Shannon stabilisce che sarà possibile costruire un codice che assicura la correttezza della trasmissione stessa, riducendo ad un numero arbitrariamente piccolo la probabilità di errore.

In generale, il calcolo della capacità di canale C non è semplice.

C = max I(X;Y) = max [H(Y) - H(Y|X)]

Facendo l’ipotesi di un canale discreto con matrice di transizione P simmetrica (cioè righe e colonne contengono rispettivamente lo stesso insieme di numeri), è possibile introdurre delle semplificazioni per agevolare tale calcolo.

Infatti, per un canale simmetrico l’entropia condizionata H(Y|X) è indipendente dalle probabilità di ingresso P(x).
Questo è facilmente verificabile scrivendo:
[assumete che "i" e "j" siano pedici, e ovviamente anche indici della sommatoria]

H(Y|X) = Σ P(xi) H(Y|xi) con H(Y|xi) = -Σ pij log (pij)

Ma poichè tutte le righe di P sono permutazioni dello stesso insieme di numeri pj, possiamo riscrivere più semplicemente:

H(Y|xi) = -Σ pj log (pj)

quindi sostituendo:

H(Y|X) = Σ P(xi) H(Y|xi) = -Σ P(xi) Σ pj log (pj) = -Σ pj log (pj)

L’ultima uguaglianza vale poichè la prima sommatoria fa ovviamente uno.
Possiamo riscrivere il risultato come:

-Σ pj log (pj) = -Σ p(y|x) log p(y|x)

Questo permette di scrivere, per un canale simmetrico:

H(Y|X) = -Σ p(y,x) log p(y|x) = -Σ p(y|x) log p(y|x)

e ancora:

C = max [H(Y)] - H(Y|X)

Poichè inoltre sappiamo che per un alfabeto di sorgente con N simboli vale:

H(Y) ≤ log N

valendo l’uguaglianza nel caso di simboli equiprobabili, possiamo infine riscrivere:

C = log N + Σ p(y|x) log p(y|x)

In questo modo il calcolo della capacità di canale C è affrontabile senza problemi, poichè si assumono noti N e le probabilità condizionate p(y|x).

Ulteriori approfondimenti in questo sito.

Tags: canali, Ingegneria, matrici, probabilità, teoria dell'informazione