Transinformation

Transinformation oder gegenseitige Information ist eine Größe aus der Informationstheorie, die die Stärke des statistischen Zusammenhangs zweier Zufallsgrößen angibt.

Ein gedächtnisloser Kanal verbindet die zwei Quellen X und Y. Von X nach Y fließt Transinformation. Die Empfänger-Quelle Y der Entsende-Quelle X verhält sich wie eine Quelle. Es wird nicht zwischen Empfänger und Entsender unterschieden. Je mehr die Quellen von einander abhängen, desto mehr Transinformation ist vorhanden.

Vorsicht: Gelegentlich wird auch die Bezeichnung relative Entropie verwendet. Diese entspricht jedoch der Kullback-Leibler-Divergenz.

Die Transinformation steht in einem engen Zusammenhang zur Entropie und zur bedingten Entropie. So berechnet sich die Transinformation $I (X; Y)$ folgendermaßen:

Definition über Differenz von Quell-Entropie und Äquivokation bzw. Empfangs-Entropie und Fehlinformation:

$I(X; Y) = H(X) - H(X | Y) = H(Y) - H(Y | X) \,$ .

Definition über Wahrscheinlichkeiten:

$I(X; Y) = \sum_{x}{}\sum_{y}{}p(x,y) \cdot \log_2 \left( \frac{p(x,y)}{p(x)p(y)} \right)$

Definition über Kullback-Leibler-Divergenz:

$I(X; Y) = D(p(x,y)\,||\,p(x)p(y)) \,$

Definition über Erwartungswert:

$I(X; Y) = E \left\{ \log_2 \left( \frac{p(x,y)}{p(x)p(y)} \right) \right\}$

Verschwindet die Transinformation, so spricht man von statistischer Unabhängigkeit der beiden Zufallsgrößen. Die Transinformation wird maximal, wenn sich eine Zufallsgröße vollkommen aus der anderen berechnen lässt.

Die Transinformation beruht auf der von Claude Shannon eingeführten Entropie (Unsicherheit, mittlerer Informationsgehalt). Nimmt die Transinformation zu, so verringert sich die Unsicherheit über eine Zufallsgröße unter der Voraussetzung, dass die andere bekannt ist. Ist die Transinformation maximal, verschwindet die Unsicherheit folglich. Wie aus der formalen Definition zu sehen ist, wird die Ungewissheit einer Zufallsvariable durch Kenntnis einer anderen reduziert. Dies drückt sich in der Transinformation aus.

Die Transinformation spielt beispielsweise bei der Datenübertragung eine Rolle. Mit ihr lässt sich die Kanalkapazität einer Leitung bestimmen.

Entsprechend kann auch eine Entropie H(Z) von zwei verschiedenen, wiederum voneinander abhängige Entropien, anhängen:

Zwei gedächtnislose Kanäle verbinden drei Quellen. Von der Senderquelle X kann der Empfängerquelle Y eine Transinformation von I(x;y) übermittelt werden. Wird diese Transinformation weiter geleitet so empfängt die Empfängerquelle Z eine Transinformation von I(X;Z). Man kann hier deutlich sehen, dass die Transinformation von der Menge an Äquvokation abhängt.

Quelle:

Artikel Transinformation aus der freien Enzyklopädie Wikipedia mit dieser Versionsgeschichte

Lizenz:

GFDL

Kategorien:

Lexikalischer Artikel