scientific article; zbMATH DE number 3222499

From MaRDI portal
Publication:5510061





Der Wert der Information wird mittels einer Verknüpfung der Informationstheorie and der statistischen Entscheidungstheorie definiert. Es sei \(X\) der Wertbereich einer zufälligen Variablen \(x\) und \(U\) die Menge der möglichen Entscheidungen \(u\); \(c(x, u)\) sei eine Verlustfunktion, definiert auf \(X\times U\), und \(I\) sei eine positive Zahl. Es sei \(U_0 = \inf_u \sum_x c(x, u) p(x)\) [alle Formeln werden für den diskreten Fall angegeben; \(p(x)\) ist die -- bekannte -- Verteilung von \(x]\) und \[ U_I = \inf_{p(u| x)} \sum_{x,u} c(x,u) p(x) p(u| x) \] bei der Bedingung \[ I_{xu}= \sum_{x,u} p(x) p(u| x)\log \frac{(p(u| x)}{\sum_x p(x)p(u| x)}\leq I. \] Der Wert der Information von \(I\) Bit wird als die Differenz \(V(I) = U_0 - U_I\) definiert. Der Wert der Information kann im allgemeinen nur teilweise benutzt werden; ist nämlich \(y\in Y\) eine weitere zufällige Variable mit gegebener bedingter Verteilung \(p(y| x)\), wobei die Entscheidung \(u\) von \(y\) abhängt, so gilt Satz 1: \(Ec(x,u)\geq U_0 - V(I_{xy})\) \((I_{xy}\) bezeichnet die Menge an Information in \(y\) bezüglich \(x)\). Im asymptotischen Sinne ist es jedoch möglich, sogar eine Funktion anzugeben, die den vollen Wert der Information ausnützt. Es bezeichne nämlich \(\xi\), \(\eta\) und \(\zeta\) \(n\)-dimensionale Vektoren aus \(X^n\), \(Y^n\) und \(U^n\), \(p(\xi) = \prod_{j=1}^n p(x_j)\), \(c(\xi,\zeta) = \sum_{j=1}^n c(x_jJ, u_j)\). Dann gilt Satz 2: Es gibt eine Zerlegung \(\cup_{i=1}^M E_i = X^n\) von \(X^n\) derart, daß \(M\leq 2^{n\bar i}\) (wobei \(\bar i\) eine beliebige positive Konstante ist) und \[ \lim_{n\to\infty} \frac1n \sum_{k=1}^M p(E_k) \inf_\zeta \sum_\xi c(\xi,\zeta) p(\xi| E_k) = U_0 - V(\bar i). \] Dieser Satz besagt, daß man \(\eta = \eta(\xi)\), \(\zeta=\zeta(\eta)\) setzen darf. Der Beweis wird mit der Shannonschen Methode der zufälligen Kodierung durchgeführt, jedoch nur für einen (symmetrischen) Spezialfall.












This page was built for publication:

Report a bug (only for logged in users!)Click here to report a bug for this page (MaRDI item Q5510061)