Similar to シャノンの情報源符号化定理
結合エントロピー
Joint entropy
交差エントロピー
Cross-entropy
最小記述長
Minimum description length
最小権限の原則
Principle of least privilege
最大エントロピー原理
Principle of maximum entropy自己相互情報量
Pointwise mutual information
冗長性 (情報理論)
Redundancy (information theory)
情報源レート
情報熱
情報量
Entropy (information theory)
情報理論上の未解決問題
List of unsolved problems in information theory
スペクトル効率
Spectral efficiency
相互情報量
Mutual information
レイ・ソロモノフ
Ray Solomonoff
帯域幅
Bandwidth (signal processing)
ダメラウ・レーベンシュタイン距離
Damerau–Levenshtein distance
通信路容量
Channel capacity
データ量の比較
Orders of magnitude (data)
二値エントロピー関数
Binary entropy function
二分バンド幅
Bisection bandwidth
微分エントロピー
Differential entropy
ファノの不等式
Fano's inequalityフィッシャー情報量
Fisher information
符号化率
符号レート
Code rate
ブラ-ケット記法
Bra–ket notation
メトカーフの法則
Metcalfe's law
乱数生成
Random number generation