関連サイト
本書の関連ページが用意されています。
内容紹介
本書は高専および学部生を想定し、授業や自学自習で活用できる書籍として、情報理論の基礎やエッセンスを分かり易くまとめた。最も基本となる確率論の知識は第1章で必要十分なもののみ記述。このため初学者にも抵抗なく読み進められる。各章に「STEP」を創り、クイズ、ポイント、実力チェックなど順序よく学べるように工夫してある。
書誌情報
- 著者: 小嶋 徹也
- 発行日: 2016-03-28 (紙書籍版発行日: 2011-09-30)
- 最終更新日: 2016-03-28
- バージョン: 1.0.0
- ページ数: 209ページ(PDF版換算)
- 対応フォーマット: PDF, EPUB
- 出版社: 近代科学社
対象読者
確率論,エントロピー,エントロピーのチェイン則,ダイバージェンス,符号,分節可能符号,語頭符号,クラフトの不等式,符号化アルゴリズム,相互情報量,情報処理不等式,ファノの不等式,通信路符号化,通信理論,情報理論に興味がある人
著者について
小嶋 徹也
1992年 北海道大学工学部情報工学科卒業
1997年 北海道大学大学院工学研究科情報工学専攻博士後期課程修了
1997年 電気通信大学大学院情報システム学研究科助手
2001年 東京工業高等専門学校情報工学科助手
2005年 東京工業高等専門学校情報工学科助教授
現在 東京工業高等専門学校情報工学科准教授 博士（工学）
目次
1 確率論の復習
- 1.1 情報理論と確率論
- 1.2 確率と確率分布
- 1.3 条件付分布と同時分布
2 エントロピー
- 2.1 エントロピーとは
- 2.2 エントロピーの計算
- 2.3 エントロピーの最大値と最小値
3 エントロピーのチェイン則
- 3.1 同時エントロピー
- 3.2 条件付エントロピー
- 3.3 エントロピーのチェイン則
4 ダイバージェンス
- 4.1 ダイバージェンス
- 4.2 ダイバージェンスと距離の公理
- 4.3 ダイバージェンスの非負性
5 ダイバージェンスの応用
- 5.1 エントロピーの性質
- 5.2 ダイバージェンスのその他の性質
6 符号の定義と正則性
- 6.1 固定長符号と可変長符号
- 6.2 符号の数学的定義と平均符号語長
- 6.3 符号の正則性と分節可能符号
7 分節可能符号と語頭符号
- 7.1 分節可能符号判別アルゴリズム
- 7.2 語頭符号
- 7.3 符号のクラス
8 符号の表現とクラフトの不等式
- 8.1 符号木
- 8.2 符号の数直線による表現
- 8.3 クラフトの不等式
9 最適な符号
- 9.1 D 進分布と最適な符号化
- 9.2 最適な符号語長
- 9.3 情報源分布の推定誤りの影響
10 符号化アルゴリズム
- 10.1 シャノン–ファノ符号
- 10.2 シャノン–ファノ–イライアス符号
- 10.3 ハフマン符号
11 相互情報量
- 11.1 相互情報量
- 11.2 相互情報量の非負性
12 相互情報量の応用
- 12.1 条件付相互情報量とチェイン則
- 12.2 相互情報量と通信路
- 12.3 相互情報量の凸性
13 情報処理不等式とファノの不等式
- 13.1 マルコフ連鎖
- 13.2 情報処理不等式
- 13.3 ファノの不等式
14 通信路符号化と通信理論
- 14.1 通信路モデル
- 14.2 通信路符号化定理と通信路容量
- 14.3 誤り訂正符号
15 情報理論の応用
- 15.1 情報理論とマルチメディア
- 15.2 情報理論とワイヤレス通信
- 15.3 情報理論とセキュリティ技術