シャノンの第一定理に関する経験談

 「シャノンの第一定理に関する経験談」

１）       テーマ

　多くの社員に必要であり、今後役に立つ事柄、

　あるいは、ＩＴ関連の基礎知識として

「シャノンの第一定理が、具体的に経験上で役に立つ」

　と言う話をしたいと思います

１－１）基本システムの考察（注１）に関する

　　　　モデル作成として役に立つ

１－２）データとノイズに関する基礎事項として役に立つ

　　　（ルーチンワーク的な開発業務の中では

　　　　必要性を理解しにくいと思いますが、

　　　　オリジナリティの高い、新製品の研究開発の

　　　　立場で考えると、

　　　　研究の視点（注２）としてとして

　　　　大変有効だと思います

注１：例　システム開発に関するオブジェクト

　　　（アルゴリズム　等）の整合性・体系化

注２：例　機械振動・電気ノイズ・プログラム

　　　　バグの原因解析

２）       基礎知識

　理論と歴史の流れを説明します

＊  サイバネティクス（フィードバック）から

　　情報の単位としてビットが基準になるまで

＊  「シャノンの通信モデル」

（情報源）　－＞　送信機（符号化）　

　　－＞　通信路（外乱・ノイズ含む）　－＞

　　　　　受信機（複合化）　－＞　（目的位置）

＊  情報容量：Ｈ＝ｌｏｇ　ｎ（ハートレイ　１９２８年）

　ｎ：１つの系で区別される状態の数（単純化で２にする）

　対数の底は、情報を測定する単位の選択とする

　（Ｊ．Ｗ．テューキー）

　すなわち、ビットは２者択一の概念に基づくもので、

　２つから１つの選択では１ビット、

　４つから１つでは２ビット

＊   シャノンによる情報量の（確率概念による）定義

　事前確率がわかっているとき、

　１つの通報を記憶するのに必要で最小な情報容量が、

　その情報のもつ情報量である（シャノン　１９４８年）

　　通報：情報源が発するもの

　　情報：通報に含まれる

（情報量：情報源が発する通報の集合量の

　　　　　確率統計的あつかいによる数学的な公式による量）

ポイント：信号の持つ意味の取り扱いをしない

３）       基礎知識の理解

　「基礎知識を深めると重要な定理や法則が理解できる」展開を

説明します

＊   「シャノンの第一定理」

　情報とエントロピーの関係

　（情報が増えるとエントロピーは減少する）

　エントロピー：無記憶情報源のシンボル当たりの平均情報量

　　　（情報量＊確率の総和）

　無記憶情報源＜－＞マルコフ情報源

　（その情報以前の有限個（ｍ）の情報に影響される

　　　　情報源：ｍ重マルコフ情報源）

　情報と確率過程の関係－＞エルゴード的－＞

　　　　　　確立の再定義－＞統計処理－＞・・

４）       理解から応用（創造）

　経験と実例を説明します

　４－１）論理は用意されていない　　？である

　　　　　　：データとノイズの関係の話

　４－２）考えなければならない：どこから？　

　　　　　何を考えるか？

　　　　経路とノイズとデータの特定

　（例　ロボットの動作、デジタル解析のデータ

　　　　　　　：デジタルアナライザー、

プログラム言語のコンパイラー、システムの取り扱い方法）

ロボットの動作データ（注１　機械・電気・ソフト）と動作測定によるデ

ータの検討に関する

通信モデルの利用（通信モデルに対する第一定理の保証）

注１：機械（特性）　伸び・たわみ・疲労・・・

　　　電気（信号）　電気的な性質・応答特性・・・

　　　ソフト　制御のアルゴリズム・データ構造・チューニング処

理・・・

　４－３）論理モデルをつくる：現象との違いを考察する

　　解析事例（振動解析　プログラムのバグ解析　

　　　　　　　人間と言う要因の検討）

　振動と言う現象（全体）と測定（ポイント）による

　データの論理的考察

　時間的変化に対する、

　条件の設定と統計やシュミレーション等の解析方法の考察

　４－４）論理モデルの限界と現象を考察する

　調整事例（自動**データ作成、モータ制御：学習機能のプログラム検証）

　**文字のデータと＊＊装置の構造による制御データとソフトウェアの変換処理に関して、

　*の回転や*の速度変化による文字データを制御構造データに置き換えることを可能にする

　　手順とモデルによる実例の紹介）

（Ｘ／Ｙ／Ｚ／回転／速度／加速度とパラメータを増やすと

トータルノイズが大きくなってしまう－＞第一定理）

４－５）その現象に対するオリジナルな論理を作成する

　新規開発事例（材質、特性、一般理論の組み合わせと現象

　　　　　　　　：総合力）

理論やデータでは突破できない

（注：基礎知識の理解は必要である）

感触やイメージが必要である

注：プログラムはタイプして、モノには触れて感じて見るなど

＊＊装置の場合、筆記用具の性質と機械構造の関係にたいする考察

自動車用ロボットの場合、部品の目的に対する様々な性質の考察

プログラム言語の場合、言語と異なる種類の言語の考察や、メタ設計によ

る設計のコンセプトを検証する

ポンプの場合、ポンプの原理に関する基本的な論理考察

（ポンプは完成度が高い部品であると考えてしまいがちなので）

他　リアルタイム処理に対する工夫、画像処理の学習機能の応用、、、、

５）     設計思想への発展

オリジナルな理論を忠実に設計し、一つの製品（システム）にまとめあげ

ることは、

その理論（人）による思想（ｉｄｅｎｔｉｔｙ）にまで広がっていきます

そして思想からモデル（システム）の修正や変更が行われ、繰り返す中で

発展していくように思います

（極端な例として、「ｆｏｒ文は嫌いだから使用しない」

これも思想と捕らえることが出来ます：形から入る方法もあるという例で

す）

このような観点でモノを見ると、良い製品、良い設計にふれることの大切

さが理解できると思います

私は、これが設計する力だと思います

６）     まとめ

＊  応用できれば知識は技術力として役に立つ

＊  プログラム言語や環境の知識も応用できるところまで

　　高めなければいけない

＊  そのためには、クリアすべき基礎知識がある

結局、好きな部分は基礎知識がわかるまで学習する必要がある

（あるいは、実際に製品に組み込みと、理解不足部分が問題になり苦労し

て身につけることになる）

最終的には、設計思想を形成し深めていくことが本質だと思います

（そのために観察することと工夫することの重要性をまとめにします

　数式や統計処理は有効ですが、

各処理のそれぞれの段階も技術的説明を行う必要があることの重要性を考

えてもらいたいと考えています）

＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊

超音波システム研究所

ホームページ　　http://ultrasonic-labo.com/

＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊