「ニューラルネットワーク概論」 放送大学
人工知能の仕事から引退して半年。懐かしくて？視聴しちゃいました。この講座は、「階層型ニューラルネットワークの発展を紹介しています。実務では落としていた内容もあって勉強になりました。以下はこの講座の要約です（細かい内容は省いています）。＊は私の見解です。
■ ニューラルネットワークとは
脳内の神経細胞の情報処理を模倣します。
＊脳内の情報処理は、特に統合処理に関しては、神経細胞ではなく、グリア細胞の活動がキーになると想定されています。その意味では、神経細胞の活動を模倣しただけでは「人工知能」にはなれません。
ノイマン型コンピュータは、記憶措置にプログラムを記載します。ニューラルネットワークは、出力素子の振舞いを定義し、学習します。
・ニューラルネットワークの要素
ニューロン：多くの入力から〜集団の振舞が意味を持つ / 閾値がある
ネットワークアーキテクチャ：結合の型 脳内の各部位で様々な形をしている
学習ルール：ニューロンの振舞い方
・ニューラルネットワークのハード要素
ニューロンの演算：入力の重みづけ 出力の制御（活性化関数/閾値）
重み付き線形和〜活性化関数は非線形（ロジスティックシグモイドからＲｅＬＵへ）
・ネットワークアーキテクチャ
階層型：パーセプトロン → 多層 → 畳み込み
相互結合：ボルツマン型
・学習ルール
モデルパラメター(重みと閾値)をデータから決定する
教師あり（判別境界を求める）/教師なし（クラスタリングなど）/強化学習
・単純パーセプトロン（教師あり学習）
３層階層型
入力空間を直線で分離する
誤り訂正学習 重みを変化させる〜境界線が修正される
１本の直線では判別できないものには通用しない
排他論理和には適用できない
→複数の分離線を用いる〜階層性が有効
■ 多層化ニューラルネットワーク
・多層パーセプトロン
入力-出力の間に中間層を持つ
誤り訂正教師信号は直前の重みのみに対応可能
→全体のコスト関数を考える
勾配法 局所解につかまる可能性はある
微分の連鎖則を用いる
・誤差逆伝搬法(ＢＰ法)
勾配計算をシステマティックに行う
コスト関数 回帰問題では二乗誤差関数 / 多値分類は交差エントロピー関数
連鎖則にによる微分の導出
勾配は計算グラフの局所値を追いかければよい
・多層パーセプトロン(ＭＬＰ)の応用〜実世界への適用
画像圧縮
自己符号化器(オートエンコーダー)の一種
中間層は画像をできる符号が構築されている筈
ソナー音の識別
・・・
・多層パーセプトロン問題点
過学習問題
パラメター数が過多になりがち
データが少ないと顕著になる
勾配消失問題
深い階層では誤差情報が消失しやすい
これらの問題により、設計が難しい
→機械学習へ
サポートベクターマシン(ＳＶＭ) / カーネル法
アンサンブル学習（ブースティング法など）
〜ＳＶＭの浅いネットワークで十分？
■ 深層学習
・機械学習から深層学習へ（画像認識問題）
画像の特徴量 ：手作業
＋
機械学習 ：識別器は浅いネットワーク
特徴抽出は、パーツ（顔では目や鼻）の有無と組合せ（位置関係）による判定。
手作りの特徴抽出は限界に → 機械学習による表現獲得ができないか？
・深層学習
ニューラルネットワークを多層に結合した機械学習
［特徴表現の学習 ＋ 学習可能な識別器］
全体を最適化することができる
画像認識では、人間の識別制度を超えた
・勾配消失問題への対応
シグモイド型活性化関数では、値が小さくなる
→半波整流ユニット(ＲｅＬＵ)を活性化関数として導入
・最適化手法の進化
学習の加速 と 自由度の削減
勾配法の加速〜ＳＤＧモメンタム法などで更新ステップを改良
・視覚システムにおける畳み込み演算
カンブリア紀に生物が視覚を獲得
カブトガニは三葉虫と同じような複眼システムを持っていたらしい
側抑制による複眼モデル
個眼から視神経に伝えるとき、周辺が抑制され、中心は興奮する
このことにより、エッジが強調される
畳み込み(フィルタリング)は、エッジ強調フィルタと同様の機構
・畳み込みニューラルネットワーク
視覚野の働き［エッジ･線分→曲率→パーツ検出→特徴検出］
方位･位相から特徴マップが導かれる（畳み込み表現）
特徴検出は、個別の顔検出などを含む
ネオコグニトロン
局所特徴検出 ：畳み込み ＲｅＬＵ変調
＋
変形応答不変性：プーリング シグモイド変調
ネオコグニトロンは、畳み込みニューラルネットワーク(ＣＮＮ)の原型となる
ＤeepＣＮＮは、現在も用いられている
画像領域分割＋物体の検出
敵対的生成ネットワーク(ＧＡＮ)により、画像の生成も可能になった
