クロネッカーデルタとは

2022 2/14

2021-11-12

※この項目は、離散フーリエを導く段階で語られることがあるが、
離散フーリエの導出方法は複数あって、区分求積から導く流派ではデルタ関数が出てこないこともある。
原点以外は０だが、-∞～∞まで∫すると値が１になるというもの。
http://homepage2.nifty.com/eman/electromag/delta.htmlがわかりやすい。
1x1の正方形（面積１）を横に縮めていくと、横が0になったときに、縦が無限大に飛ぶ。
連続性はない。（無限大を少しでもずれると０に飛ぶので明らかに連続でない）
こいつの存在意義は、リンク先が詳しい。
なぜ積分の結果が 1 になるようにしたかというと、参考サイトでは点電荷の積分の値を
正しくなるようにするために定義したもののようだ。
ようするに、関数の一部を取り出したいときに使えるということ。
δ（t-nT）だったら、t=nTのときだけ、（つまりδの中身が0のときだけ）１だけど、
それ以外は、０になるよという使い方ができる。

クロネッカーデルタとは

観測問題（かんそくもんだい）とは、観測対象の状態が観測という操作によって変わってしまい、結局のところ観測前後のどっちを観測したかよくわからなくなってしまって要するにもうなにがなんだか。

概要編集

電子の測定と不確定性原理編集

Δx・Δpx ～ h x：位置のx成分 px：運動量のx成分 h：「プランク定数」または「ハー」と呼ばれる定数 h=6.626176 10E-34 J・s

概要編集

魚の観測と魚群不確定性原理編集

概要編集

猫単位系と猫原器不確定性原理編集

猫単位系のもう一つの観測問題～オ・オヤサンの空無限～編集

概要クロネッカーデルタとは編集

観測行為とローレンツ収縮編集

ょぅι゛ょに定規を用いてある三角形の一辺の長さを測定させることを考える。すると、定規はょぅι゛ょによって筆箱から出された瞬間からテスト用紙にたどりつくまで、その距離を埋めるために速度vを与えられる。すると、ローレンツ収縮によって 1 − c 2 v 2 >>>>>> 倍に縮んで見えてしまう。（cは光速度）

たとえば筆箱からテスト用紙にたどりつくまでの経路を156mmとし、その到達時間を1.56秒とする。するとそのときの定規の平均の速さは0.1m/sとなる。であるから、上記ローレンツ収縮の式に代入すると 1 − c 2 0.1 2 >>>>>> 倍に定規が縮んでいることになる。

すべての人間がこのょぅι゛ょと同じ速度を定規に与えれば問題ないのだ。ここで問題になるのは採点者である教師とょぅι゛ょとが同じ速度を定規に与えるかどうか、である。仮に採点者である教師の定規が、小学校の各教室にあるあの教師用の事務机の引き出しに入って居たとする。すると机の引き出しからょぅι゛ょの答案まではおなじ156mmであるのに対し、引き出しを開けるためにいすを少し慎ましやかに下げなければいけないのだがこの教師、少々ずぼらであるからいすの後ろに様々な教材・教具のなれの果てやプリント類を大事に大事に安置してしまっているがために慎ましやかにいすを下げることかなわず、少々なりとも憤慨しながらチャレンジ、結局うまくいかずにいったんいすから降りて引き出しをあけ、目的となる定規を取り出してもう一度座り、測定を開始する必要がある。すると、定規が答案に到達するまでに156秒かかる。よってこのときの定規の平均の速さは0.001m/sとなってしまい、このときの定規は 1 − c 2 0.001 2 >>>>>> 倍に縮んで見える。

βダイバージェンスについて、さっと語る

自然科学

確率分布 $\mathbf, \mathbf$ のβダイバージェンスは、以下のように定義される。

また、 $\mathbf, \mathbf$ がともに離散分布であり、確率質量関数を用いて $\mathbf=[p_1, p_2, \ldots, p_n], \mathbf=[q_1, q_2, \ldots, q_n]$ と表せるとき

定義では、βの範囲から $0, 1$ を除いたが、 $\beta=0,1$ でのダイバージェンスも定義することができる。

一般化KLダイバージェンス

を用いて $\beta\to 1$ の極限を計算すると

これは、一般化KL（Kullback-Leibler）ダイバージェンス呼ばれる指標である。

板倉斎藤擬距離

また、 $\beta\to 0$ の極限を計算すると

となり、板倉斎藤（IS）擬距離が導かれる。

この指標は音源分離など、スケール不変性が特徴的な分野でよく用いられる。（→別記事）

と、二乗誤差関数（L2-norm）が導かれる。

（補足）関係式 (1) の証明

関係式 (1) を考えるに際し、まず、以下の極限を考える。

より、不定形である。

同様にロピタルの定理を用いることで、関係式 (1) が導出できる。

Cichocki A and Amari S. Families of α-, β- and γ-divergences: flexible and robust measures of similarities. Entropy, 12, 1532-1568, 2010.

主成分分析とは？［解析例・導出つき］

120人分の数学と理科の点数のダミーデータ

上図はすべての人のスコアをプロットしたものです（データはダミーです）。データの特性として、数学の点数が高ければ、理科の点数も高い傾向があることがわかります。そこで、データのばらつきが最も大きい方向に新たに軸を取り、その軸への射影を考えると、理数系科目の総合力を表すような新たな変数を構成できると考えられます。

PCAによる解析結果（赤い矢印：第１主成分方向、青い矢印：第２主成分方向）

数学的理解

まず、いくつかの変数を定義します。$p$ 個のパラメータで表される実数のデータ組が $n$ サンプルだけあるとき、これを $n\times p$ の行列の形で $X$ とします。

$$ X = \left( \begin x_ & x_ & \cdots & x_ \\ x_ & x_ & \cdots & x_ \\ クロネッカーデルタとは \vdots & \vdots & \ddots & \vdots \\ x_ & x_ & \cdots & x_ \end \right) $$

$x_$ は、$i$ クロネッカーデルタとは 番目のサンプルの $j$ 番目のパラメータの値を表します。

例えば、身長と体重のデータの場合は $p=2$, 測定した人の数が $n$ に相当します。

$j$ 番目のパラメータの平均値を $\mu_j\,(j=1,2. p)$ とおきます。

$\mu_j$ を用いて、データの分散共分散行列（variance-covariance matrix）$クロネッカーデルタとは S$ を定義します。$S$ は $p\times p$ の正方行列です。

$$ \begin &S = \left( \begin s_ & s_ & \cdots & s_ \\ s_ & s_ & \cdots & s_ \\ \vdots & \vdots & \ddots & \vdots \\ s_ & s_ & \cdots & s_ \end \right) \\ &s_ = \dfrac\sum_^n (x_-\mu_k)(x_-\mu_l)\hspace(k,l=1,2. p) \end $$

$s_$ は $k$ 番目と $l$ 番目の変数の共分散（covariance）を表します。なお、$k=l$ のときは $k$ 番目の変数の分散（variance）を表します。$s_$ の定義より、$s_ = s_$が成立します。よって、分散共分散行列 $S$ は実対称行列になります（$\text\,S = S^\TT$クロネッカーデルタとは）。

上式の $s_$ では、偏差の積を $n$ で割っていますが、調べたい集団全体（母集団）の一部を取り出したサンプル（標本）を用いる場合は、偏差の積の和を $n-1$ で割って定義される不偏分散（unbiased variance） を用います。 $$ s_ = \dfrac\sum_^n (x_-\mu_k)(x_-\mu_l)\hspace(k,l=1,クロネッカーデルタとは 2. p) $$ 多くの場合、調べたい集団すべてのデータを取ることは困難なので、基本的には不偏分散を用いることになります。

データ解析においては、データの平均値を予め $\mu_j = 0$ としてから $S$ を計算することが多いです。このとき、 $$ s_ = \dfrac\sum_^n x_x_\hspace(k,l=1,2. p) クロネッカーデルタとはクロネッカーデルタとは $$ であり、分散共分散行列 $S$ は $$ S = \dfracX^\TT X $$ と表せます。ただし、$\TT$ は転置を意味します。

主成分分析では、データを新たな軸に射影したとき、その分散が最も大きくなるように軸の方向を定めます。分散が最大となる方向を第１主成分方向とよびます。分散共分散行列 $S$ の固有値を $\lambda_1\geq\lambda_2\geq\cdots\geq\lambda_p$, 対応する固有ベクトルを $\bm_1,クロネッカーデルタとは \bm_2. \bm_p$ とおいたとき、第１主成分方向は 分散共分散行列 $S$ の最大固有値 $\lambda_1$ の固有ベクトル $\bm_1$ になります。

便宜上、$i$ 番目のサンプルのデータセットを行ベクトルの形で $\bm_i := (x_,x_. x_)$ とします。$i$ 番目のサンプルの第１主成分得点 $t_$ は、$\bm_i$ と $\bm_1$ の内積として

第２主成分方向は、第１主成分方向 $\bm_1$ に直交する条件の下で、データを射影したときのばらつきが最大となる方向として決められ、これは分散共分散行列 $S$ の第２固有値 $\lambda_2$ の固有ベクトル $\bm_2$ に相当します。

一般に、第 $k$ 主成分方向 $(k=1,2. p)$ は、分散共分散行列 $S$ の第 $k$ 固有値の第 $k$ 固有ベクトル $\bm_k$になり、$i$ 番目のサンプルに関する第 $k$ 主成分得点 $t_$ は、$\bm_i$ と $\bm_k$ の内積で表されます。

最後に、$S$ の固有値に注目して、寄与率・累積寄与率を紹介します。

$S$ の固有値 $クロネッカーデルタとはクロネッカーデルタとは \lambda_k$ は、第 $k$ 主成分得点の分散に等しくなります。よって、$\lambda_k$ が大きければ、第 $k$ 主成分は元のデータの情報を多く含んでいると解釈できます。

それを相対的に評価したのが寄与率（contribution rate）で、第 $k$ 主成分の寄与率は以下で表されます。

累積寄与率（accumulative contribution rate）は、第１主成分から第 $k$ 主成分までがどの程度の情報を持っているかを表す指標で、以下で表されます。

データの標準化

主成分分析を適用する前に、データに対して標準化を行う場合があります。具体的には、各変数について平均 $0$, 分散 $1$ となるようにデータを変換することを言います。標準化したデータの行列 $Z$ は以下で表されます。

$$ Z = \left( \begin z_ & z_ & \cdots & z_ \\ z_ & z_ & \cdots & z_ \\ \vdots & \vdots & \ddots & \vdots \\ z_ & z_ & \cdots & z_ クロネッカーデルタとはクロネッカーデルタとは \end \right) $$

$\mu_j,s_$ はそれぞれ $j$ 番目のパラメータの平均と分散を表します。

で確かに $0$ となっています。また、分散は

平均 $0$, 分散 $1$ に標準化したデータはz得点（z-score）とも呼ばれます。

標準化したデータにも、分散共分散行列 $S$ に相当するものを考えることができ、それは相関行列 クロネッカーデルタとはクロネッカーデルタとはクロネッカーデルタとは $R$ と呼ばれます。

$$ \begin R = \left( \begin 1 & r_ & \cdots & r_ \\ r_ & 1 & \cdots & r_ \\ \vdots & \vdots & \ddots & \vdots \\ r_ & r_ & \cdots & 1 \end \right) = \dfracZ^\TT Z \\ r_ = \dfrac\sum_^n z_z_\hspace(k,l=1,2. p) \end $$

対角成分は $j$ 番目のパラメータの分散を表し、標準化によってすべて $1$ となっています。また、$S$ と同様に、$R$ クロネッカーデルタとはクロネッカーデルタとはクロネッカーデルタとはも実対称行列です。

主成分方向や主成分得点などは、前述した標準化していないデータの分散共分散行列 $S$ の固有値・固有ベクトルによって求められたのと同様に、相関行列 $R$ の固有値・固有ベクトルによって求められます。しかし、主成分方向や主成分得点は、標準化しなかった場合の結果とは異なるので、注意が必要です。

標準化をすべきか否かについては、4.3節で考察を行いました。筆者の見解が含まれますが、各変数が同じぐらいの情報を持っている場合は標準化すべきで、そうでない場合は必ずしも標準化は必要ない、ということができそうです。また、主成分分析の使用目的やデータの特徴にも依存します。

数学と理科の点数

120人分の数学と理科の点数のデータを作成します。ダミーデータは、数学と理科の相関行列から乱数を生成し、予め定めた平均値・標準偏差を加えることで生成できます。相関行列は半正定値行列（positive semidefinite matrix）でなければなりません。

120人分の数学と理科の点数のダミーデータ

np.std は標準偏差を求める関数で、ddof=1 とした場合は、不偏分散として計算されます。詳しくは公式サイトを参照してください。

分散共分散行列 $S$ を計算します。$S$ の対角成分は、各パラメータの分散に等しくなります。

分散共分散行列 $S$ の固有値・固有ベクトルを求めます。各固有ベクトルを縦ベクトルとして $\bm_1,\bm_2$ とすると、 $V=(\bm_1,\bm_2)$ のように並んでいます。なお、固有値・固有ベクトルは、固有値の大きい順になるように並び替えています。

固有ベクトルの向きは、必ずしも数学と理科の点数が高くなる方向にはなりません。実際に、第１主成分方向は両方の点数が低くなる方向になっています。軸の方向だけが重要なので、主成分方向の正負を入れ替えても問題ありません。

PCAによる解析結果（赤い矢印：第１主成分方向、青い矢印：第２主成分方向）

身長と体重

120人分の身長と体重のダミーデータ

身長と体重では、単位が $\mathrm$ と $\mathrm$ で異なります。この場合、各変数を標準化してから解析を行うのが通常です。標準化したデータ $Z$ は、以下のように算出できます。

標準化した身長と体重のデータ

a.u. は任意単位（arbitrary unit）のことです。身長と体重を標準化したことで、単位がなくなっているため、このように記載しています。

この $Z$ を用いて、相関行列 $R$ を求めます。

相関行列 $R$ の固有値・固有ベクトルを求めます。

各主成分方向をデータと合わせてプロットすると、以下のような図が得られます。第１主成分方向（赤い矢印）は身長と体重が両方とも高くなる方向になっているため、体格の大きさを表す変数として解釈できます。一方で、第２主成分方向（青い矢印）は、身長が低く体重が重い領域から、身長が高く体重が軽い方向にわたっているので、肥満度を表すような変数として解釈することができます。

肥満度を表す指数としてよく使われるBMI（body mass index）は、身長と体重の2変数から肥満度を表す1変数へ次元が減っているので、次元圧縮の例といえます。 $$ \mathrm := \frac\,[\mathrm]><(\text<身長>\,[\mathrm])^2> $$

アヤメの分類

$X$ は $150\times 4$ の行列で、$4$ つのパラメータのデータは、がく片の長さ・幅・花びらの長さ・幅の順で格納されています。

$Y$ はアヤメの品種をラベル付けしたベクトルで、$0$ が setosa, $1$ が versicolor, $2$ が virginica になります。

標準化を行ったのち、相関行列 $クロネッカーデルタとは R$ を求めます。

相関行列 $R$ の固有値・固有ベクトルを求めます。

第１主成分方向、つまり最大固有値の固有ベクトルを見ると、がく片の長さ・花びらの幅と長さはすべて符号が $+$ で、がく片の幅のみ $-$ になっています。このことから、がく片の細長さと花びらの全体的な大きさを見ることで、アヤメの3品種がおおむね区別できることが予想されます。

第一主成分の寄与率はおよそ $73.0\,\%$ と高い値を示しています。また、第２主成分までの累積寄与率がおよそ $95.8\,\%$ であることから、第２主成分までで、データのおおよその特性が説明できるといえます。

各データの第１・第２主成分得点（赤：setosa、緑：versicolor、青：virginica）

各データの第１・第２・第３主成分得点（赤：setosa、緑：versicolor、青：virginica）

１節と同様に、$p$ 個のパラメータで表される実数のデータ組が $n$ サンプルだけあるとき、これを $n\times p$ の行列の形で $X$ とします。

$$ X = \left( \begin x_ & x_ & \cdots & x_ \\ x_ & x_ & \cdots & x_ \\ \vdots & \vdots & \ddots & \vdots \\ x_ & x_ & \cdots & x_ \end \right) $$

便宜上、$i$ 番目のサンプルのデータセットを行ベクトルの形で $\bm_i := (x_,x_. x_)$ とします。$i$ 番目のサンプル $クロネッカーデルタとは \bm_i$ の第１主成分得点 $t_$ は、 $p$ 次元の縦ベクトル $\bm_1=(w_1,w_2. w_p)^\TT$ を用いて、

と表せます。主成分分析では、第１主成分得点 $t_1$ の分散が最大となるように $\bm_1$ を決めることになります。第１主成分得点の分散 $クロネッカーデルタとは クロネッカーデルタとは \mathrm[t_1]$ は

とできます。ただし、$\bm <\mu>= \frac(\sum\limits_i x_,\sum\limits_i x_. \sum\limits_i x_)$ は各パラメータの平均値を表す $p$ 次元の横ベクトルです。$\mathrm[t_1]$ をさらに変形して、

$$ \begin \mathrm[t_1] &= \dfrac\sum\limits_i (t_ - \bar_1)^2 \\ &= \dfrac\sum\limits_i [(\bm_i - \bm<\mu>)\bm_1]^2 \\ &= \bm_1^\TT \left[\dfrac \sum\limits_i (\bm_i - \bm<\mu>)クロネッカーデルタとは ^\TT(\bm_i - \bm<\mu>) \right]\bm_1 \\ &= \bm_1^\TT S \bm_1 \end $$

を得ます。ここで、$S$ は分散共分散行列で、1.2節で定義したものと同じです。

以上より、第１主成分方向は、$\mathrm[t_1] = \bm_1^\TT S\bm_1$ を最大とするような $\bm_1$ クロネッカーデルタとはに相当することがわかりました。現状、$\bm_1$ が大きくなれば、第１主成分得点の分散 $\mathrm[t_1]$ はいくらでも大きくなってしまいます。そこで、$\|\bm_1\|_2 =1$ の制約を課すことで、分散の発散を防ぎます。このような制約付きの極値問題は、ラグランジュの未定乗数法によって求めることができます。ラグランジュ乗数を $\alpha$ として、目的関数 $L(\bm_1,\alpha)$ は

と表せ、求める $\bm_1$ は以下の２式を満たします。

上式の第２式は、$クロネッカーデルタとはクロネッカーデルタとは \bm_1^\TT\bm_1 - 1 = 0$ であり、これは制約条件そのものです。

したがって、求める $\bm_1$ は、分散共分散行列 $S$ の固有ベクトルになることがわかります。また、このとき、

より、第１主成分得点の分散は固有値に等しいことがわかります。

以上より、第１主成分方向は、分散共分散行列 $S$ の最大固有値の固有ベクトルであることがわかりました。

改めて、分散共分散行列 $S$ の固有値を $\lambda_1\geq\lambda_2\geq\cdots\geq\lambda_p$, 対応する固有ベクトルをクロネッカーデルタとは $\bm_1,\bm_2. \bm_p$ とおくと、$\bm_1 = \bm_1,\,\mathrm(t_1) = \lambda_1$ となります。

第２主成分方向については、第１主成分方向に直交する条件下で、第２主成分得点の分散を最大にする方向として決められます。これは、第１主成分方向を求めた際に用いたラグランジュ未定乗数法の制約条件に、最大固有値の固有ベクトルとの直交性を追加することで求めることができます。ラグランジュ乗数を $\alpha_1,\alpha_2$ として、目的関数 $L(\bm_2,\alpha_1,\alpha_2)$ は

$$ L(\bm_2,\alpha_1,\alpha_2) = \bm_2^\TT S\bm_2 - \alpha_1(\bm_2^\TT\bm_2 - 1) + \alpha_2 \bm_1^\TT\bm_2 $$

と表せます。第１主成分を求めた時と同様に、求める $\bm_2$ は以下の３式を満たします。

第２式は係数ベクトルの正規化に関する条件 $(\bm_2^\TT\bm_2 = 1)$、第３式は第１主成分方向との直交性を表します $(\bm_1^\TT\bm_2 = 0)$ 。

となります。左から $\bm_1^\TT$ をかけると、

$$ \begin 2\bm_1^\TT S\bm_2 - 2\alpha_1\bm_1^\TT\bm_2 クロネッカーデルタとは + \alpha_2 \bm_1^\TT\bm_1 &= 0 \\ 2(S\bm_1)^\TT \bm_2 + \alpha_2 &= 0 \hspace(\because S^\TT = S, \bm_1^\TT\bm_2 = 0)\\ 2\lambda_1\bm_1^\TT\bm_2 + \alpha_2 &= 0 \\ \therefore\hspace \alpha_2 &= 0 \end $$

よって、$\alpha_2 = 0$ となるので、$\partial L/\partial \bm_2$ は第１主成分方向を求めた時と同じ形であり、第２主成分方向は、$クロネッカーデルタとはクロネッカーデルタとは S$ の第２固有値 $\lambda_2$ の固有ベクトル $\bm_2$ となります。

同様に制約条件を増やしていくことで、一般に第 $k$ 主成分方向は、第 $k$ 固有値 $\lambda_k$ の固有ベクトル $\bm_k$ であることがわかります。

ベクトル微分

まず、$p=2$ クロネッカーデルタとはクロネッカーデルタとはの場合について考えます。目的関数 $L(\bm,\alpha)$ は

$$ \begin L(\bm,\alpha) &= \bm^\TT S\bm - \alpha(\bm^\TT\bm - 1)\\ &= (クロネッカーデルタとは w_1,w_2) \left( \begin s_ & s_ \\ s_ & s_ \end \right) \left( \begin w_1 \\ w_2 \end \right) - \alpha(クロネッカーデルタとは w_1^2 + w_2^2-1) \\ &= s_w_1^2 + s_w_2^2 + (s_+s_)w_1 w_2 - \alpha(w_1^2 + w_2^2 - 1) \end $$

$L(\bm,\alpha)$ の $w_1,w_2$ の偏微分は、$s_ = s_$ に注意すると

次に、一般の $p\geq 2$ について考えます。$\partial (\bm^\TT\bm)/\partial \bm = 2\bm$ は $p=2$ の場合と同様に行うことで容易に導出できるので、ここでは $\bm^\TT S\bm$ の項のみについて考えます。具体的に展開すると、

$$ \begin \bm^\TT S\bm &= (w_1. w_p) \left( \begin s_ & s_ クロネッカーデルタとは & \cdots & s_ \\ s_ & s_ & \cdots & s_ \\ \vdots & \vdots & \ddots & \vdots \\ s_ クロネッカーデルタとはクロネッカーデルタとは & s_ & \cdots & s_ \end \right) \left( \begin w_1 \\ \vdots \\ w_p \end \right) \\ &= \sum_^p \sum_^p クロネッカーデルタとは s_w_k w_l \end $$

$\bm^\TT S\bm$ の $w_q\,(1\leq q\leq p)$ による偏微分を考えます。このとき、シグマの中の $w_q$ の項だけ $1$、それ以外は $0$ になるので、クロネッカーのデルタ $\delta_$ を用いて、

クロネッカーのデルタは以下で定義されます。 $$ \delta_ = \begin 1 & (i=j) \\ 0 & (i\neq j) \end $$

となります。最終行は、$S\bm$ の $クロネッカーデルタとは q$ 行目を意味します。以上より、

分散共分散行列の性質

主成分分析は、分散共分散行列の固有値問題として帰着します。その分散共分散行列の性質を詳しく見てみましょう。

分散共分散行列 $S$ は以下で表されます（再掲）。

$$ \begin &S = \left( \begin s_ & s_ & \cdots & s_ \\ s_ & s_ & \cdots & s_ \\ \vdots & \vdots & \ddots & \vdots \\ s_ & s_ & \cdots & s_ \end クロネッカーデルタとは \right) \\ &s_ = \dfrac\sum_^n (x_-\mu_k)(x_-\mu_l)\hspace(k,l=1,2. p) \end $$

$S$ の固有値を $\lambda_1\geq\lambda_2\geq\cdots\geq\lambda_p$, 対応する固有ベクトルを $\bm_1,\bm_2. \bm_p$ クロネッカーデルタとはとおきます。このとき、以下の性質を満たします。

固有値は非負の実数（$\lambda_k\geq 0$）
異なる固有値の固有ベクトルは直交（$\bm_k^\TT\bm_l = 0\,(k\neq l)$）

分散共分散行列 $S$ は平均との偏差の積を計算しているので、データを表す行列 $X$ の各変数の平均値を予め $クロネッカーデルタとは 0$ としても、 $S$ 自体には変化がありません。このとき、$S$ の第 $k,l$ 成分は

と表せます。なお、スカラー倍しても固有ベクトルは変わらないので、以下の証明では $S=X^\TT X$ として考えます。

性質１：固有値は非負の実数

$S=X^\TT X$ の固有ベクトルを $\bm_k\,(k=1,2. p)$ 、固有値を $\lambda_k$ とおくと、

が成立します。左から $\bm_k^\TT$ をかけて式を変形すると、固有値 $\lambda_k$ が非負であることが示されます。

固有値がすべて非負の実数になるのは、半正定値行列について成り立つ性質です。詳しくは、学びTimesさんの記事に詳しく書かれています。

性質２：異なる固有値の固有ベクトルは直交

$S$ の異なる固有値を $\lambda_k,\lambda_l\,(k,l=1,2. p;クロネッカーデルタとは クロネッカーデルタとはクロネッカーデルタとは \lambda_k\neq \lambda_l)$、対応する固有ベクトルを $\bm_k,\bm_l$ とおきます。

上式に左から $\bm_l^\TT$ をかけます。

$S$ が対称行列（$\text\,S^\TT = S$）であることを用いて

$$ \begin \bm_l^\TT S^\TT\bm_k &= \lambda_k \bm_l^\TT\bm_k \\ (S\bm_l)^\TT\bm_k &= \lambda_k \bm_l^\TT\bm_k \\ \lambda_l\bm_l^\TT\bm_k &= \lambda_k \bm_l^\TT\bm_k \\ (\lambda_l-\lambda_k)\bm_l^\TT\bm_k &= 0 \\ \therefore\hspace\bm_l^\TT\bm_k &= 0\hspace(\because\,\lambda_l-\lambda_k\neq0)\hspace\myqed \end $$

したがって、異なる固有値の固有ベクトルの内積は $0$、すなわち固有ベクトルは互いに直交することが示されました。

異なる固有値に対応する固有ベクトルが直交するのは、任意の対称行列について成り立つ性質です。詳しくは、学びTimesさんの記事に詳しく書かれています。

標準化の使い分け

1.3節で、データを平均 $0$, 分散 $1$ に標準化してから主成分分析を行う場合について説明しました。では、具体的にどういった場合に標準化すべきなのか、考察したいと思います。

標準化においてポイントとなるのは、すべてのパラメータの分散が $1$ に規格化されるという点です。1節などで説明した通り、主成分分析では、分散を情報量の大きさと捉えています。よって、標準化によって分散の値を $1$ に規格化することは、各パラメータを平等に扱うことに対応していると考えられます。主成分分析を行う目的やデータの特徴にもよりますが、各変数が同じぐらいの情報を持っている場合は標準化すべきで、そうでない場合は必ずしも標準化は必要ない、ということができそうです。

次に、必ずしも標準化を行うべきとは言えないケースとして、Qiitaの記事より、夕焼けのRGB画像に対して主成分分析を行ったものを紹介します。標準化を行った場合と行わなかった場合を比較すると、標準化した場合の第一主成分の寄与率は、標準化を行わなかった場合と比べておよそ $11\,\%$ ほど低下してしまいました。これは、元の画像において赤の分散が最も大きいことに起因します。夕焼けの画像に赤が多く含まれることは、捨てるべき情報とは言えないので、必ずしも標準化が必要とはいえません（青・緑の成分について詳しく考えたい場合はその限りではありません）。

このように、標準化が必要かどうかは、データの特徴や主成分分析の使用目的に依存します。まとめると、最初の例のように、データの特性を説明する上で、複数の変数が寄与しており、なおかつ変数間の分散の差が大きい場合は、それらを平等に扱うために標準化が必要です。対して、変数間の分散の差それ自体が重要な情報を持っており、標準化によってその情報が失われてしまう場合は、必ずしも標準化すべきとは言えません。

βダイバージェンスについて、さっと語る

自然科学

確率分布 $\mathbf, \mathbf$ のβダイバージェンスは、以下のように定義される。

また、 $\mathbf, \mathbf$ がともに離散分布であり、確率質量関数を用いて $\mathbf=[p_1, p_2, \ldots, p_n], \mathbf=[q_1, q_2, \ldots, クロネッカーデルタとは q_n]$ と表せるとき

定義では、βの範囲から $0, 1$ を除いたが、 $\beta=0,1$ でのダイバージェンスも定義することができる。

一般化KLダイバージェンス

を用いて $\beta\to 1$ の極限を計算すると

これは、一般化KL（Kullback-Leibler）ダイバージェンス呼ばれる指標である。

板倉斎藤擬距離

また、 $\beta\to 0$ の極限を計算すると

となり、板倉斎藤（IS）擬距離が導かれる。

この指標は音源分離など、スケール不変性が特徴的な分野でよく用いられる。（→別記事）

と、二乗誤差関数（L2-norm）が導かれる。

（補足）関係式 (1) の証明

関係式 (1) を考えるに際し、まず、以下の極限を考える。

より、不定形である。

同様にロピタルの定理を用いることで、関係式 (1) が導出できる。

Cichocki A and Amari S. Families of α-, β- and γ-divergences: flexible and robust measures of similarities. Entropy, 12, 1532-1568, 2010.

管理人個人メモ/フーリエ変換周りの色々

参考文献

わかりやすいので追加
http://homepage2.nifty.com/takeuchiyosinori/CCP005.html

http://ufcpp.net/study/dsp/dft.html
が一番わかりやすい気がする。
http://laputa.cs.shinshu-u.ac.jp/~yizawa/InfSys1/basic/chap3/index.htm
は詳しいのだけど、ちょっと難しい。（分かった後の補足的な感じで）

http://www.aclab.esys.tsukuba.ac.jp/~ohbuchi/fourier/node1.html
は、わかりやすいところは神的にわかりやすいが、複素フーリエとかわかりにくいところもあり。

要点がよくまとまっているが、虫食いがある。
http://gijyutsu-keisan.com/mech/analysis/fourier_a/fourier_a_1.html#pagetop

忙しい人のためのフーリエ変換

１．http://www.kurims.kyoto-u.ac.jp/~ooura/fftman/ftmn1_2.html#sec1_2
よりソースをコピペ。３つともFFTのソースだが、3つ目がオススメ
※HSPに移植する場合は、HSPでの#deffunc内の変数は
C言語でいうところのstaticに相当し、再呼び出しの際に値が残っているので注意クロネッカーデルタとは
具体的に言うと、i = 0; とirev = 0; が必要だ。
２．ar[]に元データを入れる, nはデータの個数（2の累乗）,
thetaには、theta は ±2*PI/nを入れる（±どっちを入れても同じ？）
※ただし、HSPで2*M_PI/nとすると、0になってしまう。 2.0*M_PI/nとすべし
３．ar[]とai[]に結果が返ってくる
４．sqrt( ar[j]*ar[j] + ai[j]*ai[j] )がそのインデックスjにおける信号の大きさ
※間違えてar[]だけを見ないように注意する
５．インデックスjにおける周波数は、(分解能) x j である。
分解能の計算式は. （執筆中）
６．インデックスjを0から始めてもよいが、低周波をはじきたい場合は、
たとえば、15から始めれば、(分解能)x15以下の低周波を見ないようにすることができる。

フーリエ級数展開

直交

直交の関係にある関数の積を定積分すると値が０になる。
例：∫0～2π [sinx cosx] dx = 0
sinxとcosxは直交している

sin,cosの積（直交について）

周期の違うsinは直交
周期の違うcosも直交
sinとcosは、周期によらず直交

y=acosx+bsinx

自然界では、０や１から始まるとは限らないので、
足し算して、グラフの位相を変化させる
（出発点の値を変えることができる）
※実際にグラフの形を考えて足し算してみよ。
※あるいは、半径aと半径bの円を考えて、acosxとbsinxを考えて、その合成を考えてみてもＯＫ

位相をずらすのに、sin(x+θ）のようにしてはダメなのか？

sinとcosだけで様々な位相を表せるといえる根拠は？

直交。
ｘ軸、ｙ軸の一次独立な組で任意の座標を表せるのと似ている。
難しく考えなくても、単位円状でacosθとbsinθを考えて、その合成（平行四辺形）を考えれば、
任意の位相を表せていることがわかる。
あるいは、三角関数の合成の公式を思い出してもＯＫ

sinの合成の例

an sin nθ
でnを１～４０、an=1,1/2,1/3,1/4,～1/40
として足し算すると鋸波になる。

フーリエ級数とは

F(x) = 1/2 a0 + Σn=1～∞ [an cos nx + bn sin nx]

フーリエ変換で一定の周期を持っていなければならない理由は？

フーリエ級数がsinとcosだけでできているから。
（フーリエ級数で作り出せるものが周期関数だけだから）
ちなみに、フーリエ級数で作られる周期は、一番、遅い周期のものに合致する。
（実際に波形を考えて足し算してみればわかる）

そもそもフーリエ変換ってなんだっけ？（今さら）

sin nxとか、cos nxのnが周波数に対応しているわけで、スペクトルがわかる

やり方

１．波形を無理やり、ある時間にちょん切る
２．ちょん切った時間を（フーリエ級数の）最低周期とみなす
⇒たとえば、１秒区切りにしたら、１Ｈｚってこと
３．「フィルター（後述）」を使って、a1,a2. と１つずつフーリエ係数を抽出

フィルターって？

ヒント：直交＝「異なる位相同士の」掛け算の定積分の結果が０
an cos nxだけを残す場合は、全体にcos nxを掛け算し0～2πで定積分
an cos^2 nx = □ ⇒ an = □/π
※∫0～2π cos^2 nx = π

つまり、
an = 1/π ∫0～２π F(x) cos nx dx
bn = 1/π ∫0～２π F(x) sin nx dx

残ったa0は？

ヒント：フーリエ級数がsinとcosであることに注目
⇒∫0～2πでみんな0になる
つまり、
a0 = 1/2π ∫0～2π F(x) dx
※
でも、実は、a0はcosのフーリエ級数で、a0だけ特別扱いしなくても、
前のanを求める式と同じになる。
ただし、値は2倍になってしまう⇒フーリエ級数の謎の1/2の理由はコレ。
要するに1/2をつけることでつじつまあわせをしているだけ。

で、どうやってスペクトルを得るの？

周波数がnに対応している波は
an cos クロネッカーデルタとは nx + bn sin nx
で表されるから、
そこでの大きさはrn = √(an^2 + bn^2)
で、rnを左から順に並べればスペクトルの完成！

フーリエ級数展開とフーリエ変換

http://detail.chiebukuro.yahoo.co.jp/qa/question_detail/q1410197109
によると、
上記の手法はフーリエ級数展開に属するようだ。
== クロネッカーデルタとは
フーリエ級数展開で得られるのは，ある領域内にある波形を基本周波数の整数倍の振動で表現したときの，各周波数成分の係数ですね。つまり，飛び飛びの離散変数としての係数を得るわけです
==
フーリエ変換は領域が限定されず，そのために基本周波数は無限小になるので変換後の係数ももはや離散的ではなく連続変数になります。計算自体も無限和ではなく積分となります。

複素フーリエ級数

フーリエ級数を指数関数で表す

参考http://www.akita-nct.jp/yamamoto/lecture/2006/3E/7th/html/node3.html
三角関数がイヤなので、無理やり指数関数を使って、フーリエ級数を表すもの。

オイラーの公式より、
cosx = e(ix) + e(-ix) / 2, sinx = e(ix) - e(-ix) / 2i
に注目して、フーリエ級数に突っ込む。

すると、
f(x) = a0/2 + Σn=1～∞[1/2(an-ibn)*e(inx) + 1/2(an+ibn)*e(-inx)]

=
ここでさらに、かなり無理があるが、以下のように定義する。
c0 = a0/2, cn = 1/2(an-ibn)*e(inx), c-n = 1/2(an+ibn)*e(-inx)
そうして、以下の複素フーリエ級数を得る
f(クロネッカーデルタとは x) = Σn=-∞～∞[cn*e(inx)]

複素フーリエ級数の係数

c0 = a0/2 = (1/2π)∫-π～π[f(x)dx]
cn = 1/2(an-bn) = (1/2π)∫-π～π[cos nx - クロネッカーデルタとはクロネッカーデルタとは isin nx]dx

c-n= 1/2(an+bn) = (1/2π)∫-π～π[cos nx + isin nx]dx

よくみると、３つまとめて、
cn = (1/2π)∫-π～π[e(-inx)]dx [n = 0, ±1, クロネッカーデルタとは クロネッカーデルタとは ±2. ]
とできる。

周期が２πでないとき

http://ufcpp.net/study/dsp/fourierseries.html
には、周期Tが2π以外の関数に関しては、変数tを2πt/T
で置き換えることにより、とある。ただの変数変換。
f(t)にt=２πt/Tを入れたから、f( 2πt/T )になるのではないか？f(t)のままなのは、
おかしいと思うかも知れないが、よく見ると、f(t)がt=2πt/Tが代入されたものに変わっている。
t=2πt/Tではなく、ωtで置き換えることもあるが、ω=2π/Tだから、結局同じ。
＝＝クロネッカーデルタとは
（リンク先が学内ページで、パーミッションを変えたのか？今はリンクできず）
http://www.tsunami.civil.tohoku.ac.jp/hokusai2/class/spec/02fourier.pdf
にもあった。これは
an = 1/π ∫0～２π F(x) cos nx dx
において、x = ωtとおいて、クロネッカーデルタとは
an = ω/π∫0～(２π/ω）f(t)cosωt dt
となり、Ｔ＝２π/ωであるから
an = 2/T∫(0～Ｔ）f(t)cosωt dt
⇒cosωtがcos(２πt/T）になっている場合もあり。
⇒０～Ｔの代わりに-T/2～T/2になっている場合もあり。
⇒また、周期がTであるから、an = 1/T∫(クロネッカーデルタとは -T～T）f(t)cos(2πt/T)dtみたいになっている場合もあり。
てんでバラバラｗ
※
ちなみに、cos nx同士、sin mx同士の掛け算は、n≠mならば、0, n=mならば、π/ω
cosnxとsinmxの掛け算は０となり、直交は成立している。
変数変換しただけなのだから、当たり前か？
==
また、このとき、フーリエ級数は
f(t) ＝ a0 ＋ ∑n=1～∞( ancos2πnt/T ＋ bnsin2πnt/T )
となる。
==
で、複素フーリエは、
cn ＝ 1/T∫－T/2～T/2[ f(t)exp(－i2πnt/T )dt
f(t) ＝ ∑n=－∞～∞[ cnexp( i2πnt / T )]
こいつも、∫区間が-T～Tになっていて、代わりに1/2Tになっていたりと色々バラバラｗ

フーリエ変換

フーリエ級数＋複素フーリエ＋周期が２πでないケース＋拡張＝フーリエ変換

http://laputa.cs.shinshu-u.ac.jp/~yizawa/InfSys1/basic/chap4/index.htm
http://www.geocities.jp/the_cloudy_heaven/laboratory/fouriertrans/fouriertrans.html
を参考
==
cn ＝ 1/T∫－T/2～T/2[ f(t)exp(－inωt )]dt
に両辺Tをかけて
cn * T = ∫-T/2～T/2[ f(t)exp(－inωt )]dt
左辺をF(jnω)と置くと、
F(jnω)= クロネッカーデルタとは クロネッカーデルタとは ∫-T/2～T/2[ f(t)exp(－inωt )]dt
さらに、ω＝2π/Tであるが、Tを無限大にすると、
ωは０に近づき、離散的なnωは連続量に変わる。
（なぜなら、n=-∞. -1,0,1,∞で、nω=-∞. -ω,0,ω. ∞だけど、
ωがクソ小さいと、nωの間隔もクソ小さくなるから。
nωが離散値で、その離散間隔がωになっているのがミソ）

で結局、
F(クロネッカーデルタとは jnω） = ∫-T/2～T/2[ f(t)exp(－inωt )]dt
で、
T⇒∞
nω（離散）⇒ω（連続）
として、
F(jω）＝∫-∞～∞[ f(t)exp(-iωt)]dt
をフーリエ変換と呼ぶ。Ｔを無限大に飛ばすとは、周期が無限大ということだから、
フーリエ級数のときみたいに、擬似的に周期関数であるとみなさなくて良くなったわけだ。

逆変換はクロネッカーデルタとは
f(t) ＝ ∑n=－∞～∞[ cnexp( i2πnt / T )]
だったから、cn*T=F(jnω）⇒cn=F(jnω）/Tを考慮して
f(t) ＝ ∑n=－∞～∞[ F(jnω)/T * exp( クロネッカーデルタとは inωt ) ]
さらに、ω=２π/Tだから、×ω÷ω＝ω*T/2πなので、
＝ ∑n=－∞～∞[ ω÷T/2π*F(jnω)/T * exp( inωt ) ]
＝ 1/2π * ∑n=－∞～∞[ ω * F(jnω) * exp( inωt ) ]
ここで、同様にTを無限大に飛ばすと、ω=2π/T ≒ 0 = dω（クソ小さいω）
nω（離散）⇒ω（連続となる）
そして、Σは連続量になり∫となる。
＝ 1/2π * ∫－∞～∞[ dω * F(jω) * exp( iωt ) ]
＝ 1/2π * ∫－∞～∞[ F(jω) * exp( iωt ) ]dω

フーリエ変換とフーリエ級数の問題

http://nabe.blog.abk.nu/whats-fft
より
フーリエ変換は無限に続く連続信号に対するもので、フーリエ級数展開は有限長の連続信号に対するものです。どちらも、sin波とcos波の加算として表現されることから、その信号の持つ周波数ごとの信号の強さを知ることができます。

（ディラックの）デルタ関数とは

窓関数

フーリエ変換を離散フーリエ変換に直したときに、一定の周期があることを考慮した。
だから、対象波形は周期があることが望ましい。
だが、任意の範囲を切り捨てると、周期がない状態になる。
切り捨てた部分の左端と右端が異なる＝周期的でない⇒終端辺りに超高周波が含まれている扱いになり、フーリエ変換の結果にゴミが入る。ゴミがどの程度高周波になるかが読めないので、場合によってはデータをじゃまする可能性がある。
⇒ローパスをかけることが推奨されているが、それで切り取れるか否かは用途による。
⇒矩形で切り取るから、両端に急激なずれが生じるわけで、矩形で切り取らないで、滑らかに切り取るためにかけ合わせる関数を窓関数という。
※ちなみに、sinなどの周期関数であっても、切り取る場所が悪いと両端にずれが生じるのは同じこと。
※http://gijyutsu-keisan.com/mech/analysis/fourier_a/fourier_a_1.html#pagetopによると、
この打ち切りによる誤差をリーケージエラーというらしい。言葉はどうでもいいが、検索には重要だよね。

窓関数の決定法

離散フーリエ変換とフーリエ級数の違い

http://www.kurims.kyoto-u.ac.jp/~ooura/fftman/ftmn1_1.html#sec1_1_3
離散フーリエ変換は通常の Fourier 変換の無限区間積分を有限の和で書き換えたもので，時間領域，周波数領域ともに離散化された Fourier 変換のことです
Fourier 級数展開は，周波数領域でのみ離散化された変換に相当します