実践的なデータ分析に挑むデータサイエンティストのブログ

統計/機械学習/AWSに関する投稿をしていきます

【イベント】データサイエンス アップデートレクチャー #3 逆強化学習

今日は「データサイエンス アップデートレクチャー #3 逆強化学習」に参加してきました。

techplay.jp

 

強化学習をテーマとした研究発表を聞きました。逆強化学習は、観測した時系列データから報酬を求める逆問題です。

講演された京都大学生命研究科の本田さんは生物学者で、機械学習も使用して生命現象の解明に取り組んでいるようです。ミクロな現象からどのようにして知性が生まれるのか、という興味から研究をしているそうです。

ミクロな現象とマクロな現象がどのようにつながるのかというのは物理学でも大きな研究対象なので、この点で親近感がわきました。

 

  • プレスリリース

www.kyoto-u.ac.jp

 

  • 論文 

http://journals.plos.org/ploscompbiol/article/file?id=10.1371/journal.pcbi.1006122&type=printable

 

もらったシール。

f:id:ground0state:20180829002909j:plain

 

等価原理の数学的意味

アインシュタイン相対性理論に要請した原理として等価原理がある。等価原理は例えば内山の教科書に次のように解説してある。

重力内の任意の任意の点をとりかこむ無限小の4次元領域を考えるとき、そこに特別な座標系を求め、これを基準にとるとき、この無限小領域内が無重力地帯となるようにすることが必ずできる。これを等価原理(principle of equivalence)という。

引用元:内山 龍雄 (2011年,第25刷)『相対性理論 (物理テキストシリーズ 8)』岩波書店 p.116-117

これを幾何学的に述べると次のようになる。

幾何学では、或る座標系を採るとき、1点Pにおける\Gammaがすべて0になる場合、この座標系はPにおいて測地的(geodesic)であるという。また、この座標系をPにおける測地座標系、あるいは測地系(system of geodesic coordinate)という。したがって等価原理幾何学的に言えば、任意の世界点で測地系を設けることが必ずできるということになる。

引用元:内山 龍雄 (2011年,第25刷)『相対性理論 (物理テキストシリーズ 8)』岩波書店 p.146-147

 \Gammaはレヴィ・チヴィタ接続のことで、「1点Pにおける\Gammaがすべて0になる」とは、接続 \Gamma^\lambda_{\mu\nu}のすべての成分が点Pでゼロになることをいう。


\begin{align}
\Gamma^\lambda_{\mu \nu}(P)=0 
\end{align}

さて、では具体的にどのようにすれば点Pにおいて \Gamma0にできるか。これについてはEMANさんのサイトに解説記事がある。

eman-physics.net

今、座標が(x, g)で張られているとする。点Pの座標を c^\muとする。座標 (x, g)から (x', g')への座標変換でレヴィ・チヴィタ接続は次のように変換される。 


\begin{align}
\Gamma_{\mu\nu}^{\lambda} = \frac{\partial x'^\alpha}{\partial x^\mu} \frac{\partial x'^\beta}{\partial x^\nu} \frac{\partial x^\lambda}{\partial x'^\gamma} \Gamma'^{\gamma}_{\alpha\beta} + \frac{\partial x^\lambda}{\partial x'^\rho} \frac{\partial^2 x'^\rho}{\partial x^\mu \partial x^\nu}  
\end{align}

これに次の座標変換を施すと、 \Gamma'は点P0になる。


\begin{align}
x'^\mu = x^\mu + \frac{1}{2}\Gamma^\mu_{\alpha \beta}(P) (x-c)^\alpha (x-c)^\beta
\end{align}

これで点P無重力にすることができた。

さらに線形変換 x''^\mu = a^\mu_\nu x'^\nuを施した \Gamma''も点P0になる。これを利用して計量を変換しよう。 x'^\mu = (a^{-1})^\mu_{\nu} x'^\nu=b^\mu_{\nu} x''^\nuと書き直すと計量は次のように変換される。


\begin{align}
g''_{\mu\nu} = \frac{\partial x^\alpha}{\partial x'^\mu} \frac{\partial x^\beta}{\partial x'^\nu} g'_{\alpha\beta} = b^\alpha_{\mu}b^\beta_{\nu}g'_{\alpha\beta} = (B^{\top}G B)_{\mu\nu}
\end{align}

 ここで計量とテンソル bを行列とみなして表した。成分の対応は次のようになる。


\begin{align} 
G_{ij} &= g_{ij} \\
B_{ij} &= b^i_{j} 
\end{align}

 点Pでの値を考える。 G(P)は対称行列なので直交行列 Rで対角化できる。


\begin{align}
R^{\top} G(P) R = \Lambda 
\end{align}

ここで  \Lambda = \mathrm{diag}(- \lambda_0, \lambda_1, \lambda_2, \lambda_3)である。

さらに C=\mathrm{diag}(\lambda_0^{-1/2}, \lambda_1^{-1/2}, \lambda_2^{-1/2}, \lambda_3^{-1/2})を用いて単位行列に変換できる。


\begin{align}
C^{\top} R^{\top} G(P) R C =\mathrm{diag}(-1, 1, 1, 1) 
\end{align}

よって B=RCとすれば計量 g''は点P \mathrm{diag}(-1, 1, 1, 1)となる。

以上の結果より、座標変換で点 P g=\mathrm{diag}(-1, 1, 1, 1), \Gamma_{\mu \nu}^\lambda=0とできる。

また、正規座標における計量のテイラー展開*1も同じことを表している。


 \begin{align}
g_{\mu\nu} =\mathrm{diag}(-1, 1, 1, 1)_{\mu\nu}-\frac{1}{3}R_{\mu\alpha\nu\beta}x^\alpha x^\beta +\mathcal O (x^3) 
\end{align}

さて、話題を変えよう。

リーマン幾何学での等価原理の数学的意味を見てきたわけだが、そもそもリーマン幾何学のどの時点で等価原理が導入されたのか考えてみる。

リーマン多様体の条件は2つあった。

計量条件: \nabla_\rho g_{\mu\nu}=0

捩率なし: \Gamma_{\mu\nu}^\lambda = \Gamma_{\nu\mu}^\lambda

一つ目の条件は

ベクトルの大きさは平行移動に対して不変である

引用元:内山 龍雄 (2011年,第25刷)『相対性理論 (物理テキストシリーズ 8)』岩波書店 p.144

 を表している。これはベクトルを平行移動したときに、ベクトルの大きさが時空の曲がりの効果以外で、変化しないことを要請している。これは物理を記述する上でもっともらしいと言えるだろう。

接続に関係する二つ目の条件を確認してみよう。リーマン多様体であることは仮定しないでおき、多様体に計量 gと線形接続 \Omegaを導入する。共変微分は次のように定義される。


\begin{align}
\nabla_\mu V^\nu= \partial_\mu V^\nu - \Omega^\nu_{\mu \lambda}V^\lambda
\end{align}

座標が (x,g)で張られているとする。座標 (x, g)から (x', g')への座標変換で接続は次のように変換される。 


\begin{align}
\Omega_{\mu\nu}^{\lambda} = \frac{\partial x'^\alpha}{\partial x^\mu} \frac{\partial x'^\beta}{\partial x^\nu} \frac{\partial x^\lambda}{\partial x'^\gamma} \Omega'^{\gamma}_{\alpha\beta} + \frac{\partial x^\lambda}{\partial x'^\rho} \frac{\partial^2 x'^\rho}{\partial x^\mu \partial x^\nu}  
\end{align}

 等価原理が成り立つか、次の座標変換をしてみよう。


\begin{align}
x'^\mu = x^\mu + \frac{1}{2}\Omega^\mu_{\alpha \beta}(P) (x-c)^\alpha (x-c)^\beta
\end{align} 

 すると点Pで次の式が成り立つ。


\begin{align}
\Omega_{\mu\nu}^{\lambda} (P) = \Omega'^{\lambda} _{\mu\nu}(P)  + \Omega_{(\mu\nu)}^{\lambda} (P)
\end{align} 

接続の反対称成分が残ってしまった。


\begin{align}
\Omega'^{\lambda} _{\mu\nu}(P) = \Omega_{[\mu\nu]}^{\lambda} (P)
\end{align}

 さらに座標変換してこの成分をゼロにできるだろうか?

座標変換での接続の変換を考えると、接続の反対称成分は次の変換をする。


\begin{align}
\Omega_{[\mu\nu]}^{\lambda} = \frac{\partial x'^\alpha}{\partial x^\mu} \frac{\partial x'^\beta}{\partial x^\nu} \frac{\partial x^\lambda}{\partial x'^\gamma} \Omega'^{\gamma}_{[\alpha\beta]} 
\end{align}

 これはテンソルの変換になっている。したがって、接続の反対称成分はテンソルである。

 \Omegaが計量条件を満たすとして、接続を分解する。


\begin{align}
\Omega_{(\mu\nu)}^{\lambda} &=\Gamma_{\mu\nu}^{\lambda} \\
\Omega_{[\mu\nu]}^{\lambda} &=T_{\mu\nu}^{\lambda}
\end{align}

 Tを捩率という。捩率はテンソルなので、座標変換で 0にできない。したがって、等価原理が成り立つためには捩率が全時空で 0になることが必要である。

また、全時空で T_{\mu\nu}^{\lambda}=0が成り立つとき、


\begin{align}
\Gamma_{ [ \mu \nu ]}^\lambda
\end{align}

はレヴィ・チヴィタ接続になる。


\begin{align}
\Gamma_{\mu\nu}^{\lambda}=\frac{1}{2}g^{\lambda \rho}(\partial_\mu g_{\rho \nu} +\partial_\nu g_{\rho \mu} -\partial_\rho g_{\mu \nu})
\end{align}

以上の考察より、等価原理が成り立つためには、


\Omega_{[\mu\nu]}^{\lambda} =0

が必要十分であることがわかった。

よってリーマン多様体の条件のうち、一つ目は物理量が外力を受けない限り、影響を受けるのは時空の曲がりのみであることを要請し、二つ目は等価原理を要請している。 

*1:酒井 隆(1992)『リーマン幾何学裳華房