はじめに 数理最適化には興味があってこのブログでもいくつか記事を書いてきたが、つまみ食いばかりして理解があいまいな部分もあるので、もう少しちゃんと基本から学ぶため以下の書籍を読み進めている。 しっかり学ぶ数理最適化 モデルからアルゴリズムまで…

はじめに 異常検知などのタスクでは、あらかじめ取得した学習データにより形成される主部分空間にテストデータを射影し、元のテストデータと射影後のデータの距離を異常度とすることがしばしば行われる。これを再構成誤差という（詳細は下記書籍を参照）。 …

はじめに しばらくブログを更新してなかったので線形代数のネタを1つ。やりたいのは線形独立な個のベクトルが張る部分空間と線形独立な個のベクトルが張る部分空間の共通部分の基底を求めること。 以降、行列を、行列をとする。 方法1：零空間を使う方法 ま…

2020/2/2追記 ソースコードに大きな間違いを見つけたので修正した。2か所間違いがあってそれらが奇跡的に作用することでそれっぽい結果に見えていた。詳細は実装の節を参照。 はじめに 以下の記事の中で、ガウス過程と機械学習サポートページにあるサンプル…

はじめに 表題についてちょっと調べた＆やってみたのでメモ。 やりたいことは表題の通りなんだけど、少し数式で表現して整理。 今、学習データとしての個得られているとする。 入力と関数が与えられたとき、出力はに従うとする（ハイパーパラメータを持つ場…

表題の通り。この辺りややこしくていつもわからなくなるので、身につけるためにも自分なりの理解をまとめたメモを書く。 対数尤度と下限とKLダイバージェンス まず、既知の変数を、未知の変数（ここでは潜在変数か未知パラメータかは区別していない）をとす…