はじめに タイトルの通りカーネル関数の話。内積のことを考えるとカーネル関数から作られるグラム行列は正定値でないとダメな気がしたがそんなことはなくて半正定値であればよい、それは何故か？という話。 いくつかの書籍に書いてある話なのでわざわざ記事…

はじめに 異常検知などのタスクでは、あらかじめ取得した学習データにより形成される主部分空間にテストデータを射影し、元のテストデータと射影後のデータの距離を異常度とすることがしばしば行われる。これを再構成誤差という（詳細は下記書籍を参照）。 …

2020/2/2追記 ソースコードに大きな間違いを見つけたので修正した。2か所間違いがあってそれらが奇跡的に作用することでそれっぽい結果に見えていた。詳細は実装の節を参照。 はじめに 以下の記事の中で、ガウス過程と機械学習サポートページにあるサンプル…

はじめに 表題についてちょっと調べた＆やってみたのでメモ。 やりたいことは表題の通りなんだけど、少し数式で表現して整理。 今、学習データとしての個得られているとする。 入力と関数が与えられたとき、出力はに従うとする（ハイパーパラメータを持つ場…

表題の通り。この辺りややこしくていつもわからなくなるので、身につけるためにも自分なりの理解をまとめたメモを書く。 対数尤度と下限とKLダイバージェンス まず、既知の変数を、未知の変数（ここでは潜在変数か未知パラメータかは区別していない）をとす…

はじめに 以前、ベイズ推論による機械学習入門という書籍を読み、以下のような記事を公開しました。yamagensakam.hatenablog.comこの書籍には、多次元ガウス混合モデルによるクラスタリング手法が詳しく述べられていますが、多次元ガウス混合モデルによる教…

はじめに タイトルの通りです。以下の本を一通り読んだので、再度読む際の手助けになるようメモを残します。機械学習スタートアップシリーズ ベイズ推論による機械学習入門 (KS情報科学専門書)作者: 須山敦志,杉山将出版社/メーカー: 講談社発売日: 2017/10/…

はじめに これまでの記事で近接勾配法と、それによるスパース解や低ランク解に導く正則化項を付随した最適化問題の解法、そしてその応用を見てきました。正則化項に変数間の絡みがなく各変数が独立に扱える場合は、正則化項のproximal operatorが解析的に求…

はじめに 前回の記事では、ベクトルデータの分類問題に対するスパースなロジスティック回帰を説明しましたが、今回はその拡張となる行列データに対するロジスティック回帰を見ていきます。この行列データ分類問題においても正則化項は重要な役割を持ちますが…

今回は前々回の記事で書いた近接勾配法の応用例第２段ということで、分類問題などで使われるロジスティック回帰の目的関数にL1ノルムの正則化項をつけて、スパースな解を導いてみます。スパースな解を導出するメリットとしては、クラス分類に寄与しない無駄…

はじめに 前回の記事で近接勾配法の基本と実装を見てきました。今回はこの近接勾配法を利用して、スパースコーディングの応用の１つである超解像技術を調べPythonで実装してみました*1。画像処理関係の実装はほぼ未経験だったので、その分野の人が見れば前処…

はじめに 前回、前々回とl1ノルム正則化項をつけた離散フーリエ変換により、スパースな解が得られること、そして基底ベクトルを並べた行列がユニタリ行列（直交行列）のため解析的に解けることを見てきました。それでは、が一般の行列の場合どうするか？今度…

はじめに 前回の記事では、離散フーリエ変換を係数をLasso回帰として求めスパースな解を得る方法を書きましたが、この際に複素数を取り扱いたくないため実数のみの問題に変換して、ソルバに解かせるということを行いました。今回は、複素数のまま問題を解く…

はじめに 離散フーリエ変換は離散化された時間軸の信号を周波数軸に写像する基底変換の一種で、周波数解析などによく使われます。この離散フーリエ変換の係数は、基底ベクトルの重み付き線形和で表したときの誤差の2乗和を最小にする重みと見なせます。つま…

お久しぶりです。2014年9月以来、実に3年ぶりの更新です。しばらく機械学習関連の勉強は滞っていたのですが、思うところがあって再開。とりあえず、昨年12月に開催されたNIPS2017のプロシーディングス中から面白そうな記事をピックアップして斜め読みしまし…

機械学習の分野では、マルチ○○学習という名付けられた枠組み・手法が色々提案されています。僕は、接頭辞が共通だと、すぐごっちゃになって何が何だか分からなくなってしまうので、ちょっと整理したいと思っていました。ということで、今回は「マルチカーネ…

なんやかんやで前回から1ヶ月以上たってしまいました。 こりゃいかんということで、NIPS2012 part2いきます。 前回は機械学習の基礎的な手法を提案した論文を紹介しましたが、今回は応用よりの論文を2本取り上げてみました。 Learning Image Descriptors wit…

気が付いたら3月も中旬です。昨年末に27歳の誕生日を迎えたばかりだと思っていたら、もう3ヶ月経ってしまいました。このまま、あっという間に三十路を迎えるのでしょう。時の流れは早くて残酷です。生え際の後退もかなり進行してきました。悲しいです。昔の…

あけましておめでとうございます。 新年早々初詣にも行かず、4ヶ月滞ってたブログを更新するのが僕です。 ということで、今更ながらピックアップしてたICML2012の論文を読んでみました。 タイトルの通り3行で概要を書いていこうと思います。 Multiple Kernel…

ICML2012もアクセプトされた論文のタイトルとアブストが公開され、 いよいよ盛り上がってまいりましたが、でも僕はNIPS2011！ 懲りずに斜め読み第2弾いきます。 間違って理解している可能性も大いにあり得るので、 それを発見した際には、指摘していただけれ…

NIPSは毎年12月頃に開催される機械学習関連の国際会議です。 Proceedingsはweb上に公開されているので、 今回は昨年末に開催されたNIPS2011の中から、 興味を惹かれた論文を何本か適当にチョイスして読んでみました。 斜め読みした程度なので、かなり理解が…

前回の記事の実装編です。前回ちょっとだけ述べた、last.fmのデータがここに転がってたので、 こいつで、BPRアルゴリズムを試してみることにしました。 使用したのは、usersha1-artmbid-artname-plays.tsvファイルのデータのみです。 usersha1-profile.tsvは…

明けましておめでとうございます。ブログ開設当初は、月1ペースの更新を目標にしてたんですが、 案の定、2ヶ月以上放置。 気がつけば年が明けてました・・・ こんな感じで、今年もテキトーにやっていこうと思うので、 よろしくお願いします。というわけで、…

クラスタリングや分類などを行う際、なるべく冗長となる特徴量は取り除いてから 行った方が精度や実行時間の観点で有効だとされています。 この「冗長となる特徴量を取り除く」方法は特徴選択と呼ばれ、 これまでに多数の手法が提案されています。 というこ…

ときどき、学生のころ勉強していたこと（機械学習など）が懐かしくなって、 それに関連しそうな論文を探したり読んだりするんですが、 今日はその論文の1つを紹介しようかなと思います。J. Hamm and D. D. Lee. Grassmann Discriminant Analysis: a Unifying…