courseraのgcp講座で紹介されていたContent-basedなレコメンドを、movie-lensで試そうと思います。 https://www.coursera.org/learn/recommendation-…

ユーザーベース協調フィルタリングの基本を試してみました。 今回はmovie lensの映画のデータセットを用います。   流れとしては ① user×item行列を作成する ②user類似度行列をつくる ③ある…

今回は理論から機械学習をきちんと勉強しようと思った話を書こうと思います。   機械学習の勉強を始めて、便利なライブラリを使って、それっぽいモデルを作って遊んだりしたのですが、このところとても壁を感じています。 …

word2vecは単語を分散表現化する技術です。 単語を分散表現にしてどんなことができるか、みたいなところを実際に触ってみて体感しようということで、今回いろいろと遊んでみました。 まずはword2vec学習済みモデルを入…

前回、文章要約のために羅生門を形態素解析しました。 【python/sumy】様々な文章要約アルゴリズムで羅生門を要約してみる。 せっかく分かち書きしたので、ついでにwordcloudの可視化もやってみようと思います。 …

自然言語処理の領域の一部に、文章要約の世界があります。 そこではLexRankだとかTextRankだとか、LSAだとかいろいろな文章を短くする(というよりかは重要な文章を特定する)アルゴリズムが開発されていて、pyth…

アイテムベースの協調フィルタリングで簡単なリコメンドエンジンを作成してみました。 内容はほぼこちらのカーネルに拠っています。 https://www.kaggle.com/ajmichelutti/collaborati…

分類問題ばかりやっていたので、回帰問題にも取り組んでみました。 KaggleのHousePricesコンペのいくつかのカーネルを読んだりして、勉強になったことの覚え書きです。 お膳立ては以下の通り ・まずはベースラインと…

少しでもモデルの精度を上げるテクニックの一つに、random seed averaging というものがあります。 これはrandomseedが異なる複数の（ランダム性のある）モデルの平均をとる考え方です。 例えば、ラン…

モデルを構築して予測して、はい終わり。ではなく、きちんとどの要素がどれくらい結果に寄与しているのかを説明できた方がよいかと思います。 そんな時に、モデルに利用した特徴量の重要度を算出する方法を知っておくと便利です。 とい…