今回は理論から機械学習をきちんと勉強しようと思った話を書こうと思います。   機械学習の勉強を始めて、便利なライブラリを使って、それっぽいモデルを作って遊んだりしたのですが、このところとても壁を感じています。 …

最近できた新しい温泉施設「SPAJAPO」に行ってきました。 岩盤浴ラウンジに3万冊のコミックがあることを売りにしており、雑誌やマンガは岩盤浴の施設内に持ち込み可能。 ごろ寝しながら読んだり、ハンモックに揺られながら読ん…

ビジネス統計スペシャリストという民間資格があります。 https://stat.odyssey-com.co.jp/outline/excel-sp.html 今回はこの資格を取った経緯と、勉強方法、試験の感想についてメ…

最近は情報収集のためにツイッターをちゃんと使い始め、データサイエンスやビッグデータ界隈の人をフォローして、タイムラインを追っていました。 そうしたら、ML Study Jamsというイベントの情報が流れてきます。 こちら…

word2vecは単語を分散表現化する技術です。 単語を分散表現にしてどんなことができるか、みたいなところを実際に触ってみて体感しようということで、今回いろいろと遊んでみました。 まずはword2vec学習済みモデルを入…

前回、文章要約のために羅生門を形態素解析しました。 【python/sumy】様々な文章要約アルゴリズムで羅生門を要約してみる。 せっかく分かち書きしたので、ついでにwordcloudの可視化もやってみようと思います。 …

自然言語処理の領域の一部に、文章要約の世界があります。 そこではLexRankだとかTextRankだとか、LSAだとかいろいろな文章を短くする(というよりかは重要な文章を特定する)アルゴリズムが開発されていて、pyth…

バスケット分析はどの商品とどの商品が一緒に買われたか？の連関規則を発見する分析手法です。 分析にあたって、アイテム×アイテムの共起性を計算する必要がありますが、それをやるためには下右図のようなデータの持ち方をする必要があ…

アイテムベースの協調フィルタリングで簡単なリコメンドエンジンを作成してみました。 内容はほぼこちらのカーネルに拠っています。 https://www.kaggle.com/ajmichelutti/collaborati…

分類問題ばかりやっていたので、回帰問題にも取り組んでみました。 KaggleのHousePricesコンペのいくつかのカーネルを読んだりして、勉強になったことの覚え書きです。 お膳立ては以下の通り ・まずはベースラインと…