word2vecは単語を分散表現化する技術です。 単語を分散表現にしてどんなことができるか、みたいなところを実際に触ってみて体感しようということで、今回いろいろと遊んでみました。 まずはword2vec学習済みモデルを入…

前回、文章要約のために羅生門を形態素解析しました。 【python/sumy】様々な文章要約アルゴリズムで羅生門を要約してみる。 せっかく分かち書きしたので、ついでにwordcloudの可視化もやってみようと思います。 …

自然言語処理の領域の一部に、文章要約の世界があります。 そこではLexRankだとかTextRankだとか、LSAだとかいろいろな文章を短くする(というよりかは重要な文章を特定する)アルゴリズムが開発されていて、pyth…

バスケット分析はどの商品とどの商品が一緒に買われたか？の連関規則を発見する分析手法です。 分析にあたって、アイテム×アイテムの共起性を計算する必要がありますが、それをやるためには下右図のようなデータの持ち方をする必要があ…