しばらくサボっていて忘れられそうなので、ブログタイトルも新たに久しぶりに書きました。 chainerでCNN動かしてみた 別件でDNNの中でもFNNとかRNNとかCNNをいろいろ試しみようという何かがありまして、、、 個人的に勉強がてら最早流行でもなくなったCNN(Co…

2/8に開催されたHadoop / Spark Conference Japan 2016に参加してきましたのでメモなど残しておきます。 午後からの参加で見たセッションのみなので一部だけになりますが。。 www.eventbrite.com データドリブン企業における、Hadoop基盤とETL ～niconicoで…

1年くらい前にレコメンドロジックを実装するにあたってSpark MLlibのmllibパッケージ内のRDD版を使っていたのですが、 データの整形など不便だったため、その後リリースされたmlパッケージ以下のDataFrame版を使ってみたい。 きっと楽なはずということでサン…

Spark Streamingのお勉強のために、Twitterからツイートを取得してワードカウントしてみます。Sparkの追加パッケージ spark-streaming-twitter を使ってデータ取得します。 ツイートを取得して単語の出現回数を数える 設定など build.sbt に追加 libraryDepe…