Pythonでカクヨムから小説のデータを拾ってきてMongoDBに入れるやつ作った

Pythonでカクヨムから小説のデータを拾ってきてMongoDBに入れるやつ作った。

github.com

といっても、BeautifulSoupでhtmlをパースしただけなので、まあ、それだけの内容。一応タグ検索もできるようにしておいた。あと、念の為分かち書きもしておいた。どう使うかはまだ未定。

青空文庫と違ってエピソード毎に別ページになっているので、データ取るのにurlを追っていく必要があったのが若干面倒だった。また、MongoDBは初めて使ったので、まだあまりどういうクエリ投げたら良いのかよくわかっていない。とりあえず、IntelliJのMongo pluginが便利っぽいということがわかった。GUI便利。

 （Mongo pluginの見た目はこんなかんじ。葉っぱが可愛い。）

MongoDBイン・アクション

JS+Node.jsによるWebクローラー/ネットエージェント開発テクニック