名もなき未知

エンジニアリングとか、日常とかそういうのをまとめる場所。アクセス解析のためGAを利用、Googleに情報を送信しています。商品紹介のためAmazonアフィリエイトを利用、Amazonに情報を送信しています。記事に関しては私が書いていない引用文を除いて自由にご利用ください。

Pythonでスクレイピングしようとして寄り道をしていた私用メモ

これをしたかっただけなのだが

yumechi.qrunch.io

どうせPythonでものを作る機会はこれからもあるだろうと思ったので寄り道してまとめた。

yumechi.qrunch.io

GitHubリポジトリはここ。今の所Pythonしか設定おいてない。そのうち真面目に他の言語とかでよく使いそうなものを突っ込むとかしたい。Devツール系だけ追加して、普通のものは普通に各プロジェクトで使えばいいと思う。

github.com

あとついでに調べてたこと。昔これで大ハマリしたので、多分相性悪目というか、Mypyでサポートできるのは標準ライブラリ+本当の意味でのメジャーなもの、な気がしている。 昔Pandasか何かの解析が一生通らず動かないというのを経験したので、なんかもうこれらはスルーするのが正解っぽく、小さいものであれば頑張って型をつけてPRを出してみるとかがいいのかもしれない。

もう少し詳しい人に教えてもらいたいところ。。。

yumechi.qrunch.io

で、スクレイピングしているものをそのうちBotに流せるようにしたいので、今はそのデータがちゃんと取れるよね?っていうのを検証しているところ。

データとっとと取って、連携するものに投げつけたいぞ〜。ということでモチベーションが高いうちに完遂したい。