waste of time

主にPHP

クローラー

PHPでSeleniumWebdriverを操作してヘッドレス化したChromeを動かす

ajaxでコンテンツを生成しているページをスクレイピングしようと思ったので、WebDriverを試してみました。本来の用途(E2Eテスト)とは少し違うとは思いますが、使えるものは使う方向で。 gccのビルドとかで長くなったので、ajaxコンテンツを取得するとか本当…

WindowsでAnemoneを使う

業務でクローラー作る案件を他の人がやってて興味があったので、自分でも少し試してみました。 rubyインストールからAnemone(Ruby製のクローラー)でスクレイピングするまで。 Rubyインストール chocolateyでrubyとrubygemsをインストールする。 Powershell…