For Want Of A Better Word

【Selenium】【ruby】Casperjsでどうも取得できないページがあるので…Selenium-webdriver!!

      2015/04/18

casperでダメなサイトがあったので…webdriverを試してみる。

なにがだめかというと、データが取れない。

getHTML()とかの結果がなぜか、データが空白という状態。

えーーー…..

しようがないから、いい加減selenium-webdriverを使ってみます。

linux + selenium + rubyです。

rubyを使うのは、seleniumに関してはphpよりrubyの方が情報多そうだから。

 

【参考】http://qiita.com/kamekichi0527/items/70ef040544e65faa4fe0

 

上記サイトに従って手続きを進めると…「Xvfb」の起動でエラー

 

 

ぬ?

【参考】http://qiita.com/k_yagisan9/items/f5fc98517ccfd20e5493

無視している….先人に従うことにします。

 

続けて、その他インストールして、firefoxを起動してみると。

 

うぬぬ。

どうするか。。

【参考】http://qiita.com/PharaohKJ/items/88e9f6a19406ee41e155\

 

これで良いらしい。。

test.rbを実行して、無事取得出来た。

はー、おっけーおっけー

確認ソースはシンプルにして

という感じ。

 

んで、問題のページも取れた。casperとselenium。。何が違うんだ。。

でもこれなら

日本語文字のキャプチャも取得できるし、casperより優秀かもな。

 - selenium, スクレイピング

  関連記事

Seleniumを覚える Selenium-RCの実行

Slenium公式のドキュメントを見ていたら分からなくなったので、別サイトを参考 …

【Googleトレンド】【Casperjs】急上昇中キーワードをスクレイピングで取得 – (3) Casperjsの利用

## インストールはこちら 大雑把な使い方を下記で確認。 [クイックスタート]h …

Selenium Web Driver使い方 (java)

ここが凄い丁寧で分かりやすい。 http://d.hatena.ne.jp/su …

casperjsの実行結果をphpで取得

特別難しいことは無いけれどメモ。シェルとしてcasperjsスクリプトを実行して …

【Googleトレンド】【Casperjs】急上昇中キーワードをスクレイピングで取得 (1) -検討編

特定カテゴリの急上昇中キーワードを取得して、自分のサイトに表示したい。その時、自 …