For Want Of A Better Word

【Selenium】【ruby】Casperjsでどうも取得できないページがあるので…Selenium-webdriver!!

      2015/04/18

casperでダメなサイトがあったので…webdriverを試してみる。

なにがだめかというと、データが取れない。

getHTML()とかの結果がなぜか、データが空白という状態。

えーーー…..

しようがないから、いい加減selenium-webdriverを使ってみます。

linux + selenium + rubyです。

rubyを使うのは、seleniumに関してはphpよりrubyの方が情報多そうだから。

 

【参考】http://qiita.com/kamekichi0527/items/70ef040544e65faa4fe0

 

上記サイトに従って手続きを進めると…「Xvfb」の起動でエラー

 

 

ぬ?

【参考】http://qiita.com/k_yagisan9/items/f5fc98517ccfd20e5493

無視している….先人に従うことにします。

 

続けて、その他インストールして、firefoxを起動してみると。

 

うぬぬ。

どうするか。。

【参考】http://qiita.com/PharaohKJ/items/88e9f6a19406ee41e155\

 

これで良いらしい。。

test.rbを実行して、無事取得出来た。

はー、おっけーおっけー

確認ソースはシンプルにして

という感じ。

 

んで、問題のページも取れた。casperとselenium。。何が違うんだ。。

でもこれなら

日本語文字のキャプチャも取得できるし、casperより優秀かもな。

 - selenium, スクレイピング

  関連記事

【Googleトレンド】【Casperjs】急上昇中キーワードをスクレイピングで取得 (1) -検討編

特定カテゴリの急上昇中キーワードを取得して、自分のサイトに表示したい。その時、自 …

Seleniumを覚える スタートアップ編

いい加減Seleniumの使い方を覚えたい。 特に下記のようなことをしたい。 h …

Caperjs evaluateの中でquerySelectorAllの引数に変数を設定しても動かない。

firebugでためす限り、 document.getElementById() …

casperjsの実行結果をphpで取得

特別難しいことは無いけれどメモ。シェルとしてcasperjsスクリプトを実行して …

Selenium Web Driver使い方 (java)

ここが凄い丁寧で分かりやすい。 http://d.hatena.ne.jp/su …