For Want Of A Better Word

【Selenium】【ruby】Casperjsでどうも取得できないページがあるので…Selenium-webdriver!!

      2015/04/18

casperでダメなサイトがあったので…webdriverを試してみる。

なにがだめかというと、データが取れない。

getHTML()とかの結果がなぜか、データが空白という状態。

えーーー…..

しようがないから、いい加減selenium-webdriverを使ってみます。

linux + selenium + rubyです。

rubyを使うのは、seleniumに関してはphpよりrubyの方が情報多そうだから。

 

【参考】http://qiita.com/kamekichi0527/items/70ef040544e65faa4fe0

 

上記サイトに従って手続きを進めると…「Xvfb」の起動でエラー

 

 

ぬ?

【参考】http://qiita.com/k_yagisan9/items/f5fc98517ccfd20e5493

無視している….先人に従うことにします。

 

続けて、その他インストールして、firefoxを起動してみると。

 

うぬぬ。

どうするか。。

【参考】http://qiita.com/PharaohKJ/items/88e9f6a19406ee41e155\

 

これで良いらしい。。

test.rbを実行して、無事取得出来た。

はー、おっけーおっけー

確認ソースはシンプルにして

という感じ。

 

んで、問題のページも取れた。casperとselenium。。何が違うんだ。。

でもこれなら

日本語文字のキャプチャも取得できるし、casperより優秀かもな。

 - selenium, スクレイピング

  関連記事

【ギブアップ】CentOS+casper.jsでキャプチャを取ると日本語が化けて「□」になる。

=== 追記 === casperjs、phantomjsじゃないけど、wkht …

【メモ】casperjsでソーシャルボタンのHTMLをキャッシュしたかったけど、出来なかった。

標題通り。 js処理とか、api通信とかを省略して、表示を早く出来るかなと期待し …

Seleniumを覚える エラー対応(Couldn't proxy to http://xxxxxxx/ because host not found)

前回やっとこさSeleniumを動かせたので、ケース …

【Googleトレンド】【Casperjs】急上昇中キーワードをスクレイピングで取得 – (3) Casperjsの利用

## インストールはこちら 大雑把な使い方を下記で確認。 [クイックスタート]h …

【Googleトレンド】【Casperjs】急上昇中キーワードをスクレイピングで取得 – (4) Casper動くもGoogleトレンドのバグ?にはまる

casperjsで値を取るため 念のためもう一回埋め込み用のタグからURLを確認 …