For Want Of A Better Word

【Selenium】【ruby】Casperjsでどうも取得できないページがあるので…Selenium-webdriver!!

      2015/04/18

casperでダメなサイトがあったので…webdriverを試してみる。

なにがだめかというと、データが取れない。

getHTML()とかの結果がなぜか、データが空白という状態。

えーーー…..

しようがないから、いい加減selenium-webdriverを使ってみます。

linux + selenium + rubyです。

rubyを使うのは、seleniumに関してはphpよりrubyの方が情報多そうだから。

 

【参考】http://qiita.com/kamekichi0527/items/70ef040544e65faa4fe0

 

上記サイトに従って手続きを進めると…「Xvfb」の起動でエラー

 

 

ぬ?

【参考】http://qiita.com/k_yagisan9/items/f5fc98517ccfd20e5493

無視している….先人に従うことにします。

 

続けて、その他インストールして、firefoxを起動してみると。

 

うぬぬ。

どうするか。。

【参考】http://qiita.com/PharaohKJ/items/88e9f6a19406ee41e155\

 

これで良いらしい。。

test.rbを実行して、無事取得出来た。

はー、おっけーおっけー

確認ソースはシンプルにして

という感じ。

 

んで、問題のページも取れた。casperとselenium。。何が違うんだ。。

でもこれなら

日本語文字のキャプチャも取得できるし、casperより優秀かもな。

 - selenium, スクレイピング

  関連記事

no image
【wkhtml】CentOSでWEBサイトのキャプチャ_日本語文字化け解決

CaperJS(phantomjs)でWEBサイトのキャプチャを取ると日本語が表 …

selenium-logo
どうしてもSelenium-IDEが使いたい そのためには古いFireFoxが欲しい!!

(2015/03/11補足) 最近のfirefoxは無理くり入れられる。下記から …

selenium-logo
Seleniumを覚える Selenium-RCの実行

Slenium公式のドキュメントを見ていたら分からなくなったので、別サイトを参考 …

selenium-logo
Seleniumを覚える エラー対応(Couldn't proxy to http://xxxxxxx/ because host not found)

前回やっとこさSeleniumを動かせたので、ケース …

selenium-logo
Selenium Web Driver使い方 (java)

ここが凄い丁寧で分かりやすい。 http://d.hatena.ne.jp/su …