For Want Of A Better Word

【Selenium】【ruby】Casperjsでどうも取得できないページがあるので…Selenium-webdriver!!

      2015/04/18

casperでダメなサイトがあったので…webdriverを試してみる。

なにがだめかというと、データが取れない。

getHTML()とかの結果がなぜか、データが空白という状態。

えーーー…..

しようがないから、いい加減selenium-webdriverを使ってみます。

linux + selenium + rubyです。

rubyを使うのは、seleniumに関してはphpよりrubyの方が情報多そうだから。

 

【参考】http://qiita.com/kamekichi0527/items/70ef040544e65faa4fe0

 

上記サイトに従って手続きを進めると…「Xvfb」の起動でエラー

 

 

ぬ?

【参考】http://qiita.com/k_yagisan9/items/f5fc98517ccfd20e5493

無視している….先人に従うことにします。

 

続けて、その他インストールして、firefoxを起動してみると。

 

うぬぬ。

どうするか。。

【参考】http://qiita.com/PharaohKJ/items/88e9f6a19406ee41e155\

 

これで良いらしい。。

test.rbを実行して、無事取得出来た。

はー、おっけーおっけー

確認ソースはシンプルにして

という感じ。

 

んで、問題のページも取れた。casperとselenium。。何が違うんだ。。

でもこれなら

日本語文字のキャプチャも取得できるし、casperより優秀かもな。

 - selenium, スクレイピング

  関連記事

【Googleトレンド】【Casperjs】急上昇中キーワードをスクレイピングで取得 (1) -検討編

特定カテゴリの急上昇中キーワードを取得して、自分のサイトに表示したい。その時、自 …

【Googleトレンド】【Casperjs】急上昇中キーワードをスクレイピングで取得 – (2) Casperjsのインストール

ということで続き。下記を参考に。 【参考】http://thesportsbus …

どうしてもSelenium-IDEが使いたい そのためには古いFireFoxが欲しい!!

(2015/03/11補足) 最近のfirefoxは無理くり入れられる。下記から …

【Googleトレンド】【Casperjs】急上昇中キーワードをスクレイピングで取得 – (3) Casperjsの利用

## インストールはこちら 大雑把な使い方を下記で確認。 [クイックスタート]h …

Seleniumを覚える エラー対応(Couldn't proxy to http://xxxxxxx/ because host not found)

前回やっとこさSeleniumを動かせたので、ケース …