【Googleトレンド】【Casperjs】急上昇中キーワードをスクレイピングで取得 – (4) Casper動くもGoogleトレンドのバグ?にはまる
2015/04/19
casperjsで値を取るため
念のためもう一回埋め込み用のタグからURLを確認・取得してブラウザから打ち込んだらデータが取れたので、あれ?やった?と思ってcasperjsで実行してみたら。。
エラーが検出されました割り当ての上限に達しています。しばらくしてからもう一度お試しください。
こんな事いわれたよ。Googleさんにこんな事言われたの初めて。
バッチからはだめなんでしょうか?ユーザーエージェントの問題でしょうか?…
ユーザーエージェント…もしやと思って設定してみたけど
だめだった。。
一晩なやんで、もう一回調べたら下記のリンクを発見。
「理由はわからないのですが、エラーメッセージが出た場合は、いったん Google のトップページを開いてみると良いようです。」
http://answers.microsoft.com/ja-jp/ie/forum/ie10-windows_8/google%E3%83%88%E3%83%AC%E3%83%B3%E3%83%89/7ea9ec80-1bd8-4d0c-b170-527a8b998af2
おい、まさか。。。ということで下記のように1回Googleトップにアクセスしたう上で、ふつうのGoogleトレンドにアクセス。
1 2 3 4 5 6 7 8 9 10 11 12 |
var casper = require('casper').create(); // 1回Googleトップにアクセス casper.start('https://www.google.co.jp/', function(){ }); // Googleトレンドにアクセス casper.thenOpen('http://www.google.co.jp/trends/explore#cat=0-45&geo=JP&date=today%207-d&cmpt=q', function() { var text = this.evaluate(function(){ var links = document.querySelectorAll('a'); return links.length; }); this.echo(text); }); |
いけたよ。。。。。データとれたよ。これか!!ありがとうひよこの人!!
ということであとは、コツコツスクレイピングで無事データ取得完了。
【Googleトレンド】 【Casperjs】の関連記事
- 【Googleトレンド】【Casperjs】急上昇中キーワードをスクレイピングで取得 (1) -検討編 – For Want Of A Better Word
- 【Googleトレンド】【Casperjs】急上昇中キーワードをスクレイピングで取得 – (2) Casperjsのインストール – For Want Of A Better Word
- 【Googleトレンド】【Casperjs】急上昇中キーワードをスクレイピングで取得 – (3) Casperjsの利用 – For Want Of A Better Word
- 【Googleトレンド】【Casperjs】急上昇中キーワードをスクレイピングで取得 – (4) Casper動くもGoogleトレンドのバグ?にはまる – For Want Of A Better Word
関連記事
-
-
GoogleDriveで画像編集 /フリーの画像編集ツール
Photshopじゃないとできない魔法のような写真加工ではなく、画像にメモとか書 …
-
-
GAメモ_ディメンションとか、指標とか、アドバンスドセグメントとか 違い
■ディメンションとは 集計結果の1要素の単位で表現するか。1要素を何で区切るのか …
-
-
【Selenium】【ruby】Casperjsでどうも取得できないページがあるので…Selenium-webdriver!!
casperでダメなサイトがあったので…webdriverを試してみ …
-
-
[js] chart.jsのグラフをwkhtmltopdfでpdfに保存する
表題のことをしたいとなった。 結論目的は果たされたのだけどハマリポ …
-
-
mautic利用時の.htaccess設定(クロスドメインとアクセス制御)
mauticをインストールは下記参照。 http://qiita.com/bez …