【Googleトレンド】【Casperjs】急上昇中キーワードをスクレイピングで取得 – (4) Casper動くもGoogleトレンドのバグ?にはまる

2013/09/26 2015/04/19

casperjsで値を取るため

念のためもう一回埋め込み用のタグからURLを確認・取得してブラウザから打ち込んだらデータが取れたので、あれ？やった？と思ってcasperjsで実行してみたら。。

エラーが検出されました

割り当ての上限に達しています。しばらくしてからもう一度お試しください。

こんな事いわれたよ。Googleさんにこんな事言われたの初めて。
バッチからはだめなんでしょうか？ユーザーエージェントの問題でしょうか？…

ユーザーエージェント…もしやと思って設定してみたけど
だめだった。。

一晩なやんで、もう一回調べたら下記のリンクを発見。

「理由はわからないのですが、エラーメッセージが出た場合は、いったん Google のトップページを開いてみると良いようです。」
http://answers.microsoft.com/ja-jp/ie/forum/ie10-windows_8/google%E3%83%88%E3%83%AC%E3%83%B3%E3%83%89/7ea9ec80-1bd8-4d0c-b170-527a8b998af2

おい、まさか。。。ということで下記のように1回Googleトップにアクセスしたう上で、ふつうのGoogleトレンドにアクセス。

var casper = require(&#39;casper&#39;).create();
// 1回Googleトップにアクセス
casper.start(&#39;https://www.google.co.jp/&#39;, function(){
});　
// Googleトレンドにアクセス
casper.thenOpen(&#39;http://www.google.co.jp/trends/explore#cat=0-45&amp;geo=JP&amp;date=today%207-d&amp;cmpt=q&#39;, function() {
var text = this.evaluate(function(){
var links = document.querySelectorAll(&#39;a&#39;);
　　　 return links.length;
});
this.echo(text);
});