【Googleトレンド】【Casperjs】急上昇中キーワードをスクレイピングで取得 – (4) Casper動くもGoogleトレンドのバグ?にはまる
2015/04/19
casperjsで値を取るため
念のためもう一回埋め込み用のタグからURLを確認・取得してブラウザから打ち込んだらデータが取れたので、あれ?やった?と思ってcasperjsで実行してみたら。。
エラーが検出されました割り当ての上限に達しています。しばらくしてからもう一度お試しください。
こんな事いわれたよ。Googleさんにこんな事言われたの初めて。
バッチからはだめなんでしょうか?ユーザーエージェントの問題でしょうか?…
ユーザーエージェント…もしやと思って設定してみたけど
だめだった。。
一晩なやんで、もう一回調べたら下記のリンクを発見。
「理由はわからないのですが、エラーメッセージが出た場合は、いったん Google のトップページを開いてみると良いようです。」
http://answers.microsoft.com/ja-jp/ie/forum/ie10-windows_8/google%E3%83%88%E3%83%AC%E3%83%B3%E3%83%89/7ea9ec80-1bd8-4d0c-b170-527a8b998af2
おい、まさか。。。ということで下記のように1回Googleトップにアクセスしたう上で、ふつうのGoogleトレンドにアクセス。
1 2 3 4 5 6 7 8 9 10 11 12 |
var casper = require('casper').create(); // 1回Googleトップにアクセス casper.start('https://www.google.co.jp/', function(){ }); // Googleトレンドにアクセス casper.thenOpen('http://www.google.co.jp/trends/explore#cat=0-45&geo=JP&date=today%207-d&cmpt=q', function() { var text = this.evaluate(function(){ var links = document.querySelectorAll('a'); return links.length; }); this.echo(text); }); |
いけたよ。。。。。データとれたよ。これか!!ありがとうひよこの人!!
ということであとは、コツコツスクレイピングで無事データ取得完了。
【Googleトレンド】 【Casperjs】の関連記事
- 【Googleトレンド】【Casperjs】急上昇中キーワードをスクレイピングで取得 (1) -検討編 – For Want Of A Better Word
- 【Googleトレンド】【Casperjs】急上昇中キーワードをスクレイピングで取得 – (2) Casperjsのインストール – For Want Of A Better Word
- 【Googleトレンド】【Casperjs】急上昇中キーワードをスクレイピングで取得 – (3) Casperjsの利用 – For Want Of A Better Word
- 【Googleトレンド】【Casperjs】急上昇中キーワードをスクレイピングで取得 – (4) Casper動くもGoogleトレンドのバグ?にはまる – For Want Of A Better Word
関連記事
-
-
クロスドメインのJSの利用とAjax通信の整理
jsonpとかcors設定とか、どういうときに必要か良く分からなくなったので整理 …
-
-
【サクッと始める】PHPでGoogle Analytics API(WEBアプリケーション)
注意 ①本記事で使っているGoogleAPI用PHPライブラリ「google-a …
-
-
【ギブアップ】CentOS+casper.jsでキャプチャを取ると日本語が化けて「□」になる。
=== 追記 === casperjs、phantomjsじゃないけど、wkht …
-
-
mautic利用時の.htaccess設定(クロスドメインとアクセス制御)
mauticをインストールは下記参照。 http://qiita.com/bez …
-
-
【サクッと始める】PHPでGoogle Analytics API【バッチ | Google認証画面を経由しないで認証】
注意 本記事で使っているライブラリ「google-api-php-client」 …