【Googleトレンド】【Casperjs】急上昇中キーワードをスクレイピングで取得 (1) -検討編
2015/04/19
特定カテゴリの急上昇中キーワードを取得して、自分のサイトに表示したい。その時、自分のサイトの関連記事・あるいは検索結果を出すということをしてみたひ。。
単純にガジェットを埋め込むだけなら、Googleさんがスクリプトを提供してくれているのだけれど、キーワードと上昇率のjsonだけとかが欲しいなーと。。。
んでだ。
対応策
①検索結果のWEBサイトをスクレイピングしてみようかと。
とりあえずwgetしたけど、JS表示部分はだめでした。
PHP PearのHTTP/client.phpを取得しても同じ。
ということでスクレイピングはだめ。
②埋め込み用のjsの中身を見て、実際にデータを取得しているリクエストを確認して、その部分だけをやってみる。
tamper Dataを除いてリクエストを確認。下記がデータ取得っぽいと思ったが。。
http://www.google.co.jp/trends/fetchComponent?hl=ja&cat=0-44&geo=JP&cmpt=q
URL直接打ち込むと「Internal Server Error」おいGoogle!!
断念。
③あんまり思いつかないので、JSをサーバーサイドで実行させてその結果を取得する方法を検討。
サーバーサイドJSというとNode.jsとかが思いつきますが、スクレイピング向けライブラリの下記を見つけた。
こいつでやってみるか!!
【Googleトレンド】 【Casperjs】の関連記事
- 【Googleトレンド】【Casperjs】急上昇中キーワードをスクレイピングで取得 (1) -検討編 – For Want Of A Better Word
- 【Googleトレンド】【Casperjs】急上昇中キーワードをスクレイピングで取得 – (2) Casperjsのインストール – For Want Of A Better Word
- 【Googleトレンド】【Casperjs】急上昇中キーワードをスクレイピングで取得 – (3) Casperjsの利用 – For Want Of A Better Word
- 【Googleトレンド】【Casperjs】急上昇中キーワードをスクレイピングで取得 – (4) Casper動くもGoogleトレンドのバグ?にはまる – For Want Of A Better Word
関連記事
-
-
SEO_メモ_WEB担当フォーラム「SEOのエキスパート5人にいろいろ聞いてみた 2014」
タイトルに釣られて読んだ。気になった所メモ。 「SEOのエキスパート5人にいろい …
-
-
Googleのクロスサイトスクリプティング勉強ページに挑戦
https://xss-game.appspot.com/ むむむ、なんとかLe …
-
-
【Googleトレンド】【Casperjs】急上昇中キーワードをスクレイピングで取得 – (4) Casper動くもGoogleトレンドのバグ?にはまる
casperjsで値を取るため 念のためもう一回埋め込み用のタグからURLを確認 …
-
-
Google Developerコンソール プロジェクトの削除
プロジェクトを選択して左下 課金と設定(Billing & Setti …
-
-
GoogleDriveで画像編集 /フリーの画像編集ツール
Photshopじゃないとできない魔法のような写真加工ではなく、画像にメモとか書 …