For Want Of A Better Word

【Googleトレンド】【Casperjs】急上昇中キーワードをスクレイピングで取得 (1) -検討編

      2015/04/19

特定カテゴリの急上昇中キーワードを取得して、自分のサイトに表示したい。その時、自分のサイトの関連記事・あるいは検索結果を出すということをしてみたひ。。

単純にガジェットを埋め込むだけなら、Googleさんがスクリプトを提供してくれているのだけれど、キーワードと上昇率のjsonだけとかが欲しいなーと。。。
んでだ。

対応策

①検索結果のWEBサイトをスクレイピングしてみようかと。

 とりあえずwgetしたけど、JS表示部分はだめでした。
PHP PearのHTTP/client.phpを取得しても同じ。
ということでスクレイピングはだめ。

②埋め込み用のjsの中身を見て、実際にデータを取得しているリクエストを確認して、その部分だけをやってみる。

tamper Dataを除いてリクエストを確認。下記がデータ取得っぽいと思ったが。。

http://www.google.co.jp/trends/fetchComponent?hl=ja&cat=0-44&geo=JP&cmpt=q

URL直接打ち込むと「Internal Server Error」おいGoogle!!

断念。

③あんまり思いつかないので、JSをサーバーサイドで実行させてその結果を取得する方法を検討。

サーバーサイドJSというとNode.jsとかが思いつきますが、スクレイピング向けライブラリの下記を見つけた。

こいつでやってみるか!!

続きはここから

 - casperjs, google, googleanalytics, javascript | js, スクレイピング

  関連記事

[js][GoogleAnalytics]GoogleAnalyticsのデフォルトのスクリプトについて調査

googleAnalyticsで貼り付けるスクリプトの中身ってなにやっているの& …

【Googleトレンド】【Casperjs】急上昇中キーワードをスクレイピングで取得 – (4) Casper動くもGoogleトレンドのバグ?にはまる

casperjsで値を取るため 念のためもう一回埋め込み用のタグからURLを確認 …

【Javascript】グラフ・チャート描画用のjsライブラリまとめ

ちょっとWEBでグラフを描画しようと思いまして、jsのライブラリを物色。 色々サ …

【メモ】Google Analyticsのリアルタイムで参照元がノーリファラー、 ソースの(not set)が増えている気がする。

ここ2か月ぐらいかな。 でも、集計されたデータを見ると、過去からあんまり変わって …

Googleのクロスサイトスクリプティング勉強ページに挑戦

https://xss-game.appspot.com/ むむむ、なんとかLe …