【Googleトレンド】【Casperjs】急上昇中キーワードをスクレイピングで取得 – (3) Casperjsの利用
2015/04/19
## インストールはこちら
大雑把な使い方を下記で確認。
[クイックスタート]http://docs.casperjs.org/en/latest/quickstart.html
[APIリファレンス] http://casperjs.readthedocs.org/en/latest/modules/
【基本】対象のページでのDOM操作の基本
1 2 3 4 5 6 7 8 9 10 11 12 |
var url = "http://example.com" var casper = require('casper').create(); //初期化 casper.start(url, function() { var text = this.evaluate(function(){//ページ上で実行したいDOM操作を記述 return document.getElementById("DOMのID").innerHTML; //innerHTMLをtextに返す }); this.echo(text) //textをエコー }); casper.run(function() { // 処理実行 this.echo('Done.').exit() ; //Doneメッセージを出力して終了 }); |
①対象のページをファイルに保存
#sample
1 2 3 4 5 6 7 8 9 10 |
var url = "http://example.com"; var casper = require('casper').create(); //初期化 casper.start(url, function() { this.download(url, '保存するファイル名'); }); casper.run(function() { // 処理実行 this.exit(); }); |
②-1対象のページのHTMLを取得(casperjsのコマンド版)
1 2 3 4 5 6 7 8 9 10 |
var url = "http://example.com"; var casper = require('casper').create(); //初期化 casper.start(url, function() { this.echo(this.getHTML()); //HTML全体を取得してecho }); casper.run(function() { // 処理実行 this.exit(); }); |
②-2対象のページのHTMLを取得(DOM操作版)
1 2 3 4 5 6 7 8 9 10 11 12 |
var url = "http://example.com"; var casper = require('casper').create(); //初期化 casper.start('url', function() { var text = this.evaluate(function(){ return __utils__.getElementByXPath('/html').innerHTML; }); this.echo(text) }); casper.run(function() { // 処理実行 this.echo('Done.').exit() ; //メッセージを出力して終了 }); |
しかし全然やりたいことが出来ねー!!全体読み込んでも、急上昇中の欲しいデータが入ってねーよ!!
一回挫折
【Googleトレンド】 【Casperjs】の関連記事
- 【Googleトレンド】【Casperjs】急上昇中キーワードをスクレイピングで取得 (1) -検討編 – For Want Of A Better Word
- 【Googleトレンド】【Casperjs】急上昇中キーワードをスクレイピングで取得 – (2) Casperjsのインストール – For Want Of A Better Word
- 【Googleトレンド】【Casperjs】急上昇中キーワードをスクレイピングで取得 – (3) Casperjsの利用 – For Want Of A Better Word
- 【Googleトレンド】【Casperjs】急上昇中キーワードをスクレイピングで取得 – (4) Casper動くもGoogleトレンドのバグ?にはまる – For Want Of A Better Word
関連記事
-
-
[js]JSONPについて整理
JSONPについて整理。 Contents1 JSONPとは2 な …
-
-
【Googleトレンド】【Casperjs】急上昇中キーワードをスクレイピングで取得 (1) -検討編
特定カテゴリの急上昇中キーワードを取得して、自分のサイトに表示したい。その時、自 …
-
-
【Javascript】グラフ・チャート描画用のjsライブラリまとめ
ちょっとWEBでグラフを描画しようと思いまして、jsのライブラリを物色。 色々サ …
-
-
Googleのクロスサイトスクリプティング勉強ページに挑戦
https://xss-game.appspot.com/ むむむ、なんとかLe …
-
-
【SEO】Google検索結果順位とクリック率の関係
WEBマスターツールを見ていてちょっと気になったので1-10位毎の平均クリック率 …