【Googleトレンド】【Casperjs】急上昇中キーワードをスクレイピングで取得 – (3) Casperjsの利用

2013/09/25 2015/04/19

## インストールはこちら
大雑把な使い方を下記で確認。
[クイックスタート]http://docs.casperjs.org/en/latest/quickstart.html
[APIリファレンス]　http://casperjs.readthedocs.org/en/latest/modules/

【基本】対象のページでのDOM操作の基本

var url = "http://example.com"
var casper = require('casper').create(); //初期化
casper.start(url, function() {
    var text = this.evaluate(function(){//ページ上で実行したいDOM操作を記述
        return document.getElementById("DOMのID").innerHTML; //innerHTMLをtextに返す
    });
    this.echo(text) //textをエコー
});

casper.run(function() { // 処理実行
    this.echo('Done.').exit() ; //Doneメッセージを出力して終了
});

var url = "http://example.com"

var casper = require('casper').create(); //初期化

casper.start(url, function() {

var text = this.evaluate(function(){//ページ上で実行したいDOM操作を記述

return document.getElementById("DOMのID").innerHTML; //innerHTMLをtextに返す

});

this.echo(text) //textをエコー

});

casper.run(function() { // 処理実行

this.echo('Done.').exit() ; //Doneメッセージを出力して終了

});

①対象のページをファイルに保存

#sample

var url = "http://example.com";
var casper = require('casper').create(); //初期化

casper.start(url, function() {
    this.download(url, '保存するファイル名');
});

casper.run(function() { // 処理実行
    this.exit();
});

var url = "http://example.com";

var casper = require('casper').create(); //初期化

casper.start(url, function() {

this.download(url, '保存するファイル名');

});

casper.run(function() { // 処理実行

this.exit();

});

②-1対象のページのHTMLを取得(casperjsのコマンド版)

var url = "http://example.com";
var casper = require('casper').create(); //初期化

casper.start(url, function() {
    this.echo(this.getHTML()); //HTML全体を取得してecho
});

casper.run(function() { // 処理実行
    this.exit();
});

var url = "http://example.com";

var casper = require('casper').create(); //初期化

casper.start(url, function() {

this.echo(this.getHTML()); //HTML全体を取得してecho

});

casper.run(function() { // 処理実行

this.exit();

});

②-2対象のページのHTMLを取得(DOM操作版)

var url = "http://example.com";
var casper = require('casper').create(); //初期化

casper.start('url', function() {
    var text = this.evaluate(function(){
        return __utils__.getElementByXPath('/html').innerHTML;
    });
    this.echo(text)
});
casper.run(function() { // 処理実行
    this.echo('Done.').exit() ; //メッセージを出力して終了
});