【Googleトレンド】【Casperjs】急上昇中キーワードをスクレイピングで取得 – (3) Casperjsの利用
2015/04/19
## インストールはこちら
大雑把な使い方を下記で確認。
[クイックスタート]http://docs.casperjs.org/en/latest/quickstart.html
[APIリファレンス] http://casperjs.readthedocs.org/en/latest/modules/
【基本】対象のページでのDOM操作の基本
1 2 3 4 5 6 7 8 9 10 11 12 |
var url = "http://example.com" var casper = require('casper').create(); //初期化 casper.start(url, function() { var text = this.evaluate(function(){//ページ上で実行したいDOM操作を記述 return document.getElementById("DOMのID").innerHTML; //innerHTMLをtextに返す }); this.echo(text) //textをエコー }); casper.run(function() { // 処理実行 this.echo('Done.').exit() ; //Doneメッセージを出力して終了 }); |
①対象のページをファイルに保存
#sample
1 2 3 4 5 6 7 8 9 10 |
var url = "http://example.com"; var casper = require('casper').create(); //初期化 casper.start(url, function() { this.download(url, '保存するファイル名'); }); casper.run(function() { // 処理実行 this.exit(); }); |
②-1対象のページのHTMLを取得(casperjsのコマンド版)
1 2 3 4 5 6 7 8 9 10 |
var url = "http://example.com"; var casper = require('casper').create(); //初期化 casper.start(url, function() { this.echo(this.getHTML()); //HTML全体を取得してecho }); casper.run(function() { // 処理実行 this.exit(); }); |
②-2対象のページのHTMLを取得(DOM操作版)
1 2 3 4 5 6 7 8 9 10 11 12 |
var url = "http://example.com"; var casper = require('casper').create(); //初期化 casper.start('url', function() { var text = this.evaluate(function(){ return __utils__.getElementByXPath('/html').innerHTML; }); this.echo(text) }); casper.run(function() { // 処理実行 this.echo('Done.').exit() ; //メッセージを出力して終了 }); |
しかし全然やりたいことが出来ねー!!全体読み込んでも、急上昇中の欲しいデータが入ってねーよ!!
一回挫折
【Googleトレンド】 【Casperjs】の関連記事
- 【Googleトレンド】【Casperjs】急上昇中キーワードをスクレイピングで取得 (1) -検討編 – For Want Of A Better Word
- 【Googleトレンド】【Casperjs】急上昇中キーワードをスクレイピングで取得 – (2) Casperjsのインストール – For Want Of A Better Word
- 【Googleトレンド】【Casperjs】急上昇中キーワードをスクレイピングで取得 – (3) Casperjsの利用 – For Want Of A Better Word
- 【Googleトレンド】【Casperjs】急上昇中キーワードをスクレイピングで取得 – (4) Casper動くもGoogleトレンドのバグ?にはまる – For Want Of A Better Word
関連記事
-
-
[js]JSONPについて整理
JSONPについて整理。 Contents1 JSONPとは2 な …
-
-
【メモ】Google Analyticsのリアルタイムで参照元がノーリファラー、 ソースの(not set)が増えている気がする。
ここ2か月ぐらいかな。 でも、集計されたデータを見ると、過去からあんまり変わって …
-
-
【サクッと始める】PHPでGoogle Analytics API(WEBアプリケーション)
注意 ①本記事で使っているGoogleAPI用PHPライブラリ「google-a …
-
-
SEO_メモ_WEB担当フォーラム「SEOのエキスパート5人にいろいろ聞いてみた 2014」
タイトルに釣られて読んだ。気になった所メモ。 「SEOのエキスパート5人にいろい …
-
-
メモメモ mod_pagespeedのキャッシュクリア
http://d.hatena.ne.jp/puchiban/20121223/ …