Java でスクレイピング


Javaでクローラを実装する
http://qiita.com/petitviolet/items/e3b850fece36a176bf97

jsoup使い方メモ 
http://qiita.com/opengl-8080/items/d4864bbc335d1e99a2d7

Spring Boot と Spring Integration を使用したクローラ
http://qiita.com/sunny4381/items/94d3ddec57ec88cd7af3

annotation-config と component-scan の違い

以下参考ページ
  • http://sethuramanmurali.wordpress.com/2013/09/15/difference-between-and-annotation-config-and-component-scan/
  • http://goldenpackagebyanuj.blogspot.jp/2013/08/difference-between-contextannotation-config-vs-contextcomponent-scan.html
  • http://renidev.javabolivia.com/2009/02/02/how-to-use-springs-context-component-scan-and-annotation/
  • http://www.mkyong.com/spring/spring-auto-scanning-components/ 
  • http://d.hatena.ne.jp/tanakakns/20120613/1339573480

html文字化けテスト用の文字列

以下の文字列を入力してみる。
以下、参考ページ
http://www.betatechnology.jp/pp/index.php?%E6%96%87%E5%AD%97%E3%82%B3%E3%83%BC%E3%83%89#e1fa7b3e

perl 使えるモジュール

コマンドオプション
コマンドオプション2

linux 使えるコマンド

重いプロセスを調べる

Windows 7 proxyの設定および確認

http://win.just4fun.biz/Windows%E8%A8%AD%E5%AE%9A%E9%96%A2%E9%80%A3/%E3%83%97%E3%83%AD%E3%82%AD%E3%82%B7%E7%B5%8C%E7%94%B1%E3%81%AEWindows%20Update%E3%81%8C%E3%81%A7%E3%81%8D%E3%81%AA%E3%81%84%E5%A0%B4%E5%90%88%E3%81%AE%E5%AF%BE%E5%87%A6.html#c77791fb

phantomjs casperjs をローカルに設置する

nstalling PhantomJS and CasperJS
CasperJS を Mac OS X にインストールする
PhantomJSのメモいろいろ

phantomjs download
AjaxなページもPhantomJS, CasperJS, SpookyJSでいい感じにクローリングできるようにしてSEOする
Network Monitoring
PhantomJS入門 : PhantomJSでTumblrメンバー招待URLを取得する