非公開ページのクロール | x3ru9x | sa.yona.la help | tags | register | sign in

非公開ページのクロール

reply

 非公開ページ(メモとか) は、Internet Ninja というソフトでurlを与えてクロールしている。

このダウンロードソフトで "ブラウザを経由して取り込み" に設定すれば、非公開でもログインしているサイトなら取り込める。 そのあとの検索は、秀丸でgrep。(grepしてから元ページをwebブラウズモードで開くまでをマクロ化)

 というか sayonalaのページは通し番号なんで、秀丸でurlを生成して全部バックアップしている。 非公開ページもこれに入っている。

posted by x3ru9x | reply (0) | trackback (0)

Trackback URL:
api | terms of service | privacy policy | support Copyright (C) 2017 HeartRails Inc. All Rights Reserved.