非公開ページのクロール | x3ru9x | sa.yona.la ヘルプ | タグ一覧 | アカウント登録 | ログイン

非公開ページのクロール

返信

 非公開ページ(メモとか) は、Internet Ninja というソフトでurlを与えてクロールしている。

このダウンロードソフトで "ブラウザを経由して取り込み" に設定すれば、非公開でもログインしているサイトなら取り込める。 そのあとの検索は、秀丸でgrep。(grepしてから元ページをwebブラウズモードで開くまでをマクロ化)

 というか sayonalaのページは通し番号なんで、秀丸でurlを生成して全部バックアップしている。 非公開ページもこれに入っている。

投稿者 x3ru9x | 返信 (0) | トラックバック (0)

このエントリーへのトラックバックアドレス:
API | 利用規約 | プライバシーポリシー | お問い合わせ Copyright (C) 2018 HeartRails Inc. All Rights Reserved.