JSPIDERとはJAVAでできたスパイダーツールです。
J2SDK １．４以上で動きます。
インストールはアーカイブダウンロード後、解凍するだけ。
export JSPIDER_HOME=/opt/jspider/base.properties, skip.properties
設定ファイル変更
JSPIDER_HOME/conf/download/site
site.robotstxt.fetch=true
site.robotstxt.obey=true
↓
site.robotstxt.fetch=false
site.robotstxt.obey=false
/opt/jspiderbin//jspider.sh http://www.sexpixbox.com/tokyosecret/avlist/ download
INFO [mod.plugin.diskwriter.DiskWriterPlugin] Wrote ../output/./www.sexpixbox.c
om/tokyosecret/avlist/images/devi/10_lg.jpg
INFO [core.Spider] Stopped spider workers…
INFO [core.Spider] Stopped thinker workers…
[Plugin]
SPIDERING SUMMARY :
known urls …………. : 999
visited urls ……….. : 460
parsed urls ………… : 115
parse ignored urls ….. : 345
parse error urls ……. : 0
not visited urls ……. : 539
fetching ignored urls .. : 538
forbidden urls ……… : 0
fetch error urls ……. : 1
not yet visited urls .. : 0
[Plugin] Spidering Stopped
INFO [core.Spider] Spidering done!
INFO [core.Spider] Elapsed time : 823396
ダウンロードが終わったらこんな風に表示されます。
本日始めて最後まで稼動させてみました！
JSPIDER 実行
投稿者: