用户工具

站点工具


web:crawler.pdnovel
urls=[]
url='http://bbs.xlongwei.com/pdnovel.php?mod=list'
urls.push(url)
lastPage=parseInt($("div.storelistbottom a").eq(-2).text())
for(page=2;page<=lastPage;page++){
  urls.push(url+'&page='+page)
}
data={}
data['info']={lastPage:lastPage}
crawl = {'urls':urls,data:data}
urls=[]
data={}
url='http://bbs.xlongwei.com/'
$('span.swbt a').each(function(idx,a){
  href=url+$(this).attr('href')
  urls.push(href)
  //data['a-'+idx]={
  //  text:$(this).text(),
  //  href:$(this).attr('href')
  //}  
})
crawl = {'urls':urls,data:data}
urls=[]
data={}
url='http://bbs.xlongwei.com/'
$("div.contentlist").each(function(index,volumn){
  $(this).find("a").each(function(idx,a){
  href=url+$(this).attr('href')
  urls.push(href)
  data['a-'+idx]={
    text:$(this).text(),
    href:$(this).attr('href')
  }
  })
})
crawl = {'urls':urls,data:data}
urls=[]
data={}
data.title=$('h1.headtitle').text()
data.content=$('#showcontent').text()
crawl = {'urls':urls,data:data}
web/crawler.pdnovel.txt · 最后更改: 2019/11/26 10:24 由 admin