master
1scrapy shell
2links = hxs.select('//html/body/div/a/@href').extract()
3fetch("http://bl.ocks.org"+hxs.select('//html/body/p[2]/aside/a/@href').extract()[0])
4for link in links : fetch(link); os.system ("wget -E -H -k -K -p" + "http://bl.ocks.org" + hxs.select('//html/body/p[2]/aside/a/@href').extract()[0])
5 for link in links : print link; fetch(link); url = "http://bl.ocks.org"+hxs.select('//html/body/p[2]/aside/a/@href').extract()[0]; print url; os.system ("wget -E -k -K -p -nc " + url); break;