大家好，如何把网站源码分享都下载下来相信很多的网友都不是很明白，包括怎么把网站源代码下载下来也是一样，不过没有关系，接下来就来为大家分享关于如何把网站源码分享都下载下来和怎么把网站源代码下载下来的一些知识点，大家可以关注收藏，免得下次来找不到哦，下面我们开始吧！
爬虫脚本把这个小说网上的几乎所有小说都下载到了本地，一共27000+本小说，一共40G。
自此，大功告成，打包发了过去。另外说一句，百度云真坑，每次上传数量有限制，分享给朋友文件数量有限制，分享的文件夹大小也有限制，害的我还得整成压缩版才能分享。
下载界面
源码展示：
printresponse.read()\n18excepturllib2.URLError,e:\n19ifhasattr(e,”code”):\n20printe.code\n21ifhasattr(e,”reason”):\n22printe.reason\n23\n24html=response.read().decode(‘utf-8’)\n25printitems\n29\n30foriteminitems:\n31try:\n32book_auther=item[0].encode(‘gbk’)\n33book_size=item[1].encode(‘gbk’)\n34book_updatetime=item[2].encode(‘gbk’)\n35book_link=item[3].encode(‘gbk’)\n36book_name=item[4].encode(‘gbk’)\n37book_note=item[5].encode(‘gbk’)\n38\n39book_full_link=webroot+book_link请求地址\n42try:\n43request=urllib2.Request(book_full_link,headers=headers)\n44response=urllib2.urlopen(request,timeout=180)\n45excepturllib2.URLError,e:\n46ifhasattr(e,”code”):\n47printe.code\n48ifhasattr(e,”reason”):\n49printe.reason\n50html=response.read().decode(‘utf-8’)\n51downtxt\n58try:\n59request=urllib2.Request(down_link[0].encode(‘utf-8′),headers=headers)\n60response=urllib2.urlopen(request,timeout=180)\n61excepturllib2.URLError,e:\n62ifhasattr(e,”code”):\n63printe.code\n64ifhasattr(e,”reason”):\n65printe.reason\n66try:\n67fp=open(book_name+’.txt’,’w’)\n68exceptIOError,e:\n69pattern=re.compile(‘<strong>.*?>(.*?)<.*?</strong>’,re.S)\n70book_name=re.findall(pattern,book_name)\n71fp=open(book_name[0]+’.txt’,’w’)\n72print’startdownload’\n73fp.write(response.read())\n74print’downfinish\\n’\n75fp.close()\n76exceptException,e:\n77print’该条目解析出现错误，忽略’\n78printe\n79print”\n80fp=open(‘error.log’,’a’)\n81fp.write(‘page:’+str(page)+’\\n’)\n82fp.write(item[4].encode(‘gbk’))\n83#fp.write(e)\n84fp.write(‘\\nThereisanerrorinparsingprocess.\\n\\n’)\n85fp.close()\n
ps：在学习python过程有不懂的，需要python教程，电子书籍，开发工具等，可以关注我头条号，私信我”python资料”几个字免费领取，24小时在线！
OK，本文到此结束，希望对大家有所帮助。