大家好,今天小编来为大家解答以下的问题,关于记录网站源码分享,网页记录器这个很多人还不知道,现在让我们一起来看看吧!
2.安装pywin32
在Windows系统中搭建Scrapy的环境,有两个第三方库不能用常规方法安装,一个是lxml,另外一个就是pywin32。这两个第三方库都不建议使用pip命令安装,均可以采用.exe安装包进行安装。
3.创建虚拟环境Virtualenv
由于在之后的Twisted和Scrapy安装中,会附带安装大量的依赖库,而这些库仅在Scrapy中会用到,平常的开发中几乎不会用。所以把他们安装到系统中,会导致python系统的混乱,而且发布爬虫时,也不便于导出涉及的依赖库文件。
因此我们使用Virtualenv创建一个虚拟的python环境来安装Scrapy剩下的部分。
Virtualenv是Python的一个第三方库,使用它可以创造Python的虚拟环境。使用普通方法就可以安装Virtualenv:
pipinstallvirtualenv
要让Virtualenv使用系统Python环境下的第三方库,就需要在CMD中使用下面的命令来创建虚拟环境:
virtualenv–always-copy–system-site-packagesvenv
创建虚拟环境后,可以使用以下的命令来激活虚拟环境:
venv\\scripts\\avtivate
不要关闭这个窗口,接下来的所有操作都要在这里进行。
4.安装Twisted和Scrapy
在刚才的窗口中使用pip命令进行安装即可,分别是:
pipinstalltwisted
pipinstallscrapy
好了,关于记录网站源码分享和网页记录器的问题到这里结束啦,希望可以解决您的问题哈!
