大家好,今天小编来为大家解答以下的问题，关于百度企业网站源码分享，百度网页源码这个很多人还不知道，现在让我们一起来看看吧！
考虑到现在大部分小伙伴使用Python主要因为爬虫，那么为了更好地帮助大家巩固爬虫知识，加深对爬虫的理解，选择了爬取百度文库作为我们的目标。
废话不多说，我们开始。
TXT、DOCX爬取与保存
这是小编准备的python基础学习资料,关注，转发，私信小编“01”即可免费领取！
在爬取任何东西之前，我们都要先确认需要爬取的数据是不是异步加载的；如果是异步加载的直接爬取网页是爬不到的。
要知道是不是异步加载其实很简单，就用requests对网页发起请求，看看response是什么就可以了
url=&39;\nheader={&39;:&39;}\nres=requests.get(url,headers=header)\nres.text\n\n
很明显，返回的东西，并不是我们所需要的内容；根据常理来说，我们就可以认为该网页是异步加载的。
但是，从常识来讲，如果网页的内容是异步加载的，那么直接通过百度搜索，是搜索不到网页内部的内容的，但是很显然，我们每次通过百度搜索都是可以直接找到文库中的文本内容的。
如下:
那么这就有意思了，明明直接发起请求是获取不到网页内容的，但是为什么通过百度搜索就可以找到呢？关键肯定在于百度搜索上面。
这个时候通过查阅资料，我们了解到，最主要的问题出在我们的headers
在爬取网页时，headers通常是作为身份证，让网页不看出我们是爬虫；如果不加headers，网页直接就会看出我们是爬虫，就会拒绝访问
再深入了解一下headers的识别机理，我们发现了叫做Robot协议的东西。
它规定了什么样的headers可以访问网页内部内容，除了指定headers之外的headers，都是无法请求页面内容的。
比如说百度文库的Robot协议就是下面这样的：
User-agent:Baiduspider\n\nDisallow:/w?\n\nDisallow:/search?\n\nDisallow:/submit\n\nDisallow:/upload\n\nDisallow:/cashier/\n
而我们需要爬取的内容url格式为
https://wenku.baidu.com/view/?.html
这代表Baiduspider应该可以爬取文库内容；大致猜测这是因为百度搜索时需要根据文本内容匹配搜索选项，所以放行。
因此我们尝试伪装UA为Baiduspider
url=&39;\nheader={&39;:&39;}\nres=requests.get(url,headers=header)\nres.text\n
果然不出所料，我们成功地获取到了目标内容
既然已经成功获取到了网页的正确源代码，那么下一步就是去解析网页获取内容。
解析网页源代码的库有很多，这里我们使用BeautifulSoup
plist=[]\nsoup=BeautifulSoup(r,&34;)\nplist.append(soup.title.string)\nfordivinsoup.find_all(&39;,attrs={&34;:&34;}):\nplist.extend(div.get_text().split(&39;))\nplist=[c.replace(&39;,&39;)forcinplist]\nplist=[c.replace(&39;,&39;)forcinplist]\nplist\n
整个解析是非常容易的，都是很标准的操作。
在这里就不多加叙述了，最终的效果如下：
当然爬取到东西了只是万里长征的第一步，就这样是肯定不行的，我们还需要将爬取的内容保存起来，通常是保存为txt文件
file=open(&39;,&39;,encoding=&39;)\nforstrinplist:\nfile.write(str)\nfile.write(&39;)\nfile.close()\n
但是为了美观起见，我们在这里选择使用python-docx库将内容保存为docx文件
withopen(&39;,encoding=&39;)asf:\ndocu=Document()\ndocu.add_paragraph(f.read())\ndocu.save(&39;)\n
PPT、PDF爬取与保存
有了之前的经验教训，在爬取的时候我们首先就尝试了使用爬取TXT、DOCX的方法，尝试是否可以爬到内容
url=&39;\nheader={&39;:&39;}\nres=requests.get(url,headers=header)\nres.text\n
很可惜的是，我们并没有访问到
原因仔细想想也很简单，在百度搜索的时候，直接搜索是搜不到PPT或者PDF的内容的
那么很显然，PPT和PDF是通过异步的方法进行内容加载的
对待异步加载的数据，我们通常采取的策略有两种
1、第一个就是直接找到发起异步请求的接口，自己构造请求头，发起请求
2、第二个就是通过Selenium这样的自动化测试工具去爬取
百度文库的接口太难找了，请求头的构造也很麻烦，找了很久也没有很满意。
所以在本次爬取中，我们使用的是第二种方法，使用Selenium这样的自动化测试工具
这里我们需要下载ChromeDriver这个插件，当然这里是默认大家使用的是Chrome浏览器，如果是其他的浏览器，firefox，safari等等，直接去网上找到相应Driver就可以了。
这里给出ChromeDriver的下载地址
http://npm.taobao.org/mirrors/chromedriver/
大家一定要下载和自己Chrome浏览器版本一致的ChromeDriver，不然程序是运行会报错
我们先不急着马上开始爬取，我们先来尝试使用一下Selenium调用ChromeDriver
importrequests\nfromseleniumimportwebdriver\nurl=&39;\ndriver=webdriver.Chrome(r&39;)\ndriver.get(url)\n
怎么样，是不是浏览器自动打开了?现在我们尝试输出这个driver，就可以看见，网页的正确源代码已经在里面了
现在我们仔细研究一下源代码就可以看到，我们需要的内容在下面这个位置
现在正确的源代码也有了，内容的位置也知道了，直接解析，爬取，完事就好了。
想得美，经过这样的爬取之后，对内容进行解析，让我们看看究竟爬到没有
fromlxmlimportetree\nimportre\nhtml=etree.HTML(driver.page_source)\nlinks=html.xpath(&39;reader-pic-item&34;)\npart=re.compile(r&39;)\nqa=&34;.join(links)\nz=part.findall(qa)\nz\n
我们可以知道，其实我们只爬到3张PDF，其他的都没有爬到。
这是为什么呢？
这是百度文库为了防止大家去爬，专门设置的一个小机关
返回百度文库，我们仔细看看源代码，其实我们可以发现，随着页面的变化，源代码是不断改变的，每次都只有3张图片的url。
并且这个页码数也有一定的规律，如果在第二页，那么图片就是1，2，3，如果在第三页，图片就是2，3，4
那么我们的疑惑一下就解决了，只需要不断地进行换页的爬取，就可以了
接下来就是如何实现换页的操作了
这个需要两个步骤，先是点击继续阅读，然后进行页面输入实现换页。
先实现点击的操作，代码如下：
button=driver.find_element_by_xpath(&39;html-reader-go-more&34;)\nbutton.click()\ndriver.execute_script(&34;,button)\n
整个操作是通过JS来进行的，大家可以把这个记住，以后需要点击的时候直接用就可以
然后就是输入页面实现换页，这个其实涉及的比较多，细分的话，步骤分为获取总页数，依次输入页面并点击。
importre\n39;<spanclass=&34;>/(.*?)</span>&输入页面并点击\ndriver.find_element_by_class_name(&34;).clear()\ndriver.find_element_by_class_name(&34;).send_keys(&39;)\ndriver.find_element_by_class_name(&34;).send_keys(Keys.ENTER)\n
如果小伙伴成功实现了上面的操作，其实大体的爬取工作已经差不多了，接下来就是保存我们的PPT和PDF了
因为爬取PDF和PPT的时候，我们是爬取的图片的源地址，那么我们要获得这张图片并保存下来就必须对这个地址发起请求，然后将返回头以二进制保存下来。
forminrange(3):\npic=requests.get(z[m]).content\nfile=open(f&39;,&39;)\nfile.close()\n39;./照片/{m+1}.jpg&39;wb&34;F:/TEST&34;test&39;jpg&39;.&39;/&39;.jpg&34;P&34;./{filename}.pdf&34;PDF&编写winform简易的GUI，调用爬虫的Python代码
C34;&34;C:\\Users\\zll\\Desktop\\baidu\\CSharpCallPython\\bin\\Debug\\&的debug文件夹中可以这样操作）\nstringpath=System.AppDomain.CurrentDomain.SetupInformation.ApplicationBase+sArgName;\n\n//没有配环境变量的话，可以像我这样写python.exe的绝对路径。如果配了，直接写&34;即可\n//p.StartInfo.FileName=@&34;;\np.StartInfo.FileName=@py;\nstringsArguments=path;\n\nforeach(stringsigstrinteps)\n{\nsArguments+=&34;+sigstr;//传递参数\n}\n\nsArguments+=&34;+args;\n\np.StartInfo.Arguments=sArguments;\np.StartInfo.UseShellExecute=false;\np.StartInfo.RedirectStandardOutput=true;\np.StartInfo.RedirectStandardInput=true;\np.StartInfo.RedirectStandardError=true;\np.StartInfo.CreateNoWindow=true;\n\np.Start();\np.BeginOutputReadLine();\np.OutputDataReceived+=newDataReceivedEventHandler(p_OutputDataReceived);\nConsole.ReadLine();\np.WaitForExit();\n}\n
对输入的内容进行简单判断，如果不是百度文库地址或不是python.exe地址，报错
if(!url.Contains(&34;))\n{\nMessageBox.Show(&34;);\nlbl_state.Text=&34;;\n}\nelseif(!py.Contains(&34;))\n{\nMessageBox.Show(&34;);\nlbl_state.Text=&34;;\n}\nelse\n{\n//输入参数列表\nString[]strArr=newString[]{url,istxt};\nstringsArguments=@&34;;//这里是python的文件名字\nRunPythonScript(sArguments,py,&34;,strArr);\nif(result.Contains(&34;))\nlbl_state.Text=&34;;\nelseif(result.Contains(&34;))\nlbl_state.Text=&34;;\n}\n
因为GUI部分比较简单，这里就不过多描述了。
百度企业网站源码分享和百度网页源码的问题分享结束啦，以上的文章解决了您的问题吗？欢迎您下次再来哦！