大家好,今天来为大家分享食品网站源码分享的一些知识点,和食品相关的网站的问题解析,大家要是都明白,那么可以忽略,如果不太清楚的话可以看看本篇文章,相信很大概率可以解决您的问题,接下来我们就一起来看看吧!
导语
很久以前写过一个美团美食板块的小爬虫:
Python爬取美团美食板块商家数据
本文相关源代码+python学习资料,关注,转发,私信小编”01″即可获取!
其实早就已经失效了,但还是经常有人来问我为什么代码用不了了。既然大家这么感兴趣,那我就重新写下吧。说不定哪天做旅游攻略的时候也可以用下呢。废话不多说,让我们愉快地开始吧~
开发工具
Python版本:3.6.4
相关模块:
requests模块;
argparse模块;
pyquery模块;
jieba模块;
pyecharts模块;
wordcloud模块;
以及一些Python自带的模块。
环境搭建
安装Python并添加到环境变量,pip安装需要的相关模块即可。
原理简介
前期准备:
因为我想让这个小爬虫可以爬取美团上任意城市美食板块的数据,但是每个城市的URL是不一样的,其格式为:
https://{城市拼音缩写}.meituan.com/\n
不同的城市需要不同的URL来构造请求从而爬取我们所需要的数据,于是现在的问题就变成了:如何获取所有城市对应的城市拼音缩写呢?
其实很简单,点击网页上的切换城市按钮:
然后查看网页源代码:
于是我们很easy地就可以爬取所有城市对应的城市拼音缩写了,代码实现如下:
爬虫主程序:
现在随便切换到一个城市,以杭州为例。简单抓个包,可以发现美食商家的数据可以通过请求下图这个URL获得:
其构造方式为上图红框框出的baseURL加上下图所示的一堆参数:
其中变量为:
其他均为不变量,直接copy过来就行了。前面两个变量很明显是什么,就不多说了。变量uuid在网页源代码里就能找到:
至于_token,稍微麻烦一点。考虑到_token结尾出现了=,所以猜测是base64编码,但是解码后发现是一堆16进制ASCII码,所以考虑原数据是先进行二进制压缩然后base64编码的。反向操作一波,发现果然是这样的:
全局搜索找生成相关参数的源代码:
一顿分析之后就可以开始写_token生成的代码了,具体如下:
OK,知道了baseURL,获得了所有参数,我们就可以愉快地写主程序了:
其中解析返回的json数据的函数如下:
一些细节和tricks就不细说了。
AllDone!完整源代码详见相关文件。
数据可视化
按惯例随手可视化一波,以抓取的杭州美食数据为例吧(这里只爬取了前50页),省的重新爬了。
先来搞个词云玩玩吧,用爬到的所有商家名/商家地址来搞个词云:
然后我们假设美食性价比的定义为(这个假设很可能是不合理,这里只是为了方便自己做下简单的数据分析随便假设了一下。):
性价比=评论数量x平均得分/平均价\n
于是我们可以得到”杭州性价比最高的十家店”为(只是个小例子,不供参考,如有雷同,不胜荣幸。):
OK,就这样吧,突然不想敲代码了(任性.jpg)。完整源代码详见相关文件。
使用方式
数据爬取:
在cmd窗口运行main.py文件即可,命令格式为:
pythonmain.py-p需要爬取的页数-c城市\n
效果截图如下:
可视化分析:
在cmd窗口运行analysis.py文件即可
OK,关于食品网站源码分享和食品相关的网站的内容到此结束了,希望对大家有所帮助。
