很多朋友对于房屋出租网站源码分享和房屋出租好的网站不太懂,今天就由小编来为大家分享,希望可以帮助到大家,下面一起来看看吧!
大数据文摘经授权发布
项目开发者:柯振旭
又是一年n度的找房高峰期,各种租赁信息眼花缭乱,如何快速、高效的找到靠谱的房子呢?
不堪忍受各个租房网站缭乱的信息,一位技术咖小哥哥最近开发了一个基于Scrapy的爬虫项目,聚合了来自豆瓣,链家,58同城等上百个城市的租房信息,统一集中搜索感兴趣的租房信息,还突破了部分网站鸡肋的搜索功能。
通过这个“秘密武器”,这位技术咖已经使用该爬虫找到合适的住所。
不仅如此,还很无私地整理了项目代码,并放上了Github。
Github链接:
https://github.com/kezhenxu94/house-renting
点击“阅读原文”可查看项目介绍,在大数据文摘后台回复“租房”可下载源代码~
接下来,跟着文摘菌一起来看看这波酷炫的操作。
环境部署
Python版本:Python2||Python3
爬虫框架:Scrapy
操作系统:Mac||Linux||Windows
服务引擎:Docker
获取源码
$gitclonehttps://github.com/kezhenxu94/house-renting\n$cdhouse-renting\n
在大数据文摘后台回复“租房”可下载源代码~
启动服务
使用Docker(推荐)
$docker-composeup–build-d\n
环境及版本:MacDockerCE版,具体版本号为Version18.03.1-ce-mac65(24312)。
为了方便用户使用该项目,作者提供了部署本项目所需要用到的服务的docker-compose.yml文件,但由于Docker本身的局限性,导致在Windows非专业版上必须使用DockerToolbox并因此带来了许多问题,详细参考:
http://support.divio.com/local-development/docker/how-to-use-a-directory-outside-cusers-with-docker-toolbox-on-windowsdocker-for-windows
如果你遇到这样的问题,可以在这里给提Issue,如果你遇到并自己解决了这样的问题,欢迎在这里提PullRequest帮助优化该项目!
Issue:
https://github.com/kezhenxu94/house-renting/issues
PullRequest:
https://github.com/kezhenxu94/house-renting/pulls
手动部署(不推荐)
安装Elasticsearch5.6.9和Kibana5.6.9并启动
下载并安装Elasticsearch和Kibana,下载地址为:
https://www.elastic.co/downloads/past-releases
安装Redis并启动
下载并安装Redis,下载地址为:
https://redis.io/download
在crawler/house_renting/settings.py文件中配置相关的主机和端口:
默认为None,不会去重REDIS_PORT=6379……\n
选择需要从58同城扒取的城市:
打开crawler/house_renting/spider_settings/a58.py文件,按照注释提示完成城市选择:
只需要在这个列表中添加以下available_cities中的城市,如果只需要扒取一个城市也需要使用一个括号包围,如(u’广州’)\ncities=(u’广州’,u’北京’)\n扒取豆瓣\n$scrapycrawllianjia扒取58同城\n
到这里,恭喜你!房屋信息已经成功爬取到了,一起来看看爬取结果吧!
查看结果
看图选房
爬虫运行扒取到数据后会有house_renting/data目录被创建,其中的images文件夹下载了租房信息中的图片,用户可以使用图片浏览器查看该文件夹中的图片,看到合适的房子图片后,使用图片文件名到Kibana中搜索,找到相应的租房信息详情。
搜索关键字
打开浏览器,定位到http://127.0.0.1:5601(请根据Docker的IP相应更改Kibana对应的URL地址)。
设置索引模式
在下图中的Indexpattern输入框中输入house_renting,然后按下TAB键,Create按钮会变为可用状态,此时点击Create按钮;如果此时Create按钮还不能用,是因为爬虫还没有扒取到数据入Elasticsearch,需要多等一会儿,如果长时间这样,需要检查爬虫服务是否启动成功。
切换到Discover页面
添加字段
按时间排序
搜索一个关键字
搜索多个关键字
展开详细信息
温馨提示
如果环境配置正确,运行结果不正确,原因有可能是网站做了升级,读者朋友们可以去项目介绍页面更新代码后再次尝试。作者会根据业余时间和精力不断更新项目,感兴趣的朋友可以持续关注哦。
点击“阅读原文”可查看项目介绍,在大数据文摘后台回复“租房”可下载源代码~
关于本次房屋出租网站源码分享和房屋出租好的网站的问题分享到这里就结束了,如果解决了您的问题,我们非常高兴。
