老铁们，大家好，相信还有很多朋友对于图像识别网站源码分享有哪些和图像识别 app的相关问题不太懂，没关系，今天就由我来为大家分享分享图像识别网站源码分享有哪些以及图像识别 app的问题，文章篇幅可能偏长，希望可以帮助到大家，下面一起来看看吧！
优质文章，第一时间送达！
GNE（GeneralNewsExtractor）是一个通用新闻网站正文抽取模块，输入一篇新闻网页的HTML，输出正文内容、标题、作者、发布时间、正文中的图片地址和正文所在的标签源代码。GNE在提取今日头条、网易新闻、游民星空、观察者网、凤凰网、腾讯新闻、ReadHub、新浪新闻等数百个中文新闻网站上效果非常出色，几乎能够达到100%的准确率。
使用方式非常简单：
fromgneimportGeneralNewsExtractorextractor=GeneralNewsExtractorhtml=’网站源代码’result=extractor.extract(html)print(result)
GNE的输入是经过js渲染以后的HTML代码，所以GNE可以配合Selenium或者Pyppeteer使用。
下图是GNE配合Selenium实现的一个Demo：
对应的代码为：
importtimefromgneimportGeneralNewsExtractorfromselenium.webdriverimportChromedriver=Chrome(‘./chromedriver’)driver.get(‘https://www.toutiao.com/a6766986211736158727/’)time.sleep(3)extractor=GeneralNewsExtractorresult=extractor.extract(driver.page_source)print(result)
下图是GNE配合Pyppeteer实现的Demo：
对应代码如下：
importasynciofromgneimportGeneralNewsExtractorfrompyppeteerimportlaunchasyncdefmain:browser=awaitlaunch(executablePath=’/Applications/GoogleChrome.app/Contents/MacOS/GoogleChrome’)page=awaitbrowser.newPageawaitpage.goto(‘https://news.163.com/20/0101/17/F1QS286R000187R2.html’)extractor=GeneralNewsExtractorresult=extractor.extract(awaitpage.content)print(result)input(‘检查完成以后回到这里按下任意键’)asyncio.run(main)
如何安装GNE
现在你可以直接使用pip安装GNE了：
pipinstallgne
如果访问pypi官方源太慢，你也可以使用网易源：
pipinstallgne-ihttps://mirrors.163.com/pypi/simple/
安装过程如下图所示：
功能特性
在extract方法只传入网页源代码，不添加任何额外参数时，GNE返回如下字段：
title：新闻标题
publish_time：新闻发布时间
author：新闻作者
content：新闻正文
images:正文中的图片（相对路径或者绝对路径）
可能有些朋友希望获取新闻正文所在标签的源代码，此时可以给extract方法传入with_body_html参数，设置为True：
extractor=GeneralNewsExtractorextractor.extract(html,with_body_html=True)
返回数据中将会增加一个字段body_html，它的值就是正文对应的HTML源代码。
运行效果如下图所示：
总是返回图片的绝对路径
默认情况下，如果新闻中的图片使用的是相对路径，那么GNE返回的images字段对应的值也是图片相对路径的列表。
如果你想始终让GNE返回绝对路径，那么你可以给extract方法增加host参数，这个参数的值是图片的域名，例如：
extractor=GeneralNewsExtractorextractor.extract(html,host=’https://www.kingname.info’)
这样，如果新闻中的图片是/images/pic.png，那么GNE返回时会自动把它变为https://www.kingname.info/images/pic.png。
GNE预定义了一组XPath和正则表达式用于提取新闻的标题。但某些特殊的新闻网站可能无法提取标题，此时，你可以给extract方法指定title_xpath参数，用于提取新闻标题：
extractor=GeneralNewsExtractorextractor.extract(html,title_xpath=’//title/text’)
某些新闻下面可能会存在长篇大论的评论，这些评论看起来比新闻正文“更像”正文，为了防止他们干扰新闻的提取，可以通过给extract方法传入noise_node_list参数，提前把这些噪声节点移除。noise_node_list的值是一个列表，里面是一个或多个XPath：
extractor=GeneralNewsExtractorextractor.extract(html,noise_node_list=[‘//div[@class=”comment-list”]’,’//*[@style=”display:none”]’])
API中的参数title_xpath、host、noise_node_list、with_body_html除了直接写到extract方法中外，还可以通过一个配置文件来设置。
请在项目的根目录创建一个文件.gne，配置文件可以用YAML格式，也可以使用JSON格式。
YAML格式配置文件
title:xpath://title/texthost:https://www.xxx.comnoise_node_list:-//div[@class=”comment-list”]-//*[@style=”display:none”]with_body_html:true
JSON格式配置文件
{“title”:{“xpath”:”//title/text”},”host”:”https://www.xxx.com”,”noise_node_list”:[“//div[@class=”comment-list”]”,”//*[@style=”display:none”]”],”with_body_html”:true}
这两种写法是完全等价的。
配置文件与extract方法的参数一样，并不是所有字段都需要提供。你可以组合填写你需要的字段。
如果一个参数，既在extract方法中，又在.gne配置文件中，但值不一样，那么extract方法中的这个参数的优先级更高。
FAQ
GNE不是爬虫，它的项目名称GeneralNewsExtractor表示通用新闻抽取器。它的输入是HTML，输出是一个包含新闻标题，新闻正文，作者，发布时间的字典。你需要自行设法获取目标网页的HTML。
GNE现在不会，将来也不会提供请求网页的功能。
GNE不支持翻页。因为GNE不会提供网页请求的功能，所以你需要自行获取每一页的HTML，并分别传递给GNE。
不小于Python3.6.0
GNE是基于HTML来提取正文的，所以传入的HTML一定要是经过JavaScript渲染以后的HTML。而requests和Scrapy获取的只是JavaScript渲染之前的源代码，所以无法正确提取。
另外，有一些网页，例如今日头条，它的新闻正文实际上是以JSON格式直接写在网页源代码的，当页面在浏览器上面打开的时候，JavaScript把源代码里面的正文解析为HTML。这种情况下，你在Chrome上面就看不到Ajax请求。
所以建议你使用Puppeteer/Pyppeteer/Selenium之类的工具获取经过渲染的HTML再传入GNE。
原文链接：https://juejin.im/post/5e0c7c546fb9a047f66eafea
好了，关于图像识别网站源码分享有哪些和图像识别 app的问题到这里结束啦，希望可以解决您的问题哈！