大家好，今天来为大家解答怎么抓取一个网站源码分享这个问题的一些问题点，包括想抓取网站的信息怎么做也一样很多人还不知道，因此呢，今天就来为大家分析分析，现在让我们一起来看看吧！如果解决了您的问题，还望您关注下本站哦，谢谢~
一、背景介绍
dirsearch是一个基于python的命令行工具，旨在暴力扫描页面结构，包括网页中的目录和文件。
dirsearch拥有以下特点：
多线程、可保持连接、支持多种后缀（-e|–extensionsasp,php）、生成报告（纯文本，JSON）、启发式检测无效的网页、递归的暴力扫描、支持HTTP代理、用户代理随机化、批量处理、请求延迟、扫描器与字典、字典必须是文本文件，除了使用特殊的％EXT％之外，其余每行都会被处理。
网站敏感信息包括如下：
后台目录：弱口令，万能密码，爆破
安装包：获取数据库信息，甚至是网站源码
上传目录：截断、上传图片马等
mysql管理接口：弱口令、爆破，万能密码，然后脱裤，甚至是拿到shell
安装页面：可以二次安装进而绕过
phpinfo：会把你配置的各种信息暴露出来
编辑器：fck、ke、等
iis短文件利用：条件比较苛刻windows、apache等
提到了网站敏感目录我们就不得不提robots.txt文件了
robots.txt文件是专门针对搜索引擎机器人robot编写的一个纯文本文件。我们可以在这个文件中指定网站中不想被robot访问的目录。这样，我们网站的部分或全部内容就可以不被搜索引擎收录了，或者让搜索引擎只收录指定的内容。因此我们可
以利用robots.txt让Google的机器人访问不了我们网站上的重要文件，GoogleHack的威胁也就不存在了。
二、资源装备
1.安装好KaliLinux的虚拟机一台；
2.主机虚拟机一个；
3.整装待发的小白一个。
三、渗透攻防
3.1在线渗透测试网站介绍，如下图所示。
3.2在KaliLinux中查看dirsearch脚工具是否安装，如下图所示。
命令：dirsearch（直接在KaliLinux中输入命令运行，看是否成功推出。）
3.3在KaliLinux中下载dirsearch脚本工具，如下图所示。
命令：gitclonehttps://github.com/maurosoria/dirsearch
3.4查看下载（clone）下载的dirsearch脚本工具的文件夹，如下图所示。
命令：ls-l
如下图所示，当前目录存在了一个名为dirsearch的文件夹。
3.5查看python脚本文件（dirsearch.py），如下图所示。
命令：ls-l
3.6利用dirsearch.py脚本对3.1提供的测试网站进行测试，如下图所示。
命令:python3dirsearch.py-utestphp.vulnweb.com-e*
-h,–help查看帮助-uURL,–url=URL设置url-LURLLIST,–url-list=URLLIST设置url列表-eEXTENSIONS,–extensions=EXTENSIONS网站脚本类型-wWORDLIST,–wordlist=WORDLIST设置字典-l,–lowercase小写-f,–force-extensions强制扩展字典里的每个词条-sDELAY,–delay=DELAY设置请求之间的延时-r,–recursiveBruteforcerecursively递归地扫描
3.7dirsearch.py敏感文件扫描结果保存目录，如下图所示。
目录：/root/dirsearch/reboots/
3.8查看扫描到的敏感信息，如下图所示。
命令：cat文件名
3.9扫描到的敏感文件如下图所示。
3.10查看敏感信息网页，如下图所示。
查看方法：复制URl到物理机浏览器
直接选择URl在kali浏览器打开。
关于怎么抓取一个网站源码分享，想抓取网站的信息怎么做的介绍到此结束，希望对大家有所帮助。