抓取网页源代码body数据不在源代码怎么办?

POSCMS投诉 解决中 / 已回 火车头采集文章无法发布怎么解决呀发布失败,错误信息:网页源代码:页面未找到 5 0 火车头采集文章无法发布怎么解决呀 发布失败,错误信息: 网页源代码: 页面未找到

404

当前访问的页面不存在

返回的Header: HTTP/1.1 404 Not Found Content-Type:text/html; charset=utf-8 Server:Microsoft-IIS/7.5 X-Powered-By:PHP/5.4.45,ASP.NET Date:Mon, 29 Apr 2019 06:39:13 GMT Content-Length:1300 }
翻译自:https://medium.com/@_bl4de/how-to-perform-the-static-analysis-of-website-source-code-with-the-browser-the-beginners-bug-d674828c8d9a翻译:聂心明 在这个手册中,我将展示如何用web浏览器的内置工具去分析客户端的源码。这可能就会有一些奇怪的声音,可能浏览器不是执行这个任务最好的选择,但是在你更深入之前,我们打开Burp Suite来拦截一下http的请求,或者在这里或者用alert(1)去寻找无尽的xss,首先去了解你的目标总是很好的主意 这篇文章主要面向的是那些对HTML和JavaScript代码没有经验或经验很少的赏金猎人,但是我希望更有经验的黑客也能发现其中有趣的东西。我最近的一篇介绍基本操作的推文获得了社区很多的关注后,我就觉得应该写一篇这样的文章了。 这个简单的想法其实冰山的一角,如果我把这些小技巧全都发到推特上,那么其他人会很容易错过,所以我决定收集这些小技巧,然后把他们写成博客。我希望你们能找到一些有用的东西。好了,让我们开始吧 每一个现代浏览器都会内置开发者工具,为了启动他们,你可以使用Ctrl+Shift+I, CMD+Option+I (macOS),F12键或者在浏览器右边的菜单选项--这依靠你所使用的操作系统和浏览器。虽然在这篇文章中,我使用的是最新版本的Chromium,如果你使用Firefox, Safari, Chrome or Edge,他们除了UI,其他的没有什么不同。你可以随便选择你喜欢的浏览器,但是你会发现Chrome 开发者工具是最强大(Chrome开发者工具或者轻量级开发工具可以兼容Chrome, Chromium, Brave, Opera 或者其他基于Chromium 内核的浏览器)你要安装好IDE(集成开发环境)或者任何一款带html和JavaScript代码高亮的编辑器。这些都是基于你自己的喜好,但是我发现Visual Studio Code特别好用(顺便说明,我用VSCode做所有的事情,包含我在我的工作中也会使用)。你可以用下面这个链接来下载适合你系统的VSCodehttps://code.visualstudio.com/ 安装NodeJS也是一个很不错的主意(只要经常用它就会越来越熟悉的--在互联网确实有成千上万的资源)。比较好用的在 https://nodejs.org/en/ python对我来说也是一个必备工具(如果你使用基于*NIX的系统,你就有机会去使用它,并且它已经安装好了。如果你是windows用户,你必须自己手动安装Python)。能用Python写代码的能力是无价的,并且我建议那些从来没有写过代码的人可以试着使用一下Python 对于在终端中运行和测试JavaScript代码NodeJS是非常有用的(你也可以在浏览器中实现,但是我们稍后会谈论到它们的优点和缺点)。你可以用Python创建你自己的脚本工具,这些工具可以很快的验证漏洞也可以实际的去利用它--我也会在这篇文章中展示我自己的工具。如果你解释其他的解释型语言(像 Ruby, PHP, Perl, Bash等),你也可以使用它们。上面这些语言的主要好处在于它们不用编译就可以运行,也可以直接用命令行把它们执行起来。它们可以百分之百的跨平台,而且你可以使用网络上的很多库和模块。OK,现在终于都弄清楚了 让我们回到刚才我引用的那个推文上去。你可能会注意,截屏的网页似乎没有内容,似乎仅仅是空白页面。但是你要看网页的源代码(用CTRL+U 或者在mac上用CMD+Option+U)你会看到大量的代码(不幸的是,我不能提供截屏中的那个网站的url,因为那是一个众测项目的私有项目)。为什么那些元素不会展现在浏览器中?重要的事情是,有些HTML标签不会在页面中展现任何东西,HTML中有很多这样的标签,我在这里举一些基本的例子, , , 如果你在浏览器中打开这样的html页面,它不会显示任何东西并且你也不会从中看到任何东西。但是当你查看源码的时候,你会发现很多有趣的东西。 这里面有很多有价值的信息:urls指向了内部的资源,带有登录框页面的隐藏框架,甚至诊断信息中带有认证信息,而这些信息可以显示开发者工具的console中。虽然这个页面中没有显示任何东西。当然,你不要指望你会在每一个网站上面发现这些信息,可是在常见的情况中,很多JavaScript代码是被注释掉的,有时你能通过这些代码发现那些仍然可以被访问的服务器端api接口。但是如果只查看源代码的话不会看到所有的东西,因为它只会呈现当前的HTML文档,被