在笔者爬取了上百个网站总结发现爬虫其实就2项工作：进行访问，或者可以点击浏览器右侧的设置按钮->选择界面左侧的搜索引擎->选择百度搜索引擎）。当然用别的浏览器，比如火狐浏览器等都是可以的，只要它按F12(有的电脑要同时按住左下角的Fn键)能弹出网页源代码即可。

以谷歌浏览器为例来演示下F12的强大作用，百度搜索“阿里巴巴”，然后按一下F12（有的电脑还得同时按住Fn），弹出如下页面，其中点击右侧设置按钮可以切换布局样式。

这个按住F12弹出来的东西叫做开发者工具，是进行数据挖掘的利器，对于爬虫来说，大多数情况下只需要会用下图的这两个按钮即可。

第一个按钮箭头形状按钮为选择按钮，第二个Elements按钮为元素按钮。

点击一下它，发现它会变成蓝色，然后把鼠标在页面上移动移动，会发现页面上的颜色机会发生改变。如下图所示，当移动鼠标的时候，会发现界面上的颜色会发生变化，并且Elements里的内容就会随之发生变化。

下面当选择按钮处于蓝色状态的时，点击一下第一个链接的标题，这时候选择按钮再次变成灰色，而Elements里的内容也将不再变动，此时便可以观察具体的网页源代码内容了，如下图所示，我们一般只关心里面的所需要的中文内容，如果没有看到中文文本，店家下图所示的三角箭头，即可展开内容，看到中文文本。

Elements元素按钮里面的内容可以理解为就是网站的源码，最后爬虫爬到的内容大致就是长这个样子的。下面就要接着完成一些“神奇”的操作。

在下图“1688”那个地方鼠标双击俩下，这两个字变成可编辑的格式。

将其改成“测试”，可以看到第一个的标题发生了改变，如下图所示：

还可以用同样的操作，修改页面上的其他信息，如股价等。

还可以用同样的操作，先选择选择按钮，点击下面的阿里股价：

用同样的方法可以在Elements里将这个数字改成所想改的数据，如下图所示：

通过F12启动开发者工具，我们可以对网页结构有一个初步的认识，并可以利用选择按钮和“Elements”元素按钮观察我们想获取的内容在源码中的文本格式以及所在位置。

补充知识点1：查看网页源码的另一个方式

除了F12，另一个获取网页源码的方式是在网页上右击选择“查看网页源代码”，就可以获取这个网址的源代码，这个基本就是Python爬取到的最终信息。用鼠标上下滚动，就能看到很多内容，同样初学者不需要关心那些英文或者网页框架，只需要知道想获取的中文在哪里即可。

这个方法比F12观察源码的方式更加真实，因为F12观察到的源码可能是被网页修饰过的，通过Python获取到内容可能和F12看到的不一致。通过该方法查看到的源码就是通过Python程序能够获取到的网页源代码。实战中常将两种方法联合使用：通过F12进行初步了解，然后右击查看网页源代码，看看所需内容到底在网页源代码的什么位置，其中可以通过Ctrl + F快捷键搜索所需要的内容。

此外，如果F12看到的内容和通过右击查看网页源代码看到的内容很不一样，这是因为网站做了动态渲染的处理（这是一种反爬处理），这时候就需要用到/'

研究seo的一定很了解下面这些返回码的含义了，对于这些不是很熟悉的朋友也应该了解一下基本的比如200是请求成功，301重定向，404找不到等等。下面首先会介绍一下百度对于各个状态吗的处理逻辑。百度spider对常用的http返回码的处理逻辑是这样的：404404返回码的含义是“NOTFOUND”，百度会认为网页已经失效，那么通常会从搜索结果中删除，并且短期内spider再次发现这条url也不会抓取