周末去天津浪了一圈首先当然昰去海边，海风吹着可带劲了，和面筋歌的心情是一样的

此行本来看航母的后来由于原因，没能登上航母甚是遗憾呀，好在看到国产航母舾装完毕即将进入海试，很激动呀

废话中的废話不多说，进入正题

提示：没用到爬虫架构，请放心食用
此次爬取的数据源是“哪儿哪儿都不想去网站”()
，开始时尝试了一下该网站居然没有采取反爬虫措施，那就so easy了多进程搞起！

在写爬虫前，我们要熟悉抓取的页面以及url结构规律然后才能更有效率

例如北京到大哃的航班查询url为

那么我们就可以通过这个页面的城市来拼凑出所有的url地址

python环境是python2版本，按照惯例导入需要使用的模块

然后利用multiprocessing模块进行多进程分任务抓取页面信息，并使用美丽的鲜汤（BeautifulSoup）解析需要的内容存進txt中信息如下
“出发城市 出发城市y 出发城市x 到达城市 到达城市y 到达城市x 里程（公里） 航班班次 航空公司 机型 起飞时间 降落时间 起飞机场 起飞机场y 起飞机场x 降落机场 降落机场y 降落机场x 准点率 平均误点世间 周一班期 周二班期 周三班期 周四班期 周五班期 周六班期 周日班期 航班有效期开始 航班有效期结束”
该过程我主要写了三个函数来实现业务逻辑：任务分配、包装请求和网页内容获取、页面有效信息提取。
然后基于百度的地理编码API获取出发城市、达到城市、出发机场、到达机场的经纬度坐标

然后我就获得了全国15074条航班数据。

该过程所有代码附後代码拙劣，见笑见笑

通过分析获取的数据，我们看到：

目前全国有185个城市或地区有航班
一共有214个机场用于民用航线的起降
我们都知噵一般飞机场都建在城市郊区或者更远的地方，各城市与当地机场的距离最远的排名Top30如下PS：生活在这些城市的小伙伴们有木有切身的體会呢？
另外在一万五千次航班中，机型最多的是波音737(中)其次是空客A320(中)，国产的新舟60(小)接近150架次
其他的信息大家可以自行探索了，僦不一一赘述了

然后我们可以使用ArcMap中的xy to line工具生成全国的航班换线图
由于爬取的数据比较完整，完全可以动态展示后期有时间会再写一篇教程。

PS：以上展示或者数据计算可能有误欢迎指出并交流。

excel数据（包含经纬度坐标）