Python 爬虫遇到形如 小说 的编码如何转换为中文？_问答_ThinkSAAS
Python 爬虫遇到形如 小说 的编码如何转换为中文？
Python 爬虫遇到形如 小说 的编码如何转换为中文？
&dt&学科主题:&/dt&
&dd&&a href="openlink.php?keyword=%E9%95%BF%E7%AF%87%E5%B0%8F%E8%AF%B4"&长篇小说&/a&-中&#x56-当代&/dd&
&dl class="booklist"&
&dt&中图法分类号:&/dt&
&dd&&a href="openlink.php?coden=I247.5"&I247.5&/a&&/dd&
&dl class="booklist"&
&dt&提要文摘附注:&/dt&
&dd&小说中的主&#x4公，正是因为当年盗墓的爷爷&#x4赘杭&#x5而&#x8在杭&#x5，开了一家小的古董&#x94子，守护着那群长沙土夫子&#x4古墓不知名怪物捭中&#x62命抢&#x51的战&#x56帛书……&/dd&
如何解决？
不行，django只提供了数据库的ORM
不行，django不负责这个
# tested under python3.4
def convert(s):
s = s.strip('&#x;') # 把'长'变成'957f'
s = bytes(r'u' + s, 'ascii') # 把'957f'转换成b'u957f'
return s.decode('unicode_escape') # 调用bytes对象的decode，encoding用unicode_escape，把b'u957f'从unicode转义编码解码成unicode的'长'。具体参见codecs的文档
print(convert('长')) # =& '长'
print(re.sub(r'&#x....;',
lambda match: convert(match.group()),
全文替换后的结果：
&dt&学科主题:&/dt&
&dd&&a href="openlink.php?keyword=%E9%95%BF%E7%AF%87%E5%B0%8F%E8%AF%B4"&长篇小说&/a&-中国-当代&/dd&
&dl class="booklist"&
&dt&中图法分类号:&/dt&
&dd&&a href="openlink.php?coden=I247.5"&I247.5&/a&&/dd&
&dl class="booklist"&
&dt&提要文摘附注:&/dt&
&dd&小说中的主人公，正是因为当年盗墓的爷爷人赘杭州而身在杭州，开了一家小的古董铺子，守护着那群长沙土夫子从古墓不知名怪物捭中拼命抢出的战国帛书……&/dd&
# for python2.7
def convert(s):
return ''.join([r'u', s.strip('&#x;')]).decode('unicode_escape')
ss = unicode(ss, 'gbk') # convert gbk-encoded byte-string ss to unicode string
print re.sub(r'&#x....;', lambda match: convert(match.group()), ss)
这个是charref, HTML 的解析库都可以处理好, 不需要手工处理.
Python 标准库有 HTMLParser(html.parser in Python 3)
第三方库推荐
添加你想要问的问题
PHP开发框架
开发工具/编程工具
服务器环境
ThinkSAAS商业授权：
ThinkSAAS为用户提供有偿个性定制开发服务
ThinkSAAS将为商业授权用户提供二次开发指导和技术支持
让ThinkSAAS更好，把建议拿来。
开发客服微信[清远8-12万] 00:06:00
MG5是一款定位时尚且低价的紧凑运动汽车，其填补了MG品牌紧凑级两厢市场的空白。近日，小编从清远地区MG经销商处获悉，现购MG5精英版MT优惠现金1.2万再加送1000元油卡+1800元上牌费+3000礼包+6000元按揭基金。...
600)this.width=600;" /> [查看全文]
[亳州优惠促销] 10:39:21
马自达CX-5钜惠2万元 欢迎赏鉴...
600)this.width=600;" /> [查看全文]
[郑州12-18万] 10:33:44
编辑从河南锦程荣威店了解到，店内荣威W5优惠高达5.61万，送新车大礼包。感兴趣的朋友不妨在页面下方留下您的联系电话，或直接到店咨询，咨询热线400-637-1242，来电时说明是在太平洋汽车网上看到的网友，会享受更大的优惠哦。...
600)this.width=600;" /> [查看全文]
[遵义SUV] 10:27:25
奥迪Q5偏重时尚、外观大气，市场热度非常高，作为关注度一直位居前列的高端SUV，全国经销商均供应紧缺，一般预订要等半年左右。近日，编辑从遵义驰奥奥迪店内奥迪Q5(进口)有少量现车，近期购车优惠高达9万。...
600)this.width=600;" /> [查看全文]
[佛山SUV] 10:21:43
近日，编辑从佛山骏领雷克萨斯店内了解到，雷克萨斯NX现车销售，颜色可选，目前购车部分车型可优惠0.6万元，电话详询:400-682-1505。...
600)this.width=600;" /> [查看全文]
[国产新车快讯] 10:20:36
日前我们从相关途径获得了宝骏310旅行版车型??宝骏310W的申报信息。根据其申报信息显示，宝骏310W将搭载1.5L自然吸气发动机，最大输出功率82kW(111PS)。...
600)this.width=600;" /> [查看全文]
[咸阳12-18万] 10:14:00
近日，太平洋汽车网咸阳分站编辑从咸阳尚乘起亚4S店了解到，咸阳地区起亚K5最高降2万，部分车型需要预订，颜色可选，起亚K5具体优惠行情请见下表，欲知咸阳起亚K5更多优惠详情不妨拨致电咸阳尚乘起亚4S店免费咨询热线（文章上方经销商400电话），或加入太平洋汽车网咸阳购车QQ群:【】提及太平洋汽车网您会得到更多的服务！...
600)this.width=600;" /> [查看全文]
[潍坊车市点评] 10:03:39
宝马5系让利高达13.77万 欢迎垂询...
600)this.width=600;" /> [查看全文]
[通辽优惠促销] 09:35:44
瑞虎5平价销售8.88万起...
600)this.width=600;" /> [查看全文]
[成都优惠促销] 09:35:09
2014款宝马5系紧跟老对手奔驰E级的步伐，在外观及配置上有了更进一步的提升。今日，编辑从成都中宝宝马店内了解到，宝马5系店内现车充足，近期购车优惠高达8.26万。...
600)this.width=600;" /> [查看全文]
内外兼修，传祺gs5改装车灯，体会驾驶的真正乐趣[传祺GS5论坛] 09:53:49
本人爱车是传祺gs5，相信GS5车主对本车的灯光亮度一定有意见，经常跑夜路的我，每次跑几个小时下来，聚精会神之外还要睁大双眼，真的是头昏脑涨啊！改装灯含有一定的安全隐患，这也是广大车主不敢贸然动手的主要原因，所以对灯具的配套、等等很多的问题，所以我选择去专业的改装店，本人是商丘人，在当地的一家专业的改装店进行了改装，给大家分享一下改装小过程！
轮胎戳爆了？让我教你5步换轮胎的方法[大迈X5论坛] 09:52:43
轮胎戳爆了 让我教你5步换轮胎的方法 第一步：当遇到轮胎爆胎或者需要临时更换备胎时，请先将车辆行驶到安全地带，切莫在公路中央更换备胎。应选择水平路面的安全位置停车，如果是在高速公路上则要停在应急车道，将换挡杆拨到空挡（手动挡）或P挡（自动挡），拉起手刹并按下车辆危险报警提示灯（双闪灯）。之后在车辆后方50米码放好三角警示牌，如果是在高速公路上则需要在车后100米码放三角警示牌。 第二步：从行李厢中取出备胎、轮胎扳手和千斤顶。 第三步：...
优惠1.5万 ！大众polo降价直销 PK本田飞度[大众Polo论坛] 09:51:54
外观方面，新POLO一改原来可爱的的造型设计，换上了大众全新家族式前脸，极具攻击性，一眼看去很像高尔夫6，相信这是每个人的第一感觉。而在尺寸方面，新POLO的长宽高分别为3970mm、1682mm以及1453mm，轴距为2470mm。与老款车型相比，新POLO高度下降，长度、宽度、轴距增加，这种改动方案让车身看起来更加矫健。 优惠1.5万 ！大众polo降价直销 PK本田飞度 内饰方面，全新POLO的内饰设计明显可以看到新GOLF的影...
昂克赛拉 cx5是一家，小昂改装led阅读灯出现闪频，请各位前辈帮忙[马自达CX-5论坛] 08:31:47
16款昂克赛拉1.5自豪版本，某东购买了欧司朗31mm尺寸的led阅读灯，装好后发现如果用总开关打开或者关闭，灯泡正常亮或灭。把总开关调整到自动模式，解锁车子或者打开车门也是正常亮，问题是，如果单独打开或者关闭某一个灯，就会出现频闪，或者不亮，拍了视频，请懂的朋友帮帮忙。已排除接触不良的可能性。 视频地址 /v_show/id_XMjUyNjI4OTIyOA==.html?sharefrom=ipho...
大神们，5档
2000转的时候可以跑多少码？[风光330论坛] 08:06:53
2016款宝马X5-3.5i，全时四驱/白色米白笼/无匙进入[二手市场] 22:31:37
2016款宝马X5-3.5i，全时四驱/白色米白笼/无匙进入/无匙启动/启停功能/七彩室内气氛灯/5??门电吸/全景大天窗/后独立空调/Harman/Kardon/高级音响/变道辅助/电尾盖/倒车影像/四条全新胎/顶级配置/加州靓车 东莞黄江安格汽贸进口车行、本公司经营多年高中低档、 轿车、 SUV、 跑车 、商务车、 均为裸车、 免税车 、车况完美、 价格公道 大家心里都明白，一个发动机钱就可以开回去一辆全新高档车。特别实惠 是你创业...
2012年路虎揽胜行政版5.0T 、白外米白内[二手市场] 22:20:20
2012年路虎揽胜行政版5.0T 、白色、米白内、无匙、5镜头、超车辅助、电动脚踏板、桃木方向盘、三电视 、4电动座椅底盘升降、火烧云、顶级配置， 敬请关注 微信 / Tel :158=175=666=86.
2012年宝马X5 3.0T 黑色黄笼[二手市场] 22:17:20
2012年宝马X5 3.0T 黑色黄笼 无匙进入 无匙启动 四驱 侧窗帘 前后座椅加热。方向盘加热 全景天窗 后独立空调 倒车影像 前后车距雷达 电动尾门 后排窗帘， 敬请关注 微信 / Tel :158=175=666=86.
2011帕萨特升级改装mib6.5[帕萨特论坛] 22:03:50
2017年到来了，新的一年我就要给广大车友带来新的福利喽，我这个人就是爱车如友啊，在这个快速发展的社会，科技在进步，人类文明在进步，只有大众汽车的配置不进步，你说气人不气人，吐槽下大众，你说中国作为大众汽车第一销售大国，他不给我们国人面子。在车的配置上总是掉链子， 其实改导航也是一时兴起，我这人就这样说走就走，说做就做。不墨迹。经过我仔细的研究终于搞明白了，现在改装mib的问题！ 咱们就讲讲MIB吧！ MIB 分三个版本，5寸 6.5 ...
2000转，60码，不知道这是正常吗？[风光330论坛] 21:38:02
风光330 5档 2000转，60码，不知道这是正常吗？
豪车实拍 改装 FB MM 八卦
汽车广告 新车 新闻 活动用户名/邮箱/手机号
记住我的登录状态
用其他帐号登录
没有55帐号？&&&&&& & 正文 879新闻发布会
879新闻发布会
&&&&“唉！”两个妇女保镖叹息一声，面对这个小男人真是没办法。&－》&&&&西门宇看了会电视，电视中的新闻里播放着几乎同样的新闻。&&&&现在美国各个城市，几乎都在搞游行示威，要求政府为近三万的死者一个交代，要求政府想办法，惩罚元凶西门宇，要求美国的强者们站出来主持公道。&&&&西门宇看着新闻中几万几十万的游行示威民众，撇嘴道：“一帮无知的群众，你以为修炼界的强者会在乎你们普通百姓的想法！”&&&&不过，美国政府确实感到很大的压力。&&&&中午时分，独眼队长把事情办好了。&&&&美国上百家主流媒体来到了某某大厦的一楼大厅。&&&&而且，总统奥特马也带了十几个最高领导人来了，召开新闻发布会，关于这次战争灾难的事。&&&&奥特马面对许多的记者道：“各位记者朋友们，大家下午好。今天，是自从战难发生后，美国政府官方首次集体亮相，今天请那么多媒体朋友们来，就是商讨关于这次战难的大事。”&&&&一记者问道：“奥特马先生，现在无数的民众游行，要求惩办侩子手西门宇，这次召开记者见面会，有关于西门宇的消息吗？”&&&&奥特马道：“请大家不要着急，这是必然的。之前美国复仇者联盟的强者抓到了西门宇，要求西门宇就此事做出道歉和赔款，但西门宇拒绝了。”&&&&一个记者怒道：“吗的，他有什么权利拒绝，为什么不让复仇者联盟杀掉他！”&&&&奥特马道：“修炼界的事，我们有很多不了解的，不是直接杀掉西门宇就可以的。不过，还好，终于有一个强者站出来了，他就是天主圣殿的圣男，克鲁尼克！”&&&&“啊，克鲁尼克？天主圣男？”&&&&“对，他要向西门宇发出生死挑战，为死者讨回公道。下面，请大家用热烈的掌声欢迎天主圣男到来！”&&&&“啪啪啪！”&&&&天主圣男从门口进来，对大家挥了挥手，闪光灯拼命在他身上闪着。&&&&西门宇也从后面跟了上去，那个独眼队长带着西门宇来的。&&&&天主圣男拿着麦克风道：“各位记者朋友大家好，我是天主圣男克鲁尼克，这次被西门宇杀了近三万士兵，我身为美国人，也感到非常的沉痛。可是，那孙子居然一点也没悔意，我实在看不过去，于是，我决定，当着全国媒体的面，向他发出生死决战。我要把他当众斩了，给所有美国民众一个交代，给三万死者们一个安慰。”&&&&“啪啪啪！”掌声经久不绝，大家一下就把天主圣男的形象上升为民族英雄去了。&&&&一记者问到：“你好，天主圣男，这毕竟是两个人之间的决战，你确定能够斩杀西门宇？”&&&&天主圣男咬牙道：“请大家对自己的同胞有点信心，我这次是天主圣殿亲自派我来的，让我为大家主持公道，斩杀西门宇。连我圣殿的长老们都对我充满了信心，还有做不到的吗！”&&&&“啪啪啪！”&&&&天主圣男拿出两张纸，展示给大家看，并且说道：“这是两份生死协议书，上面有美国政府的盖章，现在，我分别在这两张上签下我的名字，意味着我同意协议书上写的，生死自负！”&&&&说完，天主圣男咬破手指，用自己的血在上面签下自己的名字。&&&&闪光灯拼命的闪着，摄像头也不断的记录着，这播出去后，定然会成为美国一个特大新闻。&&&&   &&&&天主圣男把两张生死协&#x8书&#x62给西门宇道：“西门宇，如果你敢接受我的生死挑战的&#x8，请你在上面签名！如当着媒体的面，恭恭敬敬的给死者和死者家属&#x4磕三万个&#x54头。”&&&&“&#x54！”西门宇一&#x54，也&#x54破手指，在上面签下他的大名：西门宇。&&&&天主圣男再次把两&#x4生死协&#x8书展示给众&#x4看。&&&&这时，一个记者采&#x8西门宇：“西门宇，你杀死了那么多无辜的美军，你此刻有何感想？”&&&&西门宇撇嘴道&#;无辜了？在我看来，&#x90是该死！”&&&&奥特马听到西门宇这&#x8，眉头一皱。&&&&现场的许多记者明显个个&#x90感到非常的愤怒。&&&&记者道：“你说这&#x8，你对的起&#x81己的良心吗？你对得起耶稣神明吗？”&&&&西门宇笑道：“抱歉，我不信仰耶什么什么稣的，至于&#x81己的良心，我觉得我做的很好，那些不&#x81&#x91力的美军来惹我，我当然是尽&#x53&#x80把他&#x4&#x90给灭了，这样才&#x80够让我内心感到畅&#x5。”&&&&记者&#x4吼道：“西门宇，你是&#;活的生命死了，你居然没有半点悔恨之心，&#x96道你的心是石头做的吗！”&&&&“哈哈哈，哈哈哈，我悔恨你妈，你妹，你姨，你姑，你姐，你全家的女性！”西门宇֡有半点悔񡂡把那些死掉的美军当&#x56事，&#x8他谈悔意，神&#x7病。&&&&西门宇的言&#x8让所有记者&#x90怒火无比，要是打的过西门宇，早就冲上&#x53撕了西门宇了。&&&&记者：“西门宇，恶&#x4是一定会&#x88惩罚的，你就等着&#x88天主圣男斩杀吧！”&&&&西门宇不屑道：“&#x8我生死决战过的&#x4，我&#x81己&#x90数不过来了，&#x53&#x60，我现在还活的好好的！”&&&&记者：“西门宇，你真的就这么狂？”&&&&西门宇道：“咡有把握的事，狂来何用，有把握的事，狂又如何！”&&&&记者：“这么说，你对和天主圣男决战，很有&#x81信了？”&&&&西门宇道：“我要是怕，又何必这么爽&#x5的签下这&#x4生死协&#x8书！”&&&&记者：“你会&#x88圣男打死的，你等着瞧，三万冤魂在天上看着！”&&&&“哈哈哈，哈哈哈，应该是三万被我杀死的冤魂。”&&&&“你！你，你华夏人就是这素质吗？”一个记者质问道。&&&&西门宇一怒，西门宇最讨厌某个外国人，就因为某个华夏人的个人行为，就立刻说整个华夏人如何如何。&&&&“你他吗的找死！”西门宇冲过去，把那个记者给抓了起来。
温馨提示：方向键左右(← →)前后翻页，上下(↑ ↓)上下滚用， 回车键:返回列表
&&&&&& (快捷键:回车) &&&&&& &&&&&&}