用机器学习的方法来处理大数据，是直接学 Spark，还是重点学习 Hadoop，了解 Spark？ - 知乎1424被浏览81966分享邀请回答101 条评论分享收藏感谢收起用机器学习的方法来处理大数据，是直接学 Spark，还是重点学习 Hadoop，了解 Spark？ - 知乎1424被浏览81966分享邀请回答353 条评论分享收藏感谢收起/blog/archives/5044) 重合子串能修正一类的问题，但感触比较深的是，通常某篇论文只会在一个视角去focus 某件事情，所以你需要参考多篇，从不同角度去理解这件事情的解决方式，最后通过实验综合，得到一个更好解决方案。参考了两篇论文，比如凝固度，自由度是出自一篇论文，而重合子串则来自另外一篇论文，然后自己观察实际数据，添加了很多规则，才得到最后的结果。一说到算法，大概很多人心里就是想着，把数据转化为算法需要的格式，然后丢给现成的算法跑，跑着就出结果，或者出模型，然后反复尝试，直到得到你认为能接受的或者最优的结果。可是如果你真的做这件事情，就发现完全不是那样子啊，需要注意的细节太多了。新词发现没有现成的工具包，所以完全自己写了。第一步，你要获取语料。这容易，基于现有的平台，资源中心挑出了200万篇文章id，然后根据id到数据网关获取title，body字段。这个基于现有的平台，也就一个SQL + 几行Scala代码就搞定的事情。SQL 其实就是用Hive 生成一个200万博文id列表。Scala代码也就几行。因为我们的新词发现是没有词典的，需要枚举所有组合，然后通过一定的规则判定这是不是一个词。比如 ‘我是天才’，就这四个字， 组合有，‘我是’，‘我是天’，‘我是天才’，‘是天’，‘是天才’，‘天才’ 。你想想，200万篇文章，这种组合得多夸张，问题是你还要接着给这些组合做计算呢。这个算法可没告诉你怎么处理的，你只能自己去想办法。看到了，真正你做算法的过程中，不只是实现，你需要面对的问题特别多，是怎么做的呢？将所有html标签替换成空格。通过小空格将一个大文本切分成无数小文本块。我们认为一个词的长度最长不能超过5个字。对每个小文本块再抽取出中文，中英文，英文。将一些特殊字符，类似“！￥……（）+｛｝【】的呀啊阿哎吧和与兮呃呗咚咦喏啐喔唷嗬嗯嗳你们我他她，这是由于” 这些不可能成词的字符先去掉。处理的过程中，你可能需要写中文，英文，中英文的抽取方法。通过上面的五个处理，你计算规模会小非常多。如果不这样处理，估计再大内存都能让你歇菜。接着就是按论文里的规则做计算了，比如算词的凝固度，算重合子串。这里面还会遇到很多性能，或者内存的坑，比如Spark里的groupByKey，reduceByKey。 一开始用了groupByKey，歇菜了，内存直接爆了，为啥，你要去研究groupByKey到底是怎么实现的，一个词出现几十万次，几百万次都很正常啊，groupByKey受不了这种情况。所以你得用reduceByKey。在spark 1.5里，已经支持动态调整worker数目了。之前做这个的时候，会开的比较大，如果集群规模比较小，可能会影响别人，而且用完要赶紧释放，但释放了重新再起，也还是很麻烦的，现在好很多了。很好，实现了算法后得到了结果，可人家没告诉你，他贴出来的结果都是好看的，那是因为他是按频次排的，但如果你拉到最后看，结果就不太好看了。这个时候你就需要观察数据了，然后提出新的规则，比如最后得到的中文词结果，用了一些简单规则过滤下，都是哪些呢？凡是词里面包含‘或’的，或者'就'的或者上面罗列的，都认为这个词是没有意义的，经过这个简单规则一过滤，效果好非常多，很多没什么意义的生活词，或者不成词的词就被去掉了。中文，英文，中英文混合，加了很多这种规则，最终才过滤出了八万计算机词汇。在做上面的方案时，基本上就是在spark-shell中完成的。其实有点像ngram，就是对所有字符串做所有枚举，只是会限制最终成词的长度。这里中文是最长五个字，英文是四个字，中英文一块的 是五个字，接着要算出每个词左右连接字。具体的算法大家可以参考 这篇文章。而且如果有spark环境的，也可以尝试自己实现一把。重合子串，是这个算法的一个比较大的问题，比如 c1c2c3...cN c2c3...cN-1，因为是从统计的方案做的，c1c2c3…cN c2c3...cN-1 他们两算出来的分数可能就是一样的，所以如果我们发现他们的分值或者出现频率是一样的，就可以直接排除掉了。基于Spark做智能问答其实做的事情非常简单：比较两个标题的相似度如果我们能知道两个句子说的其实是一件事情，那么就能打通各产品的互通鸿沟了。之前试水的项目是打通问答到博客的通道。具体效果大家可以看看CSDN的问答产品，里面的机器人，背后用的算法就是这套。当用户问一个问题，机器人就会到博客里去找有没有这个问题的答案，或者有没有可以做参考的。 比较神奇的是，之前有个在问答活跃的人也特别喜欢贴博客链接作为回答，我们对比了机器人和他的结果，发现机器人和他贴的差不多。对于拥有内容的网站来说，这个技术还是非常重要的，比如CSDN，有论坛，博客，资讯，杂志等等，都是内容的载体。用户在问答频道里问的一个问题，其实在博客，在论坛早就已经有答案了。具体做法是透过word2vec解决一意多词的问题。接着将词转换为句子向量。这样任何一个问题都可以转换为一个向量。同理任何一篇博文的标题也可以转化为一个向量。word2vec，采用的数据来源用的搜索引擎的数据。大部分内容类的网站，他的PV应该有相当一部分来自搜索引擎，其实搜索引擎对这些网站来说，就是一个大的宝藏。因为搜索的query串，都是用户遇到的问题，然后指向到解决这些问题的内容上。内容上直接拿用户的query作为word2vec的语料，得到一些常用的提问词，每个词用一个50维度的向量表示。当然，我们不可能真的让一个问题和几百万内容直接做比较，一个简单有效的方式是，先通过搜索引擎去搜，然后将搜索得到top100结果做向量计算得到新的得分。 基本相似度大于0.9 的可以算作答案。大于0.7的就可以作为参考答案了。站内搜索服务应该是标配了，所以对大部分网站应该不是问题。对了，这里有个问题是：word2vec计算出来的是用一个稠密的定长向量表示词，做法是直接把一个句子的里的词的向量按位做加法，重新得到一个新的向量作为句子的向量。当然，这种方式也是有缺陷，也就是句子越长，信息损耗越大。但是做这种标题性质的相似度，效果出奇的好，那种句子里很多词汇不相同的，它都能算出他们很相似来，这是因为word2vec可以算出不同词汇之间关系。好了，具体的内容就分享到这里。总结作为数据分析师，算法工程师，请好好利用spark-shell。 Spark社区为了满足数据分析师，算法工程师，其实也做了非常多的工作，包括Python, R语言的支持。15年社区努力做的DataFrame其实就是从R里借鉴过来的，也方便R数据科学家方便的迁移过来。大家都应该与时俱进，不要只玩单机了。机器学习平台的构建，可以参考这篇文章 里面对平台方面一些看法。课程Q&AQ： 如何从0开始系统学习spark，最后转行？A： 学会scala就行，scala是一门具有学院派气息的语言，你可以把它写的像python，ruby那样，也可以写的想java那样方方正正，也可以学习python，spark支持python但是可能有些功能用不了，用了一天的时间把Scala的官方教程看了，基本就能上手了。Q：建议不做RAID的原因是什么？A： 比如例子提到的默认HDFS的所有数据都会存三份，可以保证数据位于不同的服务器上，不同的磁盘上，所以无需RAID。Q：很多没什么意义的生活词，或者不成词的词，这些词是怎样得到的？也是分析出来的？ A： 因为用的都是统计的一些方式，所以肯定会有很多无意义的词汇，假设我们现在得到的词汇几何是A,接着去爬了一些新闻和生活的类的博客，然后用程序去跑一遍得到一批词汇B，然后A-B 就能得到一拼更纯正的计算机词汇。Q：内存要调到多大才能不会爆掉？是不是有什么比例？A： 你不管调到多大，如果用的不好 也都有可能，groupByKey这个会有很大的内存问题，他形成的结构式 key-& value1，value2，value3…...valuen，这种是非常消耗存储空间的额，大家使用spark的时候，序列化最好使用kyro，性能确实好太多，一个worker 会同时配置可以使用的内存和cpu，这个时候一定要搭配好。比如你允许work使用5个cpu，那内存最好能配到10G，如果内存过小，你的cpu会大量浪费在GC上，一般是单个worker 12G内存 ，可使用4核。Q：直接把一个句子的里的词的向量按位做加法，这是如何加？能举个例子不？A：比如 考虑一个三维向量： A[1，3，5] B[1，3，7]，现在有个句子 是AB两个词组成，则对应的向量为A+B=[2,6,12]Q：还有中文分词是用的什么方法?可否分享代码不啊？A：这里是无监督分词，所以不用中文分词，按维度叠加，才能保证都是相同长度的向量，而且中文分词这块，一个同事的 ansj分词，还是做的不错的。Q：一些分词方法具有新词发现的功能，比如crf，楼主是比较过效果么？而且我记得matrix67这个算法复杂度还是很高的？A：matrix67 这个算法复杂度还是非常高的，你实际操作就会发现计算量，内存使用量都很大，crf等据我所知，还都是需要依赖词表的，matrix67的这个方式，完全不需要任何先验的东西。Q：为什么一个词要用50维度表示？ 这能举个例子不？ 这里不太明白。 A：理论上维度越长越好，当时是随意试了一个值。发现效果其实已经可以了，这是一个可以调整的值，比如你可以分别生成50，150，300维度的，然后试试那个效果好。33811 条评论分享收藏感谢收起查看更多回答2 个回答被折叠（）当前位置： /
幽浮2DLC职业Spark技能一览
时间: 10:17:33 来源: 作者:iqandadie 热度: 120 次
《幽浮2（Xcom2）》新DLC“沈的礼物”中添加了一个心得职业，很多玩家对于这个新职业的技能还不是很了解，小编这里就来简单的说下，以供参考。
《幽浮2（Xcom2）》新DLC&沈的礼物&中添加了一个心得职业，很多玩家对于这个新职业的技能还不是很了解，小编这里就来简单的说下，以供参考。
具体如下：
随从(Squire)
淮尉(Aspirant)
骑士(Knight)
骑兵(Cavalier)
先锋(Vanguard)
游侠圣骑士(Paladin)
剑兵勇士冠军(Champion)
还是来说正经的吧
技能方面还没试用，只是去翻译而已。
左排叫未来战斗(Future Combat)，这是坦线。
右排叫战争机器(War Machine)，这一看就知道是强化战斗力的。
随从 - 超载(Overdrive)
本回合加一点行动，攻击不结束行动，每次射击后命中-15%，冷却四回合
缺点就是那个命中惩罚，第叁发-30%基本上无法用，还是射火箭比较好。
淮尉 - 防壁(Bulwark)
增加一点护甲且成为全掩体。
淮尉 - 适应性瞄準(Adaptive Aim)
消除超载产生的命中惩罚。
这让上面的吸引力大降啊...
骑士 - 弹如雨下(Rainmaker)
重武器伤害+2，球状者+2範围，锥状者+2宽度(diameter)和长度。
骑士 - 动力打击(Strike)
用正义的铁拳痛打外星人。
不过没写冷却时间，记得一代好像没有?
骑兵 - 恫吓(Intimidate)
有机率使攻方恐慌，随护甲等级提升。
就是一代异变者的被动，嗯，不过，触发率是个问题。
骑兵 - 破碎球(Wrecking Ball)
超载时可破墙和辗过掩体。
先锋 - 修复(Repair)
机器回6点血，只能使用两次。
先锋 - 轰炸(Bombard)
在指定区域造成範围伤害。
就电容放电嘛，我想要嘛是伤害高一些，不然就是次数多一次吧?还是伤害低但只有冷却时间?
我看塬文有within squadsight这字眼，感觉是小队视野，但有人测出来不是。
若不是我搞错意思就是官方后来又改了。
圣骑士 - 连结力场(Channeling Field)
遭攻击时，提高Spark下一发的伤害。
感觉没什么用，除非打算当坦。
圣骑士 - 猎人协定(Hunter Protocol)
发现敌人时有1/3的机会监视射击。
我想会特别提到监视，应该是该次射击有命中惩罚。
冠军 - 牺牲(Sacrifice)
範围内友军受到的攻击转移给自己，其间防御+20、护甲+2。叁回合冷却
冠军 - 新星(Nova)
自身範围伤害，第二次使用会对自己产生伤害(每次加2点，所以第叁次是4，第四次是6)
感觉惩罚没有那么重，一场用个两次我想没什么问题。
←扫一扫关注“k73手游”
游戏、动画、漫画，ACG的圈内圈外事
公众号查询：k73手游 轻松订阅 &&
官方QQ群1： 官方QQ群2：
游戏平台：
游戏类型：策略
游戏版本：中文版
游戏标签：
玩家评分：50
k73评分：43
版权所有 鄂ICP备号
鄂公网安备 03号
K73电玩之家老司机吴雪峰带你用 Spark 源码学 Scala 核心编程技能｜StuQ 小 - 滚动_【北京联盟】
老司机吴雪峰带你用 Spark 源码学 Scala 核心编程技能｜StuQ 小
/ 作者：小易
北京联盟摘要：
老司机吴雪峰带你用 Spark 源码学 Scala 核心编程技能｜StuQ 小，上一篇：
下一篇： 。（文中有惊喜：课程专属优惠码先用先得） Scala 是一种全新设计的 通用的面向对象和函数式编程语言 其设计目标是取代 Java 做应用开发 它与 Java 语言可以很好地衔接 但是比 Java 更加简洁、灵活和强大 在大数据领域 Scala 有着非常重要的地位 著名的 Spark
（文中有惊喜：课程专属优惠码先用先得）Scala 是一种全新设计的通用的面向对象和函数式编程语言其设计目标是取代 Java 做应用开发它与 Java 语言可以很好地衔接但是比 Java 更加简洁、灵活和强大在大数据领域 Scala 有着非常重要的地位著名的 Spark 框架就是用 Scala 编写的Scala 是值得大数据领域工程师学习研究的重要技能客观来说，Scala 语言的学习曲线相对比较陡峭，程序员光靠自学摸索，通常需要消耗不少时间精力。StuQ特别邀请 ThoughtWorks 顾问，Scala 老司机吴雪峰老师共同推出《老司机吴雪峰带你用 Spark 源码学 Scala 核心编程技能》精品小班教学，通过专门设计的练习，快速掌握 Scala 核心编程技能。课程仅有 60 席位，精品小班课区别于大众在线视频教学，课程设置具有如下特色：采用在线视频直播授课以实战为主在线解答疑问课后作业 review精品小班课通过以上方式帮助同学深度、系统地学习 Scala 编程语言！1讲师简介吴雪峰ThoughtWorks 顾问，从事系统架构评估和设计、微服务架构培训和咨询、JVM 性能攻关和敏捷实践培训和精益组织建设。从 2008 开始一直持续学习和使用 Scala，Play! 框架代码贡献者，2013 年开始做 Spark 和 AkkA 应用开发培训和咨询。2课程简介本课程强调实践原则和应用开发快速入门，提纲挈领的介绍 Scala 的核心知识和应用开发特性， 通过专门设计的讲解和练习案例，帮助学员快速入门 Scala应用开发，也能为以后的学习和工作提供指导意见。3适用人群有一定的编程经验，了解 Spark 尤佳有兴趣挑战尝试新的语言／技术栈，立志于做技术领导者4教学目标正确了解 Scala 学习和使用的方法和原则快速 Scala 应用开发入门顺利趟过 Scala 的暗礁5课程内容第一课Scala简介编程范式和发展简史Scala发展简史Scala的优势和未来Scala 开发工具链编程语言选择讨论第二课函数式基础编程变量函数高阶函数map，foreach，reduce，filter，flatMap 练习第三课面向对象特性类构造函数特征(trait)伴生对象case class语法糖Scala SDK 类关系形状计算(面积,周长/圆形，椭圆，长方形等) 对象设计练习第四课函数式进阶编程传名参数柯理化隐式参数log，while，times 练习第五课类型系统基础类的类型参数函数的类型参数参数的类型参数隐式转换类型擦除:ClassTag类型类形状计算(面积,周长/圆形，椭圆，长方形等) 对象高级设计练习第六课流式编程Monads APIOptionTryScala Collectionfor … yieldIterator自定义Iterator和Monad IO练习第七课管理Scala应用开发类库设计要点: 类型安全和DSLScala 开发原则: 重构 & Less Power团队实践讨论6学习环境学习地点：专属学习 QQ 群 + 在线直播教室学习工具：StuQ 在线教室，在浏览器中使用，无需下载客户端，使用会员用户名和密码进入教室：7开班信息开班时间：报名人数满25人开班，共60个名额。（人员超过 25 名后确定开班，会在正式开课前安排预演）上课时间：暂定每周二晚 21:00-22:30，预计9月中旬开课。上课时长：每周1小时30分，共计6周课程课程学习方式：40分钟直播视频讲解30分钟交流答疑20分钟作业点评课8课程收费预售价799元，原价998元（前 30 名预售优惠，共 60 名额）StuQ 与课程讲师吴雪峰合作推出课程专属优惠码（100元/个，共10个，目前仅剩4个，手慢无！）90F1D59616E39A75AB88A8D22689932A4B7AF652以上优惠码仅限于报名本课程使用每个优惠码只能使用一次先用先有效9课程报名方式1、端点击【阅读原文】自助交费移动端点击“阅读原文”，进入课程介绍页面，点击“购买课程”直接缴费报名，进一步完善邮箱及QQ等信息。报名成功后按照提示申请加入相应学员群，会有 StuQ 工作人员在学员群内发放上课方式。方式2、端自助报名交费电脑端打开链接：http://www.stuq.org/course/detail/1071直接缴费报名，并填写邮箱及QQ等信息。报名成功后申请加入相应学员群，会有 StuQ 工作人员在学员群内发放上课方式。方式3、报名咨询报名课程的用户请加 QQ 群号 ，或者扫描微信二维码进入报名咨询微信群，详细了解报名信息，会有 StuQ 工作人员统一解答大家疑问，然后报名缴费。方式4、咨询小助手报名课程的用户也可以扫描小助手的微信二维码，私聊小助手详细了解报名信息，小助手会统一解答大家疑问，然后报名缴费。感兴趣的同学可点击“阅读原文”购买课程！InfoQ(infoqchina)
老司机吴雪峰带你用 Spark 源码学 Scala 核心编程技能｜StuQ 小
免责声明：本站文章除注明来源“北京联盟”外的文章均来自网络和网友投稿，著作权归原作者所有。北京联盟不承担任何连带责任！}