今天在校门口收到一张邀请卡，说是学习机器人的
点击联系发帖人
时间：2014-11-12 08:38
开始学习机器人开始学习机器人分享机器人探索之路的点点滴滴关注专栏更多最新文章{&debug&:false,&apiRoot&:&&,&paySDK&:&https:\u002F\u002Fpay.zhihu.com\u002Fapi\u002Fjs&,&wechatConfigAPI&:&\u002Fapi\u002Fwechat\u002Fjssdkconfig&,&name&:&production&,&instance&:&column&,&tokens&:{&X-XSRF-TOKEN&:null,&X-UDID&:null,&Authorization&:&oauth c3cef7c66aa9e6a1e3160e20&}}{&database&:{&Post&:{&&:{&title&:&未来机器人入门——5：连通性&,&author&:&liu-top&,&content&:&\u003Cblockquote\u003E\u003Cb\u003E本系列将未来机器人的突破点分为6个创新领域：机械结构、硬件、电子、软件、连通性、控制。将依次介绍这6个类别，并以此预测未来20年的发展。\u003C\u002Fb\u003E\u003C\u002Fblockquote\u003E\u003Cp\u003E\u003Cu\u003E\u003Cb\u003E版权所有，不得转载。\u003C\u002Fb\u003E\u003C\u002Fu\u003E\u003C\u002Fp\u003E\u003Ch2\u003E入门5：连通性\u003C\u002Fh2\u003E\u003Cp\u003E在加利福尼亚州，由观光客们不经意引入的一个入侵物种，阿根廷蚂蚁，已经成为了一个单独的、数量庞大的超级群落，沿着加利福尼亚海岸延绵了将近600英里（Walker 2009）。与已知的“加州大蚁群” 群落相比，加州的其他蚁群都显得十分渺小，这个蚁群展现出了它独一无二的力量，没有任何其他蚁群能与之抗衡。当你的敌人拥有无限的后援和无处不在的食物资源信息的时候，任何普通攻击都会失败。所有的阿根廷蚂蚁都混杂在一起，而不会遭到攻击——它们呼吸同样的信息素，甚至有冗余的蚁后，每一千只工蚁就有八只蚁后。\u003C\u002Fp\u003E\u003Cp\u003E不管这些群落是否真的像“加州大蚁群”或者星际迷航里面的博格人那样，它们都是既有趣而又令人不安的，因为它们所拥有的力量和知识的基础远远超出了你和这种群落中的一员交流时所体验到的一切。构成我们所讲的机器人雾霾的那群机器人，是否将成为一个大型群落中的成员，还尚无定论。但可以肯定的是，我们机器人雾霾将会与它自身以及数字世界里的信息上层建筑有大量的互连互通。无论从哪点来看，都将会有一个新的超级机器人群落出现，并且这个群落将给我们这些具有独立思想的人类带来有点棘手的交互方式。\u003C\u002Fp\u003E\u003Cp\u003E对机器人的基本连通性的争论将源于这样一个事实：在对物理环境的感知和交互能力上，最开始它们将会表现得很一般。为了尽可能好地去看到世界并且理解感知信号，机器人必须利用在线资源，这当然包括视觉识别服务，以及物体与信息的特定数据库。请将这当做一个为机器人而不是人服务的庞大的谷歌搜索引擎：Robo-Google（译者注：意思是将类似谷歌的搜索引擎用在机器人身上，让机器人能够通过它搜索信息），将全世界的信息组织起来供移动机器人使用。机器人将会希望知道如何识别交通信号灯，如何去拧他们从未遇到过的门上的门把手，以及如何去折叠或是打开一台婴儿推车。机器人将会需要具备识别人脸的能力，以及记住所识别人的身份以备以后能想起他的名字。\u003C\u002Fp\u003E\u003Cp\u003E一旦机器人使用Robo-Google收集并存储现实世界的信息，那么在机器人之间广泛地共享这些信息方面自然就会有所进步。这样一来，有趣的是，基于互联网的非物质的信息将会非常容易地与有形世界关联起来。一个机器人在飞机场看见你吃力地拖着一堆行李，会询问你是否需要联系一些新型的助力行李箱。如果你回答需要，你不必提供联系方式，因为机器人知道你智能手机的详细信息——你的手机和机器人都在同一个网络内，并且，任何为享有这种特权而付过费的机器人或者服务都可获得你对新型行李箱有兴趣这一信息。但共享将不会仅此而已：你愿意接受关于新产品的有礼貌的提议，这一信息将会在机器人网络里被买卖，只要它仍具备商业价值。\u003C\u002Fp\u003E\u003Cp\u003E因为在线社区具有无限大的特质，当在街看见一个机器人的时候，你很难推断它到底拥有多少关于你的背景信息。这就相当于影视明星或者是政客遇到他们的粉丝。粉丝们很清楚地知道与明星有关的大量信息，而明星对每个粉丝的信息却一无所知。这种关系中没有平等性和相互性，恰恰相反，只有双方都不会满意的奇怪的单边社交。\u003C\u002Fp\u003E\u003Cp\u003E关于连通性，最后需要提到的是，机器人，即便是社交机器人，都不会和人一样。因此，认为我们与智能社交机器人交互将会如同与人交互一般，这种想法是非常天真的。如何做到这一点，在这方面没有任何真正的先例，我唯一有信心预测的是，2035年你在大街上遇到的机器人，他们了解你的信息将会比你了解它的信息要多得多。如果你是一名不折不扣的乐观主义者，你可以将这种现象解释为，机器人把你当作影视明星一样对待。\u003C\u002Fp\u003E\u003Cp\u003E\u003Cu\u003E本文摘录之我们翻译的《机器人与未来》（第一财经2015年度特别推荐图书）\u003Cbr\u003E\u003C\u002Fu\u003E\u003Ca href=\&https:\u002F\u002Flink.zhihu.com\u002F?target=http%3A\u002F\u002Fitem.jd.com\u002F.html%3Fjd_pop%3D92c8cc69-b28-baecfa878d54\& class=\&\& data-editable=\&true\& data-title=\&《机器人与未来\u002F机器人探索与实践系列》([美]I.R.诺巴克什)【摘要 书评 试读】- 京东图书\&\u003E《机器人与未来\u002F机器人探索与实践系列》([美]I.R.诺巴克什)【摘要 书评 试读】- 京东图书\u003C\u002Fa\u003E\u003C\u002Fp\u003E&,&updated&:new Date(&T13:00:26.000Z&),&canComment&:false,&commentPermission&:&anyone&,&commentCount&:0,&likeCount&:9,&state&:&published&,&isLiked&:false,&slug&:&&,&isTitleImageFullScreen&:false,&rating&:&none&,&sourceUrl&:&&,&publishedTime&:&T21:00:26+08:00&,&links&:{&comments&:&\u002Fapi\u002Fposts\u002F2Fcomments&},&url&:&\u002Fp\u002F&,&titleImage&:&https:\u002F\u002Fpic4.zhimg.com\u002Fv2-e48fdd3e1d841ae7c86cd1d_r.jpg&,&summary&:&&,&href&:&\u002Fapi\u002Fposts\u002F&,&meta&:{&previous&:null,&next&:null},&snapshotUrl&:&&,&commentsCount&:0,&likesCount&:9},&&:{&title&:&未来机器人入门——6：控制&,&author&:&liu-top&,&content&:&\u003Cblockquote\u003E\u003Cb\u003E本系列将未来机器人的突破点分为6个创新领域：机械结构、硬件、电子、软件、连通性、控制。将依次介绍这6个类别，并以此预测未来20年的发展。\u003C\u002Fb\u003E\u003C\u002Fblockquote\u003E\u003Cu\u003E\u003Cb\u003E版权所有，不得转载。\u003C\u002Fb\u003E\u003C\u002Fu\u003E\u003Cbr\u003E\u003Ch2\u003E入门 6 控制\u003C\u002Fh2\u003E\u003Cp\u003E一种传统的看法认为机器人控制可以分为两种截然不同的模式：人工控制，或称为遥控机器人（teleoperated robots）；以及自主控制，或称自主机器人（autonomous robots），后者使用自身的传感器来决定如何移动及动作，它们自我控制。我们目前不倾向于追求这两种极端方式，而是寻求一种能将自主决策和人工遥控流畅融合的方法。一些机器人将主要依赖于自动驾驶仪工作，当不确定要做什么任务时，则会询问人类。一些机器人将是自主的，但需要人类的帮助。它们会去寻求路人的帮助，如方向、门和电梯的位置。一些机器人将设计成遥控的，虽然受人类的高度控制，但仍可利用自身的传感器和反应机制进行避障。然而，其他的机器人根据任务不同可实现从精细的远程控制到完全自主行为的全范围运行。\u003C\u002Fp\u003E\u003Cp\u003E自2004年NASA\u002FAmes智能机器人小组启动一个称为人-机器人对等互动( Peer-to-Peer Human–Robot Interaction)的项目。\u003C\u002Fp\u003E\u003Cp\u003E研究人员研究了机器人和人类如何在月球上共同工作建设项目,着眼于让人类在安全的登月舱内帮助机器人在月球表面建设一个栖息地(Fong et al. 2005)。有时候身穿宇航服的人类会与机器人肩并肩一起工作，来抬起沉重的零件或检查一个焊接接头。其他时候，机器人也可能会遇到困难，例如螺接两个预制框架部分，此时它将请求远程帮助。在这种情况下，人类操作员则将需要从机器人的监督者转换到遥控者，从远方接管指挥机器人的摄像头和机械手臂，直接扭紧遇到麻烦的螺栓。研究人员称这种机器人控制水平无缝转变的能力为可调自主（adjustable autonomy），这将是未来机器人的一个重要设计考虑。\u003C\u002Fp\u003E\u003Cp\u003E\t可调自主表明：类似于商用飞机的自动驾驶仪，接口设计得非常好，人类可以获得态势感知并在必要时接管控制。相反，当任务足够简单，机器人足以处理时，可调自主则意味着人类操作者赋予机器人自主权而无需直接控制。\u003C\u002Fp\u003E\u003Cp\u003E在NASA的例子里，这意味着要保证人类和机器人之间有共同的语言。比如“稍向左”和“在我上面”，机器人和人类都需要用正确的方式做出理解，这样他们之间才可以就一项任务以及某种情况下可能的解决方案进行交流。远程操作控制也需要相应的设计，当操作员不小心造成损害时，例如，当移动机器人时由于未能注意到突出障碍而造成机体的损坏，传感器能够及时中止远程操作。\u003C\u002Fp\u003E\u003Cp\u003E大量的可调自主研究集中于安全的远程操作控制，包括力反馈以及三维可视化，为人类操作员提供尽可能多的的情境感知。\u003C\u002Fp\u003E\u003Cp\u003E可调自主将成为未来机器人系统的一个事实，这将意味着在家里或是在街上遇到的机器人将会有不同程度的人类的控制。从完全自主到监督再到直接远程遥控。随着自主机器人控制和对话系统的进步，将会越来越难以推断一个特定的机器人是人类控制的、还是受人类监督的、或是在外跑丢的，在不久的将来，控制方面的进步将会在我们与机器人互动时，为其蒙上一层面纱，隐藏了这是一台自动机器人还是人工遥控的真实身份，也同样遮掩了我们构建一个与我们进行交互的对象的具体模型的能力。 \u003C\u002Fp\u003E\u003Ch2\u003E综合\u003C\u002Fh2\u003E\u003Cp\u003E鉴于在结构、硬件、电子、软件、连通性和控制方面所有可预见的进步，我们可以重新想象在2035年由众多机器人创新合奏出的新景象。今天任何一个可以从一箱零部件中组装出一辆自行车或组合出一个瑞典式卧室梳妆台的人，将来也可以利用众多的工具包构建出一个机器人。机器人将飞越我们的头顶，跟着我们一起跳跃、快速跑动、上下楼梯、能跑到家里的任何角落。当你在人行道上看到一个机器人时，并不清楚这是由旁边的人、还是数英里之外的人所遥控的，或是由一个完全是数字化决策的人工智能程序所引导。机器人可以识别出我们，检测我们的视线方向，能听懂大部分我们所说的话。\u003C\u002Fp\u003E\u003Cp\u003E它们可以随意拍照，并立即发布到全世界；它们可以录制我们的话音和声音；它们可以从低IQ的人工遥控机器人无缝地切换成一个高IQ的自动机器人。\u003C\u002Fp\u003E\u003Cp\u003E今天可拍摄视频的手机已经正在改变公民和政府之间的关系。当一个警察朝着一排示威者脸上发射胡椒喷雾时，所有人都会在线看到这个暴行。没有什么是转瞬即逝的，因为一切都可以记录并分享。对于隐私的期望必须转变,因为在公共场所所做的任何事情都会被抓拍，然后公之于众。由于机器人自动决定记录和发布的内容,所以我们将不得不转变我们对于互联网身份的认识。我们人类将不再是唯一一个记录并在线发布事件的物种。事实上,机器人将不仅是新内容的创作者，它们也会像我们一样忙于消化吸收发布在网上的内容。当你碰到一个有着强大资源库的机器人,从第一印象你很难确定是否这个机器人知道你每天所做的每一件事情包括你所去过的地方以及你与其他机器人互动的方式，或者是否你和它对于对方都一无所知。 \u003C\u002Fp\u003E\u003Cp\u003E这些机器人会是庸俗的，像一只过度热情的狗一样友好；或是完全不知所措，像一只暹罗猫一样疏远。它们或是跟人的手掌大小一般，以每小时5英里的速度飞行然后停落在树枝上，或是像一根几厘米宽，3米高的杆子一样瘦长且高挑。机器人会爬树、玩杂耍、擦干净三楼以上楼层的窗户。它们会在公园里到处跑，跟孩子们天真地玩接球的游戏，但是看上去，听起来却像是一个5英尺高，有着6厘米长的橡胶牙齿和发光的红色眼睛的暴龙。在郊外演唱会上听到手机响，你会感到很烦躁，但是这跟各式各样的机器人以各种方式分散你的注意力，中断和打乱你的计划相比，就会显得渺小的不值一提了。 \u003C\u002Fp\u003E\u003Cp\u003E如果在自制的公共机器人的蛮荒西部尚有一线希望的话，那就是在二十一世纪早期的混乱的、动画密集的网站大量爆发时我们所做的应对。与设计低劣的网站相对的是设计和人机互动领域充满了活力，这些学科招收并训练不同的个人，教给他们设计方法，使得高效、互动的网站走向了成熟。我希望人机互动以及机器人设计理论能够适应这一情况，引入原理和实践，这将会消除掉因我们发明创造所产生的机器人的雾霾。但充其量这些举动也将是被动而非主动的，就像政府监管、市政分区和法律判例。它可能在好起来之前会变得更糟。\u003C\u002Fp\u003E\u003Cp\u003E\u003Cu\u003E本文摘录之我们翻译的《机器人与未来》（第一财经2015年度特别推荐图书）\u003Cbr\u003E\u003C\u002Fu\u003E\u003Ca href=\&https:\u002F\u002Flink.zhihu.com\u002F?target=http%3A\u002F\u002Fitem.jd.com\u002F.html%3Fjd_pop%3D92c8cc69-b28-baecfa878d54\& class=\&\& data-editable=\&true\& data-title=\&《机器人与未来\u002F机器人探索与实践系列》([美]I.R.诺巴克什)【摘要 书评 试读】- 京东图书\&\u003E《机器人与未来\u002F机器人探索与实践系列》([美]I.R.诺巴克什)【摘要 书评 试读】- 京东图书\u003C\u002Fa\u003E\u003C\u002Fp\u003E&,&updated&:new Date(&T13:09:06.000Z&),&canComment&:false,&commentPermission&:&anyone&,&commentCount&:0,&likeCount&:18,&state&:&published&,&isLiked&:false,&slug&:&&,&isTitleImageFullScreen&:false,&rating&:&none&,&sourceUrl&:&&,&publishedTime&:&T21:09:06+08:00&,&links&:{&comments&:&\u002Fapi\u002Fposts\u002F2Fcomments&},&url&:&\u002Fp\u002F&,&titleImage&:&https:\u002F\u002Fpic2.zhimg.com\u002Fv2-c071ec22a78b_r.jpg&,&summary&:&&,&href&:&\u002Fapi\u002Fposts\u002F&,&meta&:{&previous&:null,&next&:null},&snapshotUrl&:&&,&commentsCount&:0,&likesCount&:18},&&:{&title&:&机器人寓言之五——生物主义Vs机械主义&,&author&:&liu-top&,&content&:&\u003Cblockquote\u003E\u003Cu\u003E\u003Cb\u003E版权所有，不得转载。\u003Cbr\u003E\u003C\u002Fb\u003E\u003C\u002Fu\u003E\u003C\u002Fblockquote\u003E\u003Cbr\u003E\u003Cp\u003E\u003Cb\u003E波士顿，马萨诸塞州，2126年4月（105年前）\u003C\u002Fb\u003E\u003C\u002Fp\u003E\u003Cp\u003E包装本身看起来比较旧---就像一个道具，来自于箱子材料很便宜，东西都被装到箱子里的时代，并且箱子都已经磨损了。她拿出注射器和遥控器，在她的右前臂上选了一个点。针头扎进皮肤带来一阵刺痛感，她盯着那儿看着。热量缓慢地扩散到她的全身，这需要一定的时间。毕竟，血液需要两分钟才流遍全身。\u003C\u002Fp\u003E\u003Cp\u003E\t那个旧遥控器有一个按钮，按下它将会令你产生一种令人满足的选择感。它能够移动，有一个弹簧和一个可移动的部分—-她好多年都没有见过这样的东西了。那个按钮需要一个真正的触发——不是一个念头，也不是挥动手臂，而是与一个实际物体的真实接触。之后她想到了人的归宿：\u003Cb\u003E死亡。我会为什么而死？\u003C\u002Fb\u003E\u003C\u002Fp\u003E\u003Cimg src=\&v2-2fdfd8ed906b.jpg\& data-rawwidth=\&300\& data-rawheight=\&213\&\u003E\u003Cbr\u003E\u003Cp\u003E\t她还记得第一次读到机器人控制时，她非常沮丧。纳米机器人实际上并不只是操纵大脑中的化学物质，而且还直接控制肌肉。这条路究竟能走多远？第一批在人类身上所做的实验很笨拙，这也挫败了她心中对于成为一名科学家的向往。这些实验并没有测量出反应时间，运动的一致性，以及长期的效果。它们仅仅证实了一件事情：右臂能够伸出，并且同样轻松地按下一个愉快的或是痛苦的按钮，即使是在沉睡者进行了药物性麻痹后也可以做到。当时这个结果使大家非常兴奋，每周都有新闻报道以及新取得的实验成果。骑自行车，在电脑上打字，演奏古典吉他，还有一个大的挑战：10分钟的图灵测试。在一个屋子中观察戴夫10分钟。是戴夫在控制自己的大脑，还是纳米机器人在控制着他的大脑？当然，跟真实的谈话相比，这很简单，真实谈话中有着需要20多年才能掌握的舌头和声带的控制技巧。\u003C\u002Fp\u003E\u003Cbr\u003E\u003Cp\u003E\t对纳米机器人控制的研究使她陷入其中，并深深地困扰着她。所有的人，她的朋友们，教授们都一头扎进了纳米机器人的研究之中。一直以来，她都对流行的东西非常反感，大学三年级时发生的一件事使她的观念发生了改变。\u003Cb\u003E当她读到一个关于阿西莫的故事时，被深深地打动了。她想要制作机械机器人，而不是帮助完善人类机器人。\u003C\u002Fb\u003E她在还仍然教授机器人课程的顶尖的大学里学了几年的机械工程和电气工程。\u003C\u002Fp\u003E\u003Cbr\u003E\u003Cbr\u003E\u003Cp\u003E\t那六年最终被一次痛苦且刻骨铭心的的争执打断她的学业。她妈妈买了一份死亡保险，但却是一名守旧的隐士。多么奇怪的一个组合——为自己的身体所要进行的最终的再循环手术买了保险，然而在生活中却离群索居。她在死后数天尸体才被人发现，那时用她的身体来做人肉机器人的实验已经太晚了。保险公司不打算进行赔偿——在死亡中得不到好处，也就不会支付相应的支出。\u003C\u002Fp\u003E\u003Cp\u003E她将失去母亲的悲痛发泄出来，像一个傻子一样跟保险公司的人争吵着，歇斯底里地大喊大叫。最终，连一个小的打印单都没有，只有一个模糊其辞的条款指出没有及时回收尸体对合约很重要。\u003C\u002Fp\u003E\u003Cp\u003E\t她获得了机器人专业的博士学位以及一个很好的研究职位，但是她却无法得到政府或者工业界的任何基金支持。人类劳动力很容易得到，纳米机器人控制研究在飞速进行着。所有的研发资金、商业资金都投向了纳米机器人的研究中。她的提议一次接一次地被拒绝，每次都注明说说如果使用相同的研究议程，但是研究课题选择人肉机器人而不是机械机器人本体研究，她就会马上得到研究资金的资助。当然，她的整个目标就是向人们说明，机器人根本就不需要人类的身体，因此，她也就没得到任何资助基金。\u003C\u002Fp\u003E\u003Cbr\u003E\u003Cp\u003E\u003Cimg src=\&v2-c968d1ddcf91762efbe51f2.jpg\& data-rawwidth=\&636\& data-rawheight=\&435\&\u003E五年以后，关注纯机械机器人的会议已经全部消失了，因此她将文章发表在那些所有人都研究人肉机器人的会议上。她十分清楚机器人的起源，可以非常有条理地讲出来。人肉机器人到底在我们的社会中处于什么位置？如果你杀了其中一个机器人，真的只是一种普通的破坏行为吗？它们有哪些权利？一定要将它们与人类和动物区分开吗？她今年只有四十岁，但是已经成了一个异类的人。在会议上，同事们故意避着她；大家在晚餐期间谈论着会议主讲人的研究结果，但却从来都不邀请她加入其中。\u003C\u002Fp\u003E\u003Cp\u003E\t她的好朋友Sarah的一次告别派对将她从研究的困境和沮丧中拯救出来——在她大学入学的第一年，她们四个好朋友一起体验着所有新鲜的事情。Sarah也那样做了——她举办了一个告别派对，并且制定了自己的死亡计划。二十年的巨额补偿，多到足以买任何东西，做任何事情。现在到了兑现合约上最后一个条款的时间，她该把自己的身体贡献给纳米机器人研究了。她坐下来和Sarah谈心，认真地倾听。Sarah从心底感到开心。她描述了一个令人难以置信的旅程，精彩纷呈的一生的经历都被压缩到了这二十年里，在这期间，没有烦忧，没有老板无意义的唠叨和绩效评估，什么都没有。她问Sarah，是否还会改变想法？是否有人曾经这样尝试过？过二十年完美的生活，然后更名换姓，从而隐居山林。事实证明跟踪技术很先进。合同上的条款很严谨，保险公司实际上控制了你二十年，之后死亡就成为一件合理的事情，因此他们为了得到你可以简单地将你杀死。\u003C\u002Fp\u003E\u003Cp\u003E\t因此她不得不学习更多的东西，在派对之后，她与“美好生活”公司——最大的纳米机器人公司之一——进行了一场资讯性的面谈会。这家公司的预算经费规模之大可以堪比加利福尼亚市。公司制定了较高的水准，与Sarah所描述的非常相像，开始执行了一个刚刚出台的特殊的政策：十年无限制的花费，而不是通常的二十年。完全无限制。在她的不断逼问下，她了解到了具体的细节——必须是个人花费（你不可以给你朋友几十个亿），并且这笔钱不能用于投资（你不能购买金块，并成立一个新的银行），但这一切确实是真的。她问他们是否能够成立她自己的研究中心，他们说可以，而且十年内她能够进行耗资巨大的科学研究。\u003C\u002Fp\u003E\u003Cp\u003E\t对“美好生活”公司的访问之旅给她确立了一个任务。这个任务带她走上了人生的另一段旅程，从在法学院攻读法律学一直到在美国最高法院她所代理的Rachel Ives和“美好生活”之间一场诉讼案。一个边是一个诚实的灵魂，另一边是一支完整的、拥有着无限资金支持的律师团。该案件由于技术快速地进入商业实践而变得复杂起来。一整个关于母亲身份的链条。从怀孕到抚养孩子，机器人母亲身份的法律衍生后果一直没有得到解决。机器人可以成为一个合法的个体吗，即使是被一个人特意购买用来繁衍后代，然后作为超级保姆？如果父亲去世了，机器人母子关系将会发生什么改变？她提出一个案例，说明法律和社会动态系统内在的不一致性意味着我们必须禁止机器人的母亲身份，直到，并且除非我们所拥有所有的机器人类与人类有对等的权利。当然，商业永远不会允许机器人和人之间平等的权利，因为那样会破坏整个工业界的经济基础。从此之后，你只能是简单地制造更多“真实”的人，这即无用、也无趣。\u003C\u002Fp\u003E\u003Cp\u003E\t她的案件的第二部分是关于整个死亡销售的商业机制。这是她所害怕的一个棘手的问题。保险公司会介入，对一个亲人提供年度交易用于长期的看护。它首先出现在发生事故的情况下——我们将会为你配偶的可怕的疾病支付全部的医疗费用，你所需要做的就是签订协议，当你遭遇意外死亡时捐献出你的遗体。后来，理所当然地条件变得更加严格，会有一个死亡日期，甚至会奖励提前死亡。之后，典当行介入，会迅速地进行现金交易，并会在未来全权处理你的死亡的事宜。监狱以其特有的方式进行着，以及与终身监禁罪犯签订协议的家庭们。这是一个终极契约——一个不错的契约，使得罪犯能够为他们的孩子们供养全部自然的生活。在法庭上，她争辩道，死亡的商品化已经巨大地改变了社会伦理，连基本的人权都成了问题，因此上述死亡需要被无效化。当然，“美好生活”公司手中有一张巨大的王牌——政府研究表明，如果机器人商业被中断，整个经济系统将会崩溃——机器人商业实在太大了，以至于无法中断。\u003C\u002Fp\u003E\u003Cimg src=\&v2-7bfea5b8e9c5f2f3f42045d4.jpg\& data-rawwidth=\&300\& data-rawheight=\&300\&\u003E\u003Cbr\u003E\u003Cp\u003E\u003Cb\u003E最高法院的最终裁决模棱两可并极其失败，其判决读起来更是莫名其妙。\u003C\u002Fb\u003E\u003C\u002Fp\u003E\u003Cblockquote\u003E个人和社会对于自由本身的追求赋予了每个人决策的权力，这种追求受支配人类文明生活的规章制度的管束。但是自由仅仅适用于活着的人，对于纳米机器人系统的肉身，无论是遥控的还是自主的，都决不能妨碍活着的人的自由。纳米机器人仅仅是对失去生命的物体用途上的一个简单延伸，就像橡木用于制作家具，或者头发用于现代艺术作品或者假发。此外，机器制造产品的形式不能根据它们像什么自然产品来进行管理。然而，之前活着的人们并不是机器制造的，但是我们将由占据大脑脑干的纳米机器人分布式控制系统所控制的身体看作一种机器制造的形式，因此我们将这整个系统定义为机器制造的。既然器官的买卖仍然是非法的，我们应注意到被告方的业务方法涉及材料和非活体组织的销售。的确，纳米机器人对身体的控制可以继续作用于身体，即使在意识已经被清除之后。但是，由大脑活动所定义的人类生命已经不存在了，因此，销售和购买身体与销售和购买新鲜的冷冻鱼属于同类性质。\u003C\u002Fblockquote\u003E\u003Cp\u003E现在她在家里，有一个最为非同寻常的退路摆在她面前：一套没有死亡政策的死亡工具。她没有孩子，也没有朋友。没有人能从她的死亡中获益。为什么要死呢？因为她的心已经碎了。她相信人性，探索人性，为人性而斗争，最终却完全迷失了自己，没有了一丝的希望。因此，她按下了那个按钮，像她所希望的那样，一个舒服的，稳定的下沉运动，伴随着一个她没有想到的哔哔声。\u003C\u002Fp\u003E\u003Cbr\u003E\u003Cp\u003E纳米机器人整齐站立于每一个大脑脑干的突触上。它们通过注射进入大脑里找到自己的位置并与其他机器人进行完美的同步通讯。随着按钮的按下，消息传遍了整个网络：是开始接管的时候了。首先，同步释放了一个神经抑制，以后再也不会有意识了。死后的1\u002F4秒，纳米机器人便开始接管，重新启动心脏、肺、内分泌系统和消化系统。当这一切发生时，如果你近距离观察Rachel的脸的话，你可以发现两件事情。首先，她的表情变了——从一个焦虑的表情到一个平和的，像是在睡眠中的表情。其次，眼睛也变了，不再闪闪发亮。\u003C\u002Fp\u003E\u003Cimg src=\&v2-2ee1f9f565e47b58f6896efe4c66b875.jpg\& data-rawwidth=\&460\& data-rawheight=\&276\&\u003E\u003Cbr\u003E\u003Cbr\u003E\u003Ch2\u003E下一站：死亡认证中心。\u003C\u002Fh2\u003E\u003Cp\u003E机器人站起来，开始了步行去火车站的旅程。大脑扫描及脑电图会进行脑功能检查。以及指纹、声音和瞳孔匹配来确认身份，然后是注册死亡信息。Rachel Ives将正式死亡，并且一个新的序列号会分配给那个机器人，也就是她的身体。\u003C\u002Fp\u003E\u003Cp\u003E在火车站，很多熟悉的目光扫过坐在空椅子上的机器人，Rachel Ives很出名，毕竟她是唯一一个与“美好生活”公司公开打过官司的人。一个小女孩跨过站台，坐在那个机器人的旁边，“Ives小姐，我对你的作品和演讲非常崇拜，是你的超级粉丝。你真的打开了我的视野，我不知道该如何去感激你。见到你非常荣幸，我的意思是，谢谢作为现在的你。这对我来说意义非同一般。”\u003C\u002Fp\u003E\u003Cp\u003E机器人虽然不是人类，但类似尴尬的情景在它们的共享经验中是有完善文档的。在死亡现场告知另一个人——与他们谈话的那个人已经死了——这太尴尬了。对于在去死亡认证中心路上所经历这种偶遇，有一个高明的做法是：用一个微笑，一句感谢，或是疲倦地闭上眼睛来结束对话。\u003C\u002Fp\u003E\u003Cimg src=\&v2-bbd6dd7e737db93b2ee441.jpg\& data-rawwidth=\&1366\& data-rawheight=\&575\&\u003E\u003Cbr\u003E\u003Cbr\u003E\u003Cp\u003E—————————————————————————————————————\u003Cbr\u003E\u003C\u002Fp\u003E\u003Cblockquote\u003E\u003Cp\u003ETOP的感受：\u003Ca href=\&https:\u002F\u002Flink.zhihu.com\u002F?target=http%3A\u002F\u002Fitem.jd.com\u002F.html%3Fjd_pop%3D92c8cc69-b28-baecfa878d54\& class=\&\& data-editable=\&true\& data-title=\&《机器人与未来\u002F机器人探索与实践系列》([美]I.R.诺巴克什)【摘要 书评 试读】- 京东图书\&\u003E诺巴克什\u003C\u002Fa\u003E教授讲了6个关于机器人的寓言，每一个都很毁三观，由于长期见多了毁三观的事情，所以都不以为然，但这一个，却让我长久的沉默了。。。\u003Cbr\u003E\u003C\u002Fp\u003E\u003Cp\u003E强势的利益集团，无视伦理的尖端技术，碾压着每一个人，他们正在把人变成机器，而哪些努力想把机器变成人的上古科学家们，为了纯洁的灵魂，除了“出卖自己的身体”，还能再如何反抗呢？\u003C\u002Fp\u003E\u003C\u002Fblockquote\u003E\u003Cp\u003E—————————————————————————————————————\u003C\u002Fp\u003E\u003Cp\u003E\u003Cu\u003E本文摘录之我们翻译的《机器人与未来》（第一财经2015年度特别推荐图书）\u003Cbr\u003E\u003C\u002Fu\u003E\u003Ca href=\&https:\u002F\u002Flink.zhihu.com\u002F?target=http%3A\u002F\u002Fitem.jd.com\u002F.html%3Fjd_pop%3D92c8cc69-b28-baecfa878d54\& class=\&\& data-editable=\&true\& data-title=\&《机器人与未来\u002F机器人探索与实践系列》([美]I.R.诺巴克什)【摘要 书评 试读】- 京东图书\&\u003E《机器人与未来\u002F机器人探索与实践系列》([美]I.R.诺巴克什)【摘要 书评 试读】- 京东图书\u003C\u002Fa\u003E\u003C\u002Fp\u003E&,&updated&:new Date(&T13:48:25.000Z&),&canComment&:false,&commentPermission&:&anyone&,&commentCount&:4,&likeCount&:9,&state&:&published&,&isLiked&:false,&slug&:&&,&isTitleImageFullScreen&:false,&rating&:&none&,&sourceUrl&:&&,&publishedTime&:&T21:48:25+08:00&,&links&:{&comments&:&\u002Fapi\u002Fposts\u002F2Fcomments&},&url&:&\u002Fp\u002F&,&titleImage&:&https:\u002F\u002Fpic4.zhimg.com\u002Fv2-4cbe2d12d4f97d26a35a4_r.jpg&,&summary&:&&,&href&:&\u002Fapi\u002Fposts\u002F&,&meta&:{&previous&:null,&next&:null},&snapshotUrl&:&&,&commentsCount&:4,&likesCount&:9},&&:{&title&:&MIT最新课程 ——九小时速成深度学习&自动驾驶汽车&,&author&:&liu-top&,&content&:&\u003Cp\u003E----------
五集全部更新完毕，可在网盘下载：\u003Cbr\u003E\u003C\u002Fp\u003E\u003Ch2\u003E\u003Ca href=\&http:\u002F\u002Fpan.baidu.com\u002Fs\u002F1jIbmLds\& data-editable=\&true\& data-title=\&baidu.com 的页面\& class=\&\&\u003Ehttp:\u002F\u002Fpan.baidu.com\u002Fs\u002F1jIbmLds\u003C\u002Fa\u003E 密码：y161\u003C\u002Fh2\u003E\u003Cp\u003E\u003Cb\u003E另外网盘分享了一本《深度学习》-中文版2017，供参考\u003Cbr\u003E\u003C\u002Fb\u003E\u003C\u002Fp\u003E\u003Cp\u003E----------网盘增加了第三课视频---\u003Cbr\u003E\u003C\u002Fp\u003E\u003Cp\u003E----------网盘增加了视频----------\u003C\u002Fp\u003E\u003Cp\u003E1. Driver Interaction with Autopilot - TMC Connect 2016 \u003C\u002Fp\u003E\u003Cp\u003E司机与自动驾驶仪的互动 \u003C\u002Fp\u003E\u003Cbr\u003E\u003Cp\u003ELex Fridman在2016年TMC TMC Connect的演讲，介绍了在自然使用特斯拉汽车的自动驾驶仪时，使用计算机视觉提取车辆、司机、和外部世界的状态。\u003C\u002Fp\u003E\u003Cp\u003E2. MIT 6.S094_ Deep Reinforcement Learning for Motion Planning\u003C\u002Fp\u003E\u003Cp\u003E--------------------------------------------------------------------\u003C\u002Fp\u003E\u003Cp\u003E致谢：感谢张瑞雷、徐海果 翻墙运输授课视频！\u003C\u002Fp\u003E\u003Cp\u003E—————————————————————\u003C\u002Fp\u003E\u003Cp\u003EMIT 于2017年1月\u003Ca href=\&http:\u002F\u002Fselfdrivingcars.mit.edu\u002F\& data-editable=\&true\& data-title=\&开设了 6.S094 课程，名为《用于自动驾驶的深度学习》的课程\& class=\&\&\u003E开设了 6.S094 课程，名为《用于自动驾驶的深度学习》的课程\u003C\u002Fa\u003E，旨在教学生们为\u003Ca href=\&http:\u002F\u002Fwww.leiphone.com\u002Ftag\u002F%E8%87%AA%E5%8A%A8%E9%A9%BE%E9%A9%B6%E6%B1%BD%E8%BD%A6\& data-editable=\&true\& data-title=\&自动驾驶\& class=\&\&\u003E自动驾驶\u003C\u002Fa\u003E搭建一个\u003Ca href=\&http:\u002F\u002Fwww.leiphone.com\u002Fnews\u002F2FLqwiP7VUJO9DgBPi.html\& data-editable=\&true\& data-title=\&深度学习\& class=\&\&\u003E深度学习\u003C\u002Fa\u003E系统，授课者为 Lex Fridman。\u003C\u002Fp\u003E\u003Cbr\u003E\u003Cp\u003E本课程是通过建立自动驾驶汽车的应用主题，介绍深度学习及其实践。本课程是专为机器学习初学者而设计，但该领域先进的研究人员也可以在此课的实践及应用中受益。\u003C\u002Fp\u003E\u003Cp\u003E全课只有九节一小时的课程！！！\u003C\u002Fp\u003E\u003Cp\u003E\u003Cimg src=\&v2-2ae9d9317744.png\& data-rawwidth=\&1064\& data-rawheight=\&631\&\u003E课程的PPT合视频正在陆续放出，为了方便不方便翻墙的小伙伴，我特意做了一个网盘。\u003C\u002Fp\u003E\u003Ch2\u003E百度云盘：链接：\u003Ca href=\&http:\u002F\u002Fpan.baidu.com\u002Fs\u002F1jIbmLds\& data-editable=\&true\& data-title=\&baidu.com 的页面\& class=\&\&\u003Ehttp:\u002F\u002Fpan.baidu.com\u002Fs\u002F1jIbmLds\u003C\u002Fa\u003E 密码：y161\u003C\u002Fh2\u003E\u003Ch2\u003E授课视频：陆续更新中......\u003C\u002Fh2\u003E\u003Cp\u003E演讲：Driver Interaction with Autopilot - TMC Connect 2016 \u003Ca href=\&https:\u002F\u002Fv.qq.com\u002Fx\u002Fpage\u002Fd03699iuqxg.html\& data-editable=\&true\& data-title=\&自动驾驶演讲 - 腾讯视频\& class=\&\&\u003E自动驾驶演讲 - 腾讯视频\u003C\u002Fa\u003E\u003Cbr\u003E\u003C\u002Fp\u003E\u003Cp\u003E第1课：导论 \u003Ca href=\&https:\u002F\u002Fv.qq.com\u002Fx\u002Fpage\u002Fai0.html\& class=\&\& data-editable=\&true\& data-title=\&MIT九小时速成深度学习&自动驾驶汽车-1简介 - 腾讯视频\&\u003EMIT九小时速成深度学习&自动驾驶汽车-1简介 - 腾讯视频\u003C\u002Fa\u003E\u003C\u002Fp\u003E\u003Cp\u003E第2课：运动规划 \u003Ca href=\&https:\u002F\u002Fv.qq.com\u002Fx\u002Fpage\u002Fid.html\& class=\&\& data-editable=\&true\& data-title=\&MIT-2深度强化学习-运动规划 - 腾讯视频\&\u003EMIT-2深度强化学习-运动规划 - 腾讯视频\u003C\u002Fa\u003E\u003C\u002Fp\u003E\u003Cbr\u003E\u003Cp\u003E第3课：学习驾驶\u003Ca href=\&https:\u002F\u002Fv.qq.com\u002Fx\u002Fpage\u002Fz0371ejuygi.html\& data-editable=\&true\& data-title=\&- 腾讯视频\& class=\&\&\u003E- 腾讯视频\u003C\u002Fa\u003E\u003Cbr\u003E\u003C\u002Fp\u003E\u003Cp\u003E以下是原始链接（需翻墙）：\u003C\u002Fp\u003E\u003Cul\u003E\u003Cli\u003EIntroduction to Deep Learning and Self-Driving Cars\u003Cbr\u003E[ \u003Ca href=\&https:\u002F\u002Fwww.dropbox.com\u002Fs\u002Fgmgmnskg4tw6mmx\u002Flecture1.pdf?dl=1\& data-editable=\&true\& data-title=\&Slides\&\u003ESlides\u003C\u002Fa\u003E ] - [ \u003Ca href=\&https:\u002F\u002Fyoutu.be\u002F1L0TKZQcUtA?list=PLrAXtmErZgOeiKm4sgNOknGvNjby9efdf\& data-editable=\&true\& data-title=\&Lecture Video\& class=\&\&\u003ELecture Video\u003C\u002Fa\u003E ]\u003C\u002Fli\u003E\u003Cli\u003ELearning to Move: Deep Reinforcement Learning for Motion Planning\u003Cbr\u003E[ \u003Ca href=\&https:\u002F\u002Fwww.dropbox.com\u002Fs\u002F2z7276330jaw37k\u002Flecture2.pdf?dl=1\& data-editable=\&true\& data-title=\&Slides\&\u003ESlides\u003C\u002Fa\u003E ] - [ Lecture Video ]\u003C\u002Fli\u003E\u003Cli\u003ELearning to Drive: Convolutional Neural Networks and End-to-End Learning of the Full Driving Task \u003Cbr\u003E[ \u003Ca href=\&https:\u002F\u002Fwww.dropbox.com\u002Fs\u002Fq34bi7t0udms01x\u002Flecture3.pdf?dl=1\& data-editable=\&true\& data-title=\&Slides\&\u003ESlides\u003C\u002Fa\u003E ] - [ Lecture Video ]\u003C\u002Fli\u003E\u003Cli\u003ELearning to Share: Driver State Detection and Shared Autonomy \u003Cbr\u003E[ Slides ] - [ Lecture Video ]\u003C\u002Fli\u003E\u003Cli\u003ELearning to Think: The Road Ahead for Human-Centered Artificial Intelligence \u003Cbr\u003E[ Slides ] - [ Lecture Video ]\u003C\u002Fli\u003E\u003C\u002Ful\u003E\u003Cbr\u003E\u003Cbr\u003E\u003Cbr\u003E\u003Ch2\u003EDeepTesla 与 DeepTraffic
\u003C\u002Fh2\u003E\u003Cp\u003E MIT 这门课程里面的两个重点实践内容就是DeepTesla 与 DeepTraffic ：\u003C\u002Fp\u003E\u003Cblockquote\u003E\u003Cul\u003E\u003Cli\u003E\u003Cp\u003E前者直接以端到端模型训练一个自动驾驶的起动模型；\u003C\u002Fp\u003E\u003C\u002Fli\u003E\u003Cli\u003E\u003Cp\u003E后者以游戏化的方式模拟汽车在高速公路上行驶，而我们的目标就是训练一个神经网络，利用强化学习控制红车，并让它的速度尽可能提升到最快（也就是超车啦！速度与激情）。\u003C\u002Fp\u003E\u003C\u002Fli\u003E\u003C\u002Ful\u003E\u003C\u002Fblockquote\u003E\u003Cbr\u003E\u003Ch3\u003E最后还会有四位嘉宾的分享：\u003C\u002Fh3\u003E从研究到现实：在公共道路上测试自驾车\u003Cbr\u003E\u003Ca href=\&http:\u002F\u002Fweb.mit.edu\u002Fmobility\u002Fpeople\u002Fkarl.html\& data-editable=\&true\& data-title=\&Karl Iagnemma\&\u003EKarl Iagnemma\u003C\u002Fa\u003E\u003Cbr\u003E麻省理工学院首席执行官，神经科学和研究科学家\u003Cbr\u003E\u003Cbr\u003E自驾车，SLAM和深度学习\u003Cbr\u003E\u003Ca href=\&http:\u002F\u002Fmarinerobotics.mit.edu\u002Fjohn-j-leonard\& data-editable=\&true\& data-title=\&约翰·莱昂纳德\&\u003E约翰·莱昂纳德\u003C\u002Fa\u003E\u003Cbr\u003E麻省理工学院教授\u003Cbr\u003E\u003Cbr\u003EAI时代的技术，政策和车辆安全\u003Cbr\u003E\u003Ca href=\&https:\u002F\u002Fprofiles.stanford.edu\u002Fj-gerdes\& data-editable=\&true\& data-title=\&克里斯·加德斯\& class=\&\&\u003E克里斯·加德斯\u003C\u002Fa\u003E\u003Cbr\u003E斯坦福大学教授\u003Cbr\u003E\u003Cbr\u003E在复杂世界中的运动规划：过去，现在和未来\u003Cbr\u003E\u003Ca href=\&http:\u002F\u002Fkaraman.mit.edu\u002F\& data-editable=\&true\& data-title=\&Sertac Karaman\&\u003ESertac Karaman\u003C\u002Fa\u003E\u003Cbr\u003E麻省理工学院教授\u003Cbr\u003E\u003Cbr\u003E我们只采用我们所信任的：自主系统的政策和商业\u003Cbr\u003E\u003Ca href=\&https:\u002F\u002Fwww.linkedin.com\u002Fin\u002Fdaimler\& data-editable=\&true\& data-title=\&埃里克戴姆勒\&\u003E埃里克戴姆勒\u003C\u002Fa\u003E\u003Cbr\u003E白宫总统创新研究员，科学技术政策办公室&,&updated&:new Date(&T15:21:35.000Z&),&canComment&:false,&commentPermission&:&anyone&,&commentCount&:51,&likeCount&:940,&state&:&published&,&isLiked&:false,&slug&:&&,&isTitleImageFullScreen&:false,&rating&:&none&,&sourceUrl&:&&,&publishedTime&:&T23:21:35+08:00&,&links&:{&comments&:&\u002Fapi\u002Fposts\u002F2Fcomments&},&url&:&\u002Fp\u002F&,&titleImage&:&https:\u002F\u002Fpic2.zhimg.com\u002Fv2-cb4ffcffe9_r.jpg&,&summary&:&&,&href&:&\u002Fapi\u002Fposts\u002F&,&meta&:{&previous&:null,&next&:null},&snapshotUrl&:&&,&commentsCount&:51,&likesCount&:940},&&:{&title&:&CMU深度增强学习&控制 第1讲：导论&,&author&:&liu-top&,&content&:&\u003Cp\u003E--------------- 更新 ---------------\u003Cbr\u003E\u003C\u002Fp\u003E\u003Cp\u003E原始课程更新了新的网址，大家可自行下载英文课件：\u003Ca href=\&https:\u002F\u002Fkatefvision.github.io\u002F\& data-editable=\&true\& data-title=\&Deep RL and Control\& class=\&\&\u003Ehttps:\u002F\u002Fkatefvision.github.io\u002F\u003C\u002Fa\u003E\u003C\u002Fp\u003E\u003Cbr\u003E\u003Cp\u003E\&机器人学家\&翻译的其他课程链接在文末。\u003C\u002Fp\u003E\u003Cp\u003E--------------- 声明及致谢 --------------- \u003C\u002Fp\u003E\u003Cbr\u003E\u003Cblockquote\u003E\u003Cp\u003E我们获得授权翻译CMU课程 10703 Deep Reinforcement Learning & Control\u003C\u002Fp\u003E\u003Cp\u003E感谢Katerina Fragkiadaki教授的支持。\u003C\u002Fp\u003E\u003Cbr\u003E\u003Cp\u003E「机器人学家」授权发布\u003C\u002Fp\u003E\u003Cp\u003E第一课翻译贡献者：\u003C\u002Fp\u003E\u003Cp\u003E\u003Cstrong\u003E宋健\u003C\u002Fstrong\u003E ,北航机器人所SLAM (1-9)\u003C\u002Fp\u003E\u003Cp\u003E\u003Cstrong\u003E张灵康\u003C\u002Fstrong\u003E, SFU, inspiREDRobotics (10-18)\u003C\u002Fp\u003E\u003Cp\u003E\u003Cstrong\u003E李飞腾\u003C\u002Fstrong\u003E ,HFUT,Mechatronics(19-27)\u003C\u002Fp\u003E\u003Cp\u003E\u003Cstrong\u003EShin\u003C\u002Fstrong\u003E,NUS,CS (28-35)\u003C\u002Fp\u003E\u003Cp\u003E\u003Cstrong\u003E杨杰峰\u003C\u002Fstrong\u003E,PKU,多足步行机器人 (36-43)\u003C\u002Fp\u003E\u003C\u002Fblockquote\u003E\u003Cp\u003E中英文课件下载：链接：\u003Ca href=\&http:\u002F\u002Fpan.baidu.com\u002Fs\u002F1qYQ1Pc4\& data-editable=\&true\& data-title=\&baidu.com 的页面\& class=\&\&\u003Ehttp:\u002F\u002Fpan.baidu.com\u002Fs\u002F1qYQ1Pc4\u003C\u002Fa\u003E 密码：2ss2\u003Cbr\u003E\u003C\u002Fp\u003E\u003Cp\u003E--------------- 课程正文 --------------- \u003C\u002Fp\u003E\u003Ch2\u003E目标\u003C\u002Fh2\u003E\u003Cp\u003E增强学习研究的问题模型包括一个环境，和与这个环境交互的一个智能体（agent）。增强学习的目标是为这个智能体设计一个行为策略（policy），使其在与环境交互的过程中能够获得最大的收益（Reward）。这些在第二讲会有明确定义。很多机器人控制、规划问题都可以用这个框架建模。\u003C\u002Fp\u003E\u003Cbr\u003E\u003Cp\u003E这里所说的\u003Cstrong\u003E行为(Behavior)\u003C\u002Fstrong\u003E，是agent在一个特定目标下的一个动作序列。不同于在一个静态不变的环境里通过预先编程确定的行为（比如工业机器人大量使用的离线示教），\u003Cstrong\u003E本课程学习如何在一个动态变化的环境里让agent学习行为。\u003C\u002Fstrong\u003E\u003C\u002Fp\u003E\u003Cimg src=\&v2-c51c943cd5d02f8aea3a8b17f13af537.jpg\& data-rawwidth=\&216\& data-rawheight=\&137\&\u003E\u003Cbr\u003E\u003Cp\u003E静态环境里，执行固定行为往往就足够了\u003C\u002Fp\u003E\u003Cbr\u003E\u003Ch2\u003E行为重要性\u003C\u002Fh2\u003E\u003Cp\u003E\u003Cem\u003E大脑之所以进化，不是为了思考和感受，而是为了控制运动\u003C\u002Fem\u003E\u003C\u002Fp\u003E\u003Cp\u003E-- Daniel Wolpert,
TED talk\u003C\u002Fp\u003E\u003Cimg src=\&v2-bd674b9b95bb958f6faa.jpg\& data-rawwidth=\&230\& data-rawheight=\&172\&\u003E\u003Cbr\u003E\u003Cp\u003E一个极端的例子是，\u003Cstrong\u003E海鞘会在不再需要移动的时候将自己的脑部消化掉\u003C\u002Fstrong\u003E。尽管什么是智能很难定义，但是能够自适应环境改变的行为是人类的一大特征。\u003C\u002Fp\u003E\u003Cimg src=\&v2-a89c3ed207e086d24839cd.jpg\& data-rawwidth=\&640\& data-rawheight=\&271\&\u003E\u003Cbr\u003E\u003Cp\u003E行为学习：对于一个特定目标，学习一个从观测（observation）到动作（action）的映射。\u003C\u002Fp\u003E\u003Cbr\u003E\u003Ch2\u003E监督学习\u003C\u002Fh2\u003E\u003Cp\u003E智能体（agent）在通过不断尝试进行学习时，需要对结果好坏有个评估，这就是“监督（supervision）”。一个在动态环境下学习特定行为的智能体，根据问题的不同一般会获得这几种监督：\u003C\u002Fp\u003E\u003Cp\u003E\u003Cstrong\u003E1.收益（reward）\u003C\u002Fstrong\u003E。目标达成时获得的收益反馈，是一个标量数字。比如，比赛胜利，汽车没有事故，智能体正常运行等。\u003C\u002Fp\u003E\u003Cp\u003E\u003Cstrong\u003E2. 示教（demonstration）\u003C\u002Fstrong\u003E。示范需要的行为是一条轨迹。比如，通过youtube烹饪视频教机械臂学习烹饪。\u003C\u002Fp\u003E\u003Cp\u003E\u003Cstrong\u003E3. 正确行为属性\u003C\u002Fstrong\u003E。比如对于自动驾驶，好的行为属性包括保持在正确的车道内，与前车保持适当的车距等。\u003C\u002Fp\u003E\u003Cbr\u003E\u003Cp\u003E这三种监督提供的信息量从小到大，对应问题的难度也从困难到容易。\u003C\u002Fp\u003E\u003Cbr\u003E\u003Ch2\u003E行为学习举例：跳高\u003C\u002Fh2\u003E\u003Cp\u003E\u003Cimg src=\&v2-2ca12915eeb839ee1b77b7.jpg\& data-rawwidth=\&128\& data-rawheight=\&155\&\u003E跨越式\u003C\u002Fp\u003E\u003Cimg src=\&v2-ad476bf9.jpg\& data-rawwidth=\&132\& data-rawheight=\&173\&\u003E\u003Cp\u003E背越式\u003C\u002Fp\u003E\u003Col\u003E\u003Cli\u003E\u003Cp\u003E从收益中学习：最早的跳高运动员们，没有老师教，只能根据跳的高度来调整动作。跳得越高收益越大。结果就是这些人花了许多年才从跨越式发展到背跃式。\u003C\u002Fp\u003E\u003C\u002Fli\u003E\u003Cli\u003E\u003Cp\u003E从示教中学习：运动员示范一次高级姿势的跳高，其他人学习这种标准姿势可以快速掌握跳得更高的技巧。\u003C\u002Fp\u003E\u003C\u002Fli\u003E\u003Cli\u003E\u003Cp\u003E从好的行为属性中学习：在教练指导下的跳高学习。教练可以直接告诉初学者正确的行为属性，比如跳高时腿的姿势，跳高应采取的节奏等。无疑这种方式获得的信息量最大，也是学得最快的。\u003C\u002Fp\u003E\u003C\u002Fli\u003E\u003C\u002Fol\u003E\u003Cbr\u003E\u003Ch2\u003E行为学习的特点\u003C\u002Fh2\u003E\u003Cp\u003E行为学习与其他机器学习范式（比如从图片中检测物体）有什么样的不同？以下分为三点来谈：\u003C\u002Fp\u003E\u003Cimg src=\&v2-64d944a8a8ed0e7ded01.jpg\& data-rawwidth=\&396\& data-rawheight=\&294\&\u003E\u003Cbr\u003E\u003Cp\u003E1） 智能体（agent）的\u003Cstrong\u003E行为\u003C\u002Fstrong\u003E会\u003Cstrong\u003E影响\u003C\u002Fstrong\u003E其在未来接收到的\u003Cstrong\u003E数据\u003C\u002Fstrong\u003E：\u003C\u002Fp\u003E\u003Cul\u003E\u003Cli\u003E\u003Cp\u003E在自然界，智能体所接收到的数据都是序列化的（观测-& 行动-&观测-&行动 …...），而不是独立同分布的\u003C\u002Fp\u003E\u003C\u002Fli\u003E\u003Cli\u003E\u003Cp\u003E标准的监督学习的方法会导致累积误差（compounding errors），出自An invitation to imiation, Drew Bagnell\u003Cimg src=\&v2-1adb7f4fe94acad.jpg\& data-rawwidth=\&640\& data-rawheight=\&560\&\u003E\u003C\u002Fp\u003E\u003C\u002Fli\u003E\u003C\u002Ful\u003E\u003Cbr\u003E\u003Cp\u003E举例：\u003C\u002Fp\u003E\u003Cul\u003E\u003Cli\u003E\u003Cp\u003E学习驾驶一辆车（监督学习）\u003C\u002Fp\u003E\u003C\u002Fli\u003E\u003Cimg src=\&v2-ddf2f98b4de2bf959655.jpg\& data-rawwidth=\&640\& data-rawheight=\&493\&\u003E\u003Cbr\u003E\u003C\u002Ful\u003E\u003Cbr\u003E\u003Cp\u003E2）不管行为的目标是否达到，\u003Cstrong\u003E对其效果的衡量都将在很久以后才能获得\u003C\u002Fstrong\u003E。\u003C\u002Fp\u003E\u003Cul\u003E\u003Cli\u003E\u003Cp\u003E只根据即时的收益(reward)还是很难知道哪些行动（action）对于最终目标的实现是重要的还是不重要的。\u003C\u002Fp\u003E\u003C\u002Fli\u003E\u003Cli\u003E\u003Cp\u003E获知最终结果所需时间很短的话，问题就简单了，反馈所需时间越短问题越简单。\u003C\u002Fp\u003E\u003C\u002Fli\u003E\u003C\u002Ful\u003E\u003Cp\u003E3）在现实世界当中，行动都是需要时间来执行的，所以说这就\u003Cstrong\u003E限制了\u003C\u002Fstrong\u003E能够收集到的（能用于训练的）\u003Cstrong\u003E样本的\u003C\u002Fstrong\u003E\u003Cstrong\u003E数量\u003C\u002Fstrong\u003E。\u003C\u002Fp\u003E\u003Cbr\u003E\u003Cp\u003E\u003Cstrong\u003E电脑可以变得越来越快，而现实的物理世界却不能。\u003C\u002Fstrong\u003E\u003C\u002Fp\u003E\u003Cbr\u003E\u003Cp\u003E几个例子：\u003C\u002Fp\u003E\u003Cul\u003E\u003Cli\u003E\u003Cp\u003E超大规模（Supersizing）自我监督学习\u003Cbr\u003E\u003C\u002Fp\u003E\u003C\u002Fli\u003E\u003Cimg src=\&v2-07ee857f74a271ae7d10ba11cdd7d026.jpg\& data-rawwidth=\&521\& data-rawheight=\&638\&\u003E\u003Cbr\u003E\u003C\u002Ful\u003E\u003Cp\u003E这是2016年ICRA最佳学生论文，论文的关键点在于它通过很长的时间（50K次尝试，700 robot hours）来收集足够多的数据用于机器人的行为学习。论文链接：\u003Cbr\u003E\u003C\u002Fp\u003E\u003Cp\u003E\u003Ca href=\&https:\u002F\u002Farxiv.org\u002Fabs\u002F\& data-editable=\&true\& data-title=\&Learning to Grasp from 50K Tries and 700 Robot Hours\& class=\&\&\u003ELearning to Grasp from 50K Tries and 700 Robot Hours\u003C\u002Fa\u003E\u003C\u002Fp\u003E\u003Cbr\u003E\u003Cul\u003E\u003Cli\u003E\u003Cp\u003E谷歌机器人农场\u003C\u002Fp\u003E\u003C\u002Fli\u003E\u003C\u002Ful\u003E\u003Cbr\u003E\u003Cimg src=\&v2-f5c3a03f0eeebe5ef3a301a44276c75a.jpg\& data-rawwidth=\&640\& data-rawheight=\&360\&\u003E\u003Cp\u003E这是另一个极端的例子。Google用几十台相同的工业机器人连续工作几个月，采集了超过80000组抓取数据。相关链接：\u003C\u002Fp\u003E\u003Cp\u003E\u003Ca href=\&https:\u002F\u002Fresearch.googleblog.com\u002F\u002Fdeep-learning-for-robots-learning-from.html\& data-editable=\&true\& data-title=\&Deep Learning for Robots: Learning from Large-Scale Interaction\& class=\&\&\u003EDeep Learning for Robots: Learning from Large-Scale Interaction\u003C\u002Fa\u003E\u003C\u002Fp\u003E\u003Cbr\u003E\u003Cp\u003E如果你想以这种方式解决问题，云机器人（cloud robotics）是个不错的主意。\u003C\u002Fp\u003E\u003Cbr\u003E\u003Cp\u003E值得注意的是在这两个例子中，行为的结果都是很容易评估的，只需看观察物体是否成功抓取。如果结果很难评估，那么问题就非常难用增强学习解决。\u003C\u002Fp\u003E\u003Cbr\u003E\u003Cp\u003E4）\u003Cstrong\u003E行为的组合难以学习\u003C\u002Fstrong\u003E。这就是为什么在目前机器人RL大多数工作中只学习某个特定的行为，而不是较复杂的复合行为。学习组合行为远比学习组合的音频、图像难度更大。后两者已经使用深度学习取得了很好的效果。\u003C\u002Fp\u003E\u003Cbr\u003E\u003Cp\u003E下面是在医学研究下，人类婴儿学习行为的特点，或许对我们有参考意义：\u003C\u002Fp\u003E\u003Cp\u003E多模态（multi-modal）\u003C\u002Fp\u003E\u003Cp\u003E增加的（incremental）\u003C\u002Fp\u003E\u003Cp\u003E物理的（physical）\u003C\u002Fp\u003E\u003Cp\u003E探索的（explore）\u003C\u002Fp\u003E\u003Cp\u003E社会化的（social）\u003C\u002Fp\u003E\u003Cp\u003E\u003Cem\u003E来自于： The development of embodied cognition:six lessons from babies,Linda Smith, Michael Gasser\u003C\u002Fem\u003E\u003C\u002Fp\u003E\u003Ch2\u003E增强学习成功案例\u003C\u002Fh2\u003E\u003Cp\u003E下面看一些行为学习成功的应用实例：\u003C\u002Fp\u003E\u003Ch2\u003E十五子棋\u003Cimg src=\&v2-063f7df504e7aeb85ad14.jpg\& data-rawwidth=\&404\& data-rawheight=\&399\&\u003E\u003C\u002Fh2\u003E\u003Cp\u003E这是一种两人玩的棋类游戏。其中掷骰子给问题的发展带来不确定的可能分支，让适用于象棋的暴力深度搜索方法无法使用。\u003C\u002Fp\u003E\u003Cbr\u003E\u003Cbr\u003E\u003Cp\u003ETemporal Difference(TD) Learning，一种增强学习（RL）方法，IBM研究中心的Gerarl Tesauro 于1992年使用这种方法来尝试解决十五子棋的问题。从任意初始化的权重weight开始，它通过与自身对弈，训练出了一个评估函数（evaluation function）用于决策，击败了当时的十五子棋冠军。\u003C\u002Fp\u003E\u003Cbr\u003E\u003Cp\u003E\&毫无疑问，它对位置的判断远胜于我。\&\u003C\u002Fp\u003E\u003Cp\u003E\u003Cem\u003E-----Kit Woolsey （美国桥牌和十五子棋专家）\u003C\u002Fem\u003E\u003C\u002Fp\u003E\u003Cbr\u003E\u003Ch2\u003E直升机飞控\u003C\u002Fh2\u003E\u003Cp\u003E（编者注：和四旋翼不同，直升机是一个有超过7维控制输入的复杂非线性系统，其自动控制一直被控制界认为是比较困难的问题）\u003C\u002Fp\u003E\u003Cbr\u003E\u003Cp\u003E斯坦福的自控直升机通过运用专家演示，微分动态规划，局部模型学习等技术，能够让直升机在空中自主完成一系列姿态动作。\u003C\u002Fp\u003E\u003Cimg src=\&v2-e8db3d9d79671efcfab443.jpg\& data-rawwidth=\&638\& data-rawheight=\&360\&\u003E\u003Cp\u003E原地翻转\u003Cbr\u003E\u003Cimg src=\&v2-2d2b4bdbcc8b22.jpg\& data-rawwidth=\&638\& data-rawheight=\&360\&\u003E\u003C\u002Fp\u003E\u003Cbr\u003E\u003Cp\u003E画圈\u003C\u002Fp\u003E\u003Cimg src=\&v2-cea0859cc3.jpg\& data-rawwidth=\&638\& data-rawheight=\&360\&\u003E\u003Cbr\u003E\u003Cp\u003E钟摆\u003C\u002Fp\u003E\u003Cbr\u003E\u003Cp\u003E两个完整视频链接在这里\u003C\u002Fp\u003E\u003Cp\u003E\u003Ca href=\&http:\u002F\u002Fwww.miaopai.com\u002Fshow\u002FM3nq4b0d5rMjFEz08EXq2w__.htm\& data-editable=\&true\& data-title=\&-Shin1jzpn的秒拍\&\u003E-Shin1jzpn的秒拍\u003C\u002Fa\u003E\u003C\u002Fp\u003E\u003Cbr\u003E\u003Cp\u003E\u003Ca href=\&http:\u002F\u002Fwww.miaopai.com\u002Fshow\u002Fv1xjXeB~OiL32G8Aqb9weg__.htm\& data-editable=\&true\& data-title=\&-Shin1jzpn的秒拍\&\u003E-Shin1jzpn的秒拍\u003C\u002Fa\u003E\u003C\u002Fp\u003E\u003Cbr\u003E\u003Ch2\u003E四足机器人行走\u003C\u002Fh2\u003E\u003Cp\u003ECMU机器人研究所的Matt Zucker用优化和学习模型能够让机器人根据不同的地形状况更好的控制腿部运动。\u003C\u002Fp\u003E\u003Cimg src=\&v2-c89dd5d2e47ef61e9a7d01.jpg\& data-rawwidth=\&480\& data-rawheight=\&360\&\u003E\u003Cp\u003E跨越栏杆 光滑崎岖的地面\u003C\u002Fp\u003E\u003Cbr\u003E\u003Cimg src=\&v2-0fba12bff192ba33ce9465cf.jpg\& data-rawwidth=\&480\& data-rawheight=\&360\&\u003E\u003Cp\u003E爬过岩石\u003C\u002Fp\u003E\u003Cimg src=\&v2-b3eb594e6bc83b4f6b5804.jpg\& data-rawwidth=\&480\& data-rawheight=\&360\&\u003E\u003Cp\u003E爬楼梯\u003C\u002Fp\u003E\u003Cbr\u003E\u003Cp\u003E完整的视频链接：\u003Ca href=\&http:\u002F\u002Fwww.miaopai.com\u002Fshow\u002FZOAfmg5GEsXaKLRlmbFLvQ__.htm\& data-editable=\&true\& data-title=\&-Shin1jzpn的秒拍\&\u003E-Shin1jzpn的秒拍\u003C\u002Fa\u003E\u003C\u002Fp\u003E\u003Cbr\u003E\u003Cp\u003E相关论文链接在这里：\u003C\u002Fp\u003E\u003Cp\u003E\u003Ca href=\&http:\u002F\u002Flairlab.org\u002Fwp-content\u002Fuploads\u002F\u002Fld-systems.pdf\& data-editable=\&true\& data-title=\&lairlab.org 的页面\& class=\&\&\u003Ehttp:\u002F\u002Flairlab.org\u002Fwp-content\u002Fuploads\u002F\u002Fld-systems.pdf\u003C\u002Fa\u003E\u003C\u002Fp\u003E\u003Cbr\u003E\u003Ch2\u003E无人车\u003C\u002Fh2\u003E\u003Cp\u003E第一辆无人车于1991年在CMU诞生，主要用的是人工神经网络。论文链接：\u003C\u002Fp\u003E\u003Cp\u003E\u003Ca href=\&https:\u002F\u002Fwww.ri.cmu.edu\u002Fpub_files\u002Fpub3\u002Fpomerleau_dean_2Fpomerleau_dean_1991_1.pdf\& data-editable=\&true\& data-title=\&cmu.edu 的页面\& class=\&\&\u003Ehttps:\u002F\u002Fwww.ri.cmu.edu\u002Fpub_files\u002Fpub3\u002Fpomerleau_dean_2Fpomerleau_dean_1991_1.pdf\u003C\u002Fa\u003E\u003C\u002Fp\u003E\u003Cbr\u003E\u003Cp\u003E此作品运用了行为克隆模型，利用数据增强来处理累计误差，是一种在线适应的交互学习方式。\u003Cbr\u003E\u003C\u002Fp\u003E\u003Cp\u003E无人车具体涉及到的技术包括： 计算机视觉，Velodyne传感器，物体识别，三维姿态估计，路径规划等。\u003C\u002Fp\u003E\u003Cbr\u003E\u003Ch2\u003E打砖块游戏\u003C\u002Fh2\u003E\u003Cp\u003EGoogle Deep Mind使用深度Q学习算法训练出了针对打砖块游戏的agent.\u003C\u002Fp\u003E\u003Cbr\u003E\u003Cp\u003E刚开始的10分钟agent显得十分笨拙：\u003C\u002Fp\u003E\u003Cimg src=\&v2-ffebe4c2e33a.jpg\& data-rawwidth=\&582\& data-rawheight=\&720\&\u003E\u003Cp\u003E两个小时之后已经是专家了：\u003C\u002Fp\u003E\u003Cimg src=\&v2-7debee26159cc4feecfa34d.jpg\& data-rawwidth=\&582\& data-rawheight=\&720\&\u003E\u003Cp\u003E四个小时之后完全攻略了这个游戏：\u003C\u002Fp\u003E\u003Cimg src=\&v2-d7fe2e187c0a41de0d05c.jpg\& data-rawwidth=\&582\& data-rawheight=\&720\&\u003E\u003Cp\u003E完整视频链接：\u003Ca href=\&http:\u002F\u002Fwww.miaopai.com\u002Fshow\u002FarMjrca9g0HD8t2n3N~dVA__.htm\& data-editable=\&true\& data-title=\&-Shin1jzpn的秒拍\&\u003E-Shin1jzpn的秒拍\u003C\u002Fa\u003E\u003Cbr\u003E\u003C\u002Fp\u003E\u003Ch2\u003EMontezuma’s Revenge游戏\u003C\u002Fh2\u003E\u003Cp\u003EGoogle DeepMind还用不同的方法开发训练了Montezuma’s Revenge游戏的agent。\u003C\u002Fp\u003E\u003Cimg src=\&v2-efc47f77a280a5a2b9c28.jpg\& data-rawwidth=\&640\& data-rawheight=\&398\&\u003E\u003Cp\u003E具体视频链接请戳：\u003Ca href=\&http:\u002F\u002Fwww.miaopai.com\u002Fshow\u002FyEkASRUAwhOnxL7IqBcVew__.htm\& data-editable=\&true\& data-title=\&-Shin1jzpn的秒拍\& class=\&\&\u003E-Shin1jzpn的秒拍\u003C\u002Fa\u003E\u003C\u002Fp\u003E\u003Cbr\u003E\u003Ch2\u003E第一个基于像素的增强学习应用\u003C\u002Fh2\u003E\u003Cimg src=\&v2-751cd04fcc52fea362ec2bd.jpg\& data-rawwidth=\&450\& data-rawheight=\&178\&\u003E\u003Cp\u003E论文：Evolving large-scale neural networks for vision-based reinforcement learning, 2013, Koutni?k, Cuccu, Schmidhuber, Gomez\u003C\u002Fp\u003E\u003Cbr\u003E\u003Ch2\u003E机械臂操作\u003C\u002Fh2\u003E\u003Cp\u003E\u003Cimg src=\&v2-e204e02c5d47d.jpg\& data-rawwidth=\&640\& data-rawheight=\&421\&\u003E荷兰代尔夫特理工大学TU Delft 团队赢得2016 Amazon Picking Challenge 拣选”和 “放置”两项冠军。\u003Cbr\u003E\u003C\u002Fp\u003E\u003Cimg src=\&v2-025c672abeb17dc68048efe94c24aa77.jpg\& data-rawwidth=\&640\& data-rawheight=\&360\&\u003E\u003Cp\u003E\u003Cem\u003E（编者注：TU Delft在这次比赛中应该并没有使用增强学习算法。事实上几乎所有参赛队都没有用learning，而是使用基于模型的控制规划。这是一个增强学习潜在的应用场景。）\u003C\u002Fem\u003E\u003C\u002Fp\u003E\u003Ch2\u003E围棋 AlphaGo\u003Cimg src=\&v2-02564f80bcdcab536b377f60b970719b.jpg\& data-rawwidth=\&640\& data-rawheight=\&362\&\u003E\u003C\u002Fh2\u003E\u003Cp\u003EAlphaGo使用的增强学习算法属于蒙特卡罗树搜索，通过学习策略网络和价值网络来修剪搜索树，通过专家示范和大量自我对奕来训练。\u003Cimg src=\&v2-4e4e89a36c3ddc97d675824afe72b921.jpg\& data-rawwidth=\&640\& data-rawheight=\&396\&\u003E\u003C\u002Fp\u003E\u003Cp\u003E谷歌用于训练AlphaGo的深度学习专门硬件TPU(Tensor Processing Unit)\u003Cbr\u003E\u003Cimg src=\&v2-a6bb2e4fff.jpg\& data-rawwidth=\&640\& data-rawheight=\&329\&\u003E\u003C\u002Fp\u003E\u003Cp\u003EAlphaGo在围棋上的成功大家有目共睹。课件上这里援引两大棋手的评论作为结尾：\u003C\u002Fp\u003E\u003Cbr\u003E\u003Cbr\u003E\u003Cp\u003E\u003Cem\u003E“人类千年的实战演练进化，计算机却告诉我们，人类全都是错的…”\u003C\u002Fem\u003E\u003C\u002Fp\u003E\u003Cp\u003E柯洁 围棋九段\u003C\u002Fp\u003E\u003Cbr\u003E\u003Cp\u003E\u003Cem\u003E“机器人永远不能像人类那样理解这个游戏的美妙。”\u003C\u002Fem\u003E\u003C\u002Fp\u003E\u003Cp\u003E李世石 围棋九段\u003C\u002Fp\u003E\u003Cbr\u003E\u003Cimg src=\&v2-68144cde3f036dcac05a0e01bb451ae0.jpg\& data-rawwidth=\&640\& data-rawheight=\&267\&\u003E\u003Cbr\u003E\u003Cp\u003E编者注：深度增强学习正处在一个快速发展、迈向应用的时期。它在许多问题上取得了巨大成功，在另一些问题（比如实物的控制问题）上仍面临挑战。不论如何，了解学习这一工具是对机器人专业朋友们很有价值的一件事。\u003C\u002Fp\u003E\u003Cbr\u003E\u003Cp\u003E我们的翻译志愿者团队已经超过80人，整个学期的课件每份都已经至少有三人次负责，我们会尽力保证翻译质量。第二、三讲课件已经在翻译中。\u003C\u002Fp\u003E\u003Ch2\u003E课程合集\u003C\u002Fh2\u003E\u003Cp\u003ECMU 10703 课程网站：\u003C\u002Fp\u003E\u003Cp\u003E\u003Ca href=\&https:\u002F\u002Fkatefvision.github.io\u002F\& data-editable=\&true\& data-title=\&Deep RL and Control\& class=\&\&\u003EDeep RL and Control\u003C\u002Fa\u003E\u003Cbr\u003E\u003C\u002Fp\u003E\u003Cp\u003E\u003Ca href=\&https:\u002F\u002Fwww.cmucoursefind.xyz\u002Fs17\u002F10-703\& data-editable=\&true\& data-title=\&10-703: Deep Reinforcement Learning & Control\& class=\&\&\u003E10-703: Deep Reinforcement Learning & Control\u003C\u002Fa\u003E\u003C\u002Fp\u003E\u003Cp\u003E中文翻译：\u003C\u002Fp\u003E\u003Cp\u003E1.：\u003Ca href=\&http:\u002F\u002Fmp.weixin.qq.com\u002Fs?__biz=MzA3NDU2NDk3MQ==&mid=&idx=1&sn=20f23f9bc91b5f8a4933&chksm=efca6b6eccf3870bbae80b6bca6bec5d8f71cbd4cc4ef12&mpshare=1&scene=23&srcid=0202drR5HOAak4ApE9mHEbZm#rd\& data-editable=\&true\& data-title=\&增强学习能解决什么样的机器人问题？CMU深度增强学习第一讲\& class=\&\&\u003E增强学习能解决什么样的机器人问题？CMU深度增强学习第一讲\u003C\u002Fa\u003E\u003C\u002Fp\u003E\u003Cbr\u003E\u003Cp\u003E2：\u003Ca href=\&http:\u002F\u002Fmp.weixin.qq.com\u002Fs\u002FKzPBwEF-58eIU14jiJ6jJA\& data-editable=\&true\& data-title=\&马尔科夫决策过程及其性质-CMU深度强化学习第二讲\& class=\&\&\u003E马尔科夫决策过程及其性质-CMU深度强化学习第二讲\u003C\u002Fa\u003E\u003Cbr\u003E\u003C\u002Fp\u003E\u003Cbr\u003E\u003Cp\u003E3.：\u003Ca href=\&http:\u002F\u002Fmp.weixin.qq.com\u002Fs\u002F4dr-mi9PcbT_npV-kxsx5Q\& data-editable=\&true\& data-title=\&MDP中的规划-CMU深度强化学习第三讲\& class=\&\&\u003EMDP中的规划-CMU深度强化学习第三讲\u003C\u002Fa\u003E\u003Cbr\u003E\u003C\u002Fp\u003E\u003Cp\u003E持续更新中......\u003C\u002Fp\u003E\u003Cp\u003E\u003Ci\u003E欢迎关注“机器人学家”\u003C\u002Fi\u003E\u003C\u002Fp\u003E\u003Cp\u003E\u003Ci\u003E转载请联系我们获得许可即可，不尊重作者劳动成果的行为会被举报。\u003C\u002Fi\u003E\u003C\u002Fp\u003E&,&updated&:new Date(&T15:33:33.000Z&),&canComment&:false,&commentPermission&:&anyone&,&commentCount&:20,&likeCount&:144,&state&:&published&,&isLiked&:false,&slug&:&&,&isTitleImageFullScreen&:false,&rating&:&none&,&sourceUrl&:&&,&publishedTime&:&T23:33:33+08:00&,&links&:{&comments&:&\u002Fapi\u002Fposts\u002F2Fcomments&},&url&:&\u002Fp\u002F&,&titleImage&:&https:\u002F\u002Fpic3.zhimg.com\u002Fv2-fa19ca62c552b9bd18bf3_r.jpg&,&summary&:&&,&href&:&\u002Fapi\u002Fposts\u002F&,&meta&:{&previous&:null,&next&:null},&snapshotUrl&:&&,&commentsCount&:20,&likesCount&:144},&&:{&title&:&预告：贾子枫 与 Top Liu 的Live - - 如何玩转 ROS 机器人程序设计&,&author&:&liu-top&,&content&:&首先要非常感谢贾子枫邀请我来参与这次「机器人」主题的系列live，并与大家分享ROS学习的话题。\u003Cp\u003E\u003Cb\u003E本次活动定位为公益及技术传播活动\u003Cbr\u003E\u003C\u002Fb\u003E\u003C\u002Fp\u003E\u003Cp\u003E\u003Cb\u003E1. 门票定为最低价9.9元\u003C\u002Fb\u003E\u003C\u002Fp\u003E\u003Cp\u003E\u003Cb\u003E2. 本次live全部收入将用于资助贫困学生\u003C\u002Fb\u003E\u003Cbr\u003E\u003C\u002Fp\u003E\u003Cp\u003E主要用于帮助经济困难的优秀大学生接受机器人的教育培训以及捐赠机器人相关书籍，帮助他们用科技改变命运。\u003C\u002Fp\u003E\u003Cp\u003E\u003Cb\u003E贾子枫\u003C\u002Fb\u003E，资深机器人研究工程师，也是接触 ROS 最早的国人之一。ROS 星火计划公开课与课程讲师。回国创业以来一直坚持用 ROS 系统开发产品。译作《ROS 机器人进阶编程指南》（Mastering ROS for Robotics Programming）也即将面世。知乎机器人话题优秀回答者。\u003Cbr\u003E\u003C\u002Fp\u003E\u003Cp\u003E\u003Cb\u003ETop Liu\u003C\u002Fb\u003E博士，致力于机器人技术的探索与分享。 易科机器人实验室、（星火计划）ROS公开课联合发起人，著有知乎专栏《开始学习机器人》， 出版有《ROS机器人程序设计2》、《机器人编程实战》、《嵌入式机器人学》、《机器人与未来》等。\u003C\u002Fp\u003E\u003Cp\u003E\u003Ca href=\&https:\u002F\u002Fwww.zhihu.com\u002Flives\u002F186432\& class=\&\& data-editable=\&true\& data-title=\&如何玩转 ROS 机器人程序设计的Live入口\&\u003E如何玩转 ROS 机器人程序设计的Live入口\u003C\u002Fa\u003E\u003Cbr\u003E\u003C\u002Fp\u003E\u003Cp\u003E系列live的第三讲，是关于机器人操作系统ROS的话题，也是在我们进行了ROS星火计划全国公开课巡讲之后，深深感受到ROS远远没有我们想象中的普及，大家对ROS的了解也很多是浅尝辄止，蜻蜓点水。这一次的live也不可能让大家对ROS有深入的了解，甚至连提纲挈领的介绍都难以做到。我们更希望能从自己的学习开发经验中，和大家形象的聊一聊ROS。这次Live举行时间距离发布比较长，希望能够充分收集一些问题，有些回答可能还需要上机调试，Live中我们也会尽量保证回答问题的时间。\u003C\u002Fp\u003E\u003Cp\u003E----------------------------------------------------------------------\u003Cbr\u003E\u003C\u002Fp\u003E\u003Cp\u003E发个图给大家看看ROS星火计划线下活动的场景~\u003C\u002Fp\u003E\u003Cimg src=\&v2-02a67de77c30dccd8aeb272b72a68b1a.png\& data-rawwidth=\&1294\& data-rawheight=\&862\&\u003E\u003Cp\u003E----------------------------------------------------------------------\u003C\u002Fp\u003E\u003Cp\u003E这是一个有关「机器人」主题的系列live。每个话题相互独立，但是整个系列将会描绘出机器人科学和技术的整体发展轮廓和蓝图。\u003C\u002Fp\u003E\u003Cp\u003E如果你：\u003Cbr\u003E想要了解机器人到底是一个什么样的行业；\u003Cbr\u003E想要现在进入机器人行业的某一方向，却并不清楚应该注意什么事情；\u003Cbr\u003E想要在机器人行业发展学习，却不知道应该掌握哪些基础知识以及掌握到什么程度；\u003Cbr\u003E已经是行业内的研发人员，有些问题困扰着你一直得不到解答。\u003Cbr\u003E\u003Cbr\u003E那么，我们非常希望看到你来参加我们「机器人」主题系列live。\u003Cbr\u003E我们将集合「处在机器人行业开发与从业一线」，「有深厚学术背景以及对机器人相关技术与行业有独到见解的专业人士」，\u003Cbr\u003E为对机器人行业有兴趣的大家介绍机器人行业现状与问题；\u003Cbr\u003E为现有机器人行业从业者分享我们的机器人从业经验，互相交流学习；\u003Cbr\u003E特别是，我们希望能够为帮助想要在机器人行业有所发展的初学者系统梳理入门机器人行业应该具备的专业知识。\u003C\u002Fp\u003E&,&updated&:new Date(&T09:19:05.000Z&),&canComment&:false,&commentPermission&:&anyone&,&commentCount&:6,&likeCount&:29,&state&:&published&,&isLiked&:false,&slug&:&&,&isTitleImageFullScreen&:false,&rating&:&none&,&sourceUrl&:&&,&publishedTime&:&T17:19:05+08:00&,&links&:{&comments&:&\u002Fapi\u002Fposts\u002F2Fcomments&},&url&:&\u002Fp\u002F&,&titleImage&:&https:\u002F\u002Fpic1.zhimg.com\u002Fv2-cfa9d2c981da395b196b79d_r.jpg&,&summary&:&&,&href&:&\u002Fapi\u002Fposts\u002F&,&meta&:{&previous&:null,&next&:null},&snapshotUrl&:&&,&commentsCount&:6,&likesCount&:29},&&:{&title&:&预告：《智能机器人程序开发：挑战与应对》大连&,&author&:&liu-top&,&content&:&ROS“星火计划”来到大连了！\u003Cp\u003E\u003Ci\u003E5月20日 13:30 ～ 17:30，大连海事大学 四海楼 306教室。活动行报名地址：\u003Ca href=\&http:\u002F\u002Fwww.huodongxing.com\u002Fevent\u002F0\& data-editable=\&true\& data-title=\&ROS“星火计划”2017大连站火热招募中\& class=\&\&\u003EROS“星火计划”2017大连站火热招募中\u003C\u002Fa\u003E\u003C\u002Fi\u003E\u003C\u002Fp\u003E\u003Cp\u003E跟大家汇报下，我最近在学习编程建网站，也好久没写东西了，这次我也会在大连站简短地总结一下（30min）。主要讲一下大家关心的以及经常问的一些问题：\u003C\u002Fp\u003E\u003Cp\u003E题目暂定《智能机器人程序开发：挑战与应对》吧,正在准备ppt.....\u003C\u002Fp\u003E\u003Cp\u003E1.全球智能机器人发展现状\u003C\u002Fp\u003E\u003Cp\u003E2.技术及开发上的困难\u003C\u002Fp\u003E\u003Cp\u003E3.ROS的产生背景及意义\u003C\u002Fp\u003E\u003Cp\u003E4.ROS存在的问题与未来发展\u003C\u002Fp\u003E\u003Cp\u003E5.ROS安全性如何？如何避免黑客攻击及《速8》里的“僵尸车”？\u003C\u002Fp\u003E\u003Cp\u003E6.ROS2.0特性、进展及前景？\u003C\u002Fp\u003E\u003Cp\u003E7.如何加速学习曲线:一点体会及建议\u003Cbr\u003E\u003C\u002Fp\u003E\u003Cbr\u003E\u003Cp\u003E先占坑.....慢慢填\u003C\u002Fp\u003E&,&updated&:new Date(&T15:16:59.000Z&),&canComment&:false,&commentPermission&:&anyone&,&commentCount&:2,&likeCount&:5,&state&:&published&,&isLiked&:false,&slug&:&&,&isTitleImageFullScreen&:false,&rating&:&none&,&sourceUrl&:&&,&publishedTime&:&T23:16:59+08:00&,&links&:{&comments&:&\u002Fapi\u002Fposts\u002F2Fcomments&},&url&:&\u002Fp\u002F&,&titleImage&:&https:\u002F\u002Fpic3.zhimg.com\u002Fv2-adcb419e38_r.jpg&,&summary&:&&,&href&:&\u002Fapi\u002Fposts\u002F&,&meta&:{&previous&:null,&next&:null},&snapshotUrl&:&&,&commentsCount&:2,&likesCount&:5},&&:{&title&:&智能机器人与ROS相关进展——星火计划大连站PPT&,&author&:&liu-top&,&content&:&\u003Ch2\u003E（前方多图高能，请wifi浏览）\u003C\u002Fh2\u003E\u003Cp\u003E5月20日，在这个真爱的日子里，大家和机器人有个约会！ \u003C\u002Fp\u003E\u003Cp\u003E我们在大连海事大学如期举办了星火计划ROS公开课。李滨虎老师作为主讲为大家讲授了ROS编程基础，并演示了spark机器人follow me的功能。滨虎老师授课深入浅出，课下小伙伴们讨论也非常热烈。\u003C\u002Fp\u003E\u003Cbr\u003E\u003Cimg src=\&v2-cdf313def416495eda7e.jpg\& data-rawwidth=\&1280\& data-rawheight=\&722\&\u003E\u003Cimg src=\&v2-20cc39f0965acaec7dd5b9.jpg\& data-rawwidth=\&1280\& data-rawheight=\&960\&\u003E\u003Cbr\u003E\u003Cimg src=\&v2-b71d97a1fb807d20d882b.jpg\& data-rawwidth=\&1280\& data-rawheight=\&722\&\u003E\u003Cbr\u003E\u003Cp\u003E我个人则友情汇报了ROS目前的最新动态及进展。文末是我的PPT分享。\u003C\u002Fp\u003E\u003Cimg src=\&v2-72dfdfd61f951be2afe572765bbb2431.jpg\& data-rawwidth=\&1280\& data-rawheight=\&960\&\u003E\u003Cbr\u003E\u003Cimg src=\&v2-fc0a0b9a340ba207bb9a130f7218b07f.jpg\& data-rawwidth=\&1280\& data-rawheight=\&720\&\u003E\u003Cimg src=\&v2-ed4cca533abf69b75793edc11f6b01f1.jpg\& data-rawwidth=\&1280\& data-rawheight=\&720\&\u003E\u003Cimg src=\&v2-cba0b0ff341d4702aa49.jpg\& data-rawwidth=\&1280\& data-rawheight=\&720\&\u003E\u003Cimg src=\&v2-129dafcf9d4.jpg\& data-rawwidth=\&1280\& data-rawheight=\&720\&\u003E\u003Cimg src=\&v2-f2d850421cef78a2c046edc.jpg\& data-rawwidth=\&1280\& data-rawheight=\&720\&\u003E\u003Cimg src=\&v2-dd762aa03ffd3858378bfe.jpg\& data-rawwidth=\&1280\& data-rawheight=\&720\&\u003E\u003Cimg src=\&v2-67c894a9c68.jpg\& data-rawwidth=\&1280\& data-rawheight=\&720\&\u003E\u003Cimg src=\&v2-05fec139da37c9015d67b.jpg\& data-rawwidth=\&1280\& data-rawheight=\&720\&\u003E\u003Cimg src=\&v2-ac8797da56eabbddfb93b.jpg\& data-rawwidth=\&1280\& data-rawheight=\&720\&\u003E\u003Cimg src=\&v2-076b4c47ac8fa3d18fc3.jpg\& data-rawwidth=\&1280\& data-rawheight=\&720\&\u003E\u003Cimg src=\&v2-f9afd048bc440be3c099.jpg\& data-rawwidth=\&1280\& data-rawheight=\&720\&\u003E\u003Cimg src=\&v2-a434fc64df54e14c79b1.jpg\& data-rawwidth=\&1280\& data-rawheight=\&720\&\u003E\u003Cimg src=\&v2-491c11c07b72a9cb0cd221a.jpg\& data-rawwidth=\&1280\& data-rawheight=\&720\&\u003E\u003Cimg src=\&v2-b.jpg\& data-rawwidth=\&1280\& data-rawheight=\&720\&\u003E\u003Cimg src=\&v2-afd7ed0bef804a.jpg\& data-rawwidth=\&1280\& data-rawheight=\&720\&\u003E\u003Cimg src=\&v2-b8afa8aef758dfb1906574a.jpg\& data-rawwidth=\&1280\& data-rawheight=\&720\&\u003E\u003Cimg src=\&v2-824d4119aab3f3dba1f854904acfd919.jpg\& data-rawwidth=\&1280\& data-rawheight=\&720\&\u003E\u003Cimg src=\&v2-bdb9e319c8c571e619d2268.jpg\& data-rawwidth=\&1280\& data-rawheight=\&720\&\u003E\u003Cimg src=\&v2-5c3f01aa68b6a8af341dafa2e049db67.jpg\& data-rawwidth=\&1280\& data-rawheight=\&720\&\u003E\u003Cimg src=\&v2-1fe4a3bd34acc9b0c16563cda3d1fe38.jpg\& data-rawwidth=\&1280\& data-rawheight=\&720\&\u003E\u003Cimg src=\&v2-0f7ade40a1fef4cbee509c7.jpg\& data-rawwidth=\&1280\& data-rawheight=\&720\&\u003E\u003Cimg src=\&v2-49c6bc757ab53741ca28.jpg\& data-rawwidth=\&1280\& data-rawheight=\&720\&\u003E\u003Cimg src=\&v2-e4cef174e338efe6cb01fd5bfdd40fc5.jpg\& data-rawwidth=\&1280\& data-rawheight=\&720\&\u003E\u003Cimg src=\&v2-e994f20a598db.jpg\& data-rawwidth=\&1280\& data-rawheight=\&720\&\u003E\u003Cimg src=\&v2-56dd37f911efc5aee7b0d1a38a458fef.jpg\& data-rawwidth=\&1280\& data-rawheight=\&720\&\u003E\u003Cimg src=\&v2-38ec8204cfe7b6f00cb51.jpg\& data-rawwidth=\&1280\& data-rawheight=\&720\&\u003E\u003Cimg src=\&v2-b0b7dab9bc21cb97f8534e19.jpg\& data-rawwidth=\&1280\& data-rawheight=\&720\&\u003E\u003Cimg src=\&v2-83b6fc1ae624a53dbb8f3.jpg\& data-rawwidth=\&1280\& data-rawheight=\&720\&\u003E\u003Cimg src=\&v2-1c6eb8da004a15c7cbddced.jpg\& data-rawwidth=\&1280\& data-rawheight=\&720\&\u003E\u003Cimg src=\&v2-9ce70a66b23cfd026e32c9.jpg\& data-rawwidth=\&1280\& data-rawheight=\&720\&\u003E\u003Cimg src=\&v2-c45969cfe9efa9d04c067.jpg\& data-rawwidth=\&1280\& data-rawheight=\&720\&\u003E\u003Cimg src=\&v2-e273cc5f5fb64e8485ea5d.jpg\& data-rawwidth=\&1280\& data-rawheight=\&720\&\u003E\u003Cimg src=\&v2-e194bbe2a7de2d7a0b637.jpg\& data-rawwidth=\&1280\& data-rawheight=\&720\&\u003E\u003Cimg src=\&v2-9dc5f112311.jpg\& data-rawwidth=\&1280\& data-rawheight=\&720\&\u003E\u003Cimg src=\&v2-418bc0dd493.jpg\& data-rawwidth=\&1280\& data-rawheight=\&720\&\u003E\u003Cimg src=\&v2-76aa163f45ef.jpg\& data-rawwidth=\&1280\& data-rawheight=\&720\&\u003E\u003Cimg src=\&v2-74c712d4d74bb01d9a3a.jpg\& data-rawwidth=\&1280\& data-rawheight=\&720\&\u003E\u003Cimg src=\&v2-1a5a415bd34c70c4321c1bfe1e705083.jpg\& data-rawwidth=\&1280\& data-rawheight=\&720\&\u003E\u003Cimg src=\&v2-f265c18ab62f4f8225baf.jpg\& data-rawwidth=\&1280\& data-rawheight=\&720\&\u003E\u003Cimg src=\&v2-f38b7e58d2f9dbc5ccd35c98c53cc325.jpg\& data-rawwidth=\&1280\& data-rawheight=\&720\&\u003E\u003Cimg src=\&v2-25a82c5ab13a5bd8d4079943cab8d8c9.jpg\& data-rawwidth=\&1280\& data-rawheight=\&720\&\u003E\u003Cimg src=\&v2-5a7d3894dcb1ff5c364dab.jpg\& data-rawwidth=\&1280\& data-rawheight=\&720\&\u003E\u003Cimg src=\&v2-515aacdf55bae1bdc334684.jpg\& data-rawwidth=\&1280\& data-rawheight=\&720\&\u003E\u003Cimg src=\&v2-98ae1a2f5d01f1c8ee50.jpg\& data-rawwidth=\&1280\& data-rawheight=\&720\&\u003E\u003Cimg src=\&v2-9dfd7cbae6.jpg\& data-rawwidth=\&1280\& data-rawheight=\&720\&\u003E&,&updated&:new Date(&T12:35:38.000Z&),&canComment&:false,&commentPermission&:&anyone&,&commentCount&:8,&likeCount&:24,&state&:&published&,&isLiked&:false,&slug&:&&,&isTitleImageFullScreen&:false,&rating&:&none&,&sourceUrl&:&&,&publishedTime&:&T20:35:38+08:00&,&links&:{&comments&:&\u002Fapi\u002Fposts\u002F2Fcomments&},&url&:&\u002Fp\u002F&,&titleImage&:&https:\u002F\u002Fpic1.zhimg.com\u002Fv2-46e878019eea28d0e2ff9ffc_r.jpg&,&summary&:&&,&href&:&\u002Fapi\u002Fposts\u002F&,&meta&:{&previous&:null,&next&:null},&snapshotUrl&:&&,&commentsCount&:8,&likesCount&:24},&&:{&title&:&易科新书《机器人编程实战》推荐序&,&author&:&liu-top&,&content&:&\u003Cp\u003E\u003Ca href=\&https:\u002F\u002Fwww.amazon.cn\u002Fdp\u002FB073L8PHH8\u002Fref=sr_1_1?ie=UTF8&qid=&sr=8-1&keywords=%E6%9C%BA%E5%99%A8%E4%BA%BA%E7%BC%96%E7%A8%8B%E5%AE%9E%E6%88%98\&\u003E亚马逊图书链接\u003C\u002Fa\u003E\u003C\u002Fp\u003E\u003Cp\u003E\u003Ca href=\&https:\u002F\u002Fsearch.jd.com\u002FSearch?keyword=%E6%9C%BA%E5%99%A8%E4%BA%BA%E7%BC%96%E7%A8%8B%E5%AE%9E%E6%88%98&enc=utf-8&wq=%E6%9C%BA%E5%99%A8%E4%BA%BA%E7%BC%96%E7%A8%8B%E5%AE%9E%E6%88%98&pvid=e1a5d8edf471\&\u003E京东图书链接\u003C\u002Fa\u003E\u003C\u002Fp\u003E\u003Cp\u003E\u003Cbr\u003E\u003C\u002Fp\u003E\u003Cp\u003E如果要问我：当你十年前第一次制作机器人时，希望能拥有哪一本书？现在回答，那就是这本《机器人编程实战》！所以，今天我们把这本书带到了您的面前。\u003C\u002Fp\u003E\u003Cp\u003E\u003Cbr\u003E\u003C\u002Fp\u003E\u003Cp\u003E我们在2009年也是使用Arduino（本书主要使用的控制器之一）进行机器人编程，虽喜欢其易学易用。但又感觉与机器人相关的编程知识又是那么零碎，不成体系。为了}
五集全部更新完毕，可在网盘下载：\u003Cbr\u003E\u003C\u002Fp\u003E\u003Ch2\u003E\u003Ca href=\&http:\u002F\u002Fpan.baidu.com\u002Fs\u002F1jIbmLds\& data-editable=\&true\& data-title=\&baidu.com 的页面\& class=\&\&\u003Ehttp:\u002F\u002Fpan.baidu.com\u002Fs\u002F1jIbmLds\u003C\u002Fa\u003E 密码：y161\u003C\u002Fh2\u003E\u003Cp\u003E\u003Cb\u003E另外网盘分享了一本《深度学习》-中文版2017，供参考\u003Cbr\u003E\u003C\u002Fb\u003E\u003C\u002Fp\u003E\u003Cp\u003E----------网盘增加了第三课视频---\u003Cbr\u003E\u003C\u002Fp\u003E\u003Cp\u003E----------网盘增加了视频----------\u003C\u002Fp\u003E\u003Cp\u003E1. Driver Interaction with Autopilot - TMC Connect 2016 \u003C\u002Fp\u003E\u003Cp\u003E司机与自动驾驶仪的互动 \u003C\u002Fp\u003E\u003Cbr\u003E\u003Cp\u003ELex Fridman在2016年TMC TMC Connect的演讲，介绍了在自然使用特斯拉汽车的自动驾驶仪时，使用计算机视觉提取车辆、司机、和外部世界的状态。\u003C\u002Fp\u003E\u003Cp\u003E2. MIT 6.S094_ Deep Reinforcement Learning for Motion Planning\u003C\u002Fp\u003E\u003Cp\u003E--------------------------------------------------------------------\u003C\u002Fp\u003E\u003Cp\u003E致谢：感谢张瑞雷、徐海果 翻墙运输授课视频！\u003C\u002Fp\u003E\u003Cp\u003E—————————————————————\u003C\u002Fp\u003E\u003Cp\u003EMIT 于2017年1月\u003Ca href=\&http:\u002F\u002Fselfdrivingcars.mit.edu\u002F\& data-editable=\&true\& data-title=\&开设了 6.S094 课程，名为《用于自动驾驶的深度学习》的课程\& class=\&\&\u003E开设了 6.S094 课程，名为《用于自动驾驶的深度学习》的课程\u003C\u002Fa\u003E，旨在教学生们为\u003Ca href=\&http:\u002F\u002Fwww.leiphone.com\u002Ftag\u002F%E8%87%AA%E5%8A%A8%E9%A9%BE%E9%A9%B6%E6%B1%BD%E8%BD%A6\& data-editable=\&true\& data-title=\&自动驾驶\& class=\&\&\u003E自动驾驶\u003C\u002Fa\u003E搭建一个\u003Ca href=\&http:\u002F\u002Fwww.leiphone.com\u002Fnews\u002F2FLqwiP7VUJO9DgBPi.html\& data-editable=\&true\& data-title=\&深度学习\& class=\&\&\u003E深度学习\u003C\u002Fa\u003E系统，授课者为 Lex Fridman。\u003C\u002Fp\u003E\u003Cbr\u003E\u003Cp\u003E本课程是通过建立自动驾驶汽车的应用主题，介绍深度学习及其实践。本课程是专为机器学习初学者而设计，但该领域先进的研究人员也可以在此课的实践及应用中受益。\u003C\u002Fp\u003E\u003Cp\u003E全课只有九节一小时的课程！！！\u003C\u002Fp\u003E\u003Cp\u003E\u003Cimg src=\&v2-2ae9d9317744.png\& data-rawwidth=\&1064\& data-rawheight=\&631\&\u003E课程的PPT合视频正在陆续放出，为了方便不方便翻墙的小伙伴，我特意做了一个网盘。\u003C\u002Fp\u003E\u003Ch2\u003E百度云盘：链接：\u003Ca href=\&http:\u002F\u002Fpan.baidu.com\u002Fs\u002F1jIbmLds\& data-editable=\&true\& data-title=\&baidu.com 的页面\& class=\&\&\u003Ehttp:\u002F\u002Fpan.baidu.com\u002Fs\u002F1jIbmLds\u003C\u002Fa\u003E 密码：y161\u003C\u002Fh2\u003E\u003Ch2\u003E授课视频：陆续更新中......\u003C\u002Fh2\u003E\u003Cp\u003E演讲：Driver Interaction with Autopilot - TMC Connect 2016 \u003Ca href=\&https:\u002F\u002Fv.qq.com\u002Fx\u002Fpage\u002Fd03699iuqxg.html\& data-editable=\&true\& data-title=\&自动驾驶演讲 - 腾讯视频\& class=\&\&\u003E自动驾驶演讲 - 腾讯视频\u003C\u002Fa\u003E\u003Cbr\u003E\u003C\u002Fp\u003E\u003Cp\u003E第1课：导论 \u003Ca href=\&https:\u002F\u002Fv.qq.com\u002Fx\u002Fpage\u002Fai0.html\& class=\&\& data-editable=\&true\& data-title=\&MIT九小时速成深度学习&自动驾驶汽车-1简介 - 腾讯视频\&\u003EMIT九小时速成深度学习&自动驾驶汽车-1简介 - 腾讯视频\u003C\u002Fa\u003E\u003C\u002Fp\u003E\u003Cp\u003E第2课：运动规划 \u003Ca href=\&https:\u002F\u002Fv.qq.com\u002Fx\u002Fpage\u002Fid.html\& class=\&\& data-editable=\&true\& data-title=\&MIT-2深度强化学习-运动规划 - 腾讯视频\&\u003EMIT-2深度强化学习-运动规划 - 腾讯视频\u003C\u002Fa\u003E\u003C\u002Fp\u003E\u003Cbr\u003E\u003Cp\u003E第3课：学习驾驶\u003Ca href=\&https:\u002F\u002Fv.qq.com\u002Fx\u002Fpage\u002Fz0371ejuygi.html\& data-editable=\&true\& data-title=\&- 腾讯视频\& class=\&\&\u003E- 腾讯视频\u003C\u002Fa\u003E\u003Cbr\u003E\u003C\u002Fp\u003E\u003Cp\u003E以下是原始链接（需翻墙）：\u003C\u002Fp\u003E\u003Cul\u003E\u003Cli\u003EIntroduction to Deep Learning and Self-Driving Cars\u003Cbr\u003E[ \u003Ca href=\&https:\u002F\u002Fwww.dropbox.com\u002Fs\u002Fgmgmnskg4tw6mmx\u002Flecture1.pdf?dl=1\& data-editable=\&true\& data-title=\&Slides\&\u003ESlides\u003C\u002Fa\u003E ] - [ \u003Ca href=\&https:\u002F\u002Fyoutu.be\u002F1L0TKZQcUtA?list=PLrAXtmErZgOeiKm4sgNOknGvNjby9efdf\& data-editable=\&true\& data-title=\&Lecture Video\& class=\&\&\u003ELecture Video\u003C\u002Fa\u003E ]\u003C\u002Fli\u003E\u003Cli\u003ELearning to Move: Deep Reinforcement Learning for Motion Planning\u003Cbr\u003E[ \u003Ca href=\&https:\u002F\u002Fwww.dropbox.com\u002Fs\u002F2z7276330jaw37k\u002Flecture2.pdf?dl=1\& data-editable=\&true\& data-title=\&Slides\&\u003ESlides\u003C\u002Fa\u003E ] - [ Lecture Video ]\u003C\u002Fli\u003E\u003Cli\u003ELearning to Drive: Convolutional Neural Networks and End-to-End Learning of the Full Driving Task \u003Cbr\u003E[ \u003Ca href=\&https:\u002F\u002Fwww.dropbox.com\u002Fs\u002Fq34bi7t0udms01x\u002Flecture3.pdf?dl=1\& data-editable=\&true\& data-title=\&Slides\&\u003ESlides\u003C\u002Fa\u003E ] - [ Lecture Video ]\u003C\u002Fli\u003E\u003Cli\u003ELearning to Share: Driver State Detection and Shared Autonomy \u003Cbr\u003E[ Slides ] - [ Lecture Video ]\u003C\u002Fli\u003E\u003Cli\u003ELearning to Think: The Road Ahead for Human-Centered Artificial Intelligence \u003Cbr\u003E[ Slides ] - [ Lecture Video ]\u003C\u002Fli\u003E\u003C\u002Ful\u003E\u003Cbr\u003E\u003Cbr\u003E\u003Cbr\u003E\u003Ch2\u003EDeepTesla 与 DeepTraffic
\u003C\u002Fh2\u003E\u003Cp\u003E MIT 这门课程里面的两个重点实践内容就是DeepTesla 与 DeepTraffic ：\u003C\u002Fp\u003E\u003Cblockquote\u003E\u003Cul\u003E\u003Cli\u003E\u003Cp\u003E前者直接以端到端模型训练一个自动驾驶的起动模型；\u003C\u002Fp\u003E\u003C\u002Fli\u003E\u003Cli\u003E\u003Cp\u003E后者以游戏化的方式模拟汽车在高速公路上行驶，而我们的目标就是训练一个神经网络，利用强化学习控制红车，并让它的速度尽可能提升到最快（也就是超车啦！速度与激情）。\u003C\u002Fp\u003E\u003C\u002Fli\u003E\u003C\u002Ful\u003E\u003C\u002Fblockquote\u003E\u003Cbr\u003E\u003Ch3\u003E最后还会有四位嘉宾的分享：\u003C\u002Fh3\u003E从研究到现实：在公共道路上测试自驾车\u003Cbr\u003E\u003Ca href=\&http:\u002F\u002Fweb.mit.edu\u002Fmobility\u002Fpeople\u002Fkarl.html\& data-editable=\&true\& data-title=\&Karl Iagnemma\&\u003EKarl Iagnemma\u003C\u002Fa\u003E\u003Cbr\u003E麻省理工学院首席执行官，神经科学和研究科学家\u003Cbr\u003E\u003Cbr\u003E自驾车，SLAM和深度学习\u003Cbr\u003E\u003Ca href=\&http:\u002F\u002Fmarinerobotics.mit.edu\u002Fjohn-j-leonard\& data-editable=\&true\& data-title=\&约翰·莱昂纳德\&\u003E约翰·莱昂纳德\u003C\u002Fa\u003E\u003Cbr\u003E麻省理工学院教授\u003Cbr\u003E\u003Cbr\u003EAI时代的技术，政策和车辆安全\u003Cbr\u003E\u003Ca href=\&https:\u002F\u002Fprofiles.stanford.edu\u002Fj-gerdes\& data-editable=\&true\& data-title=\&克里斯·加德斯\& class=\&\&\u003E克里斯·加德斯\u003C\u002Fa\u003E\u003Cbr\u003E斯坦福大学教授\u003Cbr\u003E\u003Cbr\u003E在复杂世界中的运动规划：过去，现在和未来\u003Cbr\u003E\u003Ca href=\&http:\u002F\u002Fkaraman.mit.edu\u002F\& data-editable=\&true\& data-title=\&Sertac Karaman\&\u003ESertac Karaman\u003C\u002Fa\u003E\u003Cbr\u003E麻省理工学院教授\u003Cbr\u003E\u003Cbr\u003E我们只采用我们所信任的：自主系统的政策和商业\u003Cbr\u003E\u003Ca href=\&https:\u002F\u002Fwww.linkedin.com\u002Fin\u002Fdaimler\& data-editable=\&true\& data-title=\&埃里克戴姆勒\&\u003E埃里克戴姆勒\u003C\u002Fa\u003E\u003Cbr\u003E白宫总统创新研究员，科学技术政策办公室&,&updated&:new Date(&T15:21:35.000Z&),&canComment&:false,&commentPermission&:&anyone&,&commentCount&:51,&likeCount&:940,&state&:&published&,&isLiked&:false,&slug&:&&,&isTitleImageFullScreen&:false,&rating&:&none&,&sourceUrl&:&&,&publishedTime&:&T23:21:35+08:00&,&links&:{&comments&:&\u002Fapi\u002Fposts\u002F2Fcomments&},&url&:&\u002Fp\u002F&,&titleImage&:&https:\u002F\u002Fpic2.zhimg.com\u002Fv2-cb4ffcffe9_r.jpg&,&summary&:&&,&href&:&\u002Fapi\u002Fposts\u002F&,&meta&:{&previous&:null,&next&:null},&snapshotUrl&:&&,&commentsCount&:51,&likesCount&:940},&&:{&title&:&CMU深度增强学习&控制 第1讲：导论&,&author&:&liu-top&,&content&:&\u003Cp\u003E--------------- 更新 ---------------\u003Cbr\u003E\u003C\u002Fp\u003E\u003Cp\u003E原始课程更新了新的网址，大家可自行下载英文课件：\u003Ca href=\&https:\u002F\u002Fkatefvision.github.io\u002F\& data-editable=\&true\& data-title=\&Deep RL and Control\& class=\&\&\u003Ehttps:\u002F\u002Fkatefvision.github.io\u002F\u003C\u002Fa\u003E\u003C\u002Fp\u003E\u003Cbr\u003E\u003Cp\u003E\&机器人学家\&翻译的其他课程链接在文末。\u003C\u002Fp\u003E\u003Cp\u003E--------------- 声明及致谢 --------------- \u003C\u002Fp\u003E\u003Cbr\u003E\u003Cblockquote\u003E\u003Cp\u003E我们获得授权翻译CMU课程 10703 Deep Reinforcement Learning & Control\u003C\u002Fp\u003E\u003Cp\u003E感谢Katerina Fragkiadaki教授的支持。\u003C\u002Fp\u003E\u003Cbr\u003E\u003Cp\u003E「机器人学家」授权发布\u003C\u002Fp\u003E\u003Cp\u003E第一课翻译贡献者：\u003C\u002Fp\u003E\u003Cp\u003E\u003Cstrong\u003E宋健\u003C\u002Fstrong\u003E ,北航机器人所SLAM (1-9)\u003C\u002Fp\u003E\u003Cp\u003E\u003Cstrong\u003E张灵康\u003C\u002Fstrong\u003E, SFU, inspiREDRobotics (10-18)\u003C\u002Fp\u003E\u003Cp\u003E\u003Cstrong\u003E李飞腾\u003C\u002Fstrong\u003E ,HFUT,Mechatronics(19-27)\u003C\u002Fp\u003E\u003Cp\u003E\u003Cstrong\u003EShin\u003C\u002Fstrong\u003E,NUS,CS (28-35)\u003C\u002Fp\u003E\u003Cp\u003E\u003Cstrong\u003E杨杰峰\u003C\u002Fstrong\u003E,PKU,多足步行机器人 (36-43)\u003C\u002Fp\u003E\u003C\u002Fblockquote\u003E\u003Cp\u003E中英文课件下载：链接：\u003Ca href=\&http:\u002F\u002Fpan.baidu.com\u002Fs\u002F1qYQ1Pc4\& data-editable=\&true\& data-title=\&baidu.com 的页面\& class=\&\&\u003Ehttp:\u002F\u002Fpan.baidu.com\u002Fs\u002F1qYQ1Pc4\u003C\u002Fa\u003E 密码：2ss2\u003Cbr\u003E\u003C\u002Fp\u003E\u003Cp\u003E--------------- 课程正文 --------------- \u003C\u002Fp\u003E\u003Ch2\u003E目标\u003C\u002Fh2\u003E\u003Cp\u003E增强学习研究的问题模型包括一个环境，和与这个环境交互的一个智能体（agent）。增强学习的目标是为这个智能体设计一个行为策略（policy），使其在与环境交互的过程中能够获得最大的收益（Reward）。这些在第二讲会有明确定义。很多机器人控制、规划问题都可以用这个框架建模。\u003C\u002Fp\u003E\u003Cbr\u003E\u003Cp\u003E这里所说的\u003Cstrong\u003E行为(Behavior)\u003C\u002Fstrong\u003E，是agent在一个特定目标下的一个动作序列。不同于在一个静态不变的环境里通过预先编程确定的行为（比如工业机器人大量使用的离线示教），\u003Cstrong\u003E本课程学习如何在一个动态变化的环境里让agent学习行为。\u003C\u002Fstrong\u003E\u003C\u002Fp\u003E\u003Cimg src=\&v2-c51c943cd5d02f8aea3a8b17f13af537.jpg\& data-rawwidth=\&216\& data-rawheight=\&137\&\u003E\u003Cbr\u003E\u003Cp\u003E静态环境里，执行固定行为往往就足够了\u003C\u002Fp\u003E\u003Cbr\u003E\u003Ch2\u003E行为重要性\u003C\u002Fh2\u003E\u003Cp\u003E\u003Cem\u003E大脑之所以进化，不是为了思考和感受，而是为了控制运动\u003C\u002Fem\u003E\u003C\u002Fp\u003E\u003Cp\u003E-- Daniel Wolpert,
TED talk\u003C\u002Fp\u003E\u003Cimg src=\&v2-bd674b9b95bb958f6faa.jpg\& data-rawwidth=\&230\& data-rawheight=\&172\&\u003E\u003Cbr\u003E\u003Cp\u003E一个极端的例子是，\u003Cstrong\u003E海鞘会在不再需要移动的时候将自己的脑部消化掉\u003C\u002Fstrong\u003E。尽管什么是智能很难定义，但是能够自适应环境改变的行为是人类的一大特征。\u003C\u002Fp\u003E\u003Cimg src=\&v2-a89c3ed207e086d24839cd.jpg\& data-rawwidth=\&640\& data-rawheight=\&271\&\u003E\u003Cbr\u003E\u003Cp\u003E行为学习：对于一个特定目标，学习一个从观测（observation）到动作（action）的映射。\u003C\u002Fp\u003E\u003Cbr\u003E\u003Ch2\u003E监督学习\u003C\u002Fh2\u003E\u003Cp\u003E智能体（agent）在通过不断尝试进行学习时，需要对结果好坏有个评估，这就是“监督（supervision）”。一个在动态环境下学习特定行为的智能体，根据问题的不同一般会获得这几种监督：\u003C\u002Fp\u003E\u003Cp\u003E\u003Cstrong\u003E1.收益（reward）\u003C\u002Fstrong\u003E。目标达成时获得的收益反馈，是一个标量数字。比如，比赛胜利，汽车没有事故，智能体正常运行等。\u003C\u002Fp\u003E\u003Cp\u003E\u003Cstrong\u003E2. 示教（demonstration）\u003C\u002Fstrong\u003E。示范需要的行为是一条轨迹。比如，通过youtube烹饪视频教机械臂学习烹饪。\u003C\u002Fp\u003E\u003Cp\u003E\u003Cstrong\u003E3. 正确行为属性\u003C\u002Fstrong\u003E。比如对于自动驾驶，好的行为属性包括保持在正确的车道内，与前车保持适当的车距等。\u003C\u002Fp\u003E\u003Cbr\u003E\u003Cp\u003E这三种监督提供的信息量从小到大，对应问题的难度也从困难到容易。\u003C\u002Fp\u003E\u003Cbr\u003E\u003Ch2\u003E行为学习举例：跳高\u003C\u002Fh2\u003E\u003Cp\u003E\u003Cimg src=\&v2-2ca12915eeb839ee1b77b7.jpg\& data-rawwidth=\&128\& data-rawheight=\&155\&\u003E跨越式\u003C\u002Fp\u003E\u003Cimg src=\&v2-ad476bf9.jpg\& data-rawwidth=\&132\& data-rawheight=\&173\&\u003E\u003Cp\u003E背越式\u003C\u002Fp\u003E\u003Col\u003E\u003Cli\u003E\u003Cp\u003E从收益中学习：最早的跳高运动员们，没有老师教，只能根据跳的高度来调整动作。跳得越高收益越大。结果就是这些人花了许多年才从跨越式发展到背跃式。\u003C\u002Fp\u003E\u003C\u002Fli\u003E\u003Cli\u003E\u003Cp\u003E从示教中学习：运动员示范一次高级姿势的跳高，其他人学习这种标准姿势可以快速掌握跳得更高的技巧。\u003C\u002Fp\u003E\u003C\u002Fli\u003E\u003Cli\u003E\u003Cp\u003E从好的行为属性中学习：在教练指导下的跳高学习。教练可以直接告诉初学者正确的行为属性，比如跳高时腿的姿势，跳高应采取的节奏等。无疑这种方式获得的信息量最大，也是学得最快的。\u003C\u002Fp\u003E\u003C\u002Fli\u003E\u003C\u002Fol\u003E\u003Cbr\u003E\u003Ch2\u003E行为学习的特点\u003C\u002Fh2\u003E\u003Cp\u003E行为学习与其他机器学习范式（比如从图片中检测物体）有什么样的不同？以下分为三点来谈：\u003C\u002Fp\u003E\u003Cimg src=\&v2-64d944a8a8ed0e7ded01.jpg\& data-rawwidth=\&396\& data-rawheight=\&294\&\u003E\u003Cbr\u003E\u003Cp\u003E1） 智能体（agent）的\u003Cstrong\u003E行为\u003C\u002Fstrong\u003E会\u003Cstrong\u003E影响\u003C\u002Fstrong\u003E其在未来接收到的\u003Cstrong\u003E数据\u003C\u002Fstrong\u003E：\u003C\u002Fp\u003E\u003Cul\u003E\u003Cli\u003E\u003Cp\u003E在自然界，智能体所接收到的数据都是序列化的（观测-& 行动-&观测-&行动 …...），而不是独立同分布的\u003C\u002Fp\u003E\u003C\u002Fli\u003E\u003Cli\u003E\u003Cp\u003E标准的监督学习的方法会导致累积误差（compounding errors），出自An invitation to imiation, Drew Bagnell\u003Cimg src=\&v2-1adb7f4fe94acad.jpg\& data-rawwidth=\&640\& data-rawheight=\&560\&\u003E\u003C\u002Fp\u003E\u003C\u002Fli\u003E\u003C\u002Ful\u003E\u003Cbr\u003E\u003Cp\u003E举例：\u003C\u002Fp\u003E\u003Cul\u003E\u003Cli\u003E\u003Cp\u003E学习驾驶一辆车（监督学习）\u003C\u002Fp\u003E\u003C\u002Fli\u003E\u003Cimg src=\&v2-ddf2f98b4de2bf959655.jpg\& data-rawwidth=\&640\& data-rawheight=\&493\&\u003E\u003Cbr\u003E\u003C\u002Ful\u003E\u003Cbr\u003E\u003Cp\u003E2）不管行为的目标是否达到，\u003Cstrong\u003E对其效果的衡量都将在很久以后才能获得\u003C\u002Fstrong\u003E。\u003C\u002Fp\u003E\u003Cul\u003E\u003Cli\u003E\u003Cp\u003E只根据即时的收益(reward)还是很难知道哪些行动（action）对于最终目标的实现是重要的还是不重要的。\u003C\u002Fp\u003E\u003C\u002Fli\u003E\u003Cli\u003E\u003Cp\u003E获知最终结果所需时间很短的话，问题就简单了，反馈所需时间越短问题越简单。\u003C\u002Fp\u003E\u003C\u002Fli\u003E\u003C\u002Ful\u003E\u003Cp\u003E3）在现实世界当中，行动都是需要时间来执行的，所以说这就\u003Cstrong\u003E限制了\u003C\u002Fstrong\u003E能够收集到的（能用于训练的）\u003Cstrong\u003E样本的\u003C\u002Fstrong\u003E\u003Cstrong\u003E数量\u003C\u002Fstrong\u003E。\u003C\u002Fp\u003E\u003Cbr\u003E\u003Cp\u003E\u003Cstrong\u003E电脑可以变得越来越快，而现实的物理世界却不能。\u003C\u002Fstrong\u003E\u003C\u002Fp\u003E\u003Cbr\u003E\u003Cp\u003E几个例子：\u003C\u002Fp\u003E\u003Cul\u003E\u003Cli\u003E\u003Cp\u003E超大规模（Supersizing）自我监督学习\u003Cbr\u003E\u003C\u002Fp\u003E\u003C\u002Fli\u003E\u003Cimg src=\&v2-07ee857f74a271ae7d10ba11cdd7d026.jpg\& data-rawwidth=\&521\& data-rawheight=\&638\&\u003E\u003Cbr\u003E\u003C\u002Ful\u003E\u003Cp\u003E这是2016年ICRA最佳学生论文，论文的关键点在于它通过很长的时间（50K次尝试，700 robot hours）来收集足够多的数据用于机器人的行为学习。论文链接：\u003Cbr\u003E\u003C\u002Fp\u003E\u003Cp\u003E\u003Ca href=\&https:\u002F\u002Farxiv.org\u002Fabs\u002F\& data-editable=\&true\& data-title=\&Learning to Grasp from 50K Tries and 700 Robot Hours\& class=\&\&\u003ELearning to Grasp from 50K Tries and 700 Robot Hours\u003C\u002Fa\u003E\u003C\u002Fp\u003E\u003Cbr\u003E\u003Cul\u003E\u003Cli\u003E\u003Cp\u003E谷歌机器人农场\u003C\u002Fp\u003E\u003C\u002Fli\u003E\u003C\u002Ful\u003E\u003Cbr\u003E\u003Cimg src=\&v2-f5c3a03f0eeebe5ef3a301a44276c75a.jpg\& data-rawwidth=\&640\& data-rawheight=\&360\&\u003E\u003Cp\u003E这是另一个极端的例子。Google用几十台相同的工业机器人连续工作几个月，采集了超过80000组抓取数据。相关链接：\u003C\u002Fp\u003E\u003Cp\u003E\u003Ca href=\&https:\u002F\u002Fresearch.googleblog.com\u002F\u002Fdeep-learning-for-robots-learning-from.html\& data-editable=\&true\& data-title=\&Deep Learning for Robots: Learning from Large-Scale Interaction\& class=\&\&\u003EDeep Learning for Robots: Learning from Large-Scale Interaction\u003C\u002Fa\u003E\u003C\u002Fp\u003E\u003Cbr\u003E\u003Cp\u003E如果你想以这种方式解决问题，云机器人（cloud robotics）是个不错的主意。\u003C\u002Fp\u003E\u003Cbr\u003E\u003Cp\u003E值得注意的是在这两个例子中，行为的结果都是很容易评估的，只需看观察物体是否成功抓取。如果结果很难评估，那么问题就非常难用增强学习解决。\u003C\u002Fp\u003E\u003Cbr\u003E\u003Cp\u003E4）\u003Cstrong\u003E行为的组合难以学习\u003C\u002Fstrong\u003E。这就是为什么在目前机器人RL大多数工作中只学习某个特定的行为，而不是较复杂的复合行为。学习组合行为远比学习组合的音频、图像难度更大。后两者已经使用深度学习取得了很好的效果。\u003C\u002Fp\u003E\u003Cbr\u003E\u003Cp\u003E下面是在医学研究下，人类婴儿学习行为的特点，或许对我们有参考意义：\u003C\u002Fp\u003E\u003Cp\u003E多模态（multi-modal）\u003C\u002Fp\u003E\u003Cp\u003E增加的（incremental）\u003C\u002Fp\u003E\u003Cp\u003E物理的（physical）\u003C\u002Fp\u003E\u003Cp\u003E探索的（explore）\u003C\u002Fp\u003E\u003Cp\u003E社会化的（social）\u003C\u002Fp\u003E\u003Cp\u003E\u003Cem\u003E来自于： The development of embodied cognition:six lessons from babies,Linda Smith, Michael Gasser\u003C\u002Fem\u003E\u003C\u002Fp\u003E\u003Ch2\u003E增强学习成功案例\u003C\u002Fh2\u003E\u003Cp\u003E下面看一些行为学习成功的应用实例：\u003C\u002Fp\u003E\u003Ch2\u003E十五子棋\u003Cimg src=\&v2-063f7df504e7aeb85ad14.jpg\& data-rawwidth=\&404\& data-rawheight=\&399\&\u003E\u003C\u002Fh2\u003E\u003Cp\u003E这是一种两人玩的棋类游戏。其中掷骰子给问题的发展带来不确定的可能分支，让适用于象棋的暴力深度搜索方法无法使用。\u003C\u002Fp\u003E\u003Cbr\u003E\u003Cbr\u003E\u003Cp\u003ETemporal Difference(TD) Learning，一种增强学习（RL）方法，IBM研究中心的Gerarl Tesauro 于1992年使用这种方法来尝试解决十五子棋的问题。从任意初始化的权重weight开始，它通过与自身对弈，训练出了一个评估函数（evaluation function）用于决策，击败了当时的十五子棋冠军。\u003C\u002Fp\u003E\u003Cbr\u003E\u003Cp\u003E\&毫无疑问，它对位置的判断远胜于我。\&\u003C\u002Fp\u003E\u003Cp\u003E\u003Cem\u003E-----Kit Woolsey （美国桥牌和十五子棋专家）\u003C\u002Fem\u003E\u003C\u002Fp\u003E\u003Cbr\u003E\u003Ch2\u003E直升机飞控\u003C\u002Fh2\u003E\u003Cp\u003E（编者注：和四旋翼不同，直升机是一个有超过7维控制输入的复杂非线性系统，其自动控制一直被控制界认为是比较困难的问题）\u003C\u002Fp\u003E\u003Cbr\u003E\u003Cp\u003E斯坦福的自控直升机通过运用专家演示，微分动态规划，局部模型学习等技术，能够让直升机在空中自主完成一系列姿态动作。\u003C\u002Fp\u003E\u003Cimg src=\&v2-e8db3d9d79671efcfab443.jpg\& data-rawwidth=\&638\& data-rawheight=\&360\&\u003E\u003Cp\u003E原地翻转\u003Cbr\u003E\u003Cimg src=\&v2-2d2b4bdbcc8b22.jpg\& data-rawwidth=\&638\& data-rawheight=\&360\&\u003E\u003C\u002Fp\u003E\u003Cbr\u003E\u003Cp\u003E画圈\u003C\u002Fp\u003E\u003Cimg src=\&v2-cea0859cc3.jpg\& data-rawwidth=\&638\& data-rawheight=\&360\&\u003E\u003Cbr\u003E\u003Cp\u003E钟摆\u003C\u002Fp\u003E\u003Cbr\u003E\u003Cp\u003E两个完整视频链接在这里\u003C\u002Fp\u003E\u003Cp\u003E\u003Ca href=\&http:\u002F\u002Fwww.miaopai.com\u002Fshow\u002FM3nq4b0d5rMjFEz08EXq2w__.htm\& data-editable=\&true\& data-title=\&-Shin1jzpn的秒拍\&\u003E-Shin1jzpn的秒拍\u003C\u002Fa\u003E\u003C\u002Fp\u003E\u003Cbr\u003E\u003Cp\u003E\u003Ca href=\&http:\u002F\u002Fwww.miaopai.com\u002Fshow\u002Fv1xjXeB~OiL32G8Aqb9weg__.htm\& data-editable=\&true\& data-title=\&-Shin1jzpn的秒拍\&\u003E-Shin1jzpn的秒拍\u003C\u002Fa\u003E\u003C\u002Fp\u003E\u003Cbr\u003E\u003Ch2\u003E四足机器人行走\u003C\u002Fh2\u003E\u003Cp\u003ECMU机器人研究所的Matt Zucker用优化和学习模型能够让机器人根据不同的地形状况更好的控制腿部运动。\u003C\u002Fp\u003E\u003Cimg src=\&v2-c89dd5d2e47ef61e9a7d01.jpg\& data-rawwidth=\&480\& data-rawheight=\&360\&\u003E\u003Cp\u003E跨越栏杆 光滑崎岖的地面\u003C\u002Fp\u003E\u003Cbr\u003E\u003Cimg src=\&v2-0fba12bff192ba33ce9465cf.jpg\& data-rawwidth=\&480\& data-rawheight=\&360\&\u003E\u003Cp\u003E爬过岩石\u003C\u002Fp\u003E\u003Cimg src=\&v2-b3eb594e6bc83b4f6b5804.jpg\& data-rawwidth=\&480\& data-rawheight=\&360\&\u003E\u003Cp\u003E爬楼梯\u003C\u002Fp\u003E\u003Cbr\u003E\u003Cp\u003E完整的视频链接：\u003Ca href=\&http:\u002F\u002Fwww.miaopai.com\u002Fshow\u002FZOAfmg5GEsXaKLRlmbFLvQ__.htm\& data-editable=\&true\& data-title=\&-Shin1jzpn的秒拍\&\u003E-Shin1jzpn的秒拍\u003C\u002Fa\u003E\u003C\u002Fp\u003E\u003Cbr\u003E\u003Cp\u003E相关论文链接在这里：\u003C\u002Fp\u003E\u003Cp\u003E\u003Ca href=\&http:\u002F\u002Flairlab.org\u002Fwp-content\u002Fuploads\u002F\u002Fld-systems.pdf\& data-editable=\&true\& data-title=\&lairlab.org 的页面\& class=\&\&\u003Ehttp:\u002F\u002Flairlab.org\u002Fwp-content\u002Fuploads\u002F\u002Fld-systems.pdf\u003C\u002Fa\u003E\u003C\u002Fp\u003E\u003Cbr\u003E\u003Ch2\u003E无人车\u003C\u002Fh2\u003E\u003Cp\u003E第一辆无人车于1991年在CMU诞生，主要用的是人工神经网络。论文链接：\u003C\u002Fp\u003E\u003Cp\u003E\u003Ca href=\&https:\u002F\u002Fwww.ri.cmu.edu\u002Fpub_files\u002Fpub3\u002Fpomerleau_dean_2Fpomerleau_dean_1991_1.pdf\& data-editable=\&true\& data-title=\&cmu.edu 的页面\& class=\&\&\u003Ehttps:\u002F\u002Fwww.ri.cmu.edu\u002Fpub_files\u002Fpub3\u002Fpomerleau_dean_2Fpomerleau_dean_1991_1.pdf\u003C\u002Fa\u003E\u003C\u002Fp\u003E\u003Cbr\u003E\u003Cp\u003E此作品运用了行为克隆模型，利用数据增强来处理累计误差，是一种在线适应的交互学习方式。\u003Cbr\u003E\u003C\u002Fp\u003E\u003Cp\u003E无人车具体涉及到的技术包括： 计算机视觉，Velodyne传感器，物体识别，三维姿态估计，路径规划等。\u003C\u002Fp\u003E\u003Cbr\u003E\u003Ch2\u003E打砖块游戏\u003C\u002Fh2\u003E\u003Cp\u003EGoogle Deep Mind使用深度Q学习算法训练出了针对打砖块游戏的agent.\u003C\u002Fp\u003E\u003Cbr\u003E\u003Cp\u003E刚开始的10分钟agent显得十分笨拙：\u003C\u002Fp\u003E\u003Cimg src=\&v2-ffebe4c2e33a.jpg\& data-rawwidth=\&582\& data-rawheight=\&720\&\u003E\u003Cp\u003E两个小时之后已经是专家了：\u003C\u002Fp\u003E\u003Cimg src=\&v2-7debee26159cc4feecfa34d.jpg\& data-rawwidth=\&582\& data-rawheight=\&720\&\u003E\u003Cp\u003E四个小时之后完全攻略了这个游戏：\u003C\u002Fp\u003E\u003Cimg src=\&v2-d7fe2e187c0a41de0d05c.jpg\& data-rawwidth=\&582\& data-rawheight=\&720\&\u003E\u003Cp\u003E完整视频链接：\u003Ca href=\&http:\u002F\u002Fwww.miaopai.com\u002Fshow\u002FarMjrca9g0HD8t2n3N~dVA__.htm\& data-editable=\&true\& data-title=\&-Shin1jzpn的秒拍\&\u003E-Shin1jzpn的秒拍\u003C\u002Fa\u003E\u003Cbr\u003E\u003C\u002Fp\u003E\u003Ch2\u003EMontezuma’s Revenge游戏\u003C\u002Fh2\u003E\u003Cp\u003EGoogle DeepMind还用不同的方法开发训练了Montezuma’s Revenge游戏的agent。\u003C\u002Fp\u003E\u003Cimg src=\&v2-efc47f77a280a5a2b9c28.jpg\& data-rawwidth=\&640\& data-rawheight=\&398\&\u003E\u003Cp\u003E具体视频链接请戳：\u003Ca href=\&http:\u002F\u002Fwww.miaopai.com\u002Fshow\u002FyEkASRUAwhOnxL7IqBcVew__.htm\& data-editable=\&true\& data-title=\&-Shin1jzpn的秒拍\& class=\&\&\u003E-Shin1jzpn的秒拍\u003C\u002Fa\u003E\u003C\u002Fp\u003E\u003Cbr\u003E\u003Ch2\u003E第一个基于像素的增强学习应用\u003C\u002Fh2\u003E\u003Cimg src=\&v2-751cd04fcc52fea362ec2bd.jpg\& data-rawwidth=\&450\& data-rawheight=\&178\&\u003E\u003Cp\u003E论文：Evolving large-scale neural networks for vision-based reinforcement learning, 2013, Koutni?k, Cuccu, Schmidhuber, Gomez\u003C\u002Fp\u003E\u003Cbr\u003E\u003Ch2\u003E机械臂操作\u003C\u002Fh2\u003E\u003Cp\u003E\u003Cimg src=\&v2-e204e02c5d47d.jpg\& data-rawwidth=\&640\& data-rawheight=\&421\&\u003E荷兰代尔夫特理工大学TU Delft 团队赢得2016 Amazon Picking Challenge 拣选”和 “放置”两项冠军。\u003Cbr\u003E\u003C\u002Fp\u003E\u003Cimg src=\&v2-025c672abeb17dc68048efe94c24aa77.jpg\& data-rawwidth=\&640\& data-rawheight=\&360\&\u003E\u003Cp\u003E\u003Cem\u003E（编者注：TU Delft在这次比赛中应该并没有使用增强学习算法。事实上几乎所有参赛队都没有用learning，而是使用基于模型的控制规划。这是一个增强学习潜在的应用场景。）\u003C\u002Fem\u003E\u003C\u002Fp\u003E\u003Ch2\u003E围棋 AlphaGo\u003Cimg src=\&v2-02564f80bcdcab536b377f60b970719b.jpg\& data-rawwidth=\&640\& data-rawheight=\&362\&\u003E\u003C\u002Fh2\u003E\u003Cp\u003EAlphaGo使用的增强学习算法属于蒙特卡罗树搜索，通过学习策略网络和价值网络来修剪搜索树，通过专家示范和大量自我对奕来训练。\u003Cimg src=\&v2-4e4e89a36c3ddc97d675824afe72b921.jpg\& data-rawwidth=\&640\& data-rawheight=\&396\&\u003E\u003C\u002Fp\u003E\u003Cp\u003E谷歌用于训练AlphaGo的深度学习专门硬件TPU(Tensor Processing Unit)\u003Cbr\u003E\u003Cimg src=\&v2-a6bb2e4fff.jpg\& data-rawwidth=\&640\& data-rawheight=\&329\&\u003E\u003C\u002Fp\u003E\u003Cp\u003EAlphaGo在围棋上的成功大家有目共睹。课件上这里援引两大棋手的评论作为结尾：\u003C\u002Fp\u003E\u003Cbr\u003E\u003Cbr\u003E\u003Cp\u003E\u003Cem\u003E“人类千年的实战演练进化，计算机却告诉我们，人类全都是错的…”\u003C\u002Fem\u003E\u003C\u002Fp\u003E\u003Cp\u003E柯洁 围棋九段\u003C\u002Fp\u003E\u003Cbr\u003E\u003Cp\u003E\u003Cem\u003E“机器人永远不能像人类那样理解这个游戏的美妙。”\u003C\u002Fem\u003E\u003C\u002Fp\u003E\u003Cp\u003E李世石 围棋九段\u003C\u002Fp\u003E\u003Cbr\u003E\u003Cimg src=\&v2-68144cde3f036dcac05a0e01bb451ae0.jpg\& data-rawwidth=\&640\& data-rawheight=\&267\&\u003E\u003Cbr\u003E\u003Cp\u003E编者注：深度增强学习正处在一个快速发展、迈向应用的时期。它在许多问题上取得了巨大成功，在另一些问题（比如实物的控制问题）上仍面临挑战。不论如何，了解学习这一工具是对机器人专业朋友们很有价值的一件事。\u003C\u002Fp\u003E\u003Cbr\u003E\u003Cp\u003E我们的翻译志愿者团队已经超过80人，整个学期的课件每份都已经至少有三人次负责，我们会尽力保证翻译质量。第二、三讲课件已经在翻译中。\u003C\u002Fp\u003E\u003Ch2\u003E课程合集\u003C\u002Fh2\u003E\u003Cp\u003ECMU 10703 课程网站：\u003C\u002Fp\u003E\u003Cp\u003E\u003Ca href=\&https:\u002F\u002Fkatefvision.github.io\u002F\& data-editable=\&true\& data-title=\&Deep RL and Control\& class=\&\&\u003EDeep RL and Control\u003C\u002Fa\u003E\u003Cbr\u003E\u003C\u002Fp\u003E\u003Cp\u003E\u003Ca href=\&https:\u002F\u002Fwww.cmucoursefind.xyz\u002Fs17\u002F10-703\& data-editable=\&true\& data-title=\&10-703: Deep Reinforcement Learning & Control\& class=\&\&\u003E10-703: Deep Reinforcement Learning & Control\u003C\u002Fa\u003E\u003C\u002Fp\u003E\u003Cp\u003E中文翻译：\u003C\u002Fp\u003E\u003Cp\u003E1.：\u003Ca href=\&http:\u002F\u002Fmp.weixin.qq.com\u002Fs?__biz=MzA3NDU2NDk3MQ==&mid=&idx=1&sn=20f23f9bc91b5f8a4933&chksm=efca6b6eccf3870bbae80b6bca6bec5d8f71cbd4cc4ef12&mpshare=1&scene=23&srcid=0202drR5HOAak4ApE9mHEbZm#rd\& data-editable=\&true\& data-title=\&增强学习能解决什么样的机器人问题？CMU深度增强学习第一讲\& class=\&\&\u003E增强学习能解决什么样的机器人问题？CMU深度增强学习第一讲\u003C\u002Fa\u003E\u003C\u002Fp\u003E\u003Cbr\u003E\u003Cp\u003E2：\u003Ca href=\&http:\u002F\u002Fmp.weixin.qq.com\u002Fs\u002FKzPBwEF-58eIU14jiJ6jJA\& data-editable=\&true\& data-title=\&马尔科夫决策过程及其性质-CMU深度强化学习第二讲\& class=\&\&\u003E马尔科夫决策过程及其性质-CMU深度强化学习第二讲\u003C\u002Fa\u003E\u003Cbr\u003E\u003C\u002Fp\u003E\u003Cbr\u003E\u003Cp\u003E3.：\u003Ca href=\&http:\u002F\u002Fmp.weixin.qq.com\u002Fs\u002F4dr-mi9PcbT_npV-kxsx5Q\& data-editable=\&true\& data-title=\&MDP中的规划-CMU深度强化学习第三讲\& class=\&\&\u003EMDP中的规划-CMU深度强化学习第三讲\u003C\u002Fa\u003E\u003Cbr\u003E\u003C\u002Fp\u003E\u003Cp\u003E持续更新中......\u003C\u002Fp\u003E\u003Cp\u003E\u003Ci\u003E欢迎关注“机器人学家”\u003C\u002Fi\u003E\u003C\u002Fp\u003E\u003Cp\u003E\u003Ci\u003E转载请联系我们获得许可即可，不尊重作者劳动成果的行为会被举报。\u003C\u002Fi\u003E\u003C\u002Fp\u003E&,&updated&:new Date(&T15:33:33.000Z&),&canComment&:false,&commentPermission&:&anyone&,&commentCount&:20,&likeCount&:144,&state&:&published&,&isLiked&:false,&slug&:&&,&isTitleImageFullScreen&:false,&rating&:&none&,&sourceUrl&:&&,&publishedTime&:&T23:33:33+08:00&,&links&:{&comments&:&\u002Fapi\u002Fposts\u002F2Fcomments&},&url&:&\u002Fp\u002F&,&titleImage&:&https:\u002F\u002Fpic3.zhimg.com\u002Fv2-fa19ca62c552b9bd18bf3_r.jpg&,&summary&:&&,&href&:&\u002Fapi\u002Fposts\u002F&,&meta&:{&previous&:null,&next&:null},&snapshotUrl&:&&,&commentsCount&:20,&likesCount&:144},&&:{&title&:&预告：贾子枫 与 Top Liu 的Live - - 如何玩转 ROS 机器人程序设计&,&author&:&liu-top&,&content&:&首先要非常感谢贾子枫邀请我来参与这次「机器人」主题的系列live，并与大家分享ROS学习的话题。\u003Cp\u003E\u003Cb\u003E本次活动定位为公益及技术传播活动\u003Cbr\u003E\u003C\u002Fb\u003E\u003C\u002Fp\u003E\u003Cp\u003E\u003Cb\u003E1. 门票定为最低价9.9元\u003C\u002Fb\u003E\u003C\u002Fp\u003E\u003Cp\u003E\u003Cb\u003E2. 本次live全部收入将用于资助贫困学生\u003C\u002Fb\u003E\u003Cbr\u003E\u003C\u002Fp\u003E\u003Cp\u003E主要用于帮助经济困难的优秀大学生接受机器人的教育培训以及捐赠机器人相关书籍，帮助他们用科技改变命运。\u003C\u002Fp\u003E\u003Cp\u003E\u003Cb\u003E贾子枫\u003C\u002Fb\u003E，资深机器人研究工程师，也是接触 ROS 最早的国人之一。ROS 星火计划公开课与课程讲师。回国创业以来一直坚持用 ROS 系统开发产品。译作《ROS 机器人进阶编程指南》（Mastering ROS for Robotics Programming）也即将面世。知乎机器人话题优秀回答者。\u003Cbr\u003E\u003C\u002Fp\u003E\u003Cp\u003E\u003Cb\u003ETop Liu\u003C\u002Fb\u003E博士，致力于机器人技术的探索与分享。 易科机器人实验室、（星火计划）ROS公开课联合发起人，著有知乎专栏《开始学习机器人》， 出版有《ROS机器人程序设计2》、《机器人编程实战》、《嵌入式机器人学》、《机器人与未来》等。\u003C\u002Fp\u003E\u003Cp\u003E\u003Ca href=\&https:\u002F\u002Fwww.zhihu.com\u002Flives\u002F186432\& class=\&\& data-editable=\&true\& data-title=\&如何玩转 ROS 机器人程序设计的Live入口\&\u003E如何玩转 ROS 机器人程序设计的Live入口\u003C\u002Fa\u003E\u003Cbr\u003E\u003C\u002Fp\u003E\u003Cp\u003E系列live的第三讲，是关于机器人操作系统ROS的话题，也是在我们进行了ROS星火计划全国公开课巡讲之后，深深感受到ROS远远没有我们想象中的普及，大家对ROS的了解也很多是浅尝辄止，蜻蜓点水。这一次的live也不可能让大家对ROS有深入的了解，甚至连提纲挈领的介绍都难以做到。我们更希望能从自己的学习开发经验中，和大家形象的聊一聊ROS。这次Live举行时间距离发布比较长，希望能够充分收集一些问题，有些回答可能还需要上机调试，Live中我们也会尽量保证回答问题的时间。\u003C\u002Fp\u003E\u003Cp\u003E----------------------------------------------------------------------\u003Cbr\u003E\u003C\u002Fp\u003E\u003Cp\u003E发个图给大家看看ROS星火计划线下活动的场景~\u003C\u002Fp\u003E\u003Cimg src=\&v2-02a67de77c30dccd8aeb272b72a68b1a.png\& data-rawwidth=\&1294\& data-rawheight=\&862\&\u003E\u003Cp\u003E----------------------------------------------------------------------\u003C\u002Fp\u003E\u003Cp\u003E这是一个有关「机器人」主题的系列live。每个话题相互独立，但是整个系列将会描绘出机器人科学和技术的整体发展轮廓和蓝图。\u003C\u002Fp\u003E\u003Cp\u003E如果你：\u003Cbr\u003E想要了解机器人到底是一个什么样的行业；\u003Cbr\u003E想要现在进入机器人行业的某一方向，却并不清楚应该注意什么事情；\u003Cbr\u003E想要在机器人行业发展学习，却不知道应该掌握哪些基础知识以及掌握到什么程度；\u003Cbr\u003E已经是行业内的研发人员，有些问题困扰着你一直得不到解答。\u003Cbr\u003E\u003Cbr\u003E那么，我们非常希望看到你来参加我们「机器人」主题系列live。\u003Cbr\u003E我们将集合「处在机器人行业开发与从业一线」，「有深厚学术背景以及对机器人相关技术与行业有独到见解的专业人士」，\u003Cbr\u003E为对机器人行业有兴趣的大家介绍机器人行业现状与问题；\u003Cbr\u003E为现有机器人行业从业者分享我们的机器人从业经验，互相交流学习；\u003Cbr\u003E特别是，我们希望能够为帮助想要在机器人行业有所发展的初学者系统梳理入门机器人行业应该具备的专业知识。\u003C\u002Fp\u003E&,&updated&:new Date(&T09:19:05.000Z&),&canComment&:false,&commentPermission&:&anyone&,&commentCount&:6,&likeCount&:29,&state&:&published&,&isLiked&:false,&slug&:&&,&isTitleImageFullScreen&:false,&rating&:&none&,&sourceUrl&:&&,&publishedTime&:&T17:19:05+08:00&,&links&:{&comments&:&\u002Fapi\u002Fposts\u002F2Fcomments&},&url&:&\u002Fp\u002F&,&titleImage&:&https:\u002F\u002Fpic1.zhimg.com\u002Fv2-cfa9d2c981da395b196b79d_r.jpg&,&summary&:&&,&href&:&\u002Fapi\u002Fposts\u002F&,&meta&:{&previous&:null,&next&:null},&snapshotUrl&:&&,&commentsCount&:6,&likesCount&:29},&&:{&title&:&预告：《智能机器人程序开发：挑战与应对》大连&,&author&:&liu-top&,&content&:&ROS“星火计划”来到大连了！\u003Cp\u003E\u003Ci\u003E5月20日 13:30 ～ 17:30，大连海事大学 四海楼 306教室。活动行报名地址：\u003Ca href=\&http:\u002F\u002Fwww.huodongxing.com\u002Fevent\u002F0\& data-editable=\&true\& data-title=\&ROS“星火计划”2017大连站火热招募中\& class=\&\&\u003EROS“星火计划”2017大连站火热招募中\u003C\u002Fa\u003E\u003C\u002Fi\u003E\u003C\u002Fp\u003E\u003Cp\u003E跟大家汇报下，我最近在学习编程建网站，也好久没写东西了，这次我也会在大连站简短地总结一下（30min）。主要讲一下大家关心的以及经常问的一些问题：\u003C\u002Fp\u003E\u003Cp\u003E题目暂定《智能机器人程序开发：挑战与应对》吧,正在准备ppt.....\u003C\u002Fp\u003E\u003Cp\u003E1.全球智能机器人发展现状\u003C\u002Fp\u003E\u003Cp\u003E2.技术及开发上的困难\u003C\u002Fp\u003E\u003Cp\u003E3.ROS的产生背景及意义\u003C\u002Fp\u003E\u003Cp\u003E4.ROS存在的问题与未来发展\u003C\u002Fp\u003E\u003Cp\u003E5.ROS安全性如何？如何避免黑客攻击及《速8》里的“僵尸车”？\u003C\u002Fp\u003E\u003Cp\u003E6.ROS2.0特性、进展及前景？\u003C\u002Fp\u003E\u003Cp\u003E7.如何加速学习曲线:一点体会及建议\u003Cbr\u003E\u003C\u002Fp\u003E\u003Cbr\u003E\u003Cp\u003E先占坑.....慢慢填\u003C\u002Fp\u003E&,&updated&:new Date(&T15:16:59.000Z&),&canComment&:false,&commentPermission&:&anyone&,&commentCount&:2,&likeCount&:5,&state&:&published&,&isLiked&:false,&slug&:&&,&isTitleImageFullScreen&:false,&rating&:&none&,&sourceUrl&:&&,&publishedTime&:&T23:16:59+08:00&,&links&:{&comments&:&\u002Fapi\u002Fposts\u002F2Fcomments&},&url&:&\u002Fp\u002F&,&titleImage&:&https:\u002F\u002Fpic3.zhimg.com\u002Fv2-adcb419e38_r.jpg&,&summary&:&&,&href&:&\u002Fapi\u002Fposts\u002F&,&meta&:{&previous&:null,&next&:null},&snapshotUrl&:&&,&commentsCount&:2,&likesCount&:5},&&:{&title&:&智能机器人与ROS相关进展——星火计划大连站PPT&,&author&:&liu-top&,&content&:&\u003Ch2\u003E（前方多图高能，请wifi浏览）\u003C\u002Fh2\u003E\u003Cp\u003E5月20日，在这个真爱的日子里，大家和机器人有个约会！ \u003C\u002Fp\u003E\u003Cp\u003E我们在大连海事大学如期举办了星火计划ROS公开课。李滨虎老师作为主讲为大家讲授了ROS编程基础，并演示了spark机器人follow me的功能。滨虎老师授课深入浅出，课下小伙伴们讨论也非常热烈。\u003C\u002Fp\u003E\u003Cbr\u003E\u003Cimg src=\&v2-cdf313def416495eda7e.jpg\& data-rawwidth=\&1280\& data-rawheight=\&722\&\u003E\u003Cimg src=\&v2-20cc39f0965acaec7dd5b9.jpg\& data-rawwidth=\&1280\& data-rawheight=\&960\&\u003E\u003Cbr\u003E\u003Cimg src=\&v2-b71d97a1fb807d20d882b.jpg\& data-rawwidth=\&1280\& data-rawheight=\&722\&\u003E\u003Cbr\u003E\u003Cp\u003E我个人则友情汇报了ROS目前的最新动态及进展。文末是我的PPT分享。\u003C\u002Fp\u003E\u003Cimg src=\&v2-72dfdfd61f951be2afe572765bbb2431.jpg\& data-rawwidth=\&1280\& data-rawheight=\&960\&\u003E\u003Cbr\u003E\u003Cimg src=\&v2-fc0a0b9a340ba207bb9a130f7218b07f.jpg\& data-rawwidth=\&1280\& data-rawheight=\&720\&\u003E\u003Cimg src=\&v2-ed4cca533abf69b75793edc11f6b01f1.jpg\& data-rawwidth=\&1280\& data-rawheight=\&720\&\u003E\u003Cimg src=\&v2-cba0b0ff341d4702aa49.jpg\& data-rawwidth=\&1280\& data-rawheight=\&720\&\u003E\u003Cimg src=\&v2-129dafcf9d4.jpg\& data-rawwidth=\&1280\& data-rawheight=\&720\&\u003E\u003Cimg src=\&v2-f2d850421cef78a2c046edc.jpg\& data-rawwidth=\&1280\& data-rawheight=\&720\&\u003E\u003Cimg src=\&v2-dd762aa03ffd3858378bfe.jpg\& data-rawwidth=\&1280\& data-rawheight=\&720\&\u003E\u003Cimg src=\&v2-67c894a9c68.jpg\& data-rawwidth=\&1280\& data-rawheight=\&720\&\u003E\u003Cimg src=\&v2-05fec139da37c9015d67b.jpg\& data-rawwidth=\&1280\& data-rawheight=\&720\&\u003E\u003Cimg src=\&v2-ac8797da56eabbddfb93b.jpg\& data-rawwidth=\&1280\& data-rawheight=\&720\&\u003E\u003Cimg src=\&v2-076b4c47ac8fa3d18fc3.jpg\& data-rawwidth=\&1280\& data-rawheight=\&720\&\u003E\u003Cimg src=\&v2-f9afd048bc440be3c099.jpg\& data-rawwidth=\&1280\& data-rawheight=\&720\&\u003E\u003Cimg src=\&v2-a434fc64df54e14c79b1.jpg\& data-rawwidth=\&1280\& data-rawheight=\&720\&\u003E\u003Cimg src=\&v2-491c11c07b72a9cb0cd221a.jpg\& data-rawwidth=\&1280\& data-rawheight=\&720\&\u003E\u003Cimg src=\&v2-b.jpg\& data-rawwidth=\&1280\& data-rawheight=\&720\&\u003E\u003Cimg src=\&v2-afd7ed0bef804a.jpg\& data-rawwidth=\&1280\& data-rawheight=\&720\&\u003E\u003Cimg src=\&v2-b8afa8aef758dfb1906574a.jpg\& data-rawwidth=\&1280\& data-rawheight=\&720\&\u003E\u003Cimg src=\&v2-824d4119aab3f3dba1f854904acfd919.jpg\& data-rawwidth=\&1280\& data-rawheight=\&720\&\u003E\u003Cimg src=\&v2-bdb9e319c8c571e619d2268.jpg\& data-rawwidth=\&1280\& data-rawheight=\&720\&\u003E\u003Cimg src=\&v2-5c3f01aa68b6a8af341dafa2e049db67.jpg\& data-rawwidth=\&1280\& data-rawheight=\&720\&\u003E\u003Cimg src=\&v2-1fe4a3bd34acc9b0c16563cda3d1fe38.jpg\& data-rawwidth=\&1280\& data-rawheight=\&720\&\u003E\u003Cimg src=\&v2-0f7ade40a1fef4cbee509c7.jpg\& data-rawwidth=\&1280\& data-rawheight=\&720\&\u003E\u003Cimg src=\&v2-49c6bc757ab53741ca28.jpg\& data-rawwidth=\&1280\& data-rawheight=\&720\&\u003E\u003Cimg src=\&v2-e4cef174e338efe6cb01fd5bfdd40fc5.jpg\& data-rawwidth=\&1280\& data-rawheight=\&720\&\u003E\u003Cimg src=\&v2-e994f20a598db.jpg\& data-rawwidth=\&1280\& data-rawheight=\&720\&\u003E\u003Cimg src=\&v2-56dd37f911efc5aee7b0d1a38a458fef.jpg\& data-rawwidth=\&1280\& data-rawheight=\&720\&\u003E\u003Cimg src=\&v2-38ec8204cfe7b6f00cb51.jpg\& data-rawwidth=\&1280\& data-rawheight=\&720\&\u003E\u003Cimg src=\&v2-b0b7dab9bc21cb97f8534e19.jpg\& data-rawwidth=\&1280\& data-rawheight=\&720\&\u003E\u003Cimg src=\&v2-83b6fc1ae624a53dbb8f3.jpg\& data-rawwidth=\&1280\& data-rawheight=\&720\&\u003E\u003Cimg src=\&v2-1c6eb8da004a15c7cbddced.jpg\& data-rawwidth=\&1280\& data-rawheight=\&720\&\u003E\u003Cimg src=\&v2-9ce70a66b23cfd026e32c9.jpg\& data-rawwidth=\&1280\& data-rawheight=\&720\&\u003E\u003Cimg src=\&v2-c45969cfe9efa9d04c067.jpg\& data-rawwidth=\&1280\& data-rawheight=\&720\&\u003E\u003Cimg src=\&v2-e273cc5f5fb64e8485ea5d.jpg\& data-rawwidth=\&1280\& data-rawheight=\&720\&\u003E\u003Cimg src=\&v2-e194bbe2a7de2d7a0b637.jpg\& data-rawwidth=\&1280\& data-rawheight=\&720\&\u003E\u003Cimg src=\&v2-9dc5f112311.jpg\& data-rawwidth=\&1280\& data-rawheight=\&720\&\u003E\u003Cimg src=\&v2-418bc0dd493.jpg\& data-rawwidth=\&1280\& data-rawheight=\&720\&\u003E\u003Cimg src=\&v2-76aa163f45ef.jpg\& data-rawwidth=\&1280\& data-rawheight=\&720\&\u003E\u003Cimg src=\&v2-74c712d4d74bb01d9a3a.jpg\& data-rawwidth=\&1280\& data-rawheight=\&720\&\u003E\u003Cimg src=\&v2-1a5a415bd34c70c4321c1bfe1e705083.jpg\& data-rawwidth=\&1280\& data-rawheight=\&720\&\u003E\u003Cimg src=\&v2-f265c18ab62f4f8225baf.jpg\& data-rawwidth=\&1280\& data-rawheight=\&720\&\u003E\u003Cimg src=\&v2-f38b7e58d2f9dbc5ccd35c98c53cc325.jpg\& data-rawwidth=\&1280\& data-rawheight=\&720\&\u003E\u003Cimg src=\&v2-25a82c5ab13a5bd8d4079943cab8d8c9.jpg\& data-rawwidth=\&1280\& data-rawheight=\&720\&\u003E\u003Cimg src=\&v2-5a7d3894dcb1ff5c364dab.jpg\& data-rawwidth=\&1280\& data-rawheight=\&720\&\u003E\u003Cimg src=\&v2-515aacdf55bae1bdc334684.jpg\& data-rawwidth=\&1280\& data-rawheight=\&720\&\u003E\u003Cimg src=\&v2-98ae1a2f5d01f1c8ee50.jpg\& data-rawwidth=\&1280\& data-rawheight=\&720\&\u003E\u003Cimg src=\&v2-9dfd7cbae6.jpg\& data-rawwidth=\&1280\& data-rawheight=\&720\&\u003E&,&updated&:new Date(&T12:35:38.000Z&),&canComment&:false,&commentPermission&:&anyone&,&commentCount&:8,&likeCount&:24,&state&:&published&,&isLiked&:false,&slug&:&&,&isTitleImageFullScreen&:false,&rating&:&none&,&sourceUrl&:&&,&publishedTime&:&T20:35:38+08:00&,&links&:{&comments&:&\u002Fapi\u002Fposts\u002F2Fcomments&},&url&:&\u002Fp\u002F&,&titleImage&:&https:\u002F\u002Fpic1.zhimg.com\u002Fv2-46e878019eea28d0e2ff9ffc_r.jpg&,&summary&:&&,&href&:&\u002Fapi\u002Fposts\u002F&,&meta&:{&previous&:null,&next&:null},&snapshotUrl&:&&,&commentsCount&:8,&likesCount&:24},&&:{&title&:&易科新书《机器人编程实战》推荐序&,&author&:&liu-top&,&content&:&\u003Cp\u003E\u003Ca href=\&https:\u002F\u002Fwww.amazon.cn\u002Fdp\u002FB073L8PHH8\u002Fref=sr_1_1?ie=UTF8&qid=&sr=8-1&keywords=%E6%9C%BA%E5%99%A8%E4%BA%BA%E7%BC%96%E7%A8%8B%E5%AE%9E%E6%88%98\&\u003E亚马逊图书链接\u003C\u002Fa\u003E\u003C\u002Fp\u003E\u003Cp\u003E\u003Ca href=\&https:\u002F\u002Fsearch.jd.com\u002FSearch?keyword=%E6%9C%BA%E5%99%A8%E4%BA%BA%E7%BC%96%E7%A8%8B%E5%AE%9E%E6%88%98&enc=utf-8&wq=%E6%9C%BA%E5%99%A8%E4%BA%BA%E7%BC%96%E7%A8%8B%E5%AE%9E%E6%88%98&pvid=e1a5d8edf471\&\u003E京东图书链接\u003C\u002Fa\u003E\u003C\u002Fp\u003E\u003Cp\u003E\u003Cbr\u003E\u003C\u002Fp\u003E\u003Cp\u003E如果要问我：当你十年前第一次制作机器人时，希望能拥有哪一本书？现在回答，那就是这本《机器人编程实战》！所以，今天我们把这本书带到了您的面前。\u003C\u002Fp\u003E\u003Cp\u003E\u003Cbr\u003E\u003C\u002Fp\u003E\u003Cp\u003E我们在2009年也是使用Arduino（本书主要使用的控制器之一）进行机器人编程，虽喜欢其易学易用。但又感觉与机器人相关的编程知识又是那么零碎，不成体系。为了}
我要回帖
更多推荐
- ·美版苹果11pro max3pro美版和国行有什么区别吗？
- ·什么好用又免费的加速器最好用
- ·这个三皇圣母神像神像在哪个地方？具体位置是什么？
- ·如何理解两个社会制度确立的意义伟大意义
- ·社会互构论：世界眼光下的中国特色社会学与中国社会理论的新探索目录
- ·AE插件ae element插件 mac按照教程安装，但是安装不成功
- ·我叫mt橙卡里有几个橙卡英雄
- ·为什么我的QQ游戏里牌不能整齐划一排放,画面变的大点
- ·英雄联盟国服配音s5什么时候开始
- ·gps主菜单红米4没有电子罗盘罗盘怎么办
- ·关于YYyy怎么开游戏直播播的问题
- ·天际重置 魔法和被遗忘的魔法兼容么
- ·《超凡特工破解版钻石》玩到什么时候可以创建军团?
- ·什么是暗黑币 传销？他的发起人是谁？为什么会暴涨200倍
- ·请教这是WOW什么技能的wow翅膀特效效。急求
- ·红警怎么联机联机怎么连
- ·qq飞车情侣名字小松鼠取名字
- ·现在就很冷了，冬冬天 春天还会远吗再冷吗LOL
- ·lol粉色lol金框子怎么弄的得？
- ·世界ol守护熊猫能学许愿崩坏3圣诞小镇许愿吗
- ·今天在校门口收到一张邀请卡，说是学习机器人的
- ·跑跑卡丁车为什么自己是房主可被人不知不觉爱上你就人抢了
- ·分分赚的强制缩编任务在哪里攻略在哪里？
- ·LOL什么时候才能lol可不可以转区区
- ·梦幻西游赚钱2115级如何赚钱
- ·梦幻天阵召唤兽在开天阵时245速度比我350速度快?
- ·剑侠情缘兵器谱礼包3长安兵器折损修补兵器在哪
- ·QQ游戏七雄争霸开服时间表何时开新服？ 提问2014.11.12
- ·交互式平板一体机智能平板日常怎么维护？
- ·win8.1是不是很多单击游戏win10不能玩网页游戏？
- ·魔兽世界猎人专精选择61直升90级，选择哪个专精？
- ·刺客信条大革命修改器，开始这个是什么键盘，怎么跳过开始动画
- ·手机上ppsspp玩刺客信条，游戏自身不能存档，只能用ppsspp的ppsspp即时存档在哪了吗
- ·ps3ps4 体感游戏戏
- ·顺我者昌逆我者亡bt又没有那个英雄说过
- ·发布免费的试用平台有哪些试用活动在哪个平台好?
