京东VR实验室负责人赵刚:Magci Leap是什么原理?
今天晚上，京东集团架构部总监、京东VR/AR实验室技术总负责人赵刚博士在魔多课堂分享了关于光场技术的原理，以及Magci Leap如何利用光场实现MR的。
VRZINC征的赵刚本人的同意，现在将其分享的内容写出来。
按照赵刚博士的描述，Magci Leap也是通过眼镜将虚拟场景和现实场景混合显示，这个有点像微软的hololens，这符合AR的概念，但是Magci Leap认为他们的产品和普通的AR产品有区别的，普通的是将二维没有深度的图像和现实场景融合，但是Magci Leap可以将 三维有立体的和现实场景产生遮挡的和现场融合，他们成为MR。
下面是演讲内容：
什么是光场?
光场是被认为未来的完美显示技术。那么什么是光场呢，光场在哪里呢?简单地说，人们看自然界真实物体时看到的是光场，而从普通显示屏幕上看到的，物体的像，不是光场。
人们还是能感受到光场和像的感觉的，人们会感觉到看真实物体时物体很“真实”，有立体感，有远近感，人们打量一个物体时，还会时不时地晃动脑袋，变换一下观察方向，感受一下这个物体的立体结构。
但是当人们从屏幕上看物体的像时，虽然也能感觉到一定的立体感，这是由于明暗关系、遮挡关系造成的，但和真实物体的的立体感相差甚远，人们也不会在看屏幕是变换观察方向，因为即使变换方向看到的画面也不会发生变化。
那么从屏幕中发出的光线和真实物体发射或者反射的光线到底缺少了什么内容呢，正是因为这个缺少的内容时人们看屏幕中的像和真实有较大的差异。
要找出这个缺少的内容可以从拍照说起，屏幕中显示的物体的像就是人们给物体拍摄的照片。
如果人们在拍摄照片时，少记录什么内容，在屏幕中显示时也会缺少显示内容，这个就是缺少的内容就时光线的方向信息。
人们在拍摄照片时，通过凸透镜将物体发射或反射的光线收集起来，汇聚到底片上，底片是一个屏幕，他会逐点记录光线到达底片的颜色。
如果有两条来自不同方向的光线，它们通过凸透镜后，打到底片上的同一位置，那么底片会把这两条光线记录在同一像素上，记录下这两条光线混合后的颜色，但没有记录下这两条光线的方向。
那也就是说人们在用普通相机给物体拍摄照片时，记录下光线的颜色和位置但没有记录光线落射的方向。既然拍照的时候没有记录下光线的方向，屏幕显示的时候也不可能还原出光线的方向。这是信息论决定的，信息不能凭空创造出。
屏幕在显示物体像的时候，所有的光线都是从屏幕出发的，也就是从一个平面发出，通过直线传播达到人们的眼睛，人们要看清物体就要将眼睛聚焦到屏幕上。
虽然物体是立体的，但从光线发出的位置来看，都是从一个平面发出的。但真实的物体发出/发射的光线是从物体的各个位置发出的，并非从一个平面上发出，光线携带了物体的立体信息，人们要看清真实物体时，眼睛需要聚焦到物体的真实表面上。
分析到这里就基本弄清楚了真实世界的光线从三维世界的各个位置发出的，而屏幕上的光线是从一个平面上发出的，即使屏幕复杂一点比如曲面但也改变不了多少。
由于从各个位置发出的光线达到眼睛的方向不同，距离不同，眼睛的位置不同，因此接受的光线不同，因此出现了双目视差，移动视差，聚焦模糊等效果，通过大脑的处理，人们能感受到物体的立体感。
但从普通屏幕发出的光线是从一个平面发出的，到达眼睛的距离，方向，基本相同，人的两只眼睛看到的图像基本相同，即使移动一下，改变观察方法，也不会有大的变化，也不用根据物体表面各点的距离调节聚焦，直接聚焦到屏幕上即可。所以大脑无法处理处立体信息，自然就缺乏立体感。
那么可以认为光场不应该是从一个平面发出的光，而是从整个三维立体的空间发出的光，如果不旦能够记录光线的颜色、位置还有方向并且在显示端还原出来，就可以称为完整的光场技术，如果只能记录光场信息就是光场拍摄技术,如果只能显示光场则是光场显示技术。
以上是对光场的通俗的解释，光场也有严格的理论，称为5维全光学理论，光线是从三维空间中的任意一点发出的，三维空间任意点可以用(X，Y，Z)三个参数表示，光线是从这个点上发出的一条射线，射线在空间中的方向可以用(θ，φ)两个参数表示，那么表示空间中的光线的公式是L=F(X，Y，Z，θ，φ)成为5维全光函数。
另外光线还有颜色、亮度等等参数，所以要描述一条光线需要很高的维数。我们常说的5D光场并没有实际并没有光的颜色亮度计算进去，5D指的是光源的位置和光线的方向。
技术上很难将光线的全部维度记录出来，一般是降维处理，比如只记录光线的位置X、Y颜色和亮度而不记录光源的距离Z，也不记录光线的方向θ和φ，这个就是普通的照片。
如果记录下光线的位置XY，颜色和亮度，也记录光线的方向θ和φ，但不记录光源的距离，这就是4维光场相机，比如比较著名的Lytro就是4D光场相机。
Lytro相机的4D光场
4D光场也可以两个平面坐标来表示，L=F(U，V，S，T)其中，U，V和S，T分别是两个互相平行的平面上的点，这是4D光场比较常见的表示方法。
Lytro相机是能记录4D光场的相机，他的主要秘密，是在图像传感器上贴了一张微凸透镜膜，里面是蜂窝状的微透镜，数量大概有10万，但光线从不同方向进入微透镜时经过微透镜的折射会映射到微透镜后面不同的像素上，也就是说微透镜完成了将光线方向转换成屏幕上位置的功能。然后又微透镜后面的传感器记录下来。
箭头所指的就是微透镜
这样Lytro相机就实现了利用普通图像传感器记录方向、光线的功能，从而成了光场相机。当然并没有表面上那么简单，这里涉及到精密的算法，包括从平面上吧光线的防线还原出来、实现先拍照后对焦，也涉及到非常精密的加工工艺，比如微透镜正面的加工精度。
先拍照后对焦是Lytro的卖点，虽然拍摄到光场能做很多事情，但作为相机这个功能比较容易理解又有吸引力，否则消费者会问我们拍摄到光场又有什么意义?
先拍照后对接这个功能是如何实现的呢?理论上Lytro相机可以对焦到无穷远，镜头景深做得很大，让拍摄到的每个像素基本都是清晰的，然后通过解算每个像素到相机的距离将对焦距离外的像素人为模糊掉，实现全景深范围内的后对焦。
但实际上受到传感器分辨率、数据量、处理速度等影响， Lytro有一个可以重新对焦的范围，该范围可以在拍照的时候选择，并不是所有景深都可以实现先拍照后对焦，他又一个范围，这个范围内可以实现先拍照后对焦。
这张图上中间颜色的部分就是可以后对焦的部分，如果这个范围大，那么对焦的步长就大，不精细。否则就精细些。
由于记录的数据量有限，Lytro也不能连续选择聚焦距离，聚焦距离有一个步长从图中可以看出一个颜色就是一个步长，如果微透镜的尺寸大，或者每个微透镜背后包涵的传感器多这个步长就可以小，但照片的整体分辨率就会下降，相当于Lytro将更多的资源用于记录光线的距离和方向。
用Lytro光场相机拍下一张照片，然后可以输出左边的效果，也可以输出右边的效果。
因为图像传感器的分辨率是有限的，而Lytro记录光线的颜色和方向都是在同一块图像传感器上是实现的，就会有一个资源平衡问题，如果将更多的像素分配给颜色，照片的尺寸会大，但是方向分辨率会低，也就是聚焦的步长就大，反过来是一样的。
Lytro实现了光场记录，但最后只用于照片后对焦，并没有将光场显示出来，所以这是属于光场拍摄技术的产品。
那么我们比较感兴趣的还是把光场显示出来，如果能把光场显示出来，人们能够用肉眼看到一个非常真实非常具有立体感的物品，如果将光场显示到大屏幕上，人们不需要佩戴特殊眼镜，就可以看到立体头像，理论上也不用跟踪用户的眼球就可以实现多人裸眼立体显示 ，如果实现4D光场显示，就可以实现双目视差，移动视差，如果实现5D光场显示，还能够实现聚焦模糊。
一种可行的方式是利用Lytro的逆过程，由于光路是可逆的我们可以将相机里的图像传感器变成变成发光的屏幕，同时将尺寸放到到屏幕的大小，比如20寸，同时图像传感器上的微透镜也同步放大，还是张贴上屏幕上，屏幕上发出的光线必须经过微透镜折射才能够进入到人的眼睛。
由于光路是可逆的，从微透镜入射的光线和出射的方向是一致的，这样就还原了拍摄光场时的光线方向，从而重现了光场，听起来很简单，但实现很难的，比如算法、加工精度，发光亮度等等。
4D光场装置示意图
这种方法确实可以实现4D光场的重现，对这样的屏幕看你不用带特殊的眼睛就可以感觉到物体的立体感，而且可以看真实物品一样，左右晃动脑袋，改变观察角度，你真的可以看到物体的侧面，不同角度观察室不一样的，会看到一个立体的物体，和看激光全息的照片一样。
这个4D光场的重现装置我们已经试验成功，大家可以到北航xR实验室参观。
Magci Leap的黑科技
那么Magci Leap也宣传是光场显示技术，从他的宣传视频来看用户不需要佩戴眼镜，但从技术分析来看，用户也是需要佩戴眼镜的。
实际上Magci Leap的眼镜可能是这个样子的，首先该眼镜和头盔比是比较轻便的，眼镜通过电线和腰间的一个盒子相连，实际上不全部是电线也有光纤，图像是在那个小盒子产生， 通过光纤传输到眼镜。
Magci Leap使用的图像显示方式和其他产品不同，一般的屏幕是通过固定在屏幕像素点发光，而Magci Leap是光纤投影仪的东西来产生图像的。
Magci Leap使用的光纤扫描仪非常小一个只能扫描出直径1毫米的图像，一副Magci Leap眼镜需要很多这样的光纤扫描仪排成整列合成尺寸足够大的图像。
光纤投影仪阵列示意图
那么为什么Magci Leap要使用光纤投影仪而不是普通的显示设备，因为Magci Leap希望给人们展示一个大幅面的，水平视角120度，垂直视角80度，没有沙窗效应的光场图像，这样就需要极高的图像分辨率。
我们按人眼的角分辨率为1分来计算，如果没有纱窗效应，且水平视角120度，垂直视角80度图像就需要，约34兆的像素。
而且这么高的图像分辨率在这么小的面积下实现，一般的显示器无能为力，按照微软hololens显示器像素直径5微米计算的，就需要36毫米X24毫米的面积， 按照MagciLeap光线投影仪像素直径1微米计算的话，投影仪需要7毫米X5毫米，这样就完全可以放在眼睛的一侧。
Magci Leap投影仪在眼睛的侧面，但图像必须呈现在眼睛的前面，所以必须用一种办法把光线从侧面引导前面，Magci Leap采用很神秘的光学元件，他们称之为光子光场芯片，这个能够把特定波长的光线从侧面变化到正面，并投入到人的眼睛里，直接在视网膜成像
并且能够电控制不同的图像焦平面，模拟图像光线从不同的方向发射过来的。
光子光场芯片
这样Magci Leap就实现了光场中实现Z参数，就是能够模拟出光源到眼睛的距离，如果还能够实现光的方向，那么就是5D光场，完全真实的光场，和看自然物品是一样的感觉。
光子芯片示意图
Magci Leap也是通过眼镜将虚拟场景和现实场景混合显示，这个有点像微软的hololes，这符合AR的概念，但是Magci Leap认为他们的产品和普通的AR产品有区别的，普通的是将二维没有深度的图像和现实场景融合，但是Magci Leap可以将三维有立体的和现实场景产生遮挡的和现场融合，他们成为MR。
要实现MR眼镜中显示的物品和现实中有遮挡关系，Magci Leap必须正确理解物品的三维结构所以Magci Leap对运算性能是比较高的，目前Slam算法有待提高， Magci Leap是否通过Slam还不能确定。
Magci Leap是需要实时获取用户的眼球信息的，要知道用户的注视方向、聚焦点，计算用户聚焦点和眼睛的距离， 如果Magci Leap将虚拟物品显示到用户眼睛的聚焦点，必须通过光子光场芯片正确模拟出光场的距离。
为了能够理解场景的结构，也能够或许用户的眼球信息，Magci Leap需要很多的摄像头，他对外需要摄像头，对内拍摄眼球，估计至少5-6个摄像头。
PS：赵刚博士正在写一本与VR/AR相关的书，这次的分享是其即将出版的书中的一部分，有兴趣的可以过一段时间直接购买书籍观看。
赵刚简介：京东集团架构部总监、京东VR/AR实验室技术总负责人。北京航空航天大学通信与信息系统博士，CSDN/CTO 俱乐部专委会会长，iTechClub 资深会员，京东第一届架构委员会常务委员，长期研究计算机图形图像与智能技术，拥有多项技术专利与软件著作，曾参与研发军用无人直升机，神舟五号载人飞船。
责任编辑：
声明：本文由入驻搜狐号的作者撰写，除搜狐官方账号外，观点仅代表作者本人，不代表搜狐立场。
今日搜狐热点Magic Live智慧系统,智能的像个生命体,聪明到你想象不到_图文_百度文库
两大类热门资源免费畅读
续费一年阅读会员，立省24元！
Magic Live智慧系统,智能的像个生命体,聪明到你想象不到
百家号是全球最大中文搜索引擎百度为内容创...|
总评分0.0|
阅读已结束，下载文档到电脑
想免费下载更多文档？
定制HR最喜欢的简历
下载文档到电脑，方便使用
还剩4页未读，继续阅读
定制HR最喜欢的简历
你可能喜欢您的位置：
→ Magci Hour玩法介绍 Magci Hour怎么用
Magci Hour玩法介绍 Magci Hour怎么用
Magci Hour是一款Htc Vive上的摄影应用，下面跟大家介绍一下这个应用到底该怎么玩。学习摄影并非是一个简单的任务，如果没有花上几个月甚至是几年时间是拍不出体面的照片，而想要拍摄完美的照片则可能要花上数十年的时间来磨练。最好的方法就是拿起相机――任何相机开始拍摄，无论用来拍照还是录制。如果你手中有HTC Vive，那就太棒了!你可以通过一款叫做《Magic Hour》的应用来开始最基本的摄影技巧。该应用是由位于伦敦的一家工作室Wolf
in Motion开发，是一款专为摄影新手而开发的一款摄影应用。和佳能的VR应用类似，《Magic
Hour》可以让你漫游在VR世界之中，并且可以通过调整相机和镜头设置案例更好的了解快门速度、光圈和ISO值对图像美学的影响。如上图的所示，模拟镜头的取景器会现实为一个单独的窗口，这能够有效地作为VR中的实时显示器。虽然你所拍摄到的风景有限，并且使用的也是非常迷你的相机，不过如果你正在寻找更多体验的话，《Magic Hour》倒是可以提供更多的先进选择。比如，你可以通过不存在于现实世界中的虚拟镜头来捕捉拍摄图像。佳能VR应用也许无法提供8-100毫米的f/1.4镜头，不过如果你像玩玩镜头，《Magic
Hour》就可以让你这么做。
阅读此文的人还阅读了...【新提醒】磁链/种子在线转换
我的图书馆
【新提醒】磁链/种子在线转换
有时候发资源帖需要贴磁链，有时候你又想保存种子文件，现在汇总一些可以在线将种子/磁链进行相互转换的网站,以后发布资源就可以随心所欲的进行了！下面就介绍几个可以进行磁链种子转换的网站！
1.（仅支持种子转换成磁链）
2.（种子/磁链可以双向转换）
3. （种子/磁链可以双向转换）
4.（种子/磁链可以双向转换）
5.（仅支持种子转换成磁链）
6.（仅支持种子转换成磁链）
这个网站，我这里打不开，挂代理也不行，就不截圖了
7. （仅支持磁链转换成种子）
8. （仅支持磁链转换成种子）
9.（种子/磁链可以双向转换）
10. （仅支持磁链转换成种子）
11.（种子/磁链可以双向转换）
以上是我所知道的，可能不全面，欢迎大家补充！……
感谢@ 和@ 补充；
Ps.我也用代码来排版一次，风骚一下
馆藏&120471
TA的推荐TA的最新馆藏
喜欢该文的人也喜欢2006年1月 荣获微软MVP称号2007年1月 荣获微软MVP称号2004年9月 荣获微软MVP称号
2006年4月 Windows专区大版内专家分月排行榜第一2005年2月 Windows专区大版内专家分月排行榜第一2003年9月 Windows专区大版内专家分月排行榜第一
本帖子已过去太久远了，不再提供回复功能。}