新手学前帮机机群:一直丶一。。。

许多日本少女会提前一年为自己的成人仪式预约做头发、换和服。这一天,美容院也会通宵营业。20岁是成年的开始,也是日本参加选举、饮酒和吸烟的最低法定年龄。
  094级战略核潜艇,北约代号:晋级。它是中国建造的排水量最大的潜艇。中国核潜艇
虽然有些学校有正式招生的权利,也能授予学位,但这只是有正式的法律认证形式,和教育
通过提供资金,支持个中国本土的环境组织,致力于推动中国环境保护。
庞格尔节的正日子是1月14日,家家必做的一件事就是煮甜牛奶米粥。早上日出之时,泰米尔人家家户户在门...
感受我军体系作战:1架直升机打掉一个机群
  战鹰编队突袭。 钟贤江摄
  山峦起伏,云海漫漫。7月上旬,粤东某演练场,直升机穿梭在蓝天之下,树梢之上,完成各种战术动作。坐在直升机里的记者如同在波峰浪谷间摇摆起伏,望着窗外用白灰标注的巨大高地编号,正在演练的各类武器装备,不禁感叹:在广袤的战场上,一架直升机显得多么渺小。
  坐在记者身边的广州军区某陆航旅旅长李波却郑重地说:&别看这只是一架直升机,我们的身后却是整个作战体系,在战场上我们并不孤单。&
  &雷达被干扰,屏幕一片雪花。&听到驾驶舱传来的声音,记者不禁心中一颤,没有雷达,直升机就是&瞎子&,根本无法完成作战任务。
  这时,驾驶直行机的该旅飞行二大队大队长易长欣处变不惊,很快利用新型指挥系统联接地面信息网络,由地面雷达引导战机飞向预定目标空域。
  &信息系统联通后,整个体系的装备都是我们的&眼睛&&耳朵&。&李旅长告诉记者,为提升部队的体系作战能力,他们将陆航指挥系统、防空作战指挥系统等集成后,依托统一的体系实施指挥,达到攥指成拳的效果。
  越过一座座山峰,距离&敌&干扰源越来越远,直升机上的雷达恢复了正常工作。
  突然,数个光点出现在雷达屏幕上。李旅长指着屏幕上的光点说:&&敌&机群正在超低空飞行,地面雷达监测不到,目标很可能是我方指挥所。&
  然而,直升机并没有变向迎&敌&,而是降低高度,沿着既定航线加速通过。
  &&敌&强我弱,&敌&众我寡,即便进行拦阻,也是徒增损失。&易大队长打开信息系统,迅速将&敌&机群的坐标、高度、方位等实时空情信息传到防空群。
  几分钟后,导演部传来情况通报:防空部队根据直升机提供的信息,将&敌&机群一网打尽。李旅长说:&运用体系的力量,我们能够以寡击众,以弱胜强,再先进的单个装备,也难以与体系对抗。&
  卫星导航、地面指示、情报保障&&在整个作战体系的引导下,直升机准确飞到目标空域,一击制敌。
  &如何运用好体系的力量,不是一朝一夕便能学会的,还需要进行长期的研究和实践。&李旅长介绍说,该旅通过多兵种装备知识学习、与兄弟部队交叉代职、建立联合训练机制等多种形式,增强官兵体系作战的理论知识和实践经验。今年以来,他们探索新战法12项,有效提升了部队的战斗力。
责编:刘昆
环球兵器库为天下军迷,倾力打造环球第一兵器数据引擎!
24小时点击排行
12345678910
24小时跟贴排行【论文】一种机群相对定位方法_百度文库
两大类热门资源免费畅读
续费一年阅读会员,立省24元!
中国最大最早的专业内容网站00.0浏览总量总评分
评价文档:
&购买后可评价
4页¥2.005页¥2.002页¥1.001页¥2.004页¥2.003页¥2.004页¥2.005页¥2.004页¥2.006页¥2.00
您可以上传图片描述问题
联系电话:
请填写真实有效的信息,以便工作人员联系您,我们为您严格保密。
一种机群相对定位方法针​对​机​群​协​同​编​队​导​航​定​位​问​题​,​通​过​分​析​机​群​协​同​编​队​的​特​点​,​建​立​了​编​队​成​员​的​相​对​运​动​模​型​并​引​入​视​觉​观​测​信​息​,​提​出​了​一​种​基​于​相​对​导​航​的​机​群​联​合​组​网​定​位​方​法​,​理​论​分​析​及​仿​真​结​果​均​表​明​了​联​合​定​位​结​果​能​达​到​机​群​中​各​成​员​惯​导​位​置​输​出​的​平​均​水​平​,​有​效​地​减​缓​了​编​队​系​统​的​定​位​误​差​发​散​速​度​。
试读已结束,如果需要继续阅读或下载,敬请购买
把文档贴到Blog、BBS或个人站等:
普通尺寸(450*500pix)
较大尺寸(630*500pix)
你可能喜欢
同期刊文献[保留] 请教20万到30万的预算做计算服务器是用机群好还是买一台4or8cpu的服务器好? - ChinaUnix.net
[保留] 请教20万到30万的预算做计算服务器是用机群好还是买一台4or8cpu的服务器好?
http://www.chinaunix.net 作者:&&发表于: 10:59:48
计划跑linux
主要是EDA计算,对存储要求不高,一个计算进程也就几个tps的存储请求,保证数据安全就可以
软件对多线程的支持也不是特别好,最多2,3个线程并行,一般都是单线程的
估计计算能力上肯定是集群高了
老板主要担心集群的可靠性和可管理性是不是不如现成的单服务器好?
另外,如果要买这样的集群,连存储以及管理一套方案一般要找什么样的公司?
曙光之类的是不是不做这么小的买卖?
没什么经验,老板让我调研,请诸位大侠多多发表意见
bow
& 回复于: 19:48:20
既然多线程支持不好,那么应该可以假设不同计算程序之间的通信量要求也不大。看来应该用多个集群比较好。
& 回复于: 22:31:40
引用:原帖由&yangpeip&于&&13:46&发表
计划跑linux
主要是EDA计算,对存储要求不高,一个计算进程也就几个tps的存储请求,保证数据安全就可以
软件对多线程的支持也不是特别好,最多2,3个线程并行,一般都是单线程的
估计计算能力上肯定是集群高了&...&
老板的担心也不无道理.事实上现在的应用情况来看(就EDA行业),仿真时对机器的内存/IO/CPU的计算能力要求比较高,仿真软件可以很轻松的把进程迁移到集群的节点上去运算,但cadence的ICFB在进程迁移时可能会有些问题.
另外,仿真的进程迁移可以实现,但也不能实现集群的节点的资源共享(比如一个仿真需要4G内存,你还是需要有一台4G内存的机器,并不是4台1G内存的机器就可以了,如果你运行4个需要1G内存的仿真,LSF等集群软件会自动为你找四台空闲的机器),这是我实验的结果,可能我的水平有限,没有真正实现集群.&:oops:
& 回复于: 00:27:21
软件环境交代清楚.
我工作的一部分内容就是HPC.可以给你建议.
& 回复于: 14:07:44
非常感谢上面几位的建议
把情况再说清楚点儿:
现在我们机房用的是一台sun&E450服务器作NIS&server+NFS&server
另外若干台Ultra10/60来做工作站提供计算服务,但是都是独立对外提供X登陆服务
目前出现的问题是:
1.&sun的cpu太慢,于是想换成X86架构的cpu
2.&由于我们外网的ip有限,因此实际上只有几个外网ip的工作站使用率比较高,而内网工作站虽然说可以从有外网ip的rlogin进来用,但是由于用户水平问题,负载仍然很不均衡,内网机器被闲置,外网ip的机器负载太高
3.&由于工作站都比较独立,管理起来很不方便,比如需要杀死进程和监视负载情况等
软件基本应用分成3类:
1.&教学用。这类负载不重,但是需要支持比较多的人并发登陆
2.&仿真。这类负载是内存量不大,一个任务几M到几十M的内存,但是cpu运算量大,与内存交换频繁。仿真时间长,一个任务可能1天到1周不等。存储量也不是很大,算得多,存得少。软件多线程以1~2线程为主,更多的线程可能加速效果不大,这是在SMP下测得,线程间通信估计比较多。这类应用目前比较多。
3.&布局布线。与2相比,内存使用量大,一个任务可能1~4G的内存。时间短一些,可能数个小时到1天时间。软件多线程比较成熟,4个线程甚至更多,传统上也是SMP环境。这类的应用比较少,但是有[&本帖最后由&yangpeip&于&&14:10&编辑&]
& 回复于: 14:09:10
引用:原帖由&wolfop&于&&19:48&发表
既然多线程支持不好,那么应该可以假设不同计算程序之间的通信量要求也不大。看来应该用多个集群比较好。&
是不是多个集群的管理会很费劲?
我们老板对可管理性还是挺重视的,因为没有专职的管理员,希望管理方便一些。现在的管理员很累hehe
& 回复于: 20:56:25
我爱钓鱼&&看样子也是这个行业的。
我可以非常清楚的告诉你:如果是一个进程对内存要求很多,并且是calibre这些,可以用4cpu的。
否则,用多个1U的服务器做。
我目前在一个机架里边放置了很多片子,运行很好。同事也不错,写的脚本可以将验证的程序跟我的系统配合很好。
如果有其他什么方面的要求,请联系我。欢迎一起讨论。
我的联系方式请看我资料。
EDA计算环境下,目前,我感觉上海的SMIC做得不错。
另外:用linux吧,sun sparc这个东西做验证和仿真会让你痛苦的。
& 回复于: 08:16:22
引用:原帖由&yangpeip&于&&14:07&发表
非常感谢上面几位的建议
把情况再说清楚点儿:
现在我们机房用的是一台sun&E450服务器作NIS&server+NFS&server
另外若干台Ultra10/60来做工作站提供计算服务,但是都是独立对外提供X登陆服务
目前出现的问&...&
你的环境写的比较清楚了,我的建议如下:
1.&不建议&hpc科学计算集群(beowulf),&因为内存和cpu交换次数多,如果用beowulf的话,计算网络这块用普通的GbE网,mpi延迟会很大,&你的预算和规模又不允许采用infiniband.&&AMD&64的处理器架构,由于NuMA的结构设计,在计算领域对你这种应用性能上表现得非常出色.&我已经有多个国内研究机构和IC制造行业的客户案例.
2.&建议采购&
AMD64&Opteron&4way&双核&服务器&内存配置&1:4或者1:8,也就是16G或32GB&&&x&&2&&(比如HP&DL585&DC)
AMD64&Opteron&2way&双核&服务器&内存配置&1:4&,也就是&8GB&x&1,&SCSI/SAS硬盘若干,支持RAID.(比如HP&DL385&DC)
3.&各服务器&角色定位
4路的机器承担主要运算工作,&安装CentOS&for&AMD64/EM64t&版本&,&&4.2以上
2路服务器作为任务调度节点/管理节点/存储节点
4.&&我用了3台机器但是并不是集群,&所有的用户login(ssh)&到2路服务器上,在这个服务器CLI方式通过任务调度器递交计算作业,或通过&vnc/xmanager/reflectionX,用你的EDA的图形前端递交任务.&&
5.&2路服务器上的任务调度器,配置成不要做beowulf计算方式,把&4路的2台设备都加入到管理域里面,设置成任务分别递交到不同的服务器上(我建议按照用户的任务调度器里面的login账户来区分,这样管理上最方便,比如说&a&b&c&用户login到2路服务器递交作业的时候,总是分配到&第一台四路服务器,d&e&f&则分配到第二台.&这种配置在任务调度器里面非常容易设置)
因为不做MPI&的分布式计算,所以任务调度器我建议用SGE(Sun&Grid&Engine)&我用过&openPBS,&PBSpro,&LSF,&SGE,用下来个人觉得还是SGE最方便.
6.&如果你的工作站或者其他服务器可以腾开的话,也可以加入到任务调度器的管理域中,废物利用.
7.&&这种NuMA的方式非常适合你描述的这种计算类型,&当然如果你的EDA没有前后端的,可能我们就要另行讨论了&:")
EDA领域我做的类似你这种情况的项目用的是&Rsoft&的Fullwave(复杂光学元器件设计)&和Metor&Graphic(ASIC设计)的应用计算环境.
good&luck.[&本帖最后由&nntp&于&&08:17&编辑&]
& 回复于: 09:37:02
引用:原帖由&nntp&于&&08:16&发表
你的环境写的比较清楚了,我的建议如下:
1.&不建议&hpc科学计算集群(beowulf),&因为内存和cpu交换次数多,如果用beowulf的话,计算网络这块用普通的GbE网,mpi延迟会很大,&你的预算和规模又不允许采用inf&...&
气死我了..刚才编辑半天.居然丢了...
& 回复于: 09:44:12
引用:原帖由&nntp&于&&08:16&发表
你的环境写的比较清楚了,我的建议如下:
1.&不建议&hpc科学计算集群(beowulf),&因为内存和cpu交换次数多,如果用beowulf的话,计算网络这块用普通的GbE网,mpi延迟会很大,&你的预算和规模又不允许采用infiniband.&&AMD&64的处理器架构,由于NuMA的结构设计,在计算领域对你这种应用性能上表现得非常出色.&我已经有多个国内研究机构和IC制造行业的客户案例.
[color=red]Beowulf确实不太适合IC行业,同时,openmosix我认为也不适合,原因是openmosix会内部大量通信,调度过于频繁.[/color]
2.&建议采购&
AMD64&Opteron&4way&双核&服务器&内存配置&1:4或者1:8,也就是16G或32GB&&&x&&2&&(比如HP&DL585&DC)
AMD64&Opteron&2way&双核&服务器&内存配置&1:4&,也就是&8GB&x&1,&SCSI/SAS硬盘若干,支持RAID.(比如HP&DL385&DC)
[color=red]为什么用双核?我一直认为双核目前看来价格过高,效率没单核快,要知道,license可是很贵的.它多用一个小时,license的费用就多很多了.
很多人向我推荐双核,我可是一直没用.我寻求的是一个性价比平衡.不过双核肯定是趋势.[/color]
3.&各服务器&角色定位
4路的机器承担主要运算工作,&安装CentOS&for&AMD64/EM64t&版本&,&&4.2以上
2路服务器作为任务调度节点/管理节点/存储节点
[color=red]存储和计算一定分开.任务调度其实可以跟计算一起[/color]
4.&&我用了3台机器但是并不是集群,&所有的用户login(ssh)&到2路服务器上,在这个服务器CLI方式通过任务调度器递交计算作业,或通过&vnc/xmanager/reflectionX,用你的EDA的图形前端递交任务.&&
[color=red]这样的方式不错.我个人建议考虑一台App--后面跟多台computing&nodes,nvidia好像就是这样,当然工程师还是可以作弊,比如交互式提交[/color]
5.&2路服务器上的任务调度器,配置成不要做beowulf计算方式,把&4路的2台设备都加入到管理域里面,设置成任务分别递交到不同的服务器上(我建议按照用户的任务调度器里面的login账户来区分,这样管理上最方便,比如说&a&b&c&用户login到2路服务器递交作业的时候,总是分配到&第一台四路服务器,d&e&f&则分配到第二台.&这种配置在任务调度器里面非常容易设置)
因为不做MPI&的分布式计算,所以任务调度器我建议用SGE(Sun&Grid&Engine)&我用过&openPBS,&PBSpro,&LSF,&SGE,用下来个人觉得还是SGE最方便.
[color=red]从这点看,版主经验丰富.以后多多向你学习.SGE对我来说,感觉就两个字:复杂[/color]
6.&如果你的工作站或者其他服务器可以腾开的话,也可以加入到任务调度器的管理域中,废物利用.
7.&&这种NuMA的方式非常适合你描述的这种计算类型,&当然如果你的EDA没有前后端的,可能我们就要另行讨论了&:")
EDA领域我做的类似你这种情况的项目用的是&Rsoft&的Fullwave(复杂光学元器件设计)&和Metor&Graphic(ASIC设计)的应用计算环境.
[color=red]请问Mentor的是什么软件?Calibre?还是其他?[/color]
谢谢!
good&luck.
不好意思,直接引用一下.
& 回复于: 12:26:45
太感谢了,再问两个弱智问题
[u]4.&&我用了3台机器但是并不是集群,&所有的用户login(ssh)&到2路服务器上,在这个服务器CLI方式通过任务调度器递交计算作业,或通过&vnc/xmanager/reflectionX,用你的EDA的图形前端递交任务.&&[/u]
CLI的全称是啥?我去找找资料
另外,您说的EDA图形前端是运行在调度节点么?
然后把要计算的进程通过任务调度器扔到计算节点上么?
& 回复于: 13:23:57
引用:原帖由&yangpeip&于&&12:26&发表
CLI的全称是啥?我去找找资料
另外,您说的EDA图形前端是运行在调度节点么?
然后把要计算的进程通过任务调度器扔到计算节点上么?&...&
CLI&=&command&line&interface
图形前端我想就是指的直接运行的EDA软件图形界面吧
任务调度,是指的集群软件的一个功能.
这个是自动完成的.就是配置一下配置文件.
& 回复于: 15:09:34
引用:原帖由&yangpeip&于&&12:26&发表
太感谢了,再问两个弱智问题
[u]4.&&我用了3台机器但是并不是集群,&所有的用户login(ssh)&到2路服务器上,在这个服务器CLI方式通过任务调度器递交计算作业,或通过&vnc/xmanager/reflectionX,用你的EDA的图形前&...&
采用独立的任务调度器还是直接让你的EDA的前端把任务分派出去,或者是EDA前端计算开始的时候,是可以通过命令行或者其他方式传递到任务调度器的脚本上去的,这个不是我来觉得定&:"))&&你们用什么EDA就有什么样的配置方法.
& 回复于: 17:01:05
aaaaaaaaaaaaaaaaaaaaaaaaaaaaa[&本帖最后由&mtx99&于&&10:51&编辑&]
& 回复于: 20:14:45
引用:原帖由&mtx99&于&&17:01&发表
“我爱钓鱼&&看样子也是这个行业的。
我可以非常清楚的告诉你:如果是一个进程对内存要求很多,并且是calibre这些,可以用4cpu的。
否则,用多个1U的服务器做。
我不知道:您是干什么的???
&&&&&&&&&您的回答我真是不理解:&&1u是什么意思??那只是个高度(或长度)单位,与cpu的多少没有关系。“外用linux吧,sun sparc这个东西做验证和仿真会让你痛苦的。&”sparc&是sun的cpu与你说的linux没有什么关系。只有solaris&操作系统才能跟你说的linux作比较。因为solaris也有for&&intel&cpu的。您说的可能是刀片式服务器,比如ibm的blade服务器。呵呵,不好意思!!&&
你是"我爱钓鱼"?
我没其他意思,我想只是一种讨论.如果有什么地方对不住的,我道歉.
可能我表述不清楚吧.
重新来过^_^
目前IC行业,采用sun&sparc系统(包括solaris和sparc&cpu)来做的话,速度非常慢.所以不赞成以后采用这些了,不过它们确实很稳定,所以像layout这些应用,还是可以考虑采用的.Linux有时候图形难看,并且还容易崩溃.
IC行业的软件,目前还几乎没solaris&for&x86的.
我看前面有人推荐采用4cpu的服务器,但是考虑到性价比.我认为不应该采用4CPU的服务器.
采用1U的机架式,一般可以放2颗CPU,性价比最好.
刀片式也不建议,太贵了,并且散热问题依然存在,对机房制冷要求比较高.
而IC设计中的calibre这样的一些软件,是可以并行的.
所以,如果为了争取时间,考虑用4CPU的,这样,可以很大方面提升性能.[&本帖最后由&soway&于&&20:19&编辑&]
& 回复于: 21:06:03
To&楼顶&and&soway,
1.&soway&提到的openmosix&不适合
mosix&集群是一种&"computing&loadbalance"的集群,楼顶的应用不是计算密集型应用,使用openmosix&不是正确的方案
2.&关于soway提到的&dual&core&计算节点的问题:
我建议给楼顶的朋友服务器采用的是AMD64&dual&core的.&soway&可能不太熟悉AMD64&dual&core的计算设备,&AMD64&dual&core和&Intel&EM64T&dual&core完全是两码事,在高性能科学计算中的表现差别非常非常大.
关于硬件上的问题我不想多牵涉进来.&&soway关于&dual&core性能上的描述,实际上是针对Intel&EM64T&dual&core架构的计算节点的.&&不过soway关于license&的说法是有建设性的,&楼顶的朋友在考虑采购&AMD64&dual&core&设备之前,需要问清楚自己的软件供应商提供的EDA软件的license&许可是怎么规定的.&据我所知,因为&dual&core&在AMD64和EM64T两条线上的大力推广,很多软件公司都修改了license&许可规定,&不过这个需要在采购之前和软件供应商仔细确认.
3.&关于soway&提议的存储和计算分开的问题:
我前面提出的方案里面,并没有把存储和计算放在一起,&小规模(指节点数)的计算群中,让&头节点承担存储任务是完全可行的,也是常规的做法,&当然前提是在并没有大量数据结果或者图形文件产生的前提下.
4.&关于soway提到的SGE复杂的问题.
你是我在这个领域工作到现在听到的第一个觉得SGE复杂的朋友.&我很惊讶你为什么这样说,&SGE无论是opensource版本还是enterprise&版本,&安装,部署和作业配置都异乎寻常的简单.&稍微熟悉linux的用户大概只需要20分钟左右就可以完全配好SGE.&SGE&community&提供了大量的pre-defined&job&script可供修改使用.
一点工作经验,仅供参考.
& 回复于: 23:15:08
非常感谢soway和版大的建议
我们的license是学校统一购买的,倒是足够用
soway刚才说的经验我在实际应用中都有深刻体会hehe
不过感觉linux的调度确实不太好,人多的时候有的时候像死机一样
不知道这是操作系统的原因还是cpu架构的原因?
我看solaris10&for&X86号称二进制兼容RHEL3的软件,有机会应该试验一下hehe
& 回复于: 08:38:14
引用:原帖由&nntp&于&&21:06&发表
To&楼顶&and&soway,
1.&soway&提到的openmosix&不适合
mosix&集群是一种&"computing&loadbalance"的集群,楼顶的应用不是计算密集型应用,使用openmosix&不是正确的方案
2.&关于soway提到的&d&...&
版主你好,
说实际话,我没动手安装过SGE.
这点我必须承认,说他复杂是因为我将SGE的文档,全部都看了一遍.
里边提出了大量的概念,并且很多东西都是在一个JAVA图形界面下做.
好像没提到文本方式修改配置,这点让我感觉非常头疼.
听你这么说,我有时间一定要亲自动手做一下.
另外,我还想问一下,你说到AMD&DualCore性能很不错,这个实际测试过吗?
因为我目前并没有多少资料.更加没有实际的测试数据.如果你有测试数据,
希望能告知一下实际情况如何.
& 回复于: 08:44:17
引用:原帖由&yangpeip&于&&23:15&发表
非常感谢soway和版大的建议
我们的license是学校统一购买的,倒是足够用
soway刚才说的经验我在实际应用中都有深刻体会hehe
不过感觉linux的调度确实不太好,人多的时候有的时候像死机一样
不知道这是操作系统的原因还是cpu架构的原因?
我看solaris10&for&X86号称二进制兼容RHEL3的软件,有机会应该试验一下hehe&
linux里边有一个重要的经验:一个cpu核(这里也可以是intel的超线程,比如一个intel&dualcore的cpu,相当于有4个)只能跑一个进程.
如果多了,你的性能会有很大影响,usr占用时间减少,sys占用cpu时间增加.
这点在XEON表现好了一些,如果你用过以前的P4,关闭超线程,感觉就非常明显了.
Solaris10&for&x86如果你想用于IC设计环境,我个人表示反对.
你可能遇到非常多的问题,这些问题你解决起来简直就是非常复杂.
如果你确实想用,去年synopsys和sun签订了一个协议,准备将discovery平台出s10&for&x86的版本.
等他们出了那样的版本再用吧.
二进制兼容通过一个单独软件实现是会有很多问题的.它和x64兼容32位完全不一样.
ps:在学校真幸福,从来不考虑license价格问题.
& 回复于: 10:54:35
不要多心,我也是就我了解的一点东西讨论一下,言辞有不当之处,还望您多包涵.
& 回复于: 11:32:52
引用:原帖由&soway&于&&08:44&发表
linux里边有一个重要的经验:一个cpu核(这里也可以是intel的超线程,比如一个intel&dualcore的cpu,相当于有4个)只能跑一个进程.
如果多了,你的性能会有很大影响,usr占用时间减少,sys占用cpu时间增加.
这点在&...&
soway,你说的情况在Intel&平台上的确如此的,所以我们高性能科学计算的项目,很多用户都选择了AMD64.
希望关注计算的朋友关注AMD64.&&从AMD64开始,AMD和Intel的x86平台开始分道扬镳.&&AMD公司得到了dec&的技术.
& 回复于: 11:35:42
引用:原帖由&soway&于&&08:38&发表
版主你好,
说实际话,我没动手安装过SGE.
这点我必须承认,说他复杂是因为我将SGE的文档,全部都看了一遍.
里边提出了大量的概念,并且很多东西都是在一个JAVA图形界面下做.
好像没提到文本方式修改配置,这&...&
soway,&SGE的document&你要是安装的话,只要看一个installation就可以了,很简单的.
那个图形界面我从来不用的.&不用去理会他.
AMD64的dual&core性能,在几个主要的科学计算的站点都有大量的引用,benchmark的结果很多,&&我不知道你关注编译器与否,你可以去pathscale的站点,&PGI站点看看.&有很多结果.
我的实测结果都是在客户那里做的,数据没有办法贴出来.
& 回复于: 11:47:48
引用:原帖由&yangpeip&于&&23:15&发表
非常感谢soway和版大的建议
我们的license是学校统一购买的,倒是足够用
soway刚才说的经验我在实际应用中都有深刻体会hehe
不过感觉linux的调度确实不太好,人多的时候有的时候像死机一样
不知道这是操作&...&
linux&的调度,还是linux上的作业调度器?
我有一个项目,需要实时从国家骨干网的对外接口采集数据,网卡程序是特殊的,用户研发部重新编写的.&平台是AMD64&dual&core&4way服务器,用的是SLES9&AMD64版本.
常规文件系统已经无法支持吞吐要求,我们每个这样的设备用了32GB内存,内存中开出2个8GB&空间mount&到VFS上给应用作存储.&15分钟后,2个8GB&mounted&fs全满.然后refresh到一个后台去,重新开始采集.&这个吞吐量大了吧?&&我配合客户几乎选择了能够选择所有linux和几个主要的服务器硬件架构,最后选择了上面的那种配置.
CPU在处理过程中一直维持在80%一上的高负荷.&由于采集的数据都是小于30k的极小文件,没有一个fs符合要求,包括我们测试的lustre.常规的就更加不说了.
程序是java+C写的,C部分我们用pathscale&优化编译过.
仅供参考.&
还有,&感觉到linux&系统&frozen&这个现象,不能直接推导出linux的调度有问题,&我给客户作&Rsoft&Fullwave&科学计算集群的时候,fullwave&的运算设计有一些很特殊的地方,如果计算的空间设置不当的话,也会导致linux&compute&node死锁.&&难道这就可以说linux&调度有问题?&说这个问题,还是要严谨点的,不可以太过于武断.
客观的来说,&&2.4的时代,和sun&solaris比,的确不能比,但是&2.6以及计算平台向AMD64/EM64T&过渡,现状就不是这样了.&
我们还是往前看吧.
& 回复于: 16:41:56
引用:原帖由&nntp&于&&11:35&发表
soway,&SGE的document&你要是安装的话,只要看一个installation就可以了,很简单的.
那个图形界面我从来不用的.&不用去理会他.
AMD64的dual&core性能,在几个主要的科学计算的站点都有大量的引用,be&...&
说实在话,我挺喜欢LSF的,这个东西做的比较积极.唯一缺点就是价格贵.
所以,我后来没太多机会接触.
他们做的系统,配置感觉非常方便,文档写的也不错.
以后好好研究一下SGE
AMD&opteron的机器,最近用了两台1U的.感觉还不错.
不过挺奇怪是跑一个simulation(64位系统跑32bit应用),性能比XEON对比的差点儿.
而跑另外一个,性能确高了30%.
呵呵,以后准备全部用AMD的opteron了.双核也想找机会测试一下.
& 回复于: 18:51:03
引用:原帖由&soway&于&&16:41&发表
说实在话,我挺喜欢LSF的,这个东西做的比较积极.唯一缺点就是价格贵.
所以,我后来没太多机会接触.
他们做的系统,配置感觉非常方便,文档写的也不错.
以后好好研究一下SGE
AMD&opteron的机器,最近用了两&...&
AMD和intel的对比我做过一些
跑hspice,&2threads,&opteron&246*2比xeon&2.8G*2快了将近1/3
另外一个双核的AMD64&X2&3800+跑同样的,opteron&246*2仍然比之快了1/4
但是用spectre,X2&3800+就和opteron&246*2差不多了
我想可能是hspice内存比较省,opteron的cache比3800+多一倍的优势体现出来了
而spectre占用内存比较,需要频繁和内存交换,瓶颈就在内存上了
& 回复于: 18:56:28
引用:原帖由&nntp&于&&11:47&发表
linux&的调度,还是linux上的作业调度器?
我有一个项目,需要实时从国家骨干网的对外接口采集数据,网卡程序是特殊的,用户研发部重新编写的.&平台是AMD64&dual&core&4way服务器,用的是SLES9&AMD64版本.&...&
hehe,这个只是我们的一个感觉而已,当然不能全盘否定linux
您说的例子,cpu&load在80%左右,我们的情况不太一样,
如果是一个双cpu的node,扔一个仿真进程,load就是50%,两个就是100%
这个时候再登陆干别的,感觉就非常卡
而sun在这种情况下虽然慢,但是感觉还是在慢慢的动,linux感觉是等半天不动,然后突然动了一下,然后接着死。。。给人的感觉不是很爽的样子hehe
& 回复于: 19:32:44
引用:原帖由&yangpeip&于&&18:51&发表
AMD和intel的对比我做过一些
跑hspice,&2threads,&opteron&246*2比xeon&2.8G*2快了将近1/3
另外一个双核的AMD64&X2&3800+跑同样的,opteron&246*2仍然比之快了1/4
但是用spectre,X2&3800+就和opteron&246&...&
我跑的是vcs的simv,结论是246比XEON&2.8G慢5%,而DC快30%
& 回复于: 19:54:59
引用:原帖由&soway&于&&08:44&发表
linux里边有一个重要的经验:一个cpu核(这里也可以是intel的超线程,比如一个intel&dualcore的cpu,相当于有4个)只能跑一个进程.
如果多了,你的性能会有很大影响,usr占用时间减少,sys占用cpu时间增加.
这点在&...&
lz说的是以前吧,建议你看看O(1)调度再说
& 回复于: 10:02:43
& 回复于: 00:48:52
引用:原帖由&soway&于&&19:32&发表
我跑的是vcs的simv,结论是246比XEON&2.8G慢5%,而DC快30%&
intel&amd在科学运算上各有长处,有些科学运算软件针对sse3作了优化
& 回复于: 08:19:24
终于看完了讨论,呵呵,,nntp兄,想向你咨询一件事,希望听听你对X-Cat做HPC的看法,请多多赐教,也可以随时加我MSN:&[email]wake_[/email]
& 回复于: 14:02:58
引用:原帖由&yalung&于&&08:19&发表
终于看完了讨论,呵呵,,nntp兄,想向你咨询一件事,希望听听你对X-Cat做HPC的看法,请多多赐教,也可以随时加我MSN:&[email]wake_[/email]&
Hello&X-cat我不是很熟悉,略有耳闻.&因为我做的项目的限制,目前我做的hpc项目有2类,一类是采用商业的方案,一类是采用opensource的方案,32节点以下的小项目大多采用的是opensource的方案。采用opensource的方案又有2种,一种是用户的应用是homegrown的,所以没有办法用现成的系统,所有的架构都是自己搭的。如果用户跑的是比较标准的科学计算应用,一般我就用ROCKS了.
之前这里有一个朋友谈了点关于对Rocks的看法,我个人的看法是,有时候作技术而不是做项目的人往往容易绝对化一个事情,在我看来,技术没有绝对的好坏之分,去苦苦比较寻找一个"好的"技术和系统,比把正确的技术方案用在正确的项目中,要容易得多。而后者往往是决定了用户的最终使用的感觉体验.
hpc的项目做得不算少了,依照我的经验,32节点的常规应用hpc集群,用ROCKS是最佳选择。因为现在hpc&集群扩充的时候,我们有了第二个选择,就是升级计算网,这个是一个国内用户可以考虑的新思路,以往规划的时候,都是考虑以后是否可以扩充节点,但是我认为因地制宜的升级计算网,在现在来看,已经是性价比非常好的选择了.&比如从32node&GbE到32node&Infiniband(copper),采用1:4的&block&阻塞,成本非常低廉,但是性能提升特别明显,最关键的是MPI延迟将会从ms级降低到us&级别.&对于一些分布依赖性比较强的应用,比如中尺度天气预报用的MM5,Fluent之类的都有很强的提升作用.&特别是有些研究机构和学校的材料和热分子动力专业,他们的计算不像MM5那样,需要越多结点越快地交换,像Material&Studio这种系统,如果你用SGI&的IA64&设备,大概到4节点8cpu的时候,性能曲线就开始平缓下来了,过多的节点扩展根本不会给性能提升带来太多的好处.
说了这么多扩展的问题是,我个人觉得ROCKS面对32&node的小项目是撮撮有余了,另外ROCKS的infiniband&Roll和Myrinet&Roll都pre-defined得很好.&从我们这些做架构的人来说,可能更多考虑系统上的问题,但是最终用户考虑的是计算,而不是基础架构的问题。所以最小限度的降低工程难度和时间,对双方来说都是很恰当的。我这个都是从工程项目角度考虑的,如果是自己玩玩就另当别论了.
个人意见仅供参考,科学计算博大精深,技术手段不断进步,选择合适自己的才是正道.
& 回复于: 00:29:20
终于看完了,强悍啊。
不知道各位对WWW(含数据库)的集群是否有所涉猎
& 回复于: 14:07:28
引用:原帖由&HonestQiao&于&&00:29&发表
终于看完了,强悍啊。
不知道各位对WWW(含数据库)的集群是否有所涉猎&
完全是不同的目的,www的集群追求的是HA,保证可靠就性了,这里讨论的是高性能计算的问题,追求提供一个尽可能高的计算能力.
最近我要开始维护一个34节点的集群系统,采用centos+rocks,以后有问题要向大家多请教了
& 回复于: 01:47:33
引用:原帖由&tomduanj&于&&14:07&发表
完全是不同的目的,www的集群追求的是HA,保证可靠就性了,这里讨论的是高性能计算的问题,追求提供一个尽可能高的计算能力.
最近我要开始维护一个34节点的集群系统,采用centos+rocks,以后有问题要向大家多请教了&
& 回复于: 10:40:02
引用:原帖由&nntp&于&&01:47&发表
做计算,目前主要给学校教学环境提供联系使用,接手顺利后,可望提供本地气象计算
偶的MSN:.CN,请多指教
& 回复于: 13:36:33
引用:原帖由&tomduanj&于&&10:40&发表
做计算,目前主要给学校教学环境提供联系使用,接手顺利后,可望提供本地气象计算
偶的MSN:.CN,请多指教&
这些node&跑mm5&你的计算地理被迫会很大&:"))))))
& 回复于: 16:17:34
34台机器,共68颗Xeon&3G&CPU.
& 回复于: 11:26:18
我们这里有2000亿次得集群,linux系统,运算网络连接正是最快得Infiniband,不过可能会适当收费,但是远远低于30万。有意可以mail我[email]shenyl@[/email]
& 回复于: 22:30:25
"对于一些分布依赖性比较强的应用,比如中尺度天气预报用的MM5,Fluent之类的都有很强的提升作用.&特别是有些研究机构和学校的材料和热分子动力专业,他们的计算不像MM5那样,需要越多结点越快地交换,像Material&Studio这种系统,如果你用SGI&的IA64&设备,大概到4节点8cpu的时候,性能曲线就开始平缓下来了,过多的节点扩展根本不会给性能提升."
nntp学长,
你这段话非常有益。
不过,请再略加讨论。
1。我们现在正在用Materials&Studio和Cerius2两个,发现对于单机工作站而言,有些计算的确太耗机时,通常是不停机算一周(SGI&或AMD3200+,2G内存)。MS系统本身有linux版本,可以多处理器运算,我们也有24个Xeon&3.0G组成的GBE集群。
&&&按你所说,那我们将MS迁移到8cpus是应该做的。而从32node&GbE到32node&Infiniband(copper)估计会有多大的提升?
2。虽然高性能科学计算的市场远小于商用计算,但从大学教育而言,从科学计算上促进linux的普及是更有效的,毕竟使用linux平台上的专业软件的人对于中文和图形界面的要求不是非常苛刻,有更好,没有也可以忍受。只有在大学里有一定的普及面,这样毕业生(非计算机专业)才能工作后接受linux。
3。国内需要对一些主要的工程软件的应用进行一些计算应用对比。现在的大型专业软件的购买费用远大于硬件,如何充分发挥软件作用是非计算技术的软件应用人员最关心的。
4。我看见一篇文章,说缺乏开源的中文linux字库,因此妨碍了中文linux&的普及。请问真实情况是这样吗?
& 回复于: 12:45:51
Hello&sigmax,
1.&Material&Studio&如果跑在&infiniband&上,比用GbE&性能会提升10%-15%左右,所以不要太乐观。我有客户有吃过教训了.
学校的有些博导对于计算方面不是很熟悉,往往会去咨询本学校或者朋友学校的计算系的老师或朋友,那些老师一般会建议infiniband(因为技术比较新也比较热).
不过物理材料设计和研究,似乎不能从更快的计算网络得到什么好处,我那个客户有1台8CPU&SGI(NASA赠送的)原来跑MS,后来新项目上来,增加了32node&Sun&AMD64&hpc&cluster,&效果不是很好,现在把32&node切出2个8node&和一个16&node来用.
相对比较精确的性能估算需要专业人员来帮助你们完成.&我希望你们在软件版本投资许可的情况下,采用&IA64的体系来玩,&实在投资不行,你可以用&8&cpu的&AMD64来玩.&&
不要用&2cpu&的很多个单个node来搭.
所以,如果假设你总共需要64个CPU&power来跑&MS和&Cerius2,&&&&&8&cpu&/AMD64&x&6&的集群,要比&2cpu/AMD64&x32的要好好很多(40-60%).&&&当然&&4cpu&IA64&x&8&的集群要比&8&cpu/AMD64&x6要好很多.(40%)
上面的百分比估算完全是经验的,具体要找专业人员作分析估算
Intel&的EM64T就不要谈了,这种CPU架构不适合做&MS/Cerius2的应用.
2.&linux&就是一个工具,好比你研究物理材料分析,你的物理基本学科的学习就是一个工具和基础,你工具和基础越是熟悉,你在这个之上的开展的研究工作就越是顺利,时间周期就短.
我一个客户,博导手下有一个博士研究生跟我一起做一个cluster的项目,他虽然是学物理的,但是C语言功底很好,MPI程序的设计思路也很清楚,和他在一起工作的时候,觉得非常的舒服,毕竟隔行如隔山,我在为他们的cluster做性能调整之前,需要彻底的了解他们是具体怎样用MS的,需要如何来计算,cluster日常使用和管理的习性如何等等。
我们2个一起工作的时候,效率很高,我们可以很轻松的合作写出尽量符合他们研究目标要求的MPI程序来调,并且和MS公司的软件工程师进行沟通.
所以我认为不要把linux&在计算领域的地位过于抬高,如果研究人员能够明白这个是一个工具,并且把它当作和普通试验设备一样的东西,很多事情就迎刃而解.
3.&大部分国内学校的主要学科在考虑计算项目的采购的时候,向来都是把硬件招标放在首要之首要,为什么?因为不管我们用windows,&linux,&MS,&fullwave,&fluent,&安氏,心态都有点问题,我们向来觉得软件代码不过是光盘上的东西,人力便宜这个想法在中国人的大脑里面根深蒂固,甚至很多软件人员日后成为领导了,他们的脑子里面也有这样的观念.
MS&之类的产品,价格非常昂贵,我做项目到现在,只有1个客户买了MS,剩下的都在用盗版的,甚至有一次在我在浙江一个知名大学做hpc&cluster项目的时候,一个老师看到我笔记本上的Intel&编译器和开发工具,居然后来向我门公司的项目负责人提出要免费索取.&&这些软件都是我公司内部用来给客户作部署的时候测试用的.
我觉得我们一定要接受知识产权的观念,这个和我们这里的每个人切身利益都息息相关,只有良性循环真正开始了,我们这里每个人在这个行业才能过得更好,赚钱更多,努力都尽可能得到更好的回报.opensource和linux&解决的是软件行业的发展问题,它不是中国人对于软件和知识产权和软件使用矛盾的解药.
我自己也在写一些在SuSE&Linux上运行的软件,我有时候就在想,如果国内软件知识产权现状真的变好了,我就可以放心的去创作更好的东西,因为我知道我所投入的努力和时间都会有合理的回报,并且会有更多人随着我在这个方面的工作而一起进入,工作并收益。&但是这是非常乌托邦的想法.&很多人很害怕说正版了就用不起软件了,其实根本不是这样,国家加大力度在知识产权的保护上严厉控制和管理,那些软件供应商就会蜂拥进入中国,&而在计算领域,最先受益的就是用盗版最严重的学校,因为这些软件公司为了展开竞争,就会用他们在其他国家一样的销售策略,和广大学校签署教育行业专用服务协议(Education&license).&很讽刺吧.
我在江苏物科院作项目的时候,博导也想用盗版,我就建议他和美国他们对口的朋友学校联系一下,看看可不可以让对方共享一下对方的Education&license.
4.&你在说中文桌面把?&&我虽然在linux行业工作10乐,不过我从来没有考虑过桌面的问题,linux&目前不适合桌面。
我们公司销售到埃及的上千台PC曾经预装过&linux,不过后来都换回来了.&微软的windows&的核心价值是什么?&很多玩linux得人一上来就谈办公,多媒体,娱乐,其实根本没有谈到本质的东西.&linux做桌面为何不如&Windows&,&就是人机工程的巨大差距.&&如果是计算机工程或科学毕业的本科学生应该知道,计算机学科有一个很重要的分支,叫做人机工程学。&
从Apple&GUI到windows&这么多年的发展,讲究的就是人-机的工程设计,这个和office,&multimedia,&network无关,这个就是核心.
为什么Apple&的jobs&凭&ipod&翻身?为什么&apple&现在前途很光明?&OSX&我不知道各位用过没有,性能和功能上和linux没有办法比的,体系结构也很混乱,但是这样的东西赢得了用户的喜欢,为什么?因为融合,沉浸在它每个部件,应用程序,GUI里面的背后都有Apple&的人-机领域高手在领军.&
做一个比windows稳定,体系结构更好,设计更开放,应用更多的的OS不是一个不可能的事情,但是要windows&这么多年在desktop积累的&巨大的客户体验反馈和人-机工程上积累的经验的差距在5-6年直接内完全弥补掉,真是一件不太可能的事情。幸好Linux是GNU/Linux,&这样&OS&到达最终用户的门槛就非常低非常低,所以linux&只要不要放弃努力,10年之后超过windows&的可能性是很大的,因为背后的推动力不一样.
中文的问题,并不是本质的问题,我告诉你这个中文的问题只有有强有力的商业公司介入,1年内就可以彻底解决掉。这个问题不是根本的问题.&因为里面没有技术壁垒存在.
市场的认知没有到位,市场反应就会滞后.
我很羡慕那些还在学校作研究工作的朋友,所以&good&luck乐.
& 回复于: 16:28:47
引用:原帖由&nntp&于&&11:47&发表
linux&的调度,还是linux上的作业调度器?
我有一个项目,需要实时从国家骨干网的对外接口采集数据,网卡程序是特殊的,用户研发部重新编写的.&平台是AMD64&dual&core&4way服务器,用的是SLES9&AMD64版本.&...&
不知道这个项目最后是如何处理?我以前也是做这个的,I/O很头疼的,不过我们只能用曙光的服务器.
骨干网的什么线路?是GE,还是POS2,或者是10G的,斑竹能否透漏一下.
& 回复于: 10:53:46
完全被nntp版主的风度和博学给折服了,强烈建议nntp版主出本书,不用太专业,随笔的也可以,就当造福大众了,呵呵!!
& 回复于: 16:31:08
好贴呀,nntp太牛叉了。
& 回复于: 20:06:48
:em17:&超级好帖!
:em16:&看完帖子才知道落后好多年。一直没关注集群,直到最近,业界趋势没把握住啊,引以为戒,赶快补课。。。
& 回复于: 17:49:32
引用:原帖由&cugag&于&&10:53&发表&[url=http://linux.chinaunix.net/bbs/redirect.php?goto=findpost&pid=5505213&ptid=702640]
完全被nntp版主的风度和博学给折服了,强烈建议nntp版主出本书,不用太专业,随笔的也可以,就当造福大众了,呵呵!!&
偶不是做这方面的,但是版主对问题的深入分析和一丝不苟的态度实在值得学习!
& 回复于: 11:02:00
thanks,&最近工作忙,来的少了.
& 回复于: 19:25:50
好帖,真是好帖阿。版主太强了!
& 回复于: 11:23:46
:mrgreen:&我觉得看这个帖子才是真的长见识。希望这个板块的同行都能看看。
& 回复于: 16:25:30
最近正好开始做管理这方面的系统管理员。
我还是太菜了
& 回复于: 13:53:33
版主真是强人,学习了。
& 回复于: 10:59:48
这个必须要mark一下的
原文链接:
转载请注明作者名及原文出处}

我要回帖

更多关于 前帮机用丰型红光灯 的文章

更多推荐

版权声明:文章内容来源于网络,版权归原作者所有,如有侵权请点击这里与我们联系,我们将及时删除。

点击添加站长微信