Entering NCSA

zglloo

探访美国国家超级计算应用中心
来自小熊在线：http://www.beareyes.com.cn/2/lib/200707/09/20070709023_0.htm
伊利诺斯州大学：创建于1867年，学校位于乌班那，学生总人数有4万多

国家超级计算应用中心（National Center for Supercomputing Applications，NCSA）：由伊利诺斯州大学筹建，位于大学的北校区。NCSA是美国国家科学基金会的五个中心之一。NCSA被国际公认为系统和科学工程软件领域的领头羊。


..............
来到NCSA
..............
我们走访了位于伊利诺斯州乌班那的国家超级计算应用中心（NCSA）。国家超级运算应用中心公共信息专家Trish Barker接待了非我们。后来我们还见到了Joshi Fullop教授、John Stone教授以及高级运营项目主管Tom Roney。Joshi负责所有用于大型设备的监控软件的开发，这些软件都属于开放源码。Tom则是负责超级计算机的日常物理运行。

    从他们的言谈中，我们可以感觉到他们有多热爱自己的这份事业。他们四人对现行技术有许多不同的观点，但几乎每一个观点都可以对这个世界产生不小的影响。

    在访问过程中，我们碰到了许多我无法消化吸收的信息，但有一件事是我很清楚的：制造超级计算机不是一个人的努力就能办到的。这需要知识和团队合作。我们在NCSA遇到的每一个人都是各自领域的佼佼者，我们必须十分用功才能跟上NCSA的节奏。


NCSA的主楼
一、NCSA是什么？

    国家超级计算应用中心（以下简称NCSA）是美国最大的公共超级计算机机构，始建于1985年。NCSA的早期岁月十分艰难。由于当时超级计算机还属于新生事物，未引起公众的关注，因此NCSA十分缺乏运作资金。同时，NCSA还受到旧的技术观点的打压而经常处于被动地位。但在第一台Cray X-MP/24超级计算机问世后，许多持怀疑论的人逐渐改变了他们错误的观点。其实，目前的许多桌面式电脑在性能、内存、硬盘容量方面都远远高于原始Cray超级计算机。换个角度想想，在Cray计算机问世20年后的今天，我们每个人都拥有了在当时看来牛到极点的超级计算机。

    另外值得一提的是，NCSA还是网络浏览器的发源地。Marc Andreesen曾在NCSA工作过，期间他获得了大量与Internet接触的机会。后来他开发出了一个代号为“Mosaic”的网络浏览器，并写出了更为大家熟知的“Netscape”浏览器。

    二、NCSA提供什么服务？

    NCSA其实是一个开放社区，也就是说，如果有需要，你或我或他都可以使用他们的设备。NCSA是美国四大开放专业机构之一，并且也拥有一些小的实验室和工作场所。（另外三个是圣地亚哥超级计算机中心、匹兹堡超级计算机中心和新近成立的德州高级计算机中心。）

NCSA的工作人员都在为解决用于未来新型家庭设施的处理器可能出现的问题而努力研究。这样的处理器大约有10万个（超过40万个核心）。这样的挑战简直就是人生极限啊。


三、NCSA是什么样的？

    NCSA以前有7栋大楼，后来建成了两栋更大的大楼，把300多名员工集中在了一起，其中包括负责软件研发、测试、验算和分析的员工。另外在数据计算出来以后，还需要经过由Donna Cox领导的高级可视化部门（Advanced Visualization）的处理。该部门负责制作出3D模块，并用一种更切行的方法来进行研究。


从外面看，我们根本不知道NCSA的大楼里到底发生了什么。只有一个“高级计算大楼（Advanced Computation Building）”的标志透露了一点点玄机。要想进入大楼，就要先通过大楼外部的安检。安检处有音视频设备、键盘、卡扫描仪等。进入大楼以后，可以通过一楼的树脂玻璃电梯到其他楼层。从2楼出来就是在主控制室的后面，在这里可以监控每一个单独的处理器。

说实在的，当我们第一次踏进主控制室的时候，就觉得自己仿佛来到了《星际旅行》的迷宫一样，因为到处都是电脑屏幕，到处都是无比重要的数据。
--------------------------------------------------------------------------------
NCSA的运算能力
--------------------------------------------------------------------------------

    四、NCSA的运算能力到底有多强？

    在理论上，NCSA的最大总运算能力是146TFlops。但由于网络和存储空间的变化，运算能力也会时有不同。但简而言之就是，高端多核心计算机需要花数天才能完成NCSA一秒钟的运算量。

    我们计算过，NCSA的原始计算能力大约是高端计算机的37,000倍。从理论上说，如果要家用电脑完成NCSA在2.37秒内完成的运算量，预计得要1整天的时间。简单来说，超级计算机与普通家用电脑的主要区别就是巨大的内存和硬盘容量、以及网络运行能力。

    其实，超级计算机已经给整个产业和研究带来许多益处。目前整个产业所面临的问题越来越多，因此就需要更强大的处理能力来解决这些问题。现在我们发现问题的能力要远远高于解决问题的能力。但未来几年内，运算能力有望提高至10PFlops，这将是目前超级计算机运算能力的10倍。


五、NCSA的开销有多少？

    NCSA会在哪些地方花钱呢？除了电脑、网络、硬盘、内存、散热设备需要花钱外，NCSA还支付存放超级计算机的场地费用、维护费、好几百人的工资等等。我们单说工资好了。假设平均每一个技术人员每年的薪水是7万美元，NCSA一年的人力成本就要超过2000万美元。

    NCSA花在设备运行上的费用是以每小时数千美元计算的，也就是说每个处理器每小时的维修费是1美元。贵吗？太不贵了。因为与上世纪80年代每个处理器每小时的维修费达到1000－1800美元相比，已经便宜到可以忽略不计了。

六、NCSA有多少台超级计算机？

    今年的世界500强超级计算机名单已经出炉，其中就有5台出自NCSA。
NO.8：Abe - 2007 - 90TFlops
NO.47：T3 - 2006 - 22TFlops
NO.90：Tungsten － 2003 － 16.4TFlops
NO.160：Mercury － 2004 － 10.2TFlops
NO.246：Cobalt－2005 － 6.55TFlops

--------------------------------------------------------------------------------
NCSA的巨大散热风扇
--------------------------------------------------------------------------------
    七、NCSA怎么散热？
    NCSA采用了一个十分酷的散热系统。它有四个空气冷却器组成，每一个都有12英尺高、20英寸宽、30英寸长。每一个散热系统里都有一整墙的空气冷却器、一个热交换器、一个排气孔。从排气孔排除的热气达到50华氏度。


这两个巨大的风扇的转速是600rpm。这张照片只是从门外拍的，因为进去以后的危险可想而知。

服务器面板的温度是98华氏度



Abe超级计算机，运算能力是90TFlops。


--------------------------------------------------------------------------------
NCSA的防火设施
--------------------------------------------------------------------------------

    八、NCSA怎么防火？

    我们很惊讶，NCSA为每一台超级计算机配备的防火系统都是水冷型的。Tom告诉我，原来他们一直认为海龙灭火系统是最好的选择，但随着设备的不断增加，大家都发现海龙系统对环境的影响很大，价格昂贵且需要一个专用的通气装置。后来就改用了简单实用的水渗透防火控制装置。我们注意到，每一条水管的直径大约是18英寸（约46厘米），每分钟水的流量有好几百加仑。除了水渗透灭火装置外，还有好几个烟火传感器，一旦有地方冒烟，桔红色的PVC水管就会识别。


Tom解释说，在这样需要100％干燥的环境下，所有工作人员都必须有两个意识。一是禁烟，不许抽烟，不许见水。二是要有足够的热量来阻断洒水装置的蓬蓬头的熔线（红色的玻璃小管）。



--------------------------------------------------------------------------------
NCSA的电费
--------------------------------------------------------------------------------

    九、要多少电力才能运行NCSA？

    NCSA的每一栋楼都需要至少1.7兆瓦特的电力。NCSA有两个UPS装置，可以保证在停电的情况下继续运行15分钟。我们问Tom，NCSA大概多久会停一次电。他的回答是“Never”！

另外，NCSA每年的电费大约是150万美元，也就是说每秒的电费是3美元，其中66％花在散热系统上，33％花在计算机上。


十、NCSA的资金从哪来？

    NCSA主要由伊利诺斯州大学和美国国家科学基金会（National Science Foundation，NSF）共同赞助。但NCSA有许多不同的项目，因此赞助的资金要怎么分配就完全取决了该项目的价值了。
十一、NCSA让世界获得什么？

    NCSA推动着全球硬件和软件的高速发展。目前在NCSA大约有20个团队在为明日可能出现的问题昼夜不停的工作着。正是由于NCSA的存在，才有了网络浏览器、更快的以太网、更便宜的纤维光学、更大的内存和硬盘、更快的处理器、更低的功耗……。

十二、NCSA的平均故障时间是多少？

对于任何一个企业或科研机构来说，平均故障时间（MTBF）都是决不容忽视的大事。John解释说，“假设只有一个灯泡，它的寿命是多长？如果你有两个灯泡，其中一个可以用多长时间？如果你有100个、1000个、10000个甚至更多灯泡，他们的使用时间又有多长？现在的超级计算机已经有多个处理器，如果这些处理器出问题，我们的工作就是要发现故障，然后把影响降到最低。”


十三、关于NCSA的几个事实

    1、在这样大型的超级计算机环境下是肯定会出现连锁反应的。比如，一台机器的网络出现问题，那就会导致整个系统变得越来越慢。

    2、与早些年相比，内存和硬盘的价格下降得很快，而运算性能也在大幅提升。并且超级计算机的体型也越来越小，价格也越发接近企业所能承受的范围。

    3、尽管许多NCSA的员工想跟我们交谈，但由于受到保密协议的约束，他们也只能一言不发。每次当我们深入谈一个项目的时候，John，Joshi和Trish都会主动打住然后看看彼此，思量着该说什么不该说什么。

    4、他们告诉我们不要担心摩尔定律。因为现在已经找到一些解决方法了，只是还没有公布于众。

    5、不管是跟我们谈技术、谈未来、还是谈最让他们头疼的麻烦，NCSA的员工都显得那么愉快。他们是我见过的最乐天的员工。
十四、最后要提一提NCSA那“卑微的”起步

    NCSA从一个名叫“油化大楼”的地方起家。至今这栋大楼还保持着上世纪60年代的样子，外表上看，它十分不合当今的潮流。但就是从这栋大楼里诞生了许多今天还让我们津津乐道的伟大发明。NCSA的Mosaic网络浏览器被后来人效仿。YouTube的创始人之一曾经在这个大楼里获得了数据共享的灵感。还有许多业界的传奇人物曾在这里工作过。

圆圆的房子就是NCSA起家的地方

[ 本帖最后由 zglloo 于 2007-8-25 18:24 编辑 ]

BiscuiT

七、NCSA怎么散热？
    NCSA采用了一个十分酷的散热系统。它有四个空气冷却器组成，每一个都有12英尺高、20英寸宽、30英寸长。每一个散热系统里都有一整墙的空气冷却器、一个热交换器、一个排气孔。从排气孔排除的热气达到50华氏度。


应该是摄氏度吧。。

胡喨涵

学习了


2001年8月，BBC报道说，美国政府正在计划一个超大规模计算机。这个超级计算机将能够进行每秒13百亿亿（13trillion）次计算（13.6TeraFLOPS）。这一项目被命名为“Teragrid”，是一个由四个美国超级计算中心组成的网络。这四个超级计算中心是：

• National Center for Supercomputing Applications at the University of Illinois(NCSA)
• San Diego Supercomputer Center (SDSC) at the University of California
• Argonne National Laboratory in Chicago
• California Institute of Technology in Pasadena

在每个计算中心都有一个Linux超级计算机集群。在Teragrid网中，总共将会有超过3000个处理器进行并行运算。 截止至2005年，Linux超级应用再创新高。在2005年超级计算机500强中，使用Linux的超过了60%。而且前5名中，有4个用的是Linux。


美国国家科学基金会(NSF)  

德克萨斯高级计算中心（TACC）
圣迭戈超级计算机中心(SDSC)
美国能源部橡树岭国家实验室(ORNL)
印第安纳大学Indiana University （IU）
匹兹堡超级计算中心（PSC）

[ 本帖最后由 胡喨涵 于 2007-8-24 19:35 编辑 ]

烦人

强的！但转载的文章还是请注明出处。

20080030成电

强

zglloo

出处已经注明！