24块显卡并行工作能不能满足你的需要呢？2160块又怎么样？

zglloo

今年4月份的时候，国外一位名叫Janne的牛人自己动手DIY了一台包含了6块Core 2 Quad CPU、8GB内存的微型计算机集群，在当时引起了不小的轰动（具体报道看这里），甚至还引起了Google的关注。最近，Janne准备把这个想法继续发扬光大，他计划在原先的基础上进行一些修改，试图构建一台可以让24块显卡进行并行工作的超级渲染机器，而他的这个想法已经得到了AMD的支持，公司将会为他提供所有的必要硬件。更为疯狂的是，Janne的野心远远不止如此，他甚至已经准备好了一个可容纳2160块显卡的超级渲染集群的蓝图。



Janne将这个24显卡的渲染机器命名为“The Renderer”，计划中需要的硬件有：24块 Radeon HD4870X2 或 Nvidia 9800GX2显卡、6块 MSI K9A2 V2 主板、6块 AMD Phenom quad 9850 CPU、数十G的内存、6个1500-2000w的电源、大量的铜质散热管以及9平方米的铝板（其中3平方米用于散热）。让这些东西在软件上进行并行工作 并不是什么问题，关键还在于硬件上的构成，下面是Janne的设想（最初的原型，最新的改进是缩短了散热管的长度）：

首先将显卡和CPU的风扇全部去掉，用铜质散热管代替：

机箱四面全部覆盖铝质散热器：

显卡的GPU和主板上的CPU与散热管紧密接触：

每一层按类似布局向上叠加，机箱四周全部加风扇辅助散热，由于数量很多，因此风扇的转速并不需要太高。



最终版本：

预计这个渲染机器的运算速度会达到50T FLOPS。

　　如果说这个想法还不能让你满意的话，那么Janne的名为“River”的由2160块显卡构成的超级集群能不能满足你呢？（为什么叫 River？因为这个系统真的建成的话，可能会需要一条河来提供散热。囧）预计这个系统的计算速度将达到惊人的4P FLOPS，比目前最快的超级计算机“Roadrunner”还快4倍（有些夸张），我想这个设计蓝图该不会有公司来赞助了吧。Janne的想法如下：

　　使用支持4显卡的主板，以3块主板为一组，将3组挂载了显卡的主板安装在一个正八面柱全铜箱体内，每块GPU和CPU都与铜质箱体侧面良好接触：



在箱体内向上叠加6层：

将10个这样的箱子堆放在一起，铜质表面之间紧密接触，中间加入水冷管散热：




此系统总共需要40000W的电源进行供电，如果可行的话，成本大概只要90万美元左右。不知道4P FLOPS的超级计算机是不是真的会来得如此容易。

　　相比起来，24显卡系统还是要现实得多，要是Janne真的能够做出这个强大的渲染机器的话，之前报道过的8GPU FASTRA系统也不过是小巫见大巫而已。

[ 本帖最后由 zglloo 于 2008-7-6 23:22 编辑 ]

Mr.Cancel

6块 AMD Phenom quad 9850 CPU??????????
这个是什么概念？

Tynox

好吧,拿它来做计算,不要浪费.!!!

BiscuiT

这个 4 PFLOPS 很有水分。。。是单精度FP32的峰值。。（不过没还水到尽。。

按 Nv 的 Tesla S1070，FP32峰值达 1080 GFlops
Ati 的 FireStream 9250，FP32峰值达 1250 GFlops

但如果是双精度FP64性能。。
Tesla S1070 只能达到 100 GFlops，FireStream 9250 好点有 200 GFlops。。

也就是说2160块 4870x2 的话，最大FP64性能是 0.864 PFlops 。。还不够击破 Roadrunner 。。

zglloo

Roadrunner  这个是文中的说法 我也很质疑超越 现在世界最快的计算机 但是想象‘走鹃’的硬件数目摆在哪里 也是差距比啊 2160个GPU也很玄
http://www.cnbeta.com/article.php?sid=59614

[ 本帖最后由 zglloo 于 2008-7-6 23:26 编辑 ]

BiscuiT

应该是炫不是玄咯～
记住 Tesla S1070 和 FireStream 9250 。。它们就是 GPGPU 的前驱们～

zglloo

ye 是炫 超级炫  他的硬件平台是4路显卡 如果定制 可否超过这个数量
还有他的圆筒集群是10组 那么如果10^10！！！！当然最大FP64性能是 0.864 PFlops 这是最大情形 比起来还是会比Roadrunner 划算还价格低些，我觉得他的水冷想法很好！

BiscuiT

这家伙本来就是组合家用产品来达成性价比。。定制的话必然成本飚涨。。

家用顶级芯片组的pice通道数量好像暂时也就到48条通道（就算到高端双路服务器版本，好像也是去到56个通道）满足不了4卡16x。。就如他之前采用的MSI K9A2 Platinum V2。。4卡组合都是8x模式
4870x2 挂 8x 档不知性能会下降多少。。特别这种做HPC的。。带宽比独立的性能重要。。

水冷跑管子会很复杂。。电源跑线也很复杂。。囧

BiscuiT

http://www.techpowerup.com/65649 ... ay_Crossfire_X.html

Yes, you read that right. You can use upto four HD4870 X2 accelerators in tandem for an 8-GPU, 9.6 TFLOP, 8 GB graphics crunching monster. You need a 4-slot motherboard though. There are 4-slot solutions available on the AMD 790FX platform, for Intel though X48 did support 4 slots and images of prototype X48 boards with 4 slots did surface months back, there isn't such a board out yet. You do have the Skulltrail platform and upcoming X58 Bloomfield-supportive boards do promise to come in 4 slot flavours.

In a press-conference, Raja Koduri, worldwide CTO (Products Group), AMD talked to Indian website TechTree, among minor revelations such as "Fusion in 2009", here's a shocker:

"AMD has already built a computer that has four 4870X2s in it. So it has eight GPUs; drivers will not be supporting eight GPUs at this point of time."

-Implies that AMD is fully geared up to go head on against GT200b whenever it comes up. It's all a matter of them releasing a supportive driver. Again, unreliable sources point towards the possibility that also in the pipeline could be a R700+ which could be based on 'Super-RV770XT' processors. If you thought you're witnessing the peak of the GPU battle for supremacy, hold on, you're only getting appetised.


既然 8GPU CF 是可行的，芯片组也要升级支持到 64条pice通道的了。。驱动也要跟进。。
（怪物。。电源压力好大。。囧

[ 本帖最后由 BiscuiT 于 2008-7-13 20:31 编辑 ]

zglloo

8个可行！   但是现在有可用的芯片组吗？   但是原有的芯片组升级确实很麻烦不过看到这个消息很兴奋呢！  我在想如果可以的话在主板中 应该可以添加到16/32/ 数量应该是可行的

BiscuiT

790FX、X58 都支持4个x8的CF，将就一下可以用

老冬腌菜

饼干，把整篇文章的dz代码传给我一份……
我现在在两个群里面

实在不行的话，把整篇文章复制一下，使用无 dz 代码模式~
我zt好了再删掉

我懒，这么多图zt太过于恐怖……

老冬腌菜

还有，这些编辑小学数学没学好？


显然都是正九边形

refla

有AMD的790FX和Intel的X58，但它们都是新出的芯片，而且是面向专业用户的，估计在DIY市场上很难买到... ...

refla

原帖由 zglloo 于 2008-7-14 02:25 发表
... 我在想如果可以的话在主板中 应该可以添加到16/32/ 数量应该是可行的 ...

要让更多显卡并行工作，可能采用刀片式架构更合适。