C叔深坑系列——戴尔-C6100服务器水冷暴力魔改直播

CCCP0081

首先庆祝12届WCG世界杯，TC夺冠！！！喜大普奔！！！
本坑内容物如下，DELL C6100四子星2U云服务器——WCG刷牌神器（后续LGA2011型号为C6220）


话说懒癌晚期已无药可医。此机进家后就这么放了半年。

CPU L5520×8（共64线程睿频2.4Ghz）+64G服务器内存。性能略高于一台双路E5，超适合刷WCG。传送门：http://www.equn.com/forum/thread-41576-1-1.html
马上进入17年这个东东已经没有什么性能上的优势了。只是作为一个2U四子星服务器教练机而存在了。（但是刷WCG依然十分给力）

5月份五项赛前匆忙开始调试，发现满载噪音无法忍受。有如747起飞般的轰鸣。传送门：http://www.equn.com/forum/thread-42048-1-1.html

曾试图通过改CMOS降压降频（性能妥协），结果失败。
随后进行风扇降速改造，结果CPU满载超105℃（虽然噪音完全可接受），改造失败。传送门：http://www.equn.com/forum/thread-42080-1-1.html

DELL作为一个成熟的大厂，人家调教好的散热必然有他的道理。尝试降噪改造多次失败无果。难道真的就一点办法都没有了吗？



~~~~~~~~~~~~~~~~~~~~~~不是还有水吗？~~~~~~~~~~~~~~~~~~~~~~~~~

“一发RPG解决不了的，就给他两发”
“风冷调教不了的机器，那就上水冷”




~~~~~~~~~~~~~~~~~~~出门看黄历，办事问度娘~~~~~~~~~~~~~~~~~~~~

先问问度娘这事咋办？
度娘balabala说了一大堆总结如下：
1、未搜索到个人改造2U四子星服务器的案例。（以及同类案例）
2、曙光做过整机浸油的方案。
3、国外厂家做过整个数据中心水冷方案。换热器是个发电厂那样的水冷塔。。。

好吧。既然没人弄过，我就直播一个吧。有路走路，无路趟路。。。。。。开始干不叨叨



~~~~~~~~~~~~~~~~方案论证~~~~~~~~~~~~~~~~~~

方案1、最省事的方案就是弄8个一体式水冷。水管不够长就重新换长管。

然后把冷排码在支架上，固定到服务器外壳上面，占用3U~4U的高度（根据冷排摆放体位决定）。
脑补一下这样的画面：8组黑色的水冷管从服务器机尾整齐的甩出来，接出来两组8个排列整齐的黑色散热器，与机器同宽，这样的画面强迫症晚期都治好了有木有。

这个方案的比较省力。美观度较高。改装后依然可以方便的进机柜，可靠性和可维护性都较好，是个好方案。
但是就手中这台C6100来说。只能抗衡一台双路E5，也就是3000￥的战斗力。花个2500￥改水冷比较不值。
但依然不否定这个方案。
另外两个问题：1、服务器内空间高度很矮，此机有效高度28mm（CPU上盖到机箱盖天花板的高度），绝大多数一体式水冷型号都超高。
                     2、一体式散热换管后失保，而且存在重新补液并排气的问题（部分型号这个问题比较好解决）。
另外一个最重要的问题：同时满足不超高、好换管、不太贵、能上LGA1366的一体水冷是否有货？还是个未知数。


方案2、油浸方案！！算了吧，我可不想开个机都要弄一手油。


方案3、传统水冷方案（未完待续。。。。。。）





~~~~~~~~~~~~~~~~~~~~~~Day2 更新~~~~~~~~~~~~~~~~~~~~~~~~

通过第一天的跟帖反馈，1981兄已经帮我把图做好了。十分感谢

没错，冷头布置基本就是这个方案，无非是水冷头串联还是并联。
问题来了，如何平衡价格、性能、外观？毕竟这只是一台3000￥战斗力的教练机。
现在的情况是手上已有8块1366冷头，和两个280冷排。只差泵、水箱、和管路。
已有零件如图：（请无视水印）


根据上面已有情况开始估算热负载，280冷排在供水流量正常情况下热负载上限大概在500瓦。也就是能抗一块I7加两块次旗舰显卡的热负载(实测280抗430瓦的负载，水温轻松摸到80℃，但依然算抗下来了)。
那么根据估算，手中的两个现成的280冷排抗8个60瓦的L5520还是没问题的。但是如果换X5690这种130瓦的CPU，就摸到天花板了。
另：超频至4GHz的L5520能够达到270W的实测功耗，LGA1366横跨两代制程，功耗是个玄学，一切还是以实测为准。

关于水冷头和冷排总结如下：水冷头表示没问题。280冷排表示，只要给够水流量我还行。

关键的技术路线分歧点来了：啥样的水泵能够推动这个方案？

流量与泵压关系曲线

水泵扬程用来克服管路里的水阻，如果冷头多了、管子长了、冷排内部堵了，把水泵扬程吃完了，那么就没流量了（手机党一听“没流量了”就炸了）



下面来看看常见水泵能否扛起这套系统：


1、DDC

18瓦的DDC 1.5A电流（完全可以改成小3pin插机器里，C6100有5个极限5A的5针供电口，可以插那种常见的3针、4针温控风扇），360￥，扬程4米5，经典负载流量200~300升（这样的流量足够用），玩家普遍用一个DDC带1U1卡，如果是1U双卡，很多玩家最后用的都是双DDC泵箱（国产的500￥左右）一个原因是单DDC抗不住。另一个原因是并联冗余增加可靠性。（被DDC折腾过的玩家都知道，行货DDC也有概率挂掉）。8个U，至少要用两个DDC泵箱一体，合体图如图：（这个国产DDC泵箱产自广州的ICE MAN，店长是C叔十年好友，当年一起做水冷头在CHH认识的），不要小瞧国产，现在的跟多国货一点都不比国外差，只不过品牌溢价还没有起来。还不快快挖掘价值洼地。

4个DDC共1500￥，外加两个泵箱共2600￥，这套方案已经够一个双路E5平台了。好吧。





2、D5水泵（D5水泵基本上也要用4个，泵比DDC还贵，双D5水箱更是奢侈品）技术论证过程就略掉了，没啥意义。






3、国产泵，貌似就东远SC系列、科电MS系列


付上CHH大佬“泵J”国产泵评测传送门：https://www.chiphell.com/thread-865714-1-1.html





常见的泵参数都是400L/h左右，泵压2~3米。这样规格的泵需要4台才能抗住8个U的管路水阻。
另一种方案就是用两个大泵，800升左右的流量，泵压高于5米。估计两个泵就能抗住。
下面列出几个备选泵：


1、科电MS-500x：130￥，需要4台。C叔手中有一台实物，超级静音，但推力不足。实测带两个冷头已是极限（人家设计就是用来推单冷头的好不）。






3、科电MS-500X2，双芯泵、双黄蛋，200￥，需要两个。排泡性能较差，也就是说在启动后一段时间内会有水泡声（不过对服务器环境来说不太在乎那点泡声）。其实和1号水泵方案没有本质区别。







4、东远SC600泵箱一体魔改版：90￥需要4台。把玩结论是价格便宜、推力不错，皮实耐艹，魔改版众多。安装比较麻烦，容易出震动噪音。较难调教。（整体有点毛熊T34的风格）







5、东远P60, 200￥，需要4台。结构紧凑，性能小强，上面的CHH评测链接里有。







6、东远SC-750, 200￥需要2台，大推力，超紧凑。技术经验积淀较足，评测内有。噪音控制较好（同级别比较），感觉很不错。







7、东远SC1000泵箱魔改版：220￥需要两台。暴力型的选手、标配大D口供电，3.5A电流能够烧掉一般的主板3针接口，需要外置AC转DC电源（其实C6100表示魔改一下供电接口机内有地方可以插）
一看这货就知道根本不可能没有震动。不过换来的是足够的超级推力，是大推力火箭发动机的不二选择（楼主在扯蛋）








以上只有这几个泵贴出来备选。还有很多泵也很好，C叔水平有限，就不罗列了。
另：其实也想过上个鱼缸潜水泵，或者弄个小工业泵啥的，或者接个自来水啥的。后来回忆了一下以前脸被打肿的情景。C叔默默的喝了口茶。。。






~~~~~~~~~~~~~~~~~~~~~Day3更新~~~~~~~~~~~~~~~~~~~~~~~~
最后还是决定了用7号泵方案，所有方案里推力最大的，工作噪音至少45分贝。从没用过这种超大功率的水冷泵，但是泵可调速，大不了调小点。
因为放在储物间跑运算，所以对噪音不是特别敏感，应该可以接受。

又剁手，这个方案沉没成本2400（水冷头加冷排），补货800，总共3200。几乎再造一台C6100。。。。。。
好吧，其实8个一体式水冷的那个方案，我觉得还是很值得一试的。





~~~~~~~~~~~~~~~~~~~~~~Day4更新~~~~~~~~~~~~~~~~~~~~~~~
两个坏消息：1、原方案水冷头加弯头超高2.5毫米。无奈更换CPU冷头为测出式。如下图：

2、原方案SC1000泵箱店里仅剩一只了，进货周期超过一周。果断换泵。如下图：

画风已经变了，好吗。

牵一发而动全身，最新拍单如下：






~~~~~~~~~~~~~~~~~~~Day5更新~~~~~~~~~~~~~~~~~~~~


零件陆续到货，开始组装，新问题一堆：


1、水箱竖直放置最好，但是标配的固定件不支持竖直放置。











2、水平放置后水泵出水口与固定件冲突













3、串联水冷头水冷头接管情况。考虑到维护检修管子还是得留长点











4、水冷头与CPU上面间距很小，测出水嘴金属管夹无法安装。只能追加紫铜片垫出间隙。







原型机就是问题多多。再次追加零件拍单如下：





~~~~~~~~~~~~~~~~~~~~Day6更新~~~~~~~~~~~~~~~~~~~~~~


补货陆续到货，安装接近尾声。


到货的紫铜片有冲压边毛刺，会垫出空隙，导致导热接触不良，全部手动倒角。国产货总是不能让人放心。
注意：不可用黄铜当导热垫片，因为黄铜的导热系数只有紫铜的三分之一。





安装紫铜垫片并且涂抹硅脂。硅脂厚度0.1毫米为宜。







空隙垫出来的，就可以更换金属管夹了。比较松的单层宝塔头，还是必须用管夹的。







更换轴流风扇。9032规格的三洋0.5A风扇，实现机内通风作用。实测完全达到静音要求。传送门在帖子顶端。







机壳上盖钻眼安装冷排水泵组件，实现固定。







组件安装完工，配管全部完成，等测试完成最后理线。所有供电全部需要大改接口以配合DELL的奇葩标准。走线从冗余电源空缺处进入。幸亏当时强迫症没有发作，没有弄冗余电源，给自己留下了一条生路。

还剩一个水泵供电接口没改完。随后进入测试步骤。




~~~~~~~~~~~~~~~~~~~~~Day7更新~~~~~~~~~~~~~~~~~~~~~~~~~
正式安装完成。所有供电均从机内接出。




机器噪音源含4个9cm系统风扇，4个14cm冷排风扇，2台水泵。整体工作噪音如下视频：



整机水冷改造完成，水冷试车完成。
随后机器将安装到位。进行最后的整机运行测试。水冷改造的降噪效果已经OK。最后看看满载发热控制如何。


~~~~~~~~~~~~~~~~~C叔正在码字码图未完待续~~~~~~~~~~~~~~~~~~~~
菊座12月18日到洛阳市开座谈会，地点在河南科技大学学术交流中心。莫失良机。我去拍点片子，到时候给大家直播

CCCP0081

喵总 不要睡我的沙发

CCCP0081

占凳待编

vincentdark

前排~支持！

题外话：
C叔的四子星虽然没跑了多久，但我个人觉得还是应该换cpu了
L5520  45nm  4C8T    60W
L5630  32nm  4C8T    40W
L5640  32nm  6C12T  60W
制程的升级带来了更低的功耗/更多的核心，而且L5640已经是1366针平台最顶级的低压U了，现在淘宝上一颗也不到200。如果手头宽裕，全换成L5640的话，在总功率不变的情况下总线程数就能到96个。
虽然这样换的话，再加一点钱就能一台双路E5，总线程也能到96。但是你得加钱啊，其次功耗要增加很多啊，所以换L5640从长远考虑我觉得值！

CCCP0081

vincentdark 发表于 2016-11-26 03:54
前排~支持！

题外话：

等1年，用1年，换个好U又撑1年

vincentdark

CCCP0081 发表于 2016-11-26 04:05
等1年，用1年，换个好U又撑1年

C叔的精神值得学习！不过目前还是改散热系统重要，真心扛不住暴力风扇的噪音……

PS：都北京时间凌晨4点了，C叔还在奋战？在下先行告退了~

dutian_007

你的机箱准备放进机架还是单独放？如果要放进机架的话，还是用方案1吧。安装简单，维护方便，稳定可靠。

horst1981

小弟毛遂自贱特来关公面前耍大刀……哦，不……C叔面前吹冷水。
这机子让我搞水冷，我的方安如图：
保留原来的风扇，去掉散热器加装水冷头，每两个冷头并联一组水路，每一组水路接一个泵箱和两个240冷排（两U共120W的话，一个240排加好的风扇应该也勉强可以应付），应该就可以了。
（蓝线入冷水，红线出热水，管子从后面穿过）
这方案好处是成本较低，风水并存，风扇转速可以调到低水平。
坏处是管线较多，冷排和泵外置也要考虑集成到一个架子上。

金鹏

严重围观核动力冷却方案

nekoko

C6100用这么暴力的扇子，主要还是因为内部风阻太大……
低转速的风扇根本维持不了风压，也就是说用普通扇子，风是一点儿都吹不出来的……

水冷我感觉也比较特殊，其实考虑这个U的功耗，用串接应该没有问题，
最大的问题我感觉是因为空间很狭窄，只有1U，所以冷头是不是应该只能侧面出？
管子可能还得用比较细的，后边的那个PCI挡板我没记错的话是半高的……

冷排什么的直接放在外边其实就好~~

nekoko

其实叔我觉得还有一个省事儿的办法，就是不要壳子了
4个片子直接都抽出来，用转接线供电，散热器换普通台式机的，找个架子一摆，直接用220V小风扇吹着散热就好了呗~~

nekoko

另外叔你说的那个集群软件在哪里下？

xx318088

test

vardrag

nekoko 发表于 2016-11-26 12:09
C6100用这么暴力的扇子，主要还是因为内部风阻太大……
低转速的风扇根本维持不了风压，也就是说用普通扇子 ...

CPU散热片前后固定两个4CM低速风扇应该也行。

nekoko

vardrag 发表于 2016-11-26 12:28
CPU散热片前后固定两个4CM低速风扇应该也行。

用涡轮扇应该也行？不过涡轮也够吵的……