找回密码
 新注册用户
搜索
查看: 6635|回复: 9

[转帖] HD5000 背后的故事:AMD 如何直面挑战

[复制链接]
发表于 2010-2-26 16:46:20 | 显示全部楼层 |阅读模式
http://www.inpai.com.cn/doc/hard/118156.htm


前言,这篇文章翻译自AnandTech的一篇文章,原文链接在
http://www.anandtech.com/video/showdoc.aspx?i=3740


第1页:让人心焦的电话带来了好故事

    我与AMD公关“爱恨交加”的关系去年一直在持续,但近来,“恨意”全无。让我们回到2009年的夏天,那时,我已经等AMD的电话等了好几周了。我们知道RV870将在年底前的某个时候发布,而且在我们得到新显卡前大约一个月左右,就已被正式的告知有关新GPU的相关情况了。

    有谣言说新显卡的发布会推后。但就像钟表机械有规律的活动一样,在去年6月亦或7月的一天,我接到了一个电话,是我的老朋友Chris Hook打来的,他是AMD的公关。原来他是想邀请我参加一个在加利副尼亚沿岸的一个航母上举办的新闻发布会。


美国“大黄蜂号”航母,新GPUs就在那儿

    唉.........!倒不是我对航母不感冒,因为我所关心的只是期待已久的RV770的后继芯片。毫无疑问,RV770是我对ATI显卡重树信心的GPU,这也是去年6月对其它人造成重大影响的GPU。但忽悠也不是这么玩的吧,AMD向它的管理层和合作伙伴承诺,他们将在一个房间里(或者航母上)举办一场隆重的发布会。他们还许诺可以在发布会上采访他们的工程师,能得到非常有用的信息,而且还有免费的饮料。

    我可不是免费饮料就能轻易打动的人,但Chris Hook很了解我,他知道我更想要什么。

    我很不情愿的提早离开晚宴,因为华硕董事长施崇棠也在那里,在他离开前只有一次和我见面的机会。只要我们俩人在相同城市时,总是千方百计要碰下面,而这次我也不会让他失望。Steve Jobs(苹果公司创始人)取得了极大成功,他掌控着一个产品名声响誉全球的公司,因为本质上他是一个与产品打交道的人。有趣的是,施崇棠本质上说也是一名工程师,他运营的公司因为一直以来在电子工程设备制造方面的卓越成就而响誉海内外。

    等我的车就停在外面,我确信已将刚才晚宴时记下的13页稿件保存好后,合上笔记本,然后与Chris Hook握手告别。在我离开前,Chris Hook说“最好不要报道关于我的故事,是成百上千的工程师的辛勤工作,才换来了这个芯片的诞生。”


    就像施崇棠,Carrell Killebrew(AMD绘图产品规划总监)也是其自身诸多特点的集合体,这些特点让他在这个行业里与众不同。所有了不起的人物都是这样,他们都有个人的经历,这些经历将他们融入了至今为之奋斗的公司。他们也有自身的一些个性,当这些个性特点结合在一起时,会让他们卓尔不群。Carrell Killebrew,是集智慧、实用主义、激情和谦卑于一身的人,这种人非常少见。他的一个信条是,你应该总是相信别人有最好的表现。如果你相信的不是最好表现,那么在他们身上,你得到的永远也不会是最好的结果。这是对人进行价值判断时的积极因素,不可思议的是这个因素带来的效果只让Carrell失望过一次,也许他比大多数人都要幸运。

    Carrell并不参与设计RV870,他不做摆弄仪器设备的工作,而是如何确保RV870能够取得成功。接下来将要讲述的,只是RV870 GPU(Radeon HD 5800系列)故事中的一小部分而已。之所以称它只是故事的一小部分,是因为这篇文章只用了8000多个单词,但实际发生的事情却历经数年,是成百上千工程师呕心沥血,辛勤努力的见证。就像其它的GPU(甚至Fermi),这款GPU的研发已成了这个行业中一些最杰出工程师一生中最重要的工作。他们是这个行业的骄傲,我希望能够竭尽所能把他们的故事真实呈现给大家。



第2页:关于新GPU系列的命名

    这些GPU背后的故事通常都是这样,如果想知道他们是如何展开的,我们必须回过头看看几年前的情形。一款新GPU的诞生,从开始设计到最后成功,通常需要2—4年的时间。因此,如果想弄明白RV870的来龙去脉,我们必须退回到2005年。

    AMD的公关真的不喜欢我使用“RV870”这个名称,对于最新的这一代GPU,AMD想改变以往的命名方式。尽管事实上Carrell Killebrew,Eric Demers(AMD绘图产品首席技术工程师)以及其它很多人,在过去数年中都称之为“RV870”, 但依照AMD的说法,却没有称之为“RV870”的GPU。因为变化大,通常都需要时间来搞清楚事情的真实情况。我还听说“RV870”的命名方式曾引发争执,但每次总有人说Cypress 就是RV870。


    为什么要做如此改变呢? 呵呵,给每一个GPU系列一个名称,这会迷惑竞争对手,让其摸不着头绪。RV870是RV770的后续芯片,这很容易理解,但你很难说清楚Cypress具体代表的是什么。

    AMD产品发布人员更愿意我将RV870或者说今天故事的主角称为Cypress。下面这个图例,表明了AMD 40nm DX 11 GPU全线产品的代号对应关系:


    既然RVXXX这种命名方式仍在我们脑海中挥之不去,我打算继续用“RV870”来讲述这个故事。不过也有不少已能接受新的命名方式的读者(能够接受RV870=Cypress),因此我将会不时的在文章里交替使用这两种称法。整个这代芯片家族称之为“Evergreen”,“Evergreen”家族的替代产品称之为“Northern Islands”。



第3页:R5xx是如何改变ATI的
《产品必备特性》文件

    在ATI公司里,有一份被称之为《产品必备特性》的文件,简称为PRS。这起初是一个大文本文件,后用Word写成。

    这个文件的作用是将所有要被设计在新GPU里的特性汇集起来,并安排他们的优先级。1级优先特性,是指文件中规定新GPU里必需要有的特性,这些特性是不能取消的。接下来是2级优先特性、3级优先特性和4级优先特性。优先级数字越大,那么这些相对应的特性最终集成在GPU里的可能性就越小。


AMD绘图产品规划总监- Carrell Killebrew

    当Carrell Killebrew 刚进入ATI时,那时的老板Dave Orton(前ATI首席执行官,AMD副总裁,2007年辞职)让他承担修改这份文件的任务。Orton让Carrell修改《产品必备规格》文件,要达到让市场部为可能的失败找不出产品设计方面的借口。这份文档要成为一个能让市场部在ATI下一代图形芯片上诸方面都感到满意的详细清单,同时,这份文档也不能让工程部(硬件工程设计部,简称工程部,下同)人员随心所欲的去设计,这应该是一个让市场部人员感到满意,工程部设计师也能够搞掂的平衡性结合体。Orton想让这份文档在特性方面找到一个平衡点,在其敲定后,不管市场部还是工程部的人,都能感到自己是据理力争了,特性目标也是可以实现的。

    Carrell是2003年进入ATI的,公司一如既往的发展,PRS直到2005年才得以修订。

R5xx是如何改变ATI的


    以前我们曾提到ATI的R520的延期是如何引起整个产品线的连锁反应的,这个甚至影响到了R600。也就是在那期间(2005年),ATI从根本上改变了产品的设计思路,ATI开始变得以市场计划为导向。


ATI R520的架构,发布延期了

    市场有其突出的增长点,最好能够在增长点显现的时候,向市场投放新产品。比如为每年年末的节日购物时机准备好产品,或紧跟重要的新DirectX或新Windows发布新产品,这些都是市场营销方面重要的增长点。OEM笔记本的设计周期也是非常重要的,你要根据这些调整你的产品,最好能够在这些时候向客户交付你的产品。ATI的Eric Demers对这一点阐述的很清楚:如果你不敢直面这个挑战,等于你已经输了。ATI准备直面这个挑战。

     ATI向“因计划而变得更有紧迫感”方向上的转变,意味着PRS里罗列的那些特性必须要在能够驾驭的范围内。这也同时意味着Carrell必须在起草PRS时要做得很完美。

    由此一来,就有了“80%法则”。PRS上那些罗列的特性,工程部的人要有80%按时实现的把握才行。每个人都参与了这个过程,每一个高级工程师,每一个人,市场部和产品经理都有机会对他们想要的提出要求。如果某位硬件工程师无法确保在某项特性能够实现的情况下,产品又不会延期,那么市场部和产品经理的要求也不会得到任何承诺保证。

    这改变了很多事。

    首先,它极大的增长了工程部团队的信心水平。信心是所有人类在生活当中面对任何事情都需要的品质,这也是人性的特点。失去信心和执行力会让人郁闷,但如果你正努力工作朝着现实目标迈进,那么士气和信心就会让人充满斗志。这个品质的副作用就是,一个富有激情的工程师也会变成工作狂,对目标的征服欲望会更强。这东西真是让人欲罢不能的玩意儿。

    第2个变化就是,要砍掉一些特性也变得更加容易。一份PRS可包含200个特性,这是司空见惯的。在R5xx之后,ATI决定将PRS的特性削减至大约80个。

    在过去,ATI总是试图在GPU里塞进更多的新特性,满足用户更多的需求。但R5xx方面的改变意味着如果一个新特性会导致计划推迟,那么制定计划的时候就不应该加入这个新特性。最近Intel改变了它的设计策略,任何加入到芯片里的特性,必须达到增加1%功耗的同时提升2%性能的目标。ATI的设计思路则是,任何加入到芯片里的特性都不能迟滞原定计划。在R5xx一代显示芯片之前,ATI在这方面做得并不好,往往一代芯片的延期发布改变了整个后续芯片的计划。这对芯片特性的开工造成了实实在在的压力,这对硬件领域造成的影响远比软件领域大得多(大的芯片更难进行故障调试,付出的成本代价也更高)。



第4页:另一种思路:造1个更大的RV870


    Radeon HD5800 系列是在去年9月就发布了,但这个系列的GPU到底要设计成什么样,2006年就开始讨论了。

    在2007年秋天的时候,对“Evergreen”系列GPU将来具体会成什么样,ATI已经有了一个粗略的轮廓。ATI对DirectX 11和微软在Win7方面的计划已经有了相当的了解。ATI虽然不知道GPU具体什么时间发布,但他们知道应该什么时间就准备好。这将是又一轮的市场增长点,他们必须根据这个增长点来调整自己的产品发布策略。“Evergreen”系列必须在2009年第3季度前准备好,但这个系列的GPU应该是什么样子呢?

    Carrell想要另一个RV770。他相信他早前推荐的设计,希望这个芯片是那种够苗条,而且消费者买得起的芯片。问题是,那时候连RV770在ATI的内部都还缺乏可信度,因为那还是2007年,RV770直到一年后才发布。即使在RV770发布当天,仍有报道称ATI内部还有人对这种设计思路持怀疑态度。

    市场部的人不喜欢这种再造另一个RV770的想法。在R600发布后,没人喜欢,ATI那时正饱受各方攻击。AMD刚收购ATI,其CPU业务都并不轻松,因此收购并未对身处窘境的ATI产生多少帮助。CPU和GPU两个部门中,必须要有一个开始挣钱盈利才行。最根本的是,市场部不想因为把两代GPU的设计策略都放在同一个篮子中,而被产生的不利后果死死套住,况且并不能确保这两代GPU都能处于绝对领先优势。

    很难应对公关的追根问底“为什么你们设计的产品不能是最快的?”。市场部不想要另一个RV770,他们只想要一个NVIDIA杀手。那时,没人知道RV770会是一个NVIDIA杀手,他们只想要造一个大家伙。


AMD RV770的新GPU策略

    2007年,在8月—11月期间,Carrell Killebrew 差一点就放弃了。因为NVIDIA准备造一个大GPU来与ATI竞争,所以ATI内部也有人与他争论,要造一个大芯片的RV870,这让他怒不可遏。一年之前,他为了不让RV770成为大芯片,据理力争,强烈反对,现在这一幕又重演了。卓越领导的一个重要品质就是非常相信自己,Carrell相信他的RV770策略是正确的,但其它人都试图劝服他,让他相信他错了。在RV770发布前,一切感觉都是那么艰难。


AMD绘图部门总经理- Rick Bergman

    即使Rick Bergman(AMD绘图部门总经理),在RV770设计讨论时他曾是Carrell的支持者,也认为把RV870设计的更俱侵略性一点似乎更合乎情理。时不时换些新奇的招式,对ATI 来说可能并不是个坏主意。RV670和RV770已经让NVIDIA出奇不意了,然后这次就再造个大芯片的RV870?!。

    我们都已经知道小芯片策略是可行的,但ATI不再造另一个RV770实际上也是明智的。如果你已经冒了一次巨大的风险,再冒另一次风险还有任何意义吗?或者说还是两头下注?前者(冒两次巨大风险)让人感觉幼稚,后者(两头下注)让人感觉更稳妥。

    Carrell不买账,但他的选择也有限。他要么退出,要么不再坚持已见,顺其自然看看会如何。

芯片面积大小比较

    最后的结果是“不完全的妥协”,最终的PRS并没有规定芯片面积的大小,而Carrell也同意要设计一个性能至少是RV770 两倍的RV870 。之所以称之为“不完全的妥协”,是因为工程设计人员把这看成是制造大芯片的许可,他们准备制造1个边长为20mm的芯片,在加入特性后,甚至边长可能达到22mm的芯片。




第5页:调整方向与延期计划

    Carrell不相信造大芯片的那些怪论,不是因为大芯片造起来太难,而是这会让一个$600的GPU变成$200 的GPU的时间大大加长(即从高档产品再衍生出中档和低档产品)。AMD相信最重要的市场是更大(数量和收益两方面来说)的性能级主流显卡市场。

    与其制造$200— $300价位的显卡,然后坐等新的工艺,不如先发布一个主流性能级的显卡,然后再此基础上再划分/制造更昂贵或更便宜的显卡。

    RV770的风险在于架构和显存技术,而RV870的风险在于架构和制程,而制程完全不在AMD的控制范围内。

    在早期,Carrell就相信台积电的40nm制程还不够成熟,即使可以使用,但代价要比预期的高得多。那时Carrell在这一点上倒并没有大做文章,他告诉我在那时有大量被“和谐”的信息,这些信息都表明,台积电的40nm制程看起来比实际用起来要便宜些,这点在下文中还会谈到。

    Carrell极不情愿的继续着那个造一个大于400 mm2
(20mm×20mm)的RV870的工作,因为他相信当硬件工程师如梦初醒,意识到造这样一个芯片并不便宜时,他们又要再一次进行讨论。

    2008年早期,在进入2月份的时候,台积电开始发出种种暗示:关于40nm制程的成本,ATI不要过于兴奋。ATI对于将要耗费的成本,在先前可能还是有点乐观情绪,但从台积电返回的工程师说,RV870的制造成本将会非常昂贵,并建议重新考虑芯片的架构。于是,他们实实在在的再次进行了讨论。

    团队再次碰头,并坚持沿着Rick Bergman的“妥协方案”前进:RV870的性能要达到RV770的2倍,但芯片面积必须降下来。ATI在2008年3月修改了Cypress(高端,单芯RV870)的架构。

    这就是新ATI的真实一面。他们既不想迟滞原定计划,也不想放弃设计最大GPU芯片的可能性。然而为了要保留这种可能性,原定计划必须做出牺牲——延期!

    你必须明白,在芯片发布一年半前,还在修改芯片的架构,这会把一切都搞砸。在RV770完成的时候,RV870却连八字还没一撇。任何修改,即使时间上比当时还早一年,也会打乱很多计划安排。必须重新设计芯片平面图和修改架构,必须做大量的调整。这至少得花几周的时间,有时得几个月的时间,来做这些调整和修改。这种调整会影响到原定的计划,ATI不得不努力想尽办法去减少这种调整带来的影响。因为这个变故,Radeon HD 5870比原定计划大约晚了30 – 45天。

    还记得ATI 的“无论发生什么事都不能让计划延期”的政策吗?让工程师团队和Rick Bergman临时接受花一个多月的时间来重新设计RV870的现实,是需要很大勇气和毅力的。“如果不能直面挑战,那么实际上你已认输了”。这就是ATI为什么敢于冒这个风险,同意重新设计Cypress的原因。

    理解这一点非常重要,因为这点也在某种程度上暗示着,NVIDIA也下意识地做出了延期推出Fermi的决定。ATI不是唯一一个知道DX11/Win7面世时间的公司,NVIDA也很清楚这点,宁可错过这个市场增长点,也要对延期Fermi面世的种种新特性进行优先级排序。没有遇到预先警告,这些GPU是不会延期的。AMD冒着产品延期发布的风险是为了制造一个小点的芯片,而NVIDIA冒着产品延期发布的风险是为了制造一个大点的芯片,两个公司走的路截然不同。


实际的RV870

    工程部纠结无比,RV870要比先前小很多,但却要有两倍于RV770的计算能力,那么一些特性必须要砍掉。


第6页:Carrell对Sideport说再见

    老实说,能与Eric Demers和Carrell Killebrew共进晚餐是我工作的美好经历之一。Demers和Killebrew才能禀赋并富有激情,能和他们同坐一张桌子,让我感到自己很幸运,感到更应该珍惜这份工作。

    Eric告诉我,他们是如何将RV870从超过 400mm2 减到 334 mm2 的,而且最终产品又是多么棒。我打断他,想知道更多细节。我想请他举个例子,举个那种他们非常想设计进GPU里,但又不得不舍弃的特性。工程部人员很少告诉你他们抛弃了什么,而市场部的人则更喜欢关注芯片里有什么,他们会让任何事情都听起来更像是运筹帷幄,早有胜算的样子。谢天谢地,市场部的人没和我共进晚餐。Eric把脸转向Carrell,对他说:“我想有一个特性我们可以说说”,那就是“Sideport”

    Carrell 回应“哦,这太不公平了” (注,Carrell说这话的时候语气听起来可不像是清纯少女,想像一下,他说这话的时候可是十足的工程师味儿)

    当年ATI第一次谈及Radeon HD 4870 X2时,他们告诉我有一个叫做“Sideport”的特性,这是每一个RV770 GPU芯片可用来进行芯片间通信的端口。


原本准备使用的“Sideport”

    当交火任务以交替渲染模式进行时,芯片之间并没有通信产生,当不得不进行同步渲染时,性能也随之降低,“Sideport”的作用就是用来缓解这种性能下降情况的。

    不幸的是,由于功耗原因,Sideport 从未在4870 X2上得到使用。ATI在设计公版时把它禁用了,所有的其它厂商也把它禁用了。Sidepor是Carrell Killebrew喜欢的特性,但他不得不舍弃。

    在2008年早期的时候,ATI意识到他们不得不把这个芯片的边长从20~22mm砍至18mm,每个人都不得不有所放弃才行。Carrell是最提倡设计一个小点的RV870 的人,他不可能做一个虚伪的人,不放弃任何东西。

    我不能在文章里长篇累牍的描述我和Carrell之间关于这个特性的谈话。“Sideport”本将在RV870里发挥作用的,但只可惜它不在里面。他还告诉我,如果不定哪天再次看到了“Sideport”也不要感到奇怪。Carrell不是个轻言放弃的人。


第7页:如何在6个月内发布4款GPU?

    在包括Carrell在内的众多员工经历了诸多的艰辛工作和牺牲之后,ATI将边长为22mm的RV870芯片削减成大约18mm×18mm的芯片。问题是,RV770的芯片边长大约只有16mm,RV870的芯片面积仍然太大了。

    Carrell想对芯片面积再进行更多削减,但有两个因素让他改变了想法。一是,如果想要在RV770芯片大小的面积上造RV870,ATI就不得不将这个芯片的面积砍得更小,砍掉的面积大小甚至超过了Carrell 原先的设想。另一个因素是,必须要削减掉一些着色渲染核心(流处理器)。

    为了让GDDR5显存以ATI为HD5870设计的目标速率运行,芯片上类似物理运算的这部分也必须要有相当可观的提升才行。如果芯片边长要达到16mm, ATI要么缩减显存带宽,要么缩减流处理器的数量,这两种方案都会让RV870的处理速度变慢。

    我问Carrell ,如果芯片的边长只有16mm,是否会让发布时的RV870售价便宜$100 ,达到和RV770发布时的售价一样,他说不会。直到很久以后我才搞明白为什么,但这个具体原因我以后再讲。

    为了达到16mm×16mm 的芯片面积而牺牲性能的情况并没有发生,但这次让Carrell信服“设计一个大点的芯片是可行的”根本原因是,ATI在不到6个月的时间内发布4款不同的40nm DirectX 显示芯片的能力。ATI拥有这种能力,但它得到的赞许还远远不够。

    记住,Carrell质疑造大GPU的合理性,是因为大多数消费者要等待更长的时间才能买到大GPU的衍生产品。看看G80或GT200,等了多长时间才造出其衍生出的中低端产品吧,谁又知道我们什么时候才能看到$150的 Fermi/GF100衍生产品呢?


    但ATI的工程部承诺了两件事。第一,Cypress会有一个大约能同时准备就绪的称为“Juniper”的后续产品。第二,另外两个GPU也会紧随其后,整个新一代产品线将在不到6个月的时间内布局完毕。之前,ATI在2008年接近3个月的时间里发布了3款GPU产品,但HD4000系列的第4个成员直到2009年4月才发布。

    这是一件很不容易做到的壮举。ATI有多个协同工作的设计团队,在印度/中国有大量的工程设计资源。对Cypress和Juniper的设计工作一前一后的展开,假设没有会使研发工作中断的大缺陷出现 ,ATI就能够极大的拓展两个设计团队在设计同样硬件(Juniper 的规格只是Cypress的一半)方面的工作效率。

    要冒这样巨大风险的想法让Carrell感到不安。要并行的设计两个GPU芯片,对于同一代的芯片而言,风险着实不小。如果一切非常顺利,那可以在同一时间设计出两种芯片。反之,就会把两个设计团队都拴在同一代产品上,产品的延期会让ATI吞食自己的“Fermi”苦果。

    最终让Carrell接受这个方案的原因是,工程部的人告诉他,他们能够实现这个目标。Carrell 信任和他共事的人,他认为如果你相信你周围的人有最好的表现,那么他们就会表现得最好。他不可能让自己怀疑设计部提出的方案。Carrell惴惴不安的在方案上签了字,“Evergreen”家族就这样诞生了。


    Cypress和Juniper几乎是同时交付的。实际上,Juniper比Cypress还稍早一点就准备就绪了,样卡在ATI发布HD5000系列几个月前就交到开发人员手里了。Cedar和Redwood也接踵而至,更不要说双Cypress的Radeon HD 5970了。所有的这些都在6个月不到的时间内就完成了,而且准备就绪(芯片本身在4个月内就准备就绪了)。

    当烟幕散尽,ATI所有$600, $400, $300, $200, $150, $100 和$60的新DX 11产品整装待发。Windows 7/DirectX 11带来的市场增长点,被ATI牢牢抓住,恰如其时,恰如其分。


第8页:跃进到40nm制程所付出的代价

    故事的这一部分本可以独立成章,但因为它直接影响到了Cypress和整个“Evergreen”系列显卡,所以还是值得说一下。

    到目前为止,你肯定已经听说了不少关于台积电40nm制程的事,这其实都已经过去了。良率极差,改进缓慢,这导致了去年Cypress核心显卡的缺货和NVIDIA Fermi/GF100的延期。接下来,我想谈谈向40nm制程迈进以及为什么这个迈进如此艰难的事。

    作为一个没有工厂的半导体(fabless)公司,当你试图推出新产品并寻求销售伙伴时,会有不止一个选择。除了与显存公司、元件制造厂商以及拥有你所需要的知识产权的家伙打交道外,你还得与第三方,也就是实际上帮你造芯片的代工公司打交道。糟糕的是,差不多每年,你的代工伙伴就会跑过来向你兜售新的制程,让你使用。

    兜售手段总是大同小异:这个新制程更精细,制成的芯片要小很多,但运行得更快,功耗更低。就像任何公司的推销员一样,你的代工伙伴总是希望你能尽快使用他们最新和最棒的制程。在计算机行业里,这一点儿也不新鲜:他们总是希望你能先购买他们的产品,但实际上你想要的产品还根本未准备好,但他们在推销时毫无惧色。

    通常发生的情况是,你的代工伙伴会找到你,给你出示一个列满设计标准和各种注意事项的目录。如果你动心了,他就会向你保证他们能为你生产出那种芯片,而且生产出来的芯片肯定可以使用。换句话说就是“ 照我们说的做,你的芯片肯定能够量产”。


Global Foundries' 2010 – 2011制程路线图

    问题是,你即便遵照全部这些设计标准和注意事项,新的芯片也不会比以往旧一代制程造出的芯片快多少,良率还差不多。如果不能想到这些“注意事项”,在设计芯片时,你可能会变得更大胆,但这样一来你付出的成本反而要高不少。

    通常情况下,在两个制程节点之间,晶元的大小不会发生变化。之前我们一度使用200mm的晶元,现在更先进的工厂则使用300mm的晶元。然而晶体管的大小确实在不断缩小,因此理论上,随着制程的进步,你在一张晶元上可塞入的核心晶片也更多。

    新制程也会带来问题——每张晶元的价格也在上涨。因为是新制程,也就意味着复杂程度可能也更高,因此晶元的成本也高。如果晶元的成本高50%,为了和旧一代制程的晶元成本持平,你在每一张晶元上就要至少多塞入50%的核心。现实中,在新制程的晶元上,你实际上得塞入超过50%的核心才能持平,因为新制程的良率开始都很低。但如果你太相信代工伙伴的话,所谓能保证量产,那么你的成本可能连持平都难。

    最终的结果就是,你转向新的制程,但得不到任何收益。对于实际上想利用摩尔定律来实现收益的公司来说,尤其对GPU公司来说,这不是一个好选择。

    这个问题的解决方法是,你的公司里一定要有非常有头脑的人,他能够审慎的对待代工伙伴提供的这些设计标准和注意事项,能够决定哪些是可以忽视的,他还能找出对那些需要重视的方面的针对性解决方案。在这一点上,ATI和NVIDIA有着天壤之别。



第9页:制程vs架构: ATI与NVIDIA的不同

    从NV30 (GeForce FX系列)的挫折以后,NVIDIA就再不是第一个过渡到新制程的公司。不是让硬件工程师把更多的精力放在制程技术上,相反,NVIDIA选择把它更多的资源放在架构设计上。而ATI则正好与NVIDIA相反。ATI对于新制程节点倒并没有NVIDA那么恐惧,因此它把更多的工程设计资源都放在制造方面。这两种方案都不完全正确,都有利有弊。

    NVIDIA的方案对于一个成熟的制程来讲可以运用得很好,这个方案也意味着在重要的两个制程间(例如,55nm至40nm)转换时,NVIDIA的竞争力会弱些。因此,它需要花更多的时间来把架构设计的更有竞争力才行。ATI在RV770上投入的努力主要是在架构设计上,结果也没有让ATI失望,对比RV670便知。

    NVIDIA以史为鉴的认为,应该让ATI冒所有的风险去尝试新制程。一旦制程成熟了,NVIDIA也将转向这个制程。这个想法对NVIDA来说非常好,但也意味着在使用新制程方面,ATI将拥有更多经验。因为ATI把自己置于一个早于竞争对手尝试未经检验的新制程的处境里,为了降低风险,ATI 就必须让更多的硬件工程师致力于了解制程技术。

    在与我交谈时,Carrell很快指出制程间的转换不能称之为过渡。过渡意指从一项技术到另一项技术的平稳转移。但在任何晶体管主要制程节点之间的转换(例如55nm到45nm的转换,而非像90nm到80nm的转换)过程不像是过渡,到更像是跃进。你在跃进前就要做准备,尽量在落地时力求毫发无损,但一旦你的双脚离开地面,对落地的情况就很难控制了。

    在任何制程节点上进行跃进都会冒很大风险。作为一个半导体制造商,诀窍就在于如何降低这种风险。

    在某种程度上,两个制造商都不得不使用新的制程节点制造芯片,否则他们就要承担守旧落后的风险。如果你落后了不止一代制程,那么这场竞争游戏你就输了。问题是,在使用全新制程上,你要设计制造什么样的芯片?

    这儿有两种流派:大跃进或小跃进。这儿的“大或小”是指你在“跃进”时所使用的芯片面积大小

    小跃进的支持者相信下述情况:在新制程里,芯片缺限率(晶元上每单位内的缺陷数量)(与良率相对)情况不会很好。在整个晶元上会遍布大量的有故障的芯片,为了降低良率造成的影响,需要使用小一点儿的芯片。

    如果我们有一张能够塞下1000个芯片的晶元,这个晶元表面上有100个故障芯片,那么每个芯片出现故障的机率就为10%。


一个假想的晶元,小芯片设计,上面有7个故障芯片,单个芯片受故障影响很小

    大跃进的情况自然相反。你在大芯片上使用新制程,现在不是1000个芯片中只会有100个故障芯片了,在只能塞下200个芯片的晶元上,可能就有100个故障芯片。如果故障芯片分布均匀(实际上是不可能的),每个芯片出现故障的机率现在就成了50%..............


一个假想的晶元,大芯片设计,上面有7个故障芯片

    光就量产方面来考虑,没有理由去选择大跃进。但选择大跃进的方案也有好处,最显而易见的理由就是:你能够靠制造大芯片获得优势,比如在性能上胜过竞争对手,这样可以比制造小芯片获取更多的利润。

    另一个不那么明显,但甚至更重要的选择大跃进的理由,实际上是大跃进本身的缺点。因为大芯片时常陷入失败境地,所以大芯片也更容易暴露制程的问题。失败几率越大,你在过程早期了解其缺点的机会也更多。

    对产品来说是要冒很大风险的,但这也给了你很多知识经验,在今后,你在采用同一制程的产品上可以用到这些经验。



第10页:回报:RV740是如何拯救Cypress的

    ATI在其路线图中,选择了比较有意义的最大的芯片设计来制造其第一款40nmGPU,这就是RV740(Radeon HD 4770)。

ATI第一款采用40nm制程的芯片,Radeon HD 4770,  2009年四月发布

    相反,NVIDIA选择了一个小一点儿的芯片来试水40nm制程。RV740芯片面积为137 mm2,而NVIDIA第一批40nm GPU是芯片面积分别为57 mm2和100 mm2的GT210与GT220。G210和GT220在上市的头几个月都是仅供OEM,我想OEM订单中GT 210占的比重比较大。注意,直到GeForce GT 240时,NVIDIA才使其40nm芯片的面积达到RV740的芯片大小。GT 240在2009年11月才发布,而Radeon HD 4770 (RV740) 在2009年4月就发布了,比GT 240早了7个月。


NVIDIA第一批40nm GPU在2009年7月才开始出货

    当ATI和NVIDIA同时开始在高性能GPU上试水40nm制程时,ATI在台积电的制程方面和大芯片问题上拥有更多的经验。

    ATI绘图工程部的副总裁王启尚,在那时就已对台积电的40nm制程问题感到担忧了, 他早在设计RV740的过程中就把他的担心向Carrell吐露了。王启尚担心在芯片制造过程中金属加工处理方面的不成熟,可能导致连接(芯片内不同金属层之间微小的联接物)出现质量问题。40nm制程中的这种连接故障率非常高,足以影响到采用此种制程的产品的生产。即使这些连接不会都出现故障,连接的质量问题也会导致通过这些连接的信号效率有所下降。


AMD绘图工程部的副总裁-王启尚

    对台积电40nm制程的第二个担忧是关于芯片晶体管构建差异度方面的。在半导体设计中,你必须要考虑到成千上万的晶体管的差异度。对于任何一种制造,芯片与芯片之间晶体管的差异也是千差万别。王启尚实际上担心的是晶体管通道长度制造上的差异,他担心台积电根本达不到它给ATI提供的允许公差范围。

一个标准的互补型金属氧化物半导体晶体管,它的尺寸通常有非常严格的公差范围


    台积电让ATI相信,晶体管通道长度之间的差异将会很小。Carrell和设计团队对此都感到不安,但却无可奈何。

    金属层之间的连接问题容易解决(但代价也很大),王启尚决定将RV740芯片内部金属层之间的连接数量翻倍,但凡在RV740芯片两个金属层中间有连接的地方,在设计时就多设计1倍的连接数量。这会让芯片变得大些,但也比芯片造出来时无法工作好。然而晶体管通道长度的差异性却没有马上就能解决的办法——这是他们担心的地方,但也许可以说是莫名的害怕。

    台积电开始制造第一批RV740芯片。当芯片拿回来后,它们运行时的温度比ATI预期的还要高些,而且漏电率也超出预期。工程设计人员开始工作,他们把芯片拆开,逐一对其中的部件进行分析。没多久,他们就发现晶体管长度的差异度远远超过了原来的公差范围。如果通道长度的差异度达到一定程度,芯片中一些部件的运行就会慢于预期,而其它一些部件的漏电现象也会更加严重。

    工程设计人员最终找到了一个方法,通过改变RV740的设计,修复了漏电的大多数问题。性能仍旧是个问题,RV740作为一个产品几乎失败了,因为修复所有这些问题所花费的时间太长了。但其实RV740在ATI试水40nm制程方面承担了重要的角色,它担负了“清道夫”产品的职责,为Cypress以及“Evergreen”的其它成员走向成功做了很好的铺垫。

    所有这发生的一切对NVIDIA也适用吗? 这当然很难说清楚。但传言似乎都认为NVIDIA根本没有ATI在40nm制程上的那些经经验。去年12月,NVIDIA公然抨击台积电,要求台积电在芯片金属层连接上要达到零缺陷。

    围绕Fermi的那些谣言,也表明NVIDIA在Fermi上也遇到了ATI在RV740上遇到的同样问题:良率偏低,芯片发热量大于预期,核心时钟频率低于原定目标。得承认,我们还未看见任何GF100芯片,因此对于任何一种谣言,都无法确定。

    当我问NVIDIA为什么Fermi/GF100会延期这么久,NVIDIA把其归咎于一些架构部件无法制造。当然,我当时问的是一位架构师。如果Fermi/GF100实际上只是NVIDIA用来获取台积电40nm制程的经验的,那么我估计其后续产品应该会顺利许多。

    不是台积电不知道如何运作一个制造工厂,可能是它在向40nm制程跃进时,步子迈得太大了。


    你可能还记得关于Cypress的讨论,Carrell深信台积电的40nm制程实际使用的代价比预期的要高得多。然而,当时不管是在ATI还是在NVIDIA,很少有人相信这一点。我问Carrell为什么会这样,为什么他能预料到很多其它人不知道的事情。Carrell归结于经验,他还详细讲了一些在文章里不便说的事情。不必说,他对台积电在40nm制程上的许诺持怀疑态度,拥有实用的怀疑态度从来不是坏事,小心驶得万年船嘛。




第11页:严防泄密 “宽域”如何产生(一)

    Carrell Killebrew 还为这个显示“视界”做了一件事情。他一个人独自担负起了把“Eyefinity”(AMD起的中文名叫宽域)技术嵌入“Evergreen”系列显示芯片的责任。

    事情还得从头说起。显卡厂商一般都会问他们的客户,希望显卡拥有什么样的特性。笔记本销售商希望GPU能够有6屏显示输出的功能,尽管他们实际上只需要2个屏幕能同时显示就行了。2个显示通道能够用于液晶屏,2个显示通道能够用于其它的输出(VGA + DVI/HDMI) ,2个可与笔记本接驳平台连接器相连。

    Carrell想,如果拘泥于这些输出限制而不能同时驱动6个显示通道进行工作,这无疑让人感到遗憾。因此他有了一个计划:任何一张“Evergreen”显卡都要至少能驱动3个显示屏,高端的显卡将同时支持6显输出。

    Carrell渴望实现这个特性的愿望并非是凭空幻想出来的,他确实有一个明确的目标。他希望在未来6年里(即从2010到2016年),第一代的全像显示屏能够面世而且能正常工作。第一代的全像显示屏将由1个180度曲面型的半球状显示屏,以及两个安放位置适宜的精密相位音源组成。当然我们也需要强大的像素推动力,来让这个显示屏显示的画面能够达到栩栩如生的效果,这需要共计至少1亿像素 (7百万像素在你眼睛正对的前方,其它的像素则用来填充画面上的其它部位) ,或者说要达到几乎单个30”显示屏像素的25倍才行。


    我们还没生活在2016年,因此Carrell觉得必须从某个地方开始做起了。而这恰恰就是“Evergreen”显卡家族中每张单卡最少支持3屏输出,最多支持6屏输出。今天我们知道这个技术叫做“宽域”,但在AMD内部,Carrell称它“太阳黑子”。

    Carrell不想让任何人知道“太阳黑子”,因此他没有把这项技术特性放在Cypress的《产品必备特性》(PRS)里。当工程部的人正苦心制定PRS时,他通过一些非常机智的手段,没让他们了解到这个神秘的特性,甚至当他们消减这款GPU的芯片面积时,他还设法让它躲过了这一劫。他知道一旦任何人得到点风声,他们就会在消减芯片面积时让他“扼杀”这个特性。更糟的是,除了仅有几个了解这个特性的可信赖的人之外,如果其它人得到点关于它的蛛丝马迹,那么有可能NVIDIA就有时间抄袭并实现这一特性。Carrell的目标就是要尽可能的保守这个秘密。

    他定了一个名单,只有那些切实需要了解“太阳黑子”的人,他们的名字才会出现在这个名单上。如果你的名字不在名单上,不仅你了解不到“太阳黑子”,而且那些知道这个工程计划的人也不能在你身边讨论它。AMD建立了一个内部网站,上面有每一个需要了解“太阳黑子”的人的姓名。

    除了定名单,他还定了规矩。

    就像我刚才提到的,名单上的人不得在任何非名单上的人可能偷听到的地方谈论“太阳黑子”。如果你想把某个人列入名单,必须要得到批准才行,最终的决定权在Carrell Killebrew手里。

    “太阳黑子”的项目工程师开始着手开发这个新特性,只有当绝对需要的时候才吸收其它人进入项目组。这个项目组每次只吸收一个人,最后逐渐达到稳定状态。软件工程师直到最后一刻才被告知有“太阳黑子”这个特性存在。Carrell只给了他们足够的时间来实现“太阳黑子”的特性功能,他们事先并不知情。

    Carrell找到David Glenn,ATI软件工程部的负责人,问他,他们可以提供工程师来完成这个特性开发任务的可能的最晚日期是什么时候。David给了他一个日期,Carrell又向他要一个必须知情人的名单,David说了三个人的名字。在那天,“太阳黑子” 项目组把这三个人召集到一起,然后说“我们需要告诉你们一些事情”。不必说,对于Carrell的秘密,没人感到高兴。ATI的一些高层领导知道Carrell正组织人捣鼓些什么,但他们就是不知道那到底是什么东西。


归根结底,是这个软件成就了“宽域”技术

    当Carrell 在他自己的办公隔间里时,他总会说起“太阳黑子”,他称它为“特性A”。Carrell有些偏执,但是是有原因的。原来在Carrell 隔间对面坐着的人,现在已经离开ATI为NVIDIA工作了,那时“太阳黑子”项目已经展开了有几个月了。在“太阳黑子”项目开展期间,总共有3个人离开了ATI,选择为NVIDIA工作。Carrell很自信,NVIDIA对ATI正在开发的新特性完全不知情。

    除了以上明显的的可能导致泄密的原因以外,Carrell 还面临另一个棘手的情况。为了能够让“宽域”工作,还得取得其它厂商的支持才行。如果你还记得,在Radeon HD 5800系列发布时,三星宣布了它的窄边显示屏,它的1屏、3屏组合或6屏组合可以为专门搭建“宽域”而进行搭配销售。当与像三星这样的OEM厂商进行合作时,不可能再为“太阳黑子”保密了,这会是一个极大的风险。ATI内部人员向NVIDIA泄漏“太阳黑子”秘密的可能性已经不小了,更不要说与双方打交道的OEM厂商的员工泄秘的可能性了,这是肯定的。

    在研发GPU的过程中,像“太阳黑子”这种特性在开发期间还能做到神不知鬼不觉,这真是闻所未闻。Carrell 甚至制定了一套分级系统。黄金级保密标准,是指保守秘密直到发布,如果能将这个秘密保守到显卡发布,这就是黄金级保密标准;如果能保守秘密到芯片流片回来以后,就是白银级保密标准;如果能保守秘密到芯片流片前,这就是青铜级保密标准。到那时,NVIDIA将至少落后ATI一整个产品周期。

    最终,Rick Bergman(AMD绘图部门总经理)承诺保守“太阳黑子”的秘密至青铜级保密标准,但他告诉Carrell,当到了芯片流片的时候,他们将要严肃认真的谈谈这个事儿。



第12页:严防泄密 “宽域”如何产生(二)

    时间在一点点的接近,“太阳黑子”项目也在继续,Carrell和项目组成功的将这个秘密保守到了青铜级。芯片流片了,没人知道Carrell的“宠物”项目工程。青铜级保密标准日期刚过没多久,Rick就让Carrel谈谈此事。在与他们关于“太阳黑子”项目和杀手(Cypress)的谈话中,有三个客户真真的受益匪浅,这种谈话也帮助ATI变得更有竞争力。

    Carrell 真的不想冒风险将“太阳黑子”的秘密走漏出去,但他知道为了让这项特性走向成功,他需要OEMs参与进来。方案就是,将OEMs中需要了解“太阳黑子”项目的人也列入名单,那些规矩对他们也适用。ATI还与他们签了不同于已有NDA的单独的NDA。AMD法务部门视“太阳黑子”技术为私有知识产权,如果OEM中任何其它人需要了解这个技术,他们首先需要获得许可才行。为了确保任何的泄密都有据可查,Carrell就三个参与 “太阳黑子”项目的OEMs给出了不同的项目名称。

    在Cypress发布的前几周,其中一个OEM的首席执行官看到了“宽域”技术,他想把这个技术展示给其它人看看。但即使是首席执行官想与他人共同欣赏这个技术,他的请求也必须得到同意才行。令人不可思议的是, 三个OEM厂商都严格遵守协议,就Carrell所知,这个技术从未走漏风声。


NVIDIA的三屏幕环绕显示技术需要使用两张显卡

    NVIDIA在今年的CES上也展示了自己的三屏显示技术,这是一个纯软件解决方案。每个GPU仍只是局限性地双显示通道输出。我问Carrell如何看NVIDIA的解决方案,他总是很实在。


“宽域”技术可让单GPU实现3屏显示输出

    ATI 以前曾考虑过纯软件解决方案,但最终由于一些原因把它否决了。如果使用纯软件解决方案,你需要拥有一个多GPU系统,这意味着更贵的主板,更贵的电源以及更繁琐的配置方式,而且还要考虑性能表现方面。

    一种情况是,如果你用一张卡驱动一个显示屏,另一张卡驱动另外两个显示屏,那么会出现明显的不对称。这会造成一些奇怪的问题。另一种情况是,三个显示屏的输出都来源于一张单卡,你要么通过PCI-E,要么通过交火/SLI连接线,将一个GPU中的显示数据以交替帧的方式发送至另一个GPU中。如果要搭建6屏显示系统,Carrell担心带宽不够,运行不了那么快。

    还要考虑游戏兼容性的问题,这也是为什么ATI对软件解决方案不感兴趣的原因所在。虽然我很快指出,在当今的很多游戏中,运用“宽域”时会出现明显的视场和屏幕高宽比问题,Carrell同意这点,但他说这已经比他们预期的要好很多了,也比用纯软件解决的方案好得多。

    在这儿不能轻视ATI软件工程师所付出的努力。当Carrell成为负责“太阳黑子”项目的最初三个人中的一员时,他们还做不到确保能把这项特性开发得非常棒。用Carrell自己的话说是“最后,是我们的软件工程师团队做出了关键性贡献。”太阳黑子’所具有的特征更多的是软件特征,而不是硬件特征”。 尽管ATI的软件团队直到这项特性在植入硬件后才得到相关信息,但他们才是负责“太阳黑子”后期开发,并将其成功打造/调试成“宽域”技术的关键。

    围绕“太阳黑子”所做出的那些保密措施很荒唐吗?这可不是Carrell用来消遣的。AMD已经将Carrell的信息保密分级方法融入了其对未来其它特性的管理方案中。我真的想知道Carrell是不是设法获得了苹果的那套保密方法。



第13页:必须用掌声向AMD授予它应得的赞誉

    因为这并不是一个产品评测文章,最后能得出的结论不多,无产品导购、也无性能总结。即使这是一篇分析文章,就我从这个故事中获知的东西来说,也没有什么要总结的。去年我就已经知道,ATI对GPU设计采取了一种新的、重新定位的态度,那时仅得知他们在研发RV870时几乎抛弃了以往的那些经验。预备在今年晚些时候推出的“Northern Islands”新一代GPUs,在人们还不知道RV870会如何登场前,就肯定已经在设计了。更别提Fermi/GF100了,它们延期这么晚都还没发布。

    我不确信从过去一直到RV770或RV870的迄今历史,能告诉我们应该对“Northern Islands”这一代GPU产生什么样的期许。虽然我们不能对ATI的未来产品作结论,但对于AMD的图形部门是如何工作的,在这方面,我切切实实了解到了非常多的情况。

    Carrell告诉我,做产品的过程不是一个合乎逻辑的过程,虽然有逻辑在里面,但它确实是一个充满变数的过程。这不是一种矛盾感,而是那种当所需的技术资料还不齐全的情况下,却还要开发新技术特性的无所适从感。当像AMD或NVIDIA这样的公司做一个产品的时候,工程师们并不会知道这个产品的所有答案,他们的认知并不是二元的——它是可能性,是衡量,是臆测。

    有时他们能猜对,有时他们却完全猜错。他们可以竭尽所能做到的,就是根据个人经验进行权衡,找到各种假设情况,然后去实践。历经数年,似乎ATI已经学会尽可能让其团队的所有成员都能够投入到产品研发中,并出谋划策,贡献出自己的力量。

    绘图团队的奉献和经验,似乎在AMD这一代GPU跃进到新制程技术的过程当中得到了回报。未来从台积电到Global Foundries 的代工转移,肯定又会让他们再一次面临挑战,尽管这个挑战还不全是制程技术方面的。除了指令系统外,公司更需要的是团队对于计划和执行力的专注。

    Carrell Killebrew帮助ATI从一个业绩糟糕的传统GPU公司,转变成了一个因其执行力而众所周知的公司。这三代GPU产品的研发都非常成功。不管你是A饭,I饭或N饭,你都必须向AMD抱以掌声,给予它应得的赞誉。过去几年,AMD绘图部门已经向我们展示了其激动人心的转变。从R500和R600 GPU时期的摇摇欲坠,到RV670、RV770和RV870时期,一年年的稳扎稳打,一路走来,绝对是值得称赞的。我们都想知道,AMD的CPU团队在执行力方面是否能向绘图团队学习。我们真的希望,伴随收购ATI的,是那种能够相互学习的开放性思维。



评分

参与人数 1基本分 +5 收起 理由
refla + 5 神!居然找到原文出处!

查看全部评分

回复

使用道具 举报

 楼主| 发表于 2010-2-26 16:48:56 | 显示全部楼层
上一代的 RV770 的故事:

http://www.equn.com/forum/viewthread.php?tid=20239
回复

使用道具 举报

 楼主| 发表于 2010-2-26 17:50:08 | 显示全部楼层
“太阳黑子”计划果然棒!
回复

使用道具 举报

发表于 2010-2-26 17:52:26 | 显示全部楼层
很高兴地表示我是RD770芯片组。
回复

使用道具 举报

发表于 2010-2-27 10:26:39 | 显示全部楼层
嗯,很喜欢这样的文章,虽然俺已经远离显卡前线很多年了。。。。:(
回复

使用道具 举报

发表于 2010-2-27 18:27:19 | 显示全部楼层
第十三页的话让人回味良久,其实何止 ATi 值得报以掌声呢?Nvidia 在 G80 + CUDA 取得成功的之前,不是也经过 GeforceFx + Cg 的惨败吗?正是他们顽强地拼搏奋进,才让人们得以享受着竞争带来的好处。。。。。。
回复

使用道具 举报

 楼主| 发表于 2010-2-28 10:15:29 | 显示全部楼层
09 年 9 月 23 日发布 HD5800
09 年 10 月 13 日发布 HD5700

要不是小核心战略,可能到现在才能看到中端卡。。而且还更贵。。
回复

使用道具 举报

发表于 2010-3-2 14:27:52 | 显示全部楼层
工程管理之惊险!质量控制、成本控制、进度控制

PS:三屏的支持使得用户体验真正在性能之外的有了突破性的改善。
回复

使用道具 举报

发表于 2010-3-5 10:35:26 | 显示全部楼层
爱好者路过!!我是A饭我光荣。
回复

使用道具 举报

发表于 2010-3-5 20:13:55 | 显示全部楼层
本帖最后由 meteormatt 于 2010-3-5 20:15 编辑

半导体的极限是不是快到了吧.

Moore's Law

摩尔定律好像2010左右基本上就快失效了.

昨天刚看了Sun以前的首席科学家 Bill Joy 的发布在Wired连线杂志上的著名论文.

Why the future does not need us.

http://www.wired.com/wired/archive/8.04/joy_pr.html

For decades, Moore's law has correctly predicted the exponential rate of improvement of semiconductor technology. Until last year I believed that the rate of advances predicted by Moore's law might continue only until roughly 2010, when some physical limits would begin to be reached. It was not obvious to me that a new technology would arrive in time to keep performance advancing smoothly.
回复

使用道具 举报

您需要登录后才可以回帖 登录 | 新注册用户

本版积分规则

论坛官方淘宝店开业啦~

Archiver|手机版|小黑屋|中国分布式计算总站 ( 沪ICP备05042587号 )

GMT+8, 2024-4-28 18:07

Powered by Discuz! X3.5

© 2001-2024 Discuz! Team.

快速回复 返回顶部 返回列表