在中国建立基于BOINC分布式计算平台

jack_fangdb

找对第一个项目很重要因为 ：
1-能锻炼自己，提高国内分布式计算水平，让社会普及分布式计算知识
2-资金要维持项目自身的运转，至少必要的支出需要
3- 吸引更多的优秀青少年来学习分布式计算
4- 如果可能，为以后作更多项目作准备

  linus 能干，不仅仅是他是天才的程序员，更时因为他的天才管理能力，把那么多天才的黑客
更新编码模块集成，而且一般来说，天才黑客各自都不服气，但是如何管理彼此和睦相处是
需要“工具”机巧的的

godspeed

现实真让人无奈！

在和本地大学联系无果的情况下，我又联系了中国科学院国家天文台信息与计算中心。
联系的原因是因为天文数据都是公开的，这个不存在商业利用的价值，而且时间跨度都很长。
当然了，对方（主任）的回复是“按照目前的状况，不太可能给大家提供什么资源上的帮助。”


邮件原文如下（对方回复）：

我很支持你们的工作！

但按照目前的状况，不太可能给大家提供什么资源上的帮助。


On 2009-6-17 15:49, Jianglei wrote:
崔博士：

    你好。

    事实上，在此之前，我已经联系过本地的大学的计算化学研究所。因为我曾经花了一年多的时间（2002-2003年间），帮助他们测试、采购了一套机群（66颗志强处理器，Myrinet网络架构），并在2005年采购了另外一套机群（40颗安腾处理器，Myrinet网络架构）。
    通过这次测试，我才知道在80年代初期，中国的化学科学家也曾经开发出了类似的软件，但后来没有继续开发。因此，现在，中国的用户只能购买国外软件（价格比国外用户要高很多），而且没有源代码（仅仅是中国用户没有）。同时，为了保证系统的正常运行，从人员到设备，投入都是巨大的，这还不包括软件的升级费用。
    今年，他们即将采购第三套机群，CPU数量将达到512核处理器，可以预见，为了保证系统的正常运行，投入将会更多。
    我和老师们讨论过分布式计算，基于种种原因，他们期望更快速的得到计算结果。所以，我的建议他们没有接受。

    目前，已经运行的分布式项目还有Floding@home（蛋白质折叠）、GIMPS@home（寻找最大梅森素数）、LHC@home（模拟大型强子对撞机）、Einstein@home（寻找引力波）、CPDN@home（气候变化）等。这些项目都没有选择使用机群或主机系统。我相信，更重要的是他们拥有一大批出色的软件工程师。

    建立分布式平台，除了利用志愿者计算机的空闲计算能力，我更看好基于这个平台的软件研发和培训。当然，软件的开发将是基于GPL协议的。

    这是我刚看到的新闻（http://www.cnetnews.com.cn/2009/0612/1378828.shtml）：
    “浪潮集团高级副总裁王恩东指出，近年来，高性能计算在科研和生产领域的使用越来越广泛，已经成为国家科技创新乃至经济发展必不可少的战略装备。虽然我国的超级计算机在运算峰值上不断取得突破，但是软件开发和应用水平的相对滞后，比如拥有上千个计算核心的高性能系统越来越多，但是能够支持到这么大规模计算核心的软件少之又少。这种状况极大地限制了设备计算力的发挥，多数系统的运行效率往往不超过20%，造成了高性能计算资源的“稀缺与浪费”并存的尴尬局面。”

    我们（分布式计算志愿者）希望贡献出自己的力量。
    我们希望能够得到你们的支持。

    祝 工作顺利。

feynord

看完了全部帖子，先顶楼主！

楼主是更想做一个平台呢，还是想做一个项目呢？

我觉得做项目容易一点。因为现在做平台总是比较吃力不讨好的。比方说，每个研究组虽然都嚷嚷着缺乏计算能力，但是要他们把钱投到一起弄个大的计算机一块用，那他们可就不愿意了，还是愿意抱着自己的小机器踏实。也就是这样，虽然研究界整天嚷嚷着大平台大平台，但也是雷声大雨点小，每个实验室所谓的对外服务平台，主要还是充颜面的。此外，中国也不是没有大规模的计算中心，北大和中科院都有专门的计算中心公用，还是满足了一部分人需要的。

做项目简单一些，关键是项目的研究意义。在这方面，一些大的研究组都有很好的项目，而且有自己编写的软件程序。大的研究组在这方面有优势，因为研究生的背景很广泛，有人是做理论的，有人是搞编程的，可能还有专人负责维护机器，而且相对不缺乏资金，研究的内容也有连续性。比方说在计算化学领域，我想北大的来鲁华组，上海药物所的蒋华良组都有这个实力。楼主可以跟他们联系。

楼主是做Gauss的么？我觉得做分布式有点复杂，还是Docking最简单：）我曾经想做一个Gauss对外服务平台，就是帮有机的同行算算结构，但后来还是太复杂了作罢：（

(Y)

分布式的原理很简单。重要的是如果很好的分割任务和结果合成。我们国内的分布式理论已经有一些了。应用的人都有各自的想法罢了。

而且我们的研究机构开发软件，只有很少的单位能以软件工程管理的方式来进行。老觉得麻烦，其实，工程管理是简化了处理问题的过程。
很多地方分布式计算的架构各设计各的，不知道有多少借鉴和共享。

godspeed

回33楼的朋友：
1、平台是现成的，就是伯克利尔的BOINC平台，这个是基于LGPL V3。
2、我不是做Gauss的。那是我原来的公司给用户上的硬件，用户用来跑Gauss而已。顺便说一句，这个项目当时是我发起和推进的，并且击败了SGI，呵呵。

feynord

那么就是说你想帮助中国的项目与BOINC平台进行对接？我不知道这么表述是否准确。

方便问一下以前跟你们合作的“计算化学研究所”是哪里么？

godspeed

先引用老song在“征集分布计算项目课题[公告]”中的话（发表于 2004-8-18 00:00）：
“一个分布计算项目必须有一项具有意义的科学研究项目作为基础才是可行的，还需要开发相应的分布系统系列软件才能行得通。刚开始可以效仿现在的独立分布计算系统，成熟以后也可以搞出来类似BOINC那样的平台来。期待中国自己的分布计算系统，当然也是要对世界开放的，让老外也能参与进来。当然这些的前提是公益性的，就是不知道中国的科学家对公益性的项目有没有兴趣。按现在的中国国情，有一定的难度。不过要是立项的分布计算项目意义不大，生命周期就难说了，弄不好会适得其反的。”

事实上，我认为分布式计算能够真实的反映出一个国家在科研领域的真实水平。

目前，我们有多少科学家都是在做一些修修补补的工作，又有多少理论上的创新呢？我的一个朋友在曙光、联想、HP工作过，目前在HP负责高性能计算。他和我说，中国的科研人员，能实实在在的做一些修修补补，那已经是有良知的了，能通过修修补补做出些成绩的，那就是著名专家了。更多的是做“书面上”的科研。

这个论坛，是中国分布式的第一步，第二步就是发展中国的分布式计算。但这第二步，走的很艰难啊。政策，没有；项目，没有；人才；更是没有。
看看麻省理工的开放式课程，面向全世界，而我们学校的精品课程呢，都是要用户名、密码的，非本校学生不得入内的。

BOINC平台，一个成熟的分布式平台，那就拿来用好了。通过这个平台，开发出我们自己的分布式项目。重要的是，通过这个平台和项目，培养自己的高水平的计算机人才和复合型人才。通过实实在在的项目来培养人才，而不是几十年不变的课本和讲义。

说到这里，就在罗嗦几句：
1、不自己搭建BOINC平台，一年的费用是12.5W$，还要自己编程；
2、到目前为止，中科院天文台信息中心没有答复我为什么不能使用分布式来计算；
3、我现在正在考虑怎么把这件事推进下去，如果没有什么意外，还是和以前一样，把事情的进展发布在这里。还请大家能够提出更好的建议和意见。

feynord

那么说，楼主是想根据BOINC技术搭建一个类似BOINC的平台么？

中科院天文台的那件事，可能是负责人不懂分布式计算，或者他的项目并不需要分布式计算，他也拿不出一个研究生/工作人员来搞分布式计算。

(Y)

有必要重复建设一个类boinc么？

godspeed

回38楼的朋友
那么说，楼主是想根据BOINC技术搭建一个类似BOINC的平台么？
是的


中科院天文台的那件事，可能是负责人不懂分布式计算，或者他的项目并不需要分布式计算，他也拿不出一个研究生/工作人员来搞分布式计算。
我希望是他的项目并不需要分布式计算而不是别的什么。但这个不能成为不说的理由，不是吗。


回39楼的朋友
我摘一段jack970906的话（主题：龙芯无奈购美公司专利授权 “中国芯”光环褪尽， 发表于 2009-6-21 21:30），希望你能满意。这个不算抄袭吧
其实也很好理解，开发新的指令集就像是放弃钢材材料体系盖房子，而自己去开发纳米材料的建筑材料体系，新的体系一是现在现在没有人用，二是开发费用惊人，三是技术成熟能有得多长时间呢？谁能想象那个国家不用钢材了，等着开发纳米材料盖的自主创新的房子住呢？人家mips公司发展了几十年，盖房工艺已经很有心得了，为什么不可以买来用呢，然后我再创新提高，盖出更好的房子。这样龙芯就可以很快进入已经形成的市场可以进入发展轨道。龙芯哪有那么多时间和精力单独去搞纳米体系的房子呢？龙芯现在买了专利发展起来，将来有技术积累多了，也有资金了，开发自己的全新的指令集也不是没有可能的，而现在不是时候。

feynord

我觉得中国搭建一个技术类似的BOINC平台还是有一定意义的，至少可以让广大教育网用户不用连外国代理就可以参与计算：）当年我很多同学都参与了Pi Segment，但是他们都没法参与BOINC。
但是这个平台不太可能有商业价值，恐怕只能是志愿服务的范畴。

他不说理由可能就是没看懂，连基本的意图可能都没明白……
我觉得电话联系可能方便交流一些。

godspeed

是的，不是搭建商业平台。

彬彬

注册公司? 没人当过老板吗? 怎么不出来告诉大家一句，注册公司是要交税的。即使你实际上并没有经营收入，税局也不会相信，结果会拒绝给你查账征收(开多少发票就相应交多少税)，而是给你定税(假设你的营业额)，每月就固定要交那个额度。这个额度会年年是升一点(你没有倒闭，就假设你还能继续经营，而且跟经济一样在年年增长)。


而且，你在工商注册的时候就面临一个致命的问题，工商局搞的都是经营性的问题，你在填经营范围的时候准备怎么填? 分布式计算这一类东西根本不会存在于工商局的经营范围目录里。难道挂软件开发、销售上?


现阶段的话，应该是注册非赢利性的社会团体比较现实，但要注册也不简单，实力小的人家不让你注册，以后年检也是花钱花时间跑部门。

[ 本帖最后由 彬彬 于 2009-6-27 23:53 编辑 ]

(Y)

回40楼godspeed

我说的重复建设一个类boinc。如果只是为了大家算得一个中国的项目在中国的平台上。那意义不大。在boinc上也能算中国的项目。（如果有的话）

如果是为了提高我们国内分布是平台开发能力。那就和做龙芯一样是有意义的。

但是我感觉boinc在技术上没太多难度。在理念上真是很有创新。
boinc就是一个项目管理、任务分发的C/S结构系统。它定义了一些任务分发的标准。如果只是建个类boinc的话，是个不大的工程。

彬彬

原帖由 (Y) 于 2009-6-29 10:27 发表
回40楼godspeed

我说的重复建设一个类boinc。如果只是为了大家算得一个中国的项目在中国的平台上。那意义不大。在boinc上也能算中国的项目。（如果有的话）

如果是为了提高我们国内分布是平台开发能力。那就和做龙芯 ...

就像是，做个好网站不难，但做个有大量用户访问的网站，倒不是随便很容易的事。

就像是快递公司，开个快递公司不难，但如果开快递公司的原因是因为自己有货要发的话，那就没必要了，不管自己有多少多的货要。。。

我觉得 BOINC 成功之处在于它给了项目主人一种潜成的参与人员希望，你新推一个项目，要人家特意去下载运行的话，效果不一定有放在 BOINC 上好，因为它上面本来就有极大量的用户，假设某一任务全部搞定的话，那参与它的用户则会面对一个新的选择，那多少都会有选中你这个项目的，而且项目的转换在用户角度来说是很简单几乎没什么动作的。就像是很多人开网店都首先那些拍卖网站，而不是自己建一个网站去卖东西，图的就是那些拍卖网站本身就有的大量的浏览者。