【环球网】日本开发出可大幅缩短大数据计算时间的软件

swh@home · 发表于 2013-12-7 22:58:57

【环球网】日本开发出可大幅缩短大数据计算时间的软件

【环球网科技报道记者关超】

据日本共同社12月5日报道，日本理化学研究所5日宣布，成功使用超级计算机“京”将原耗时1周的大型计算时间缩短至1个小时。据悉，该技术将用于处理巨量信息“大数据”的分析。

研究小组着眼于数据排列“矩阵”的计算，开发出了高效计算软件，成功将100万个纵横排列的数据这一全球最大规模矩阵的计算时间从1周缩短至1个小时。

矩阵的计算可被用于在电脑上重现分子运动及化学反应等，计算时间的缩短使更大规模的高精度计算成为可能。　　

据报道，新开发的软件除用于大数据分析外，还有望帮助新药研发及半导体等新物质的开发。

责任编辑：李文瑶

地址：http://tech.huanqiu.com/it/2013-12/4636148.html

swh@home · 发表于 2013-12-7 23:50:59

本帖最后由 swh@home 于 2013-12-8 00:05 编辑

补充材料：

日本理化学研究所简介：http://www.lssf.cas.cn/kpzt/gwyjjg/201111/t20111129_3403507.html

日本理化学研究所報道発表資料——「京」を使い世界最高速の固有値計算に成功 http://www.riken.jp/pr/press/2013/20131205_1/ 及 http://www.riken.jp/pr/press/2013/20131205_1/digest/

EigenExa计算软件源代码下载：http://www.aics.riken.jp/labs/lpnctrt/EigenExa_e.html

EigenExa version 1.0 users manual：http://www.aics.riken.jp/labs/lp ... l_2013-08-08_ja.pdf

従来の方法（緑線、青線）と、eigenexaの方法（赤線）との関係

貌似需要以下的数学软件库才能跑起来：

BLAS ：Intel MKL, GotoBLAS, OpenBLAS, ATLAS, Fujitsu SSL II
LAPACK ：Version 3.4.0 以降
ScaLAPACK： Version 1.8.0 以降
MPI： MPICH2 version 1.5 以降, MPICH version 3.0.2 以降， OpenMPI：version 1.6.4 以降

EigenExa这个软件应该是为京超级计算机开发的计算软件库KMATHLIB的一部分，详见：http://www.aics.riken.jp/labs/lpnctrt/ISC13_KMATHLIB.pdf。

扫了一眼源代码文件压缩包的文件列表，猜测应该是用C主程序调用Fortran写的计算程序库完成的计算，其他就不知道了。

不知道国内在这方面有什么进展？很少看见相关报道，这应该是发挥超算威力必不可少的东西吧？

[email protected] · 发表于 2013-12-7 23:26:23

也可以用于计算核武器或生物基因武器吧

zensin123 · 发表于 2013-12-8 13:02:40

swh@home 发表于 2013-12-7 23:50
补充材料：

日本理化学研究所简介：http://www.lssf.cas.cn/kpzt/gwyjjg/201111/t20111129_3403507.html

这个软件用于BOINC计算如何？ WCG呢？

fwjmath · 发表于 2013-12-8 19:10:14

超算的软件基本上不可能转移到BOINC上，因为超算最大的优势就是运算节点之间能以高速度传输数据，实现动态的负载均衡，这是BOINC没办法做到的。

前朝遗少 · 发表于 2013-12-8 19:11:26

新的算法?理论正确否?广泛验证过?

zzfwind2007 · 发表于 2013-12-8 20:06:47

fwjmath 发表于 2013-12-8 19:10
超算的软件基本上不可能转移到BOINC上，因为超算最大的优势就是运算节点之间能以高速度传输数据，实现动态 ...

太可惜了！

现在BOINC的不少生命科学类项目都没存盘点，用时又长，怪不得“活跃人数”那么少。
假如能用这软件加速，说不定能挽回一些“客户”，那还有些希望。

可惜不行。

Lightalt · 发表于 2013-12-8 20:38:40

我第一个反应就是日本人果然软件效率不行...之前的竟然慢168倍...

fwjmath · 发表于 2013-12-8 22:02:03

光看图片描述的话，这就是算矩阵特征值的一个算法，是针对稠密的实对称矩阵的。具体进步大概还是相当大的，虽然我不搞数值计算所以也不太清楚……

草木茂盛 · 发表于 2013-12-16 13:20:43

现在大数据、云计算、虚拟化这些概念铺天盖地，到底有什么用呢？对我们的日常生活能带来什么改变？

cicikml · 发表于 2013-12-18 22:33:38

fwjmath 发表于 2013-12-8 22:02
光看图片描述的话，这就是算矩阵特征值的一个算法，是针对稠密的实对称矩阵的。具体进步大概还是相当大的， ...

这个解释已经很专业了！

wpf999 · 发表于 2013-12-26 17:06:56

草木茂盛发表于 2013-12-16 13:20
现在大数据、云计算、虚拟化这些概念铺天盖地，到底有什么用呢？对我们的日常生活能带来什么改变？ ...

见百度网盘。。。

		自动登录	找回密码
密码			新注册用户

[转帖] 【环球网】日本开发出可大幅缩短大数据计算时间的软件