将横向扩展NAS 用于大数据分析
2013-10-12 00:27 |
查看: 2257|
评论: 0
ESG 调研结果曾表明，Scale- out存储已逐渐进入了商业IT ，并且站稳脚跟。在商业和政府部门，scale-out网络存储从2010年的4,189 PB 将增加到2015年的62,834 PB，达到了72% 的复合年增长率(CAGR)，远远超过了整体的外部网络存储54% 的增长率。这个高速增长是基于供应商对于前景的预测，及早地从scale-up架构过渡到scale-out架构，并且他们的产品线中甚至是高端产品都提 供scale-out架构。 横向扩展存储系统克服了物理机架和模块的限制，可作为单一系统，通过增加控制器或容量节点来实现性能和容量的独立 升级，提高IT 投入的回报率。同时，线性扩展能力为业务的长期高性价比提供了保障。解决了传统单一系统、模块化系统需要物理磁盘级别的管理、数据布局和性能调优的弊端。 横向扩展平台不仅能够提升性能而且还可以降低操作成本，使单一系统在单一全局域名下，轻松扩展到若干PB容量范围，成为管理猛增数据的理想存储平台。 Hadoop 大规模数据的采集与处理已经让高性能计算用户备感压力，迫使企业需要通过一种新的方式去管理。一些新的分布式平台技术也不断出现，其中比较突出的是 Hadoop。Hadoop是一个比较新的技术，它是一个建立在普通服务器上的高度可扩展、高可靠的分布式系统，专为大规模计算和海量数据存储而设计。 Hadoop的数据来源可以是任何形式，在处理半结构化和非结构化数据上与关系型数据库相比有更好的性能，具有更灵活的处理能力。基于Hadoop，用户 可编写处理海量数据的分布式并行程序，并将其运行于由成百上千个节点组成的大规模计算机集群上。 总之，在高性能计算系统中，计算节点的扩展、硬件升级能够进一步增强计算节点集群系统的处理能力，运算时间得到进一步缩短;但是存储设备的I/O 能力也必须有所提高，提高I/O 节点与存储设备之间的数据交换能力，从而提高整个高性能计算系统的计算效率。 |
免责声明：
除非特别声明，文章均为投稿或网络转载，仅代表作者观点，与大数据中国网无关。其原创性以及文中陈述文字和内容未经本站证实，对本文以及其中全部或者部分内容、文字的真实性、完整性、及时性本站不作任何保证或承诺，请读者仅作参考，并请自行核实相关内容。如果本文内容有侵犯你的权益，请发送信息至ab12-120@163.com，我们会及时删除
最新评论
最新新闻
最新新闻
/1 
