搜索
查看: 2868|回复: 0

打造Hadoop发行版精品 星环TDH3.4新版概述

[复制链接]

167

主题

4

回帖

573

积分

管理员

积分
573
发表于 2014-11-7 17:14:51 | 显示全部楼层 |阅读模式

         近日,星环信息科技(上海)有限公司(以下简称星环科技)在纽约召开的Strata Conference + HadoopWorld大会上发布了Transwarp Data Hub 3.4新版本Hadoop发行版软件。

  今年的Strata Conference是近年来规模最大的大数据盛会,有5500多人参加这次大会,130多家厂商参展,门票在开会前就售罄。这么大规模的盛会标志着hadoop已经真正成为大数据处理技术的主流地位。这也是星环首次在美国-大数据的大本营-发布大数据最新产品。

  Transwarp Data Hub (简称TDH) 3.4新版本大幅增强了Inceptor交互式分析引擎、Hyperbase实时数据库和Stream流计算引擎的功能和性能。

  Inceptor 3.4 -更强、更快、更稳定

  更完整的SQL支持:

  • Inceptor 3.4比美国友商提供了更全的SQL支持,继支持SQL’99后,开始兼容SQL2003语法。最新版本已经包括了对常用数据类型DECIMAL,NUMERIC,VARCHAR的支持,支持WITH-AS定义子表, 以及支持在任意FROM/WHERE/SELECT/HAVING语句中嵌套子查询和相关子查询(Correlated Sub-query),支持窗口聚合函数, CUBE, ROLLUP等功能。

  • Inceptor3.4支持SQL2003语法额外要求的功能,包括支持SQL2003要求的各种predicate(BETWEEN, LIKE, EXISTS等),并且支持在predicate中嵌套子查询(sub-query in comparison predicate, sub-query in IN predicates, correlated sub-query,etc),支持在子查询中嵌套table operator等。

  • 支持部分PL/SQL语法,包括变量、函数、控制流、部分存储过程。

  支持SQL的完整程度已经远超过美国友商的同类产品,包括Cloudera在StrataConference上发布的Impala2.0的SQL支持程度。

  更快的性能:

  Inceptor 3.4实现了更多的优化规则,并且自己研发了基于代价的优化器,性能比之前的版本有显著提高。在Cloudera最近公布的TPC-DS性能数据中,Impala 1.4比所有的其他产品(包括SparkSQL)快5倍以上。作为回应,在Strata Conference上,星环公布的TPC-DS的性能评测结果以及Inceptor 3.4与Impala 1.4的对比。

  下图是所有TPC-DS测试集合的性能对比图. 图中纵坐标小于1表示测试案例的性能Impala超过Inceptor,而大于1表示Inceptor有更好的性能表现。对于Impala不能支持的SQL,我们就标记这个性能比为100。

  从这个图中可以看到,在Impala目前支持的19个SQL中,有11个SQL在Inceptor上比Impala表现的更好, 只有8个SQL的Impala表现超过Inceptor。

  另外,在和开源的Hive执行效率相比中,Inceptor 3.4能够带来10x~100x的性能提升。下图是TPC-DS的部分query在Inceptor和CDH Hive的性能提升倍数,其中最大的提升倍数竟可达到123倍。需要说明的是,这里用的Query跟Impala运行的相同。

  更多详细的性能比较以及TPC-DS的测试配置和细节可以参考星环发布的性能白皮书。

  更全的机器学习算法支持:

  • Inceptor 3.4新版本提供了更多的统计和机器学习算法,在MLlib已有的算法(CF, SVM等)上也做了稳定性和精度的改进。下表是TDH3.4支持的算法列表:

  其中一些算法已经成功运用在电商和网络电视的推荐系统中。

  • Inceptor3.4提供了更完善的R语言支持,现在使用R语言进行数据挖掘的用户,可以在R语言中执行SQL语句,并把SQL的结果传给机器学习算法。多个机器学习算法的结果也可以继续传递给后续算法,可以组成一个pipeline,方便用户对数据进行多轮分析和挖掘。

  更稳定可靠的Spark计算引擎,可处理GB到PB级别的大数据量:

  • Inceptor 3.4的重大改进是提高了Spark引擎处理大数据的能力以及性能的稳定性,通过设计全新的内存换出机制并改造多个Spark操作原语,可以在大数据量上稳定地运行复杂的SQL,并且在大数据量上的运行性能全面超越Hive和Map/Reduce。

  • 星环已经实现了大数据量复杂SQL算法的高性能和稳定性,并且已经成功替换Oracle/DB2和小型机的组合,运用在上海移动和广东移动的复杂经营分析场合。

  Hyperbase3.4 - 更全的SQL支持和索引支持

  Hyperbase 3.4的新功能主要包括了对Inceptor SQL的更好支持上,Hyperbase从3.4开始同步支持Inceptor的SQL语法,可通过SQL对Hyperbase进行单条记录的增删查改。

  新版本提供了星环科技开发的一个新的专有ODBC驱动程序(windows版本),可以通过ETL 工具支持从现有关系数据库实时同步更新数据到Hyperbase,这个功能对实时数据仓库或者ODS来说是必不可少的,目前美国友商的相应Hadoop产品还只能支持批处理,不能和关系数据库进行实时同步。

  Hyperbase 3.4提供了更好的索引支持,并且Inceptor SQL引擎可以充分利用Hyperbase的内建索引来加快查询速度。在有索引的情况下,查询的延时降到了百毫秒级别。为了支持更复杂的索引,Hyperbase 3.4充分利用了新设计的代价优化器,可以自动根据访问索引的代价选择最佳索引。

  Stream 3.4 - 更快、更稳定、更安全

  Stream 3.4流处理引擎进一步提高了读取Kafka分布式队列中数据的吞吐性能,并且为Kafka提供了安全认证和访问控制功能。Kafka的安全控制功能目前在开源版本或者友商的发行版中都不具备,也侧面说明了友商的Kafka或者流处理引擎目前没有实际部署。对跨地域分级部署的流处理集群而言,缺乏安全机制是致命弱点,特别是跟公共安全相关的应用,将导致系统由于安全原因无法实施。此外,Transwarp Stream 的稳定性也得到验证,最近在某省的全省交通指挥监控系统中上线并且能够7x24运行,端到端延时控制在了2秒以内,是目前国内在线运行的大规模流处理集群的少见案例。

  总结

  此次星环科技在美国纽约发布的新版本,在多项核心功能和性能指标中已经领先于美国友商,也吸引了多家金融客户的关注。


您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

 
 
大数据行业交流
大数据行业交流
大数据求职招聘
大数据求职招聘
站长电话:
15010106923
微信联系:
hb-0310
站长邮箱:
ab12-120@163.com
大数据中国微信

QQ   

版权所有: Discuz! © 2001-2013 大数据.

GMT+8, 2024-3-29 19:25 , Processed in 0.076982 second(s), 24 queries .

快速回复 返回顶部 返回列表