首页 > 产品服务 > 产品详情

Transwarp Data Hub

  • 互联网
  • 政府
  • 金融

Transwarp Data Hub(简称TDH)是国内落地案例做多的一站式Hadoop发行版,性能比开源Hadoop2还快数十倍。通过内存计算、高效索引、执行优化和高度容错等技术,TDH使得一个平台即能处理10GB到100GB的数据,企业不再需要MPP或混合架构

通过测评时间:2016.4.30

Transwarp Data Hub 体系架构


Transwarp Data Hub由Apache Hadoop、5款核心产品、大数据开发工具集Studio、安全管控平台 Guardian和管理服务Manager构成。

 

企业级一站式大数据综合平台

2006年Hadoop技术的出现标志着大数据技术时代的开始,经过10多年的蓬勃发展,大数据技术已经真正承托起一大批 企业的数据基础架构。Transwarp Data Hub(简称TDH)是星环信息科技(上海)有限公司研发的企业级大数据平 台,经过4年的快速演进,已成为国际一流的大数据平台。从2016年起,TDH正式成为Gartner认可的Hadoop国际主 流发行版本。

TDH主要提供5款核心产品:Transwarp Inceptor是大数据分析数据库,Transwarp Slipstream是实时计算引擎, Transwarp Discover专注于利用机器学习从数据提中取价值内容,Transwarp Hyperbase用于处理非结构化数据, Transwarp Search用于构建企业搜索引擎。通过使用TDH, 企业能够更有效的利用数据构建核心商业系统,加速商业创新。

 

TDH产品的主要技术优势包括以下几个方面:

极致的性能与可扩展性

TDH的批处理速度是开源 Hadoop的10-100倍,是MPP的5-10倍,可以对从GB 到PB级的数据量实现复杂的查询和分析。TDH具有高 可扩展性,用户可以通过增加集群节点数量,线性提 高系统的处理能力。

 

容器技术与大数据平台 

TDH支持部署于TOS之上。 TOS是为大数据应用量身订做的云操作系统 ,基于 Docker和Kubernetes,支持一键部署TDH、扩容、缩 容,同时支持基于优先级的抢占式资源调度和细粒度 资源分配。

 

完整的SQL和ACID支持 

Transwarp Inceptor是第一 个实现完整SQL支持的Hadoop发行产品。它不仅支 持SQL 2003,Oracle PL/SQL以及DB2 SQL PL,还 实现了完整的ACID和CRUD功能。TDH提供JDBC和 ODBC驱动连接,方便第三方工具运行于TDH之上。

 

低延迟的流处理 

Transwarp Slipstream是同时支持事 件驱动和微批处理的流处理引擎,计算延迟最低可至 5ms。它提供标准的SQL编程接口,还支持高可用性 (HA)和Exactly-Once的语义,从而支持7x24小时的 生产业务。

 

丰富的数据挖掘功能 

Transwarp Discover 支持用户通过R语言和Python开发机器学习项目,也 可以用图形化的工具做分析。

 

大数据上的全文搜索 

Transwarp Search支持通过 SQL实现大数据上的秒级全文搜索,它利用层次化存 储、堆外内存管理等创新性技术,极大的提高了系统 的可用性。此外,Search还可以结合Inceptor提供较 强的数据分析能力。

 

图形化的大数据开发工具套件

 Transwarp Studio 是TDH中的大数据开发工具集,包括元数据管理 Governor、工作流Workflow、数据整合工具Transporter, Cube设计工具Rubik以及报表工具Pilot。用户可以使 用这些图形化工具来提高大数据的开发效率,降低技术门槛。

 

多样化的数据处理功能 

Transwarp Hyperbase用于 存储和计算结构化或非结构化数据,包括日志记录、 JSON/XML文件以及二进制数据(如图像和视频)。 Hyperbase底层是KV的数据库,因此其非常适合高频 次的数据入库、高并发精确检索等业务。

 

简易的操作和管理

 Transwarp Manager是专门用于 部署、管理和运维TDH集群的组件。它支持产品一键 安装、一键升级和图形化运维,并提供了预警和健康 检测功能,帮助用户简化运维过程。

 

统一的安全/多租户管理

 Transwarp Guardian是TDH 平台中实现安全控制和资源管理的中央服务平台,它 支持Kerberos和LDAP认证,可以做细粒度的权限控 制,并且提供租户管理功能。