受到推崇的, 2024

编辑的选择

Hadoop峰会带来产品增强浪潮

Anonim

本周Hadoop Summit将在加利福尼亚州圣何塞举行,支持开源数据分析平台的厂商正在将新产品推向市场。

预计将有超过2100名与会者这次会议由思科,Facebook,IBM,微软,Splunk和VMware等IT巨头赞助。这是第五次年度峰会,虽然去年的会议认为它是针对开发者的,但今年的活动更加以客户为中心,Hadoop经销商MapR的营销副​​总裁Jack Norris指出,会议展示

2005年创建的用于分析大量Web流量日志的Hadoop越来越多地被用于分析非结构化数据的大量数据,这些数据太大且难以插入关系数据库或企业数据仓库 - 通常涉及数据到大数据。在IT咨询公司Capgenimi周二公布的调查结果中,600名高级业务和IT主管中有58%表示他们计划在未来三年投资Hadoop等大数据系统。

Apache Hadoop本身就是一个开源项目,所以许多新的供应商主导的增强功能都致力于使软件更易于使用和部署,并使其与其他软件更加兼容。

本周针对所有三种主要Hadoop发行版都已更新 - Cloudera,Hortonworks和MapR - 以及Teradata和Pentaho等公司的相关数据分析技术。

MapR Technologies发布了Hadoop Distribution的第二个主要版本。此版本有两个版本,基本M3版本支持使用网络文件系统(NFS)以实现轻松部署,而M5版本则配置为实现高可用性(HA)。

Hadoop发行版本2是首先要支持多租户,这可以提供许多好处。管理软件现在可以支持多个群集,为管理员提供了对不同任务进行逻辑分区的功能。 Norris说:“当你开始扩大使用数量时,能够从逻辑上区分这些用途成为一项重大的需求。”Norris说。“多租户还可以让管理员指定特定作业可以在哪些节点上运行。他说:“某些数据会受到某些硬件的影响,比如固态硬盘。”该软件还将每个节点的日志数据编译成一个节点,这可能有助于通过定制分析工具进行故障排除或现在由软件提供的一组直方图和条形图

“如果一项工作需要更长的时间才能运行,管理员想知道为什么,”Norris说,“MapR还宣布其Hadoop发行版本是现在可通过Amazon Web Service的Elastic MapReduce Service(EMR)获得。诺里斯说,MapR是亚马逊使用的第一个外部发行版。企业可以在亚马逊上使用该公司的M5服务作为在云上备份内部Hadoop的一种方式,或者将内部作业转移到亚马逊以获得额外的处理能力。

Cloudera和Hortonworks本周也发布了新的Hadoop软件包。 Cloudera已经扩展了它的包来处理除了现在使用的默认MapReduce以外的数据处理算法。对于第一个完整的商业版本,Hortonworks强调了一套完整的生命周期管理工具以及一个元数据目录,它应该能够减轻与其他数据分析软件的互操作性。

有兴趣在虚拟环境中运行Hadoop的人现在有一些来自VMware的帮助。 VMware产品管理高级总监Fausto Ibarra表示,该公司已经发布了名为Serengeti的开放源代码软件,允许管理员将Hadoop节点部署在虚拟容器中,然后通过VMware的vCenter进行管理。他说,使用Serengeti无需手工配置每个节点的网络设置。

还更新其Hadoop包是DataStax,它将Hadoop与Cassandra非关系数据库配对。该公司声称,DataStax Enterprise(DSE)2.1的运行速度比以前的版本快20%。这种速度对于混合时间敏感型交易工作和分析的系统很重要。该软件还包括跨多个数据中心跨越Hadoop集群的功能

新的软件包也可以将Hadoop与其他类型的数据分析平台相结合。

到年底,数据仓库供应商Teradata将为其Aster Database发布一种称为SQL-H的新查询语言。 SQL-H将允许其Aster MapReduce设备的用户查询存储在Hadoop分布式文件系统(HDFS)中的数据,而无需直接与MapReduce或HDFS协同工作。该软件使用在开源Apache HCatalog项目中编译的元数据

商业智能软件供应商Pentaho宣布其分析软件已通过戴尔认证,可在公司的戴尔Apache Hadoop解决方案上运行,安装了Hadoop和戴尔的Crowbar管理软件。用户可以通过Pentaho的GUI(图形用户界面)来学习Hadoop数据。

Joab Jackson涵盖了

IDG新闻服务

的企业软件和通用技术突发新闻。在@Joab_Jackson的Twitter上关注Joab。 Joab的电子邮件地址是[email protected]

热门类别

Top