受到推崇的, 2024

编辑的选择

Hadoop,Spark和Kafka已经对大数据世界,现在又有一个Apache项目可以进一步塑造景观。Hadoop,Spark和Kafka已经对大数据世界产生了决定性影响,现在又有另一个Apache这个项目有望进一步塑造这个领域:Apache Arrow apache软件基金会周三推出了Arrow作为顶级项目,旨在为跨不同系统的柱状内存分析提供高性能数据层。该基金会表示,基于相关Apache Drill项目的代码,Apache Arrow可带来诸多益处,包括对分析工作负载的性能提升超过100倍。

KENLU新竹戰區

KENLU新竹戰區
Anonim

“这个新项目的副总裁Jacques Nadeau以及Apache Drill说:”开源社区已经与Apache Arrow联手。 “我们预计未来几年内全球大部分数据将通过Arrow处理。”

在许多工作负载中,70%到80%的CPU周期用于序列化和反序列化数据。该基金会表示,通过使数据能够在系统之间共享,并且无需序列化,反序列化或存储器副本处理,Arrow可以缓解这种负担。“业界标准的列内存数据层使用户能够将多个系统,应用程序和编程语言在单一工作负载中没有通常的开销“,Apache孵化器副总裁兼Apache Arrow项目管理委员会成员Ted Dunning说道,除了传统的关系数据之外,Arrow还支持具有动态模式的复杂数据。例如,它可以处理常用于物联网(IoT)工作负载,现代应用程序和日志文件的JSON数据。实现也可用于多种编程语言,以提高互操作性。

Apache Apache软件可在Apache许可证2.0版本下获得,并由项目的积极参与者自选团队进行监督。

Top