大数据摘要：我们需要多少Hadoops？

向现场最新的分布式数据分析引擎 Flink 致意。

本周， Apache Software Foundation 宣布Apache Flink作为其最新的顶级项目（TLP）。 Apache还为Hadoop，Cassandra，Lucene和许多广泛使用的开源数据处理工具提供了一个基地，因此Flink加入该团队对于其技术印记来说非常合适。

如果您之前没有听说过Flink，请不要担心我们也对此感到惊讶。像另一个新兴的数据处理平台Spark一样，Flink可以接收批量数据和流数据。 Apache Flink于2009年在柏林技术大学开始研究项目。

为什么有人会选择Flink over Hadoop？该软件的创建者说，性能和易用性

Flink引擎利用数据流和内存中的处理来提高处理速度，该项目的贡献者Kostas Tzoumas说。 Tzoumas是数据Artisans的共同创始人和首席执行官，这是一家将Flink商业化的分拆公司。它可以作为希望获得更快性能的用户的理想Hadoop替代品。

Tzoumas说Flink提供的另一个优势是易用性。根据Tzoumas的说法，特别是对于大型项目，API（应用程序编程接口）比Hadoop的MapReduce编程更易于使用。为Java和Scala提供API

音乐流媒体服务Spotify和旅行软件提供商Amadeus都在测试该软件，并已在科研社交网络ResearchGate上投入生产。

尽管如此，Hadoop和Spark Flink可能在获得用户方面面临着一场艰苦的战斗。“ <99 ”IT项目分析师咨询公司Monash Research负责人Curt Monash在一封电子邮件中写道：“依靠智能优化器的项目在现实生活中很少能够很好地工作。他指出其他项目依赖于性能增强的调整，例如IBM Learning Optimizer for DB2，以及惠普的NeoView数据仓库设备。“

其他研究人员在

麻省理工学院 （麻省理工学院）正在研究如何使用数据来帮助更好地规划日常任务，例如安排航班或帮助绘图软件在拥挤的城市找到最佳路线。 本月晚些时候，麻省理工学院的研究人员将在

人工智能促进协会（AAAI）年会可以通过一系列约束来绘制最佳路线 与目前的软件不同，它认为自动化的航空公司预订系统 - 这些算法可以评估风险。对于希望在多条公交车上穿过城市的人来说，它可以衡量这些公交车晚点的频率，并在他们有意义的地方建议替代方案。这项工作植根于图论中，重点关注跨多个实体的联系 在谈到图表时，数据库公司

Neo Technology

本周得到了一些新闻，吸引了2000万美元的资金来帮助获得 Neo4j 图形数据库进入企业市场。一旦主要是学术问题，图形数据库最终被用于生产环境。据GigaOm报道，Neo4J被沃尔玛，eBay，CenturyLink，思科和中型发布平台所使用[ ]。尽管我们认为计算机是数字计算机，但研究人员正在越来越多地研究如何使用最滑的数据，人类情感 本周的“纽约客”杂志上有一篇关于一些开发技术的初创公司的文章，可以帮助电脑读出人类的情感。这是一个惊人的强大的领域。

作者Raffi Khatchadourian追踪一家这样的公司的历史，

Affectiva

。它的软件扫描一张脸，识别主要特征（眼睛，鼻子，眉毛），并记录随着时间​​的推移脸部（唇部）的可移动部分如何变化。 Affectiva已经建立了一个巨大的面部表情数据库，其软件可以用它来识别用户的情绪状态 - 无论是快乐，悲伤，困惑还是其他几十种情绪状态。 自然地，广告公司和电视网络对能够更好地阅读人类的任何技术感兴趣。例如，Verizon曾有一个媒体控制台的计划，可以跟踪房间中每个人的活动。“所有这些数据将形成控制台对电视广告的选择，”Khatchadourian写道。 “婚姻的争斗可能会促使一位顾问做广告。压力的迹象可能会促使广告香薰蜡烛。乐观的嗡嗡声可能会促使广告被配置为针对快乐的人。然后，系统可以将广告广播到房间内的每台设备上。“那些担心如何使用该软件可以让营销人员以更加侵扰性的方式诋毁消费者的做法至少可以让人认为它也可以用于较少的雇佣军方法。 Affectiva首席执行官Rana el Kaliouby是一位她称之为“情感计算”的学生，最初是为了使用该软件作为“情绪助听器”来帮助自闭症儿童更好地与世界沟通的可能性。