Facebook解决Hadoop Achilles'Heel

Facebook工程师Andrew Ryan在本周于加利福尼亚州圣何塞举行的Hadoop峰会上讨论了变通方法。他还在Facebook上发布了他的演讲摘要。

Facebook拥有全球最大的Hadoop分布式文件系统（HDFS）数据集，超过100 PB，分布在数据的100多个不同群集上中心

Hadoop在大型数据分析任务中越来越受欢迎，而Hadoop在工程方面称为单点故障。尽管Hadoop部署可能跨越数百或数千个服务器，但整个操作依赖于单个服务器（称为namenode）来协调数据节点之间的所有流量。如果这个单一的名称节点停止运行，那么数据节点将无法通信，实际上，整个系统将停止运作。

Facebook已经估计，解决这个问题可以将数据仓库的停机时间缩短近一半。

为了解决这个问题，Facebook创建了名为Avatarnode的软件，如果主服务器出于某种原因失败，该软件可以切换到备份名称节点。在此设置中，每个数据节点都会定期向主名称节点和备份名称节点发送更新。如果主名称节点停止运行，则备份名称节点将接管操作。这个以James Cameron电影“Avatar”命名的软件依赖于Hadoop Zookeeper配置管理工具。

该公司提供Avatarnode作为开源软件，希望Hadoop管理员能够从中受益。 Facebook在2010年发布了这款软件，并且已经在该公司生产任务。

“Avatarnode目前正在Facebook内部运行我们要求最高的生产工作负载，并将继续大幅改进HDFS的可靠性和管理。集群，“瑞恩写道。 “展望未来，我们正在努力进一步改进Avatarnode，并将其与一个通用的高可用性框架相集成，从而实现无人值守，自动化和安全的故障转移。”

Facebook并不孤单试图解决Hadoop的这个问题。 MapR和Cloudera的Hadoop发行版也具有多余的namenode功能。

Joab Jackson涵盖了

IDG新闻服务

的企业软件和通用技术突发新闻。在@Joab_Jackson的Twitter上关注Joab。 Joab的电子邮件地址是[email protected]