瞄准SEC的大数据项目，Sungard和Google在云上投注

这项工作是为了争夺美国证券交易委员会的一份合同，称为合并审计线索（CAT）。美国证券交易委员会的目标是建立一个能够提高金融市场透明度的系统，部分原因是计算机驱动的2010年“闪存崩溃”导致美国股价短暂下跌。

“CAT是一项巨大的事业， “Sungard咨询服务业务首席技术官Neil Palmer说。 “这是当今金融行业最大的大数据问题。”

[进一步阅读：最佳电视流媒体服务]

Palmer周五在纽约Google Next用户大会上描述了原型。 Sungard是财务软件和服务的提供商，是该项工作的六位入围者之一，并与Google合作开发技术基础设施。

云计算的灵活性使Sungard能够从事这样一项雄心勃勃的工作，Palmer告诉他在主题演讲之后的一群记者

在内部构建系统时，“有太多的未知数”，他说，指的是建立一个内部部署系统的强烈硬件和操作需求，执行这项工作

美国证券交易委员会估计，该系统的建设成本将从3.5亿美元到10亿美元不等。

一旦运营，CAT将产生大量的数据，Palmer说。该系统必须记录每个参与公共美国市场的金融公司的每个报价和每笔交易。这些公司必须每天提交他们的数据，并且系统必须保存这些数据六年。

系统每天将采集约50TB的数据，包括大约100亿次事件。 Sungard估计，在六年的时间内，记录将被积极保存的时间将大约为30PB。

所有这些数据必须经过验证，编入索引并在四小时内发布。

工具也必须可用查询所有这些数据。 Palmer说：“没有意义存储这么多的数据，也不能从中产生任何可操作的信息。”除SEC之外，云可访问的金融数据对金融公司本身也具有巨大的价值， Palmer指出。所有金融交易信息的综合集中副本将减少这些公司将数据存储在内部的需求。他们可以测试历史市场数据的算法，以了解他们将如何预测即将发生的变化。

Sungard使用各种Google云平台组件组装原型基础架构。

原型使用Google云端存储数据和Google BigTable来构建信息。 Google Dataflow服务可以验证数据。 Google的Big Query可用于发布数据，并为用户提供直接或通过第三方软件（如Microsoft Excel或各种商业智能（BI）软件包）进行分析的方式。

在第一轮测试中，原型能够每小时处理100亿次事件，或每秒处理大约3千兆字节的数据。

最重要的是，原型是在6周内完成的

“我们无法完成即使拥有类似的技术，如果我们不得不站出来，我们自己的基础设施，“帕尔默说，”

团队仍然有工作要做，帕尔默说。系统必须能够以当前原型速度的四倍摄取数据。

如果Sungard赢得合同，或者如果另一个基于云计算方法的团队获胜，这将是朝着接受美国金融行业云计算模式迈出的重要一步，而迄今为止，该计划一直不愿接受这种方法。

Sungard的证词与主题演讲的整体主题保持一致，这就是云计算如何为企业提供资源以打入他们无法访问的新市场。

Google副总裁Carl Schachter的云平台，他表示像优步和AirBnB这样的公司已经使用云计算来破坏传统市场。 “以前认为已建立的市场现在是可以重新设计的，”他说。“CAT合同的其他决赛选手是Epam系统; Thesys;金融业监管局（FINRA）;由AxiomSL和Computer Sciences Corporation组成的团队;以及Hewlett Packard和Booz Allen等公司联盟

SEC在预计授予合同时没有提供日期