华为正式宣布开源Astro项目

7/23/2015,华为今日在O'Reilly Open Source Convention (OSCON) 上宣布Spark SQL on HBase package正式开源。Spark SQL on HBase package项目又名 Astro，端到端整合了Spark, Spark SQL和HBase的能力，有助于推动帮助Spark进入NoSQL的广泛客户群，并提供强大的在线查询和分析以及在垂直企业大规模数据处理能力。

　　华为已经把Spark嵌入到其大数据解决方案 —— FusionInsight，在世界上最大的银行中国工商银行以及最大的通信服务提供商中国移动得到了应用。华为还将Spark作为云服务，计划在今年晚些时候随华为公有云发布。

    Astro的新特性使得数据修改，智能扫描系统具有强大的可操作性，类似于自定义过滤器和协处理器下推式，并让更多的传统RDBS能力可用，其查询优化算法适用于一般组织的数据集，并可以通过分布式SQL引擎进行查询。为了充分利用Spark最新的功能，包括Dataframe和外部数据源API ，华为全球团队一直持续更新项目代码并符合最新发布的Spark1.4版本。此项目吸引了众多社区贡献者参与到开发和验证中来。此外，华为团队还对Spark SQL，机器学习和Spark R贡献了很多新特性，丰富了Spark的标准库。

　　“从作为OPNFV创始成员推动公司的核心业务网络的开放，到云计算和物联网等新业务，开源已经成为华为公司层面的战略，比如我们将世界上最轻巧的物联网操作系统LiteOS开源，在标准化和简化基础设施的同时，还可以提升物联网的可连接能力。”华为中软总裁王成录说到。

　　王成录表示：“Spark凭借其在数据处理和分析的卓越架构成为Apache社区最有影响力的项目，一直是华为公司重点和首要的关注。我们相信以Spark作为我们大数据解决方案的核心，一定会给客户带来显著的优势，推动生态圈的技术创新，同时最大程度优化IT投资，成就客户。”

　　华为已在世界排名前5的移动运营商中国联通运营子公司部署Spark，用于解决关键业务领域问题。该系统支持多个数据源条件下的近实时查询和分析，允许分析员和数据科学家基于大规模数据更简单有效的建立模型，对于某些特定场景，建模周期甚至能够从几个月缩减至几周。另外，该系统基于Spark也成功的实现了用户推荐和离网预测。华为和联通正在携手努力，把Spark应用延伸到新的业务领域。

　　而最近在南美最大的电信运营商之一的的成功商用，证明了相比传统的BI系统和数据管理平台，Spark和华为大数据解决方案能够带来更多的商业价值。运营商可以更迅速及时地获取最新的、集中的客户洞察，在试点的业务中实现更高的营销转化率，并能采用敏捷和快速的方式开发新的商业案例。数据分析人员不再需要进行MapReduce复杂编码，机器学习的规模以及性能得到了极大的改善。

　　“我们很高兴华为成为Spark的主要贡献者。作为在新兴市场和电信行业的领导者,华为一直在努力扩大Spark的影响力。” Databricks 的联合创始人以及Spark的发布经理Patrick Wendell 这样评价华为，“ 华为从Spark项目初期就一直是坚定的贡献者。我们期望华为继续发展Spark,并推动其在全球市场的垂直应用。”

　　Spark提供了一个强大的编程框架，丰富的API和库，充满活力的生态系统，以及无与伦比技术创新的步伐，因而在大数据领域飞速上升。

　　“华为的全球团队在基于业务驱动的情况下，把新的算法加入到MLlib库中，同时在与Databricks和社区共同探索在矢量化处理以及SQL核心模块性能优化等工作的合作的可能性。”华为美国研发中心大数据带头人Bing Xiao说到， “我们已经看到社区对Astro的兴趣，通过与其他厂商合作的方式去增强和推广。此外，新兴客户对Spark SQL on OLAP cube有明显的诉求，而我们正在评估社区的接受程度，以便于开源。华为坚定地致力于Spark，并在广泛参与社区和行业建设。”