1/21/2016,“2016年将成为真正意义上的大数据元年。”阿里云大数据事业部资深总监徐常亮表示,“这是一个人人都在谈论大数据的年代,但极少人正在使用,2016年情况将发生改变。”
徐常亮讲到“大数据元年”是在阿里云2016云栖大会上海峰会上。1月20日,阿里云在2016云栖大会上海峰会上宣布开放阿里巴巴十年的大数据能力,发布全球首个一站式大数据平台“数加”。这一平台承载了阿里云“普惠大数据”的理想,即让全球任何一个企业、个人都能用上大数据。首批亮相的将有20款产品。
在输出自身大数据能力的同时,“数加”还向有数据开发能力的团队开放。这些团队可入驻“数加”,借助数加上的工具为各行各业提供数据服务。“这就像在淘宝开店一样,只是他们售卖的是专业能力。”徐常亮表示,阿里云计划用3年时间吸引1000家合作伙伴入驻,共同分享1万亿的大数据蛋糕。
阿里云数加平台
输出阿里巴巴沉淀10年的数据能力
据IDC出版的数字世界研究报告显示,2013年人类产生、复制和消费的数据量达到4.4ZB。而到2020年,数据量将增长10倍,达到44ZB。大数据已经成为当下人类最宝贵的财富。但全球真正享受大数据红利的公司不足千分之一,人类已挖掘的数据财富更是不到百万分之一。
在过去的5年里,全球大数据计算性能实现了超过20倍的增长,100TB数据排序时间由8274秒缩短到377秒。“束缚大数据的技术瓶颈已经被完全打破,数据将从企业的成本中心转变为价值中心,2016年我们将迎来大数据应用的全面落地。”徐常亮说,通过数加平台,我们希望所有企业都能像阿里巴巴一样更高效的使用大数据。
借助大数据技术,阿里巴巴取得了巨大的商业成功。通过对电子商务平台上的客户行为进行分析,诞生了蚂蚁小贷、花呗、借呗;菜鸟网络通过电子面单、物流云、菜鸟天地等数据产品,为快递行业的升级提供技术方法。
在这些创新中,“数加”承载了阿里巴巴EB级别的数据加工计算,经历了上万名工程师的实战检验。大麦网是阿里云“数加”平台的尝鲜者。通过采用“数加”的推荐引擎,大麦网的研发成本从900人天降低到了30人天,效率提升了30倍。
首批集中发布20款产品
此次,“数加”平台首批集中发布了20款产品,覆盖数据采集、计算引擎、数据加工、数据分析、机器学习、数据应用等数据生产全链条。“这些技术至少领先业界三年”,徐常亮说。
大数据计算服务(MaxCompute)、分析型数据库(Analytic DB)、流计算(StreamCompute)共同组成了底层强大的计算引擎,速度更快,成本更低。经测算,自建Hadoop集群的成本是数加的1.5倍,国外计算厂商AWS 的EMR成本更是数加的5倍。
计算引擎之上,“数加”提供了最丰富的云端数据开发套件,包括数据集成、数据开发、调度系统、数据管理、运维视屏、数据质量、任务监控。
在数据分析方面,通过移动数据分析(Mobile Analytics)产品,开发者可快速搭建日志采集、分析系统;通过数加BI报表产品,3分钟即可完成海量数据的分析报告;通过数据可视化产品DataV,一星期就能做出双11同款大屏。
同时,基于DataV,数加还发布了面向政府的行业应用产品“郡县图治”。通过这款产品,县长可以在一个屏幕下统览全县各项经济民生数据,为政府决策提供辅助。
对于时下大热的机器学习,数加更是提供了全面支持。“数加”发布的机器学习工具,可基于海量数据实现对用户行为、行业走势、天气、交通等的预测。图形化编程让用户无需编码、只需用鼠标拖拽标准化组件即可完成开发。产品还集成了阿里巴巴核心算法库,包括特征工程、大规模机器学习、深度学习等。
为了能够帮助开发者更快捷在应用中集成大数据功能,“数加”同时提供了规则引擎、推荐引擎、文字识别、智能语音交互等数据应用产品。
此外,行业的健康发展,自律很重要。徐常亮强调,数据是客户的宝贵资产,任何云计算平台都不能移作它用。阿里云将严格遵守去年7月份发起的《数据保护倡议书》,也希望全行业能够自律,共同迎接大数据产业的爆发。