多语言展示
当前在线:555今日阅读:167今日分享:27

大数据技术学习路线指南:[5]大数据服务比较

面对如此复杂的大数据架构,各大软硬件服务商都结合自身的特色,参考Hadoop架构,独立研发看家本领,那就一起来领教一下吧。博取大家之所长,对我们日后对架构的设计思路会有很大的启发!
工具/原料

对Hadoop的了解(阅读本系列前一篇)

云端的大数据
1

“云”其实指的是多台虚拟服务器的组合,云为不同的使用者提供一个计算的平台。这就是IaaS(基础设置即服务),亚马逊的Amazon EC2和Amazon S3就是这样一个服务。

2

IaaS带给你的是大数据计算的资源,而PaaS将为您提供更为高级的大数据服务。所谓平台即服务(PaaS)指的是提供各种开发解决方案和系统环境。按需使用的PaaS又称为中间件,极大的节省了部署环境的时间和成本。

3

目前主要的大数据服务提供商是Amazon/Microsoft/Google,这些大型的服务商提供IaaS和PaaS的混合服务,以满足不同业务要求。其中Google专注于大数据应用的研究上,Amazon发力提供更多规模的大数据服务平台。

大数据服务对比
1

不同大数据服务提供商有不同的产品线,因此不同提供商的产品适用场景也会有所不同。我们重点分析三大服务提供商的大数据服务架构。

2

亚马逊       拥有大量关于大数据处理的经验。初期大数据使用者大部分都使用亚马逊打造的Hadoop架构服务(EC2)。       经过厚重沉淀之后,Amazon在2009年提供开发EMR大数据服务。EMR服务提供了多种大数据处理分析方案,比如简单查询服务,关联数据分析服务。EMR服务可以使用Hadoop语言继续开发,并且访问EMR服务的步骤也相当简单并且安全。      亚马逊使用托管DynamoDB代替HBase,作为易于扩展的NoSQL数据库。

3

谷歌     谷歌云服务平台出类拔萃,它所提供的并非虚拟化解决方案,而是提供由API定义的服务和应用程序。程序员无需顾虑硬件,甚至不需要关心后台的运作行为。      当然这从某种程度也限制了程序员的工作,不过如果谷歌的服务适合业务,那么使用起来将是全世界最高效快捷的大数据架构服务。      谷歌的AppEngine作为云平台管理服务,提供了基于MapReduce的大数据并行计算服务。所有的这些服务都可以通过REST风格的API访问。      BigQuery作为分析的数据库,提供了类SQL的查询语法。它的性能要比Apache Hive来得快!

4

微软       微软在大数据中属于后来居上者。通过Microsoft Azure大数据服务平台,微软融合自身海量成熟的软件,例如SQL Server,提供了多种IaaS服务。       微软的服务面向更多的程序员,使得可以使用不同语言来对接大数据平台Azure。Azure旨在提供一个生态的大数据分析开发环境,使得普通研究员也可以施展自己对大数据的理解!

5

汇总了Amazon/Microsoft/Google的产品服务,这些产品都已经很稳定地在提供服务。不同的业务对服务架构有不同的要求,收藏这份对比图,Excel文档下载地址:http://pan.baidu.com/s/1qWBJnYW

注意事项

请完整阅读大数据技术学习路线指南系列!

推荐信息