多语言展示
当前在线:1296今日阅读:19今日分享:20

用于玩转大数据分析的最好工具

无论是在构建大数据的应用程序,还是仅仅只想从开发的移动应用中得到一点点启发,程序员现在比以往任何时候都需要数据分析工具。这绝对是一个好东西,从程序员的需求和技能出发,构建了一些数据分析工具。GigaOm的记者Derrick Harris列举了几个工具,CSDN进行了编译整理:
方法/步骤
1

BitDeli:BitDeli是今年11月份在旧金山成。它能衡量出任何使用Python脚本的应用程序的指标,联合创始人兼CEO Ville Tuulos告诉Derrick,脚本可以很简单,也可以很复杂——甚至未来可以延伸到机器学习。不过和“重量级选手”Hadoop相比,BitDeli自认为是一个轻量级的Ruby。

2

Continuuity:Continuuity是前Yahoo首席云架构师Todd Papaioannou和Facebook HBase的工程师Jonathan Gray的心血结晶,Continuuity都能像Yahoo、Facebook一样运营。该团队创建了一个大数据工具,它可以简化Hadoop以及HBase集群的复杂性,而且包含一系列开发套件,旨在帮助程序员开发大数据应用,该平台采用Hadoop技术,允许开发者在防火墙内外对大数据应用软件进行部署、扩展和管理。公司联合创始人兼首席执行官Todd Papaioannou表示,作为一家初创企业,Continuuity正在试图掀起下一波大数据应用软件的浪潮,公司所提供的工具能够大大提高处于开发状态的软件不同部分与阶段的扩展性。

3

Flurry:Flurry是移动应用统计分析领域里的标杆,正因为在行业内独特的优势,它每年的营收高达一亿美元。Flurry拥有非常全面的功能,不仅仅只是帮助开发者构建移动应用,它还帮助开发者分析所有的数据,进而产生更大的效益。其实数的广告网络,他们通过数据分析可以帮助开发者推送准确的广告到需要的用户面前。不过单纯从移动应用的数据统计功能来看,Flurry绝对是处于领先地位。其功能模块设置合理,分析维度全面,分析流程也易于理解。

4

Infochimps:尽管Infochimps非常努力的想让自己成为一家企业级的IT公司,但是显然还有一定的差距。同名的平台的确为开发者们带来了真正的价值。配置和管理大数据环境的工具称之为Wukong——这是一个基于Ruby的命令行界面,开发者可以编写大数据应用调用Data Delivery Service或Hadoop,使用的语法也非常简单,开发者无需学习MapReduce或者Flume。Infochimps的首席战略官Dhruv Bansal介绍:常见的情况是,客户用Infochimps的平台开发程序处理分析数据,只有在需要批量分析海量数据时才会用到Hadoop。基于这种经验,他们的新版本关注的重点是对数据的实时处理功能(而不是Hadoop)。

5

Keen IO:Keen IO赢得了Structure 2012 Launchpad的比赛,该赛事致力于为移动开发者提供强大的分析工具。开发者仅需要把一行代码插入到指定的追踪位置,该公司同时表示,开发者可以追踪他们应用程序中的任意代码。如果是这样的话,只需要再创建一个显示面板或者查询进程就可以把所有的数据转化成有用的信息。

6

Kontagent:Kontagent的基本业务主要是靠对移动、社交以及Web应用的分析平台,不过这一切都是建立在Hadoop基础设施之上。在今年的早些时候,该公司扩展了一项新业务:使用Hive打造了一个数据挖掘服务,并且提供了一个类似SQL的接口进行查询存储在Hadoop上的数据,取代了追踪预定义变量,他们可以对选择项进行更深入的挖掘。

7

Mortar Data:Mortar Data宣称“Hadoop,没有复杂性”。该公司提供了自己的云服务——整合了Pig和Python进而取代了MapReduce——已经有一年的时间了。在11月份,它发布了一个开源的Mortar框架旨在构建一个社区,这样不仅有利于成员之间共享数据集,也让构建Hadoop管道变得更容易。Mortar Data在AWS之上运行,目前支持来自Amazon S3以及MongoDB(托管在Amazon EC2之上)的数据源。

8

Precog:Precog提供了一项服务Labcoat,它是一个交互式的开发环境,可以用来编写基于开源的Quirrel(由Precog实现的统计查询语言,Quirrel很多方面都与R编程语言比较相似)查询语言的分析工作,该集成开发环境包含了一个语言学习教程以及一些复杂的函数。Precog的COO告诉Derrick,即使没有任何编程经验的人也能在几个小时内学会操作。Precog可http://m.fulinmenst.com/m/contact.aspx?FId=n7:7:7以从各种数据源抓取输入数据,其中包括SQL数据库、Amazon S3、Hadoop、MongoDB、客户端Web应用和后端服务器等。RESTful API支持开发者从外部源(如Twitter或Facebook)、CSV文件或移动设备抓取数据。抓取的数据保存到一个叫做PrecogDB的定制数据库中,而且还可以使用人群统计、态度、位置和其他信息,使数据更为丰富。在一次采访中,Precog的CEO和创始人John A.De Goes解释到:“系统的架构与数据库分析有些相似,比如都包括面向列的存储。但是其区别在于:前者支持完全异构的、非规范化的数据,通过对Quirrel的支持,相对于使用RDBMS进行分析,使用这种类似于“面向大数据的R”的语言,能够很方便地执行很多更为高级的计算。”

推荐信息