没错,Hadoop已经被作为一种数据分析工具来被人们使用,这种使用应归功于Hive和Pig等姊妹项目;但Hadoop是一个“批处理”工具,这意味着数据请求需要相当长的一段时间才能完成。而与此相比,Drill的设计目的则是效法Dremel,对海量数据进行几乎实时的分析。据谷歌基础设施专家乌尔斯·霍泽尔称,Dremel能在大约三秒钟时间里处理1拍字节的数据。
“你拥有一种类似于SQL的语言,能让制定专设的查询请求变得非常简单——而且,你不需要做任何编程工作,只需将查询请求输入到命令行里即可。”霍泽尔在上个月向我们说到,他所指的SQL是Structured Query Language,这是传统数据库用来处理数量少得多的数据的一种语言。
希兰表示,Drill的设计目的是为Hadoop提供补充,而并非取代后者。他指出,就转换一个庞大的数据集而言,Hadoop是一种最好用的工具。举例来说,你可以通过海量的网页集合来建设一个搜索索引;但Drill则允许你从同一个数据集中非常迅速地抽取一小部分信息。
“能对一拍字节的数据进行运算,将其变成新的数据。”希兰说道。“通过Dremel或是Drill,你能对一拍字节的数据进行分析,然后得出一拍字节或少于一拍字节的数据。”他表示,MapR的一些用户已在将该公司专有版本的Hadoop平台与谷歌在线服务BigQuery配合使用,后一种服务能让谷歌以外的公司使用Dremel。
希兰称,Drill这个名称是由一名谷歌员工提议的,MapR曾与这名员工合作开发BigQuer。MapR的联合创始人斯莱瓦斯也曾在谷歌供职,当时他曾是谷歌搜索基础设施建设团队的成员之一。就谷歌官方而言,这家公司并未正式参与Drill项目。通过这些庞大的基础设施平台,谷歌倾向于去做自己的事情。
MapR也一直都以做自己的事情而著称,但这一次则并非如此。
推荐阅读
做个小网站,卖点显示广告,就算创业?图样,图森破(too young,too simple) 2007年,我创办了一个免费的Blogspot网站,专攻游戏领域。不到6个月,我通过谷歌Adsense和其他一些渠道就能每月赚3800美元。 一年后,网站>>>详细阅读
本文标题:谷歌大数据工具衍生新开源平台Drill
地址:http://www.lgo100.com/a/22/20120822/82295.html

网友点评
精彩导读
科技快报
品牌展示