谷歌大数据工具衍生新开源平台Drill

作者: 来源:未知 2012-08-22 23:53:08 阅读 我要评论 直达商品

  没错,Hadoop已经被作为一种数据分析工具来被人们使用,这种使用应归功于Hive和Pig等姊妹项目;但Hadoop是一个“批处理”工具,这意味着数据请求需要相当长的一段时间才能完成。而与此相比,Drill的设计目的则是效法Dremel,对海量数据进行几乎实时的分析。据谷歌基础设施专家乌尔斯·霍泽尔称,Dremel能在大约三秒钟时间里处理1拍字节的数据。

  “你拥有一种类似于SQL的语言,能让制定专设的查询请求变得非常简单——而且,你不需要做任何编程工作,只需将查询请求输入到命令行里即可。”霍泽尔在上个月向我们说到,他所指的SQL是Structured Query Language,这是传统数据库用来处理数量少得多的数据的一种语言。

  希兰表示,Drill的设计目的是为Hadoop提供补充,而并非取代后者。他指出,就转换一个庞大的数据集而言,Hadoop是一种最好用的工具。举例来说,你可以通过海量的网页集合来建设一个搜索索引;但Drill则允许你从同一个数据集中非常迅速地抽取一小部分信息。

  “能对一拍字节的数据进行运算,将其变成新的数据。”希兰说道。“通过Dremel或是Drill,你能对一拍字节的数据进行分析,然后得出一拍字节或少于一拍字节的数据。”他表示,MapR的一些用户已在将该公司专有版本的Hadoop平台与谷歌在线服务BigQuery配合使用,后一种服务能让谷歌以外的公司使用Dremel。

  希兰称,Drill这个名称是由一名谷歌员工提议的,MapR曾与这名员工合作开发BigQuer。MapR的联合创始人斯莱瓦斯也曾在谷歌供职,当时他曾是谷歌搜索基础设施建设团队的成员之一。就谷歌官方而言,这家公司并未正式参与Drill项目。通过这些庞大的基础设施平台,谷歌倾向于去做自己的事情。

  MapR也一直都以做自己的事情而著称,但这一次则并非如此。


  推荐阅读

  做个网站卖点广告就算创业了?

做个小网站,卖点显示广告,就算创业?图样,图森破(too young,too simple) 2007年,我创办了一个免费的Blogspot网站,专攻游戏领域。不到6个月,我通过谷歌Adsense和其他一些渠道就能每月赚3800美元。 一年后,网站>>>详细阅读


本文标题:谷歌大数据工具衍生新开源平台Drill

地址:http://www.lgo100.com/a/22/20120822/82295.html

乐购科技部分新闻及文章转载自互联网,供读者交流和学习,若有涉及作者版权等问题请及时与我们联系,以便更正、删除或按规定办理。感谢所有提供资讯的网站,欢迎各类媒体与乐购科技进行文章共享合作。

网友点评
我的评论: 人参与评论
验证码: 匿名回答
网友评论(点击查看更多条评论)
友情提示: 登录后发表评论,可以直接从评论中的用户名进入您的个人空间,让更多网友认识您。
自媒体专栏

评论

热度