入门级大数据分析:Google BigQuery
大数据项目挺吓人的,尤其是如果包含了设置和管理Hadoop集群。如果你更习惯于SQL,而不是MapReduce,但是发现关系型数据库不符合分析需求,Google BigQuery值得一看。Google BigQuery提供了大数据分析入门级方法。
BigQuery减少了分析大型数据集面临的一些实现挑战。价格模型促进了统计分析技能的发掘,因此可以从数据样品中导出有用的信息,而不是针对全部数据集进行蛮力分析。
有时,要用大数据工作意味着处理速度的精确。比如,如果想要确定操作同一网站的两个不同的客户群组是否不同,应该分析网站上与所有这些客户活动相关每一个登录日志。或者,可以取出一部分客户子集样例,分析这些样例之间的不同。基础统计提供了工具,可以帮助理解这种类型分析的错误率,只要错误在可接受范围内,结果对于决策制定就是有效的。
在TOP功能中可以看到这种交换,通过grouping和sorting操作返回顶行发现。可能返回近似的结果,但是这个函数通常比使用“group by”、“order by”和“"limit”的组合语句更快速。
Google BigQuery操作特性
BigQuery旨在分析数十亿行近似的数据,使用类SQL语法。它并不是完全符合SQL数据库的替代,并不适用于交易处理应用。BigQuery支持分析交互风格。使用SELECT命令构建查询,对于任何SQL开发者都应该很熟悉。
查询语言包括支持标准操作,比如joining、sorting和grouping,以及内嵌数据结构。正如我们所期望的大数据分析服务,可以支持统计函数,比如count、sum、average、variance和standard deviation(标准偏差)。Grouping函数和描述性统计的结合相当直接的在两个总体中比较平均数和变异数。
联接是标准化数据模型必要的操作,但是计算昂贵。BigQuery函数中的JOIN运算符类似于SQL join,但是在联接两个表时,其中一个表必须是8MB或者压缩到更小。这种类型的限制可以进行更加有效的联接操作,因为更小的表可以有效高速缓存,联接到更大的表。如果必须联接两个大型表,可以使用JOIN EACH操作,但是性能就会更慢。
可以使用简单的'浏览器界面同BigQuery进行交互操作。浏览器工具保留查询历史,提供了构造查询的工作局域。这是一种基本的工具;并不具备SQL开发者工具中全面的功能,比如MySQL Workbench和DBVisualizer。也可以通过命令行界面工作。
Google BigQuery的价格模型
通过访问Google的云资源,你可能想知道为什么你要为查询样例或者近似结果操心,毕竟,你可以在这个问题上投入更多的硬件不是吗?对,你可以,但是BigQuery基于你分析了多少数据来收费。
Google的价格模型基于存储和分析的数据总量。存储费用是每月0.12GB美元。交互查询为每处理1GB 0.035美元,包查询费用为0.02美元/GB。为了限制处理的数据量,可以限制分析的行数,包括你实际需要结果的列。BigQuery使用柱状数据存储,因此并不是所有的行数据,在一个或者更多列查询时回复。
数据存入BigQuery,使用负载工作,可以同Google Cloud Storage的数据工作,或者使用POST请求本地文件系统中的数据。文件可以格式化成为CSV或者JSON格式。压缩文件限制到1GB,但是非压缩文件能到1TB。负载工作包括多达一万个文件,但是所有文件的大小总和不能超过1TB。由于每天每个表可以拥有多达1000个负载工作,这些定额对于大多数项目不见得有实际的影响。
-
西游记作文[共3篇]
在日常学习、工作抑或是生活中,许多人都有过写作文的经历,对作文都不陌生吧,作文根据写作时限的不同可以分为限时作文和非限时作文。那要怎么写好作文呢?以下是小编为大家整理的西游记作文3篇,欢迎阅读与收藏。西游记作文篇1暑假期间,我闲来无事,就想看一看被誉为中国...
-
(精选)西游记作文6篇
在日常的学习、工作、生活中,说到作文,大家肯定都不陌生吧,通过作文可以把我们那些零零散散的思想,聚集在一块。为了让您在写作文时更加简单方便,以下是小编精心整理的西游记作文6篇,希望能够帮助到大家。西游记作文篇1西游记后传话说当年唐僧师徒因取经有功,都成了大...
-
[优秀]读西游记作文400字
在日常学习、工作抑或是生活中,大家都接触过作文吧,根据写作命题的特点,作文可以分为命题作文和非命题作文。如何写一篇有思想、有文采的作文呢?以下是小编为大家收集的读西游记作文400字5篇,欢迎阅读,希望大家能够喜欢。读西游记作文400字篇1看完《西游记》,我不禁感...
-
西游记续写作文优秀[6篇]
在平平淡淡的学习、工作、生活中,说到作文,大家肯定都不陌生吧,作文是从内部言语向外部言语的过渡,即从经过压缩的简要的、自己能明白的语言,向开展的、具有规范语法结构的、能为他人所理解的外部语言形式的转化。如何写一篇有思想、有文采的作文呢?下面是小编为大家...
相关文章
- 中学生暑假英语作文范文:My unforgettable summer holiday
- 英语四级考试备考作文Protecting the Intangible Cultural Heritages训练题
- 分享[哈佛校长的演讲]Goodbyeandgoodluc
- Google 人力资源管理部门 HR老大谈Google如何招聘
- 教材三年级起点第三册Module8 Sports Day Unit1 What are you going to do
- Microarray数据分析软件:GenomeMTV
- ic layout design engineer 工资待遇怎么样?
- unit6 How long have you been collecting shells的评课稿
- Unity3d GUI插件 NGUI与Daikon forge GUI的差别大纲
- 《尘与雪》加拿大摄影师Gregory Colbert