入門級大數據分析:Google BigQuery
大數據項目挺嚇人的,尤其是如果包含了設置和管理Hadoop集羣。如果你更習慣於SQL,而不是MapReduce,但是發現關係型數據庫不符合分析需求,Google BigQuery值得一看。Google BigQuery提供了大數據分析入門級方法。
BigQuery減少了分析大型數據集面臨的一些實現挑戰。價格模型促進了統計分析技能的發掘,因此可以從數據樣品中導出有用的信息,而不是針對全部數據集進行蠻力分析。
有時,要用大數據工作意味着處理速度的精確。比如,如果想要確定操作同一網站的兩個不同的客户羣組是否不同,應該分析網站上與所有這些客户活動相關每一個登錄日誌。或者,可以取出一部分客户子集樣例,分析這些樣例之間的不同。基礎統計提供了工具,可以幫助理解這種類型分析的錯誤率,只要錯誤在可接受範圍內,結果對於決策制定就是有效的。
在TOP功能中可以看到這種交換,通過grouping和sorting操作返回頂行發現。可能返回近似的結果,但是這個函數通常比使用“group by”、“order by”和“"limit”的組合語句更快速。
Google BigQuery操作特性
BigQuery旨在分析數十億行近似的數據,使用類SQL語法。它並不是完全符合SQL數據庫的替代,並不適用於交易處理應用。BigQuery支持分析交互風格。使用SELECT命令構建查詢,對於任何SQL開發者都應該很熟悉。
查詢語言包括支持標準操作,比如joining、sorting和grouping,以及內嵌數據結構。正如我們所期望的大數據分析服務,可以支持統計函數,比如count、sum、average、variance和standard deviation(標準偏差)。Grouping函數和描述性統計的結合相當直接的在兩個總體中比較平均數和變異數。
聯接是標準化數據模型必要的操作,但是計算昂貴。BigQuery函數中的JOIN運算符類似於SQL join,但是在聯接兩個表時,其中一個表必須是8MB或者壓縮到更小。這種類型的限制可以進行更加有效的聯接操作,因為更小的表可以有效高速緩存,聯接到更大的表。如果必須聯接兩個大型表,可以使用JOIN EACH操作,但是性能就會更慢。
可以使用簡單的'瀏覽器界面同BigQuery進行交互操作。瀏覽器工具保留查詢歷史,提供了構造查詢的工作局域。這是一種基本的工具;並不具備SQL開發者工具中全面的功能,比如MySQL Workbench和DBVisualizer。也可以通過命令行界面工作。
Google BigQuery的價格模型
通過訪問Google的雲資源,你可能想知道為什麼你要為查詢樣例或者近似結果操心,畢竟,你可以在這個問題上投入更多的硬件不是嗎?對,你可以,但是BigQuery基於你分析了多少數據來收費。
Google的價格模型基於存儲和分析的數據總量。存儲費用是每月0.12GB美元。交互查詢為每處理1GB 0.035美元,包查詢費用為0.02美元/GB。為了限制處理的數據量,可以限制分析的行數,包括你實際需要結果的列。BigQuery使用柱狀數據存儲,因此並不是所有的行數據,在一個或者更多列查詢時回覆。
數據存入BigQuery,使用負載工作,可以同Google Cloud Storage的數據工作,或者使用POST請求本地文件系統中的數據。文件可以格式化成為CSV或者JSON格式。壓縮文件限制到1GB,但是非壓縮文件能到1TB。負載工作包括多達一萬個文件,但是所有文件的大小總和不能超過1TB。由於每天每個表可以擁有多達1000個負載工作,這些定額對於大多數項目不見得有實際的影響。
相關文章
-
Google 人力資源管理部門 HR老大談Google如何招聘
.在社會形態上要長於與別人溝通。顛末一段時間的實際練習讓我認識更多的人。怎樣與別人溝通好,這門技能是需要長期的練習。之前工作的時機不多,使我與別人對話時不會應變,會使談話時有冷場,這是很尷尬的。在做營業的 -
Unity3d GUI插件 NGUI與Daikon forge GUI的差別大綱
本人新手,現在需要用GUI插件,網上也看了一些,大部分是集中在NGUI與Daikon forgeGUI上。但對於這兩款插件,還是沒有具體的認識。請求各位大神能分別介紹一下這兩款插件,他們在適配、性能、製作流程、學習成本以及其它一些功 -
《塵與雪》加拿大攝影師Gregory Colbert
也許你讀過很多攝影師的故事,也許你看過很多風光攝影作品,可像格雷戈裏那樣走遍世界,拍下了人、野生動物和大自然微妙關係的經典作品,其中充滿着詩意和靈氣的攝影師恐怕不多。當你看到這些圖片,會真正感受到什麼叫天地萬物 -
unit6 How long have you been collecting shells的評課稿
門診導醫崗位職責一1、導醫人員必須熟悉醫院的整體佈局、方位、各科專家、各種診療範圍和開診時間,醫院開展的各項檢查項目,做到正確導診。2、熱情接待每位患者,主動向就診患者介紹醫院和相關科室的情況,專家特色等。 -
教材三年級起點第三冊Module8 Sports Day Unit1 What are you going to do
一天即將完結,想必有很多難忘的瞬間吧,需要認真地為此寫一篇日記了。是不是無從下筆、沒有頭緒?下面是小編為大家收集的國小六年級寒假日記,供大家參考借鑑,希望可以幫助到有需要的朋友。國小六年級寒假日記1寒假中,令我最 -
ic layout design engineer 工資待遇怎麼樣?
如題,ic layout design engineer 在全國各地的工資待遇怎麼樣?哪裏最需要這種人才? -
英語四級考試備考作文Protecting the Intangible Cultural Heritages訓練題
1.保護非物質文化遺產很重要2.非物質文化遺產指的是3.為保護非物質文化遺產我們應該 範文Protecting the Intangible Cultural HeritagesLike tangible cultural heritages such as the Great Wall and the Forbid -
中學生暑假英語作文範文:My unforgettable summer holiday
My unforgettable summer holidayI like the summer holidy so much.I look forward to summer holiday every summer,I went to Shen zhen for my holiday,which is also a city of seashore like Haikou.I enjoyed -
分享[哈佛校長的演講]Goodbyeandgoodluc
在平時的學習、工作或生活中,大家都寫過作文吧,寫作文可以鍛鍊我們的獨處習慣,讓自己的心靜下來,思考自己未來的方向。你所見過的作文是什麼樣的呢?下面是小編為大家整理的春雨話題作文,僅供參考,大家一起來看看吧。春雨話題 -
Microarray數據分析軟件:GenomeMTV
用於Microarray數據分析的'軟件有很多種。今天介紹一款可以輕鬆實現Microarray數據可視化的工作軟件,名字就比較霸氣:GenomeMTVGenomeMTV is an integrated analysis and visualization tool for microarray data. It