【東網(wǎng)技術(shù)大咖帶您走進(jìn)Hadoop】當Hadoop邂逅大數據 會(huì )碰撞出怎樣的火花？

發(fā)布時(shí)間： 2017-01-23 12:12:22  

分享到：

Hadoop是什么？有哪些應用？Hadoop和大數據又是什么關(guān)系?接下來(lái)將圍繞這幾個(gè)問(wèn)題展開(kāi)闡述。

Hadoop是一個(gè)由Apache基金會(huì )所開(kāi)發(fā)的分布式系統基礎架構。用戶(hù)可以在不了解分布式底層細節的情況下，開(kāi)發(fā)分布式程序。充分利用集群的威力進(jìn)行高速運算和存儲。Hadoop實(shí)現了一個(gè)分布式文件系統(Hadoop Distributed File System)，簡(jiǎn)稱(chēng)HDFS。

HDFS有高容錯性的特點(diǎn)，并且設計用來(lái)部署在低廉的(low-cost)硬件上;而且它提供高吞吐量(high throughput)來(lái)訪(fǎng)問(wèn)應用程序的數據，適合那些有著(zhù)超大數據集(large data set)的應用程序。HDFS放寬了(relax)POSIX的要求，可以以流的形式訪(fǎng)問(wèn)(streaming access)文件系統中的數據。

Hadoop的框架最核心的設計就是：HDFS和MapReduce。HDFS為海量的數據提供了存儲，則MapReduce為海量的數據提供了計算。

Hadoop由 Apache Software Foundation 公司于 2005 年秋天作為L(cháng)ucene的子項目Nutch的一部分正式引入。它受到最先由 Google Lab 開(kāi)發(fā)Map/Reduce 和 Google File System(GFS) 的啟發(fā)。

2006 年 3 月份，Map/Reduce 和 Nutch Distributed File System (NDFS) 分別被納入稱(chēng)為 Hadoop 的項目中。

Hadoop 是在 Internet 上對搜索關(guān)鍵字進(jìn)行內容分類(lèi)最受歡迎的工具，但它也可以解決許多要求極大伸縮性的問(wèn)題。例如，如果您要 grep 一個(gè) 10TB 的巨型文件，會(huì )出現什么情況?在傳統的系統上，這將需要很長(cháng)的時(shí)間。但是 Hadoop 在設計時(shí)就考慮到這些問(wèn)題，采用并行執行機制，因此能大大提高效率。

Hadoop原本來(lái)自于谷歌一款名為MapReduce的編程模型包。谷歌MapReduce框架可以把一個(gè)應用程序分解為許多并行計算指令，跨大量的計算節點(diǎn)運行非常巨大的數據集。使用該框架的一個(gè)典型例子就是在網(wǎng)絡(luò )數據上運行的搜索算法。Hadoop 最初只與網(wǎng)頁(yè)索引有關(guān)，迅速發(fā)展成為分析大數據的領(lǐng)先平臺。

目前有很多公司開(kāi)始提供基于Hadoop的商業(yè)軟件、支持、服務(wù)以及培訓。Cloudera是一家美國的企業(yè)軟件公司，該公司在2008年開(kāi)始提供基于Hadoop的軟件和服務(wù)。GoGrid是一家云計算基礎設施公司，2012年，該公司與Cloudera合作加速了企業(yè)采納基于Hadoop應用的步伐。Dataguise公司是一家數據安全公司，同樣在2012年該公司推出了一款針對Hadoop的數據保護和風(fēng)險評估。

美國國會(huì )圖書(shū)館是全球最大的圖書(shū)館，自1800年設立至今，收藏了超過(guò)1.5億個(gè)實(shí)體對象，包括書(shū)籍、影音、老地圖、膠卷等，數字數據量也達到了235TB，但美國eBay拍賣(mài)網(wǎng)站，8千萬(wàn)名用戶(hù)每天產(chǎn)生的數據量就有50TB，5天就相當于1座美國國會(huì )圖書(shū)館的容量。

在國外，不只eBay這種跨國電子商務(wù)業(yè)者感受到巨量數據的沖擊，其他如美國連鎖超市龍頭沃爾瑪、發(fā)行信用卡的Visa公司等，在臺灣如臺灣集成電路(臺積電)、中華電信等手上擁有大量顧客資料的企業(yè)，都紛紛感受到這股如海嘯般來(lái)襲的Big Data巨量資料浪潮。這樣的巨量數據并非是沒(méi)有價(jià)值的數據，其中潛藏了許多使用者親身經(jīng)驗的第一手原始數據，不少企業(yè)更是從中嗅到了商機。

這些企業(yè)紛紛向最早面臨大數據挑戰的搜索引擎業(yè)者Google、Yahoo取經(jīng)，學(xué)習處理巨量數據的技術(shù)和經(jīng)驗，其中，最受這些企業(yè)青睞，用來(lái)解決巨量數據難題的技術(shù)就是Apache基金會(huì )的分布式計算技術(shù)Hadoop。

應用案例1-全球最大超市業(yè)者沃爾瑪

沃爾瑪雖然十年前就投入在線(xiàn)電子商務(wù)，但在線(xiàn)銷(xiāo)售的營(yíng)收遠遠落后于亞馬遜（Amazon）。后來(lái)，沃爾瑪決定采用Hadoop來(lái)分析顧客搜尋商品的行為，以及用戶(hù)透過(guò)搜索引擎尋找到沃爾瑪網(wǎng)站的關(guān)鍵詞，利用這些關(guān)鍵詞的分析結果發(fā)掘顧客需求，以規畫(huà)下一季商品的促銷(xiāo)策略。他們并進(jìn)一步打算要分析顧客在Facebook、Twitter等社交網(wǎng)站上對商品的討論，甚至沃爾瑪能比父親更快知道女兒懷孕的消息，并且主動(dòng)寄送相關(guān)商品的促銷(xiāo)郵件，可說(shuō)是比競爭對手提前一步發(fā)現顧客。

應用案例2-全球最大拍賣(mài)網(wǎng)站 eBay

經(jīng)營(yíng)拍賣(mài)業(yè)務(wù)的eBay則是用Hadoop來(lái)分析買(mǎi)賣(mài)雙方在網(wǎng)站上的行為。eBay擁有全世界最大的數據倉儲系統，每天增加的數據量有50TB，光是儲存就是一大挑戰，更遑論要分析這些數據，而且更困難的挑戰是這些數據報括了結構化的數據和非結構化的數據，如照片、影片、電子郵件、用戶(hù)的網(wǎng)站瀏覽Log記錄等。eBay正是用Hadoop來(lái)解決同時(shí)要分析大量結構化數據和非結構化的難題。

eBay分析平臺高級總監Oliver Ratzesberger也坦言，大數據分析最大的挑戰就是要同時(shí)處理結構化以及非結構化的數據。

eBay在5年多前就另外建置了一個(gè)軟硬件整合的平臺Singularity，搭配壓縮技術(shù)來(lái)解決結構化數據和半結構化數據分析問(wèn)題，3年前更在這個(gè)平臺整合了Hadoop來(lái)處理非結構化數據，透過(guò)Hadoop來(lái)進(jìn)行數據預先處理，將大塊結構的非結構化數據拆解成小型數據，再放入數據倉儲系統的數據模型中分析，來(lái)加快分析速度，也減輕對數據倉儲系統的分析負載。

應用案例3-全球最大信用卡公司 Visa

Visa公司則是擁有一個(gè)全球最大的付費網(wǎng)絡(luò )系統VisaNet，作為信用卡付款驗證之用。2009年時(shí)，每天就要處理1.3億次授權交易和140萬(wàn)臺ATM的聯(lián)機存取。為了降低信用卡各種詐騙、盜領(lǐng)事件的損失，Visa公司得分析每一筆事務(wù)數據，來(lái)找出可疑的交易。雖然每筆交易的數據記錄只有短短200位，但每天VisaNet要處理全球上億筆交易，2年累積的資料多達36TB，過(guò)去光是要分析5億個(gè)用戶(hù)賬號之間的關(guān)聯(lián)，得等1個(gè)月才能得到結果，所以，Visa也在2009年時(shí)導入了Hadoop，建置了2套Hadoop叢集(每套不到50個(gè)節點(diǎn))，讓分析時(shí)間從1個(gè)月縮短到13分鐘，更快速地找出了可疑交易，也能更快對銀行提出預警，甚至能及時(shí)阻止詐騙交易。

Hadoop這套被眾多企業(yè)賴(lài)以解決大數據難題的分布式計算技術(shù)，并不是一項全新的技術(shù)，早在2006年就出現了，而且Hadoop的核心技術(shù)原理，更是源自Google打造搜索引擎的關(guān)鍵技術(shù)，后來(lái)由Yahoo支持的開(kāi)源開(kāi)發(fā)團隊發(fā)展成一套Hadoop分布式計算平臺，也成為Yahoo內部打造搜索引擎的關(guān)鍵技術(shù)。