Hadoop

Hadoop 逐漸成為一個關鍵的重要角色。Hadoop 是 Apache 軟體基金會所發展的雲端計算技術,使用 Java 撰寫並免費開放原始碼,優點在於有良好的擴充性,程式部署快速等,同時能有效地分散系統的負荷。

雖然 Hadoop 擅長於處理批次的資料量,但在多維度的資料處理分析上的表現並不佳。
例如,大多數的企業總是會面對更複雜的資料連結(Complex Joins)、ACID 機制的要求(Atomicity-Consistency-Isolation-Durability,這是關聯式資料庫為了確保資料的完整性,所採用的機制,以使資料在存取或異動的過程中不會受到干擾)、即時分析(Real-Time Requirements)、量子電腦演算法(SuperComputing Algorithms)、圖型計算(Graph Computing) 或是資料的持續更新,而 Hadoop在處理這些資料的表現上還稱不上令人滿意的標準。

Hadoop 逐漸成為一個關鍵的重要角色。Hadoop 是 Apache 軟體基金會所發展的雲端計算技術,使用 Java 撰寫並免費開放原始碼,優點在於有良好的擴充性,程式部署快速等,同時能有效地分散系統的負荷。

Google 也為此提出了MapReduce 軟體編程架構,這是一種能以高可靠性與高容錯的方式,運作在由大規模電腦所組成的叢集上的技術,並可透過平行處理方式來處理 PB(Peta-Bytes)等級的資料量。

雖然 Hadoop 擅長於處理批次的資料量,但在多維度的資料處理分析上的表現並不佳。例如,大多數的企業總是會面對更複雜的資料連結(Complex Joins)、ACID 機制的要求(Atomicity-Consistency-Isolation-Durability,這是關聯式資料庫為了確保資料的完整性,所採用的機制,以使資料在存取或異動的過程中不會受到干擾)、即時分析(Real-Time Requirements)、量子電腦演算法(SuperComputing Algorithms)、圖型計算(Graph Computing) 或是資料的持續更新,而 Hadoop在處理這些資料的表現上還稱不上令人滿意的標準。

單就效能面來說,新一代的架構需要在 MapReduce/Hadoop 的基礎上有 10 到 10000 倍效能的提升。

廣告
發表留言

3 則迴響

  1. 如何判斷公司是在數位轉型 產業升級? | Joe
  2. Open source application for big data | Joe
  3. Hadoop | Joe

發表迴響

在下方填入你的資料或按右方圖示以社群網站登入:

WordPress.com Logo

您的留言將使用 WordPress.com 帳號。 登出 / 變更 )

Twitter picture

您的留言將使用 Twitter 帳號。 登出 / 變更 )

Facebook照片

您的留言將使用 Facebook 帳號。 登出 / 變更 )

Google+ photo

您的留言將使用 Google+ 帳號。 登出 / 變更 )

連結到 %s

%d 位部落客按了讚: