當前位置:學問谷 >

行政範例 >工作計劃 >

Hadoop並非完美:8個代替 HDFS 的絕佳方案

Hadoop並非完美:8個代替 HDFS 的絕佳方案

HDFS(Hadoop Distributed File System)是Hadoop項目的核心子項目,是分佈式計算中數據存儲管理的基礎,坦白説HDFS是一個不錯的分佈式文件系統,它有很多的優點,但也存在有一些缺點,包括:不適合低延遲數據訪問、無法高效存儲大量小文件、不支持多用户寫入及任意修改文件。

Hadoop並非完美:8個代替 HDFS 的絕佳方案

Apache軟件基金會成立的時候,HDFS就一直在想辦法提高它的性能和可用性,坦白説,這也許對試點項目、非常規項目、要求不嚴格的大環境中比較適用,但是對於某些Hadoop用户來説,他們對於性能、可用性、企業級特性有較高的要求,且注重直接附加存儲(DAS)架構,特別是老版本的Hadoop沒有高性能的主節點,那麼接下來8個產品就是代替HDFS的絕佳方案。

andra(DataStax)

並非一個完全的文件系統,而是一個開源、NoSQL 鍵值(key-value)商店。這給依靠快速數據訪問的Web 應用多了一個HDFS選擇。簡單來説它把Hadoop融合在Cassandra裏面,支持Web應用通過Hadoop快速訪問數據, 而Hadoop可以快速訪問流入Cassandra的數據。

Ceph 是一個開源、多管齊下的操作系統,因為其高性能並行文件系統的特性,有人甚至認為它是基於Hadoop環境下的HDFS的接班人,因為自2010年就有研究者在尋找這個特性。

ersafe:分散存儲網絡

本週一Cleversafe宣佈將融合Hadoop的並行編程技術和自己的分散存貯網絡。其原理是通過把整個元數據分佈在集羣中(不是依靠單個主節點、不是依靠複製),Cleversafe表示這比HDFS更快、更穩定、更具擴展性。

(IBM)

IBM一直在向高性能要求的用户銷售其並行文件系統,包括世界上最快的超級電腦,2010年它推出了基於Hadoop的, 並宣佈GPFS不共享集羣版本比Hadoop快多了,因為

它在內核級別中運行,而不是在操作系統中運行例如HDFS。

on(EMC)

EMC提供Hadoop發行版已經一年了,但2012年1月轉型為HDFS企業級別的新方案Isilon 的 OneFS文件系統。因為Isilon可以讀取 NFS, CIFS以及 HDFS 協議, 一個單獨的 Isilon NAS系統可以攝入、處理、分析數據。

re

HPC存儲提供商Xyratex 增在2011年的一份報道中寫到, 基於Lustre的集羣會比基於HDFS的集羣更快更便宜。

7. MapR文件系統

MapR 文件系統在業內已經具有一定知名度了,不僅MapR宣佈它自己的文件系統比HDFS快2-5倍(實際上有20倍),它還具有鏡像、快照、高性能這些企業用户喜歡的特點。

ppHadoop開放方案

NetApp重新改版了物理Hadoop結構:把HDFS放在磁盤陣列中,通過這樣來達到更快、更穩定、更安全的Hadoop工作。

標籤: hadoop HDFS 絕佳 方案
  • 文章版權屬於文章作者所有,轉載請註明 https://xuewengu.com/flxz/jihua/6kd0qy.html