400-650-7353

            精品課程

            您所在的位置:首頁 > IT干貨資料 > 大數據 > 【大數據基礎知識】Hadoop之HDFS概述

            【大數據基礎知識】Hadoop之HDFS概述

            • 發布: 大數據培訓
            • 來源:大數據干貨資料
            • 2021-03-03 10:44:32
            • 閱讀()
            • 分享
            • 手機端入口

            隨著我們業務數據量越來越大,在一個操作系統管轄的范圍內存不下了,那么就需要分配到更多的操作系統管理的磁盤中。但是這給我們帶來的一個問題就是,更多的操作系統非常不方便集中管理和維護。這時迫切需要一種系統來管理多臺機器上的文件,這就產生了分布式文件管理系統。HDFS只是分布式文件管理系統中的一種。

            HDFS(Hadoop Distributed File System),它是一個分布式文件管理系統。一是,用于存儲文件,通過目錄樹來定位文件;其次,它是分布式的,由很多服務器聯合起來實現其功能,并且集群中的服務器有各自的角色。集群不一定是分布式的,但是分布式一定是集群。HDFS的設計適合一次寫入,多次讀出的場景,但不支持文件的修改。HDFS適合用來做數據分析,并不適合用來做網盤應用。

            下面我們來看下HDFS的優缺點吧。

            HDFS優點:

            (1) 高容錯性

            a)每份數據都自動保存多個副本。HDFS正是通過增加副本的的方式來提高容錯性;

            b)如果某個副本丟失,HDFS還可以自動恢復。

            (2) 適合大數據處理

            (a)數據規模:能夠處理數據規模達到GB、TB、甚至PB級別的數據;

            (b)文件規模:能夠處理百萬規模以上的文件數量,數量相當之大。

            (3) 流式數據訪問,它能保證數據的一致性。

            (4) 可構建在廉價機器上,通過多副本機制,提高可靠性。這一點也是HDFS的突出優勢,高性能的集群無需采用價格高昂的服務器,而是構建在廉價的機器上呢。

            HDFS缺點:

            (1) 不適合低延時數據訪問,比如毫秒級的存儲數據,是做不到的。

            (2) 無法高效的對大量小文件進行存儲。

            a) 存儲大量小文件的話,它會占用NameNode大量的內存來存儲文件、目錄和塊信息。這樣是不可取的,因為NameNode的內存畢竟是有限的。

            b) 小文件存儲的尋址時間會超過讀取時間,它違反了HDFS的設計目標。

            (3) 不支持并發寫入、文件隨機修改。

            a) 一個文件只能有一個寫,不允許多個線程同時寫;

            b) 僅支持數據append(追加),不支持文件的隨機修改。

            學習疑問申請解答
            您的姓名
            您的電話
            意向課程
             

            中公優就業

            IT小助手

            掃描上方二維碼添加好友,請備注:599,享學習福利。

            >>本文地址:
            注:本站稿件未經許可不得轉載,轉載請保留出處及源文件地址。

            推薦閱讀

            優就業:ujiuye

            關注中公優就業官方微信

            • 關注微信回復關鍵詞“大禮包”,享學習福利
            QQ交流群
            在線疑問解答
            (加群備注“網站”)
            IT培訓交流群 加入群聊 +
            軟件測試 加入群聊 +
            全鏈路UI/UE設計 加入群聊 +
            Python+人工智能 加入群聊 +
            互聯網營銷 加入群聊 +
            Java開發 加入群聊 +
            PHP開發 加入群聊 +
            VR/AR游戲開發 加入群聊 +
            大前端 加入群聊 +
            大數據 加入群聊 +
            Linux云計算 加入群聊 +
            優就業官方微信
            掃碼回復關鍵詞“大禮包”
            享學習福利

            測一測
            你適合學哪門IT技術?

            1 您的年齡

            2 您的學歷

            3 您更想做哪個方向的工作?

            獲取測試結果
             
            課程資料、活動優惠 領取通道
             
             
            欧美牲交videossexeso