中文字幕在线视频第一页,黄色毛片在线看,日本爱爱网站,亚洲系列中文字幕一区二区

您當前的位置是:  首頁 > 資訊 > 國內 >
 首頁 > 資訊 > 國內 >

華為云OBSA-HDFS組件正式進入Hadoop社區(qū)

2021-01-22 13:59:34   作者:   來源:CTI論壇   評論:0  點擊:


  近日,華為云OBS對象存儲服務OBSA-HDFS組件代碼完成了開源社區(qū)同行評審,已經正式合入Apache Hadoop社區(qū),標志華為云存算分離大數據方案正式獲得社區(qū)認可,客戶可以通過社區(qū)獲取最新的OBSA-HDFS組件版本,快速在華為云完成大數據平臺的部署和使用。
  OBSA-HDFS組件全稱為HuaweiCloud OBS Adapter for Hadoop Support,利用OBSA-HDFS,客戶可以在華為云上快速部署存算分離的Hadoop大數據平臺,無需修改代碼即可完成Spark、MapReduce、Hive、HBase等組件與華為云OBS對象存儲服務的對接,并獲得高性能的HDFS存儲。
  當然,除了客戶端組件外,華為云OBS在服務端的Data Multi-Protocol功能為達成存算分離提供了技術保證。傳統(tǒng)的對象存儲服務不支持原生的文件協(xié)議,導致大數據場景下的rename需要通過拷貝和刪除兩個操作組合來完成,更無法對文件目錄進行修改,而拷貝操作會消耗寶貴的IO資源且時延較高。
  華為云OBS的Data Multi-Protocol支持POSIX文件語義,通過對元數據結構和操作的雙重優(yōu)化,可快速完成文件的rename。經過測試,在大數據場景下,對100MB文件進行rename操作,華為云OBS比傳統(tǒng)對象存儲性能提升10倍以上。
  憑借著數量級的性能提升,華為云BigData Pro存算分離大數據解決方案使用OBS替代Hadoop的本地HDFS存儲,讓計算資源和存儲資源完全解耦,獨立擴容,讓大數據分析的性價比平均提升35%以上。更可以構建云上統(tǒng)一數據湖,消除數據孤島、降低數據共享難度、減少數據冗余、提升數據使用效率。
  當前,華為云BigData Pro解決方案已經服務于斗魚、美圖、蘑菇街、貨拉拉和長虹等行業(yè)知名客戶。
  未來,我們也將為Hadoop在公有云場景下的效率提升而持續(xù)努力。
  Hadoop是Apache基金會的頂級項目,也是業(yè)界領先且使用最廣泛的分布式系統(tǒng)框架,用戶可以輕松地在Hadoop上開發(fā)和運行處理海量數據的應用程序。
  HDFS是Hadoop實現(xiàn)的分布式文件系統(tǒng)(Hadoop Distributed File System),為海量數據提供高吞吐量、高擴展、高可靠和高容錯性的存儲。
  從2006年成立以來,Hadoop改變了企業(yè)對數據的存儲、處理和分析的過程,形成了一個極其豐富的技術生態(tài)圈。
【免責聲明】本文僅代表作者本人觀點,與CTI論壇無關。CTI論壇對文中陳述、觀點判斷保持中立,不對所包含內容的準確性、可靠性或完整性提供任何明示或暗示的保證。請讀者僅作參考,并請自行承擔全部責任。

專題

CTI論壇會員企業(yè)

莱西市| 潼南县| 霍山县| 榆树市| 东兰县| 大宁县| 报价| 岗巴县| 酒泉市| 咸宁市| 甘泉县| 积石山| 阳高县| 眉山市| 富阳市| 长泰县| 改则县| 中卫市| 贞丰县| 嘉祥县| 宜兴市| 广安市| 泗水县| 武平县| 洛阳市| 西和县| 梁山县| 石柱| 军事| 松滋市| 静乐县| 崇州市| 南充市| 洪雅县| 西盟| 棋牌| 宁蒗| 天等县| 临湘市| 大庆市| 洛扎县|