多语言展示
当前在线:582今日阅读:86今日分享:14

企业级分布式文件系统探析

企业级分布式文件系统有哪些特性,适合哪些应用场景?
方法/步骤
1

利用HBase实现分布化的元数据管理,基于HDFS提供物理文件存贮,实现海量文件尤其是小文件的多级管理。

2

通过HBase管理元数据,实现元数据分布化,该元数据方案有效突破性能瓶颈。利用HDFS提供文件存储,完全继承HDFS大容量、高IO性能、高可靠性、高可扩展性等优点。

3

支持PB级存储能力。支持存储能力的横向扩展。提供健康检查工具,提供配套命令行工具,具备碎片整理功能。

4

对小文件的合并操作与分级管理,大大降低了管理节点的压力,提高了性能。具体的文件读写被分发到不同的HDFS节点,能充分发挥集群大量硬盘的IO能力。

5

各节点部署Agent,负责启停、监控、守护。提供多副本机制,监控检测到节点异常时,管理中心负责将数据迁移到其它节点,保证数据完全可靠。

6

监控数据节点的存储规模,提供自动保持各节点的数据存储均衡能力。支持存储集群数据节点在线伸缩,伸缩时性能平稳,数据可靠,应用无感知。

7

提供了标准化API,第三方可通过使用分布式文件系统开发指定业务逻辑。支持HTTP、FTP等多种网络协议。

推荐信息