HDFS用户指南(翻译） - 企业应用 - Java - JavaEye论坛

来源：百度文库 编辑：神马文学网 时间：2024/06/30 19:36:50
相关文章: 
Hadoop分布式文件系统：架构和设计要点(翻译)Hadoop分布式系统（中）HADOOP的初次尝试
HDFS用户指南
原文地址：http://hadoop.apache.org/core/docs/current/hdfs_user_guide.html
译者：dennis zhuang(killme2008@gmail.com),有错误请指正，多谢。
目的
本文档可以作为使用Hadoop分布式文件系统用户的起点，无论是将HDFS应用在一个Hadoop集群中还是作为一个单独的分布式文件系统使用。HDFS被设计成可以马上在许多环境中工作起来，那么一些HDFS的运行知识肯定能大大地帮助你对一个集群做配置改进和诊断。
概览
HDFS是Hadoop应用的主要分布式存储。一个HDFS集群由一个管理文件系统元数据的NameNode，和存储实际数据的一些Datanode组成。HDFS的架构在这里有详细描述。这个用户指南主要提供给需要跟HDFS集群打交道的用户或者管理员。HDFS架构文章中的图描绘了Namenode、Datanode和客户端们之间的基本交互。本质上，客户端与Namenode通讯获取或者修改文件的元数据，与 Datanode进行实际的IO操作。
下面的列表应该是大多数用户关心的HDFS突出特点。斜体字的术语将在后面详细描述。
1）Hadoop，包括HDFS，非常适合廉价机器上的分布式存储和分布式处理。它是容错的、可伸缩的，并且非常易于扩展。并且，以简单性和适用性著称的Map-Reduce是Hadoop不可或缺的组成部分。
2）HDFS的默认配置适合于大多数安装的应用。通常情况下，只有在一个非常大规模的集群上才需要修改默认配置。
3）HDFS是用java编写的，支持大多数平台。
4）支持shell命令行风格的HDFS目录交互。
5）Namenode和Datanode都内建了web服务器，可以方便地查看集群的状态
6）HDFS经常性地实现新的特性和改进，下面是HDFS中的一些有用特性的子集：
文件许可和授权
Rack awareness :当调度任务和分配存储的时候将节点的物理位置考虑进去。
Safemode(安全模式） ：用于维护的一个管理状态
fsck ： 诊断文件系统的一个工具，用来查找丢失的文件或者block
Rebalancer :当数据在Datanode间没有均匀分布的时候，用于重新平衡集群的工具
升级和回滚 ：当Hadoop软件升级，在升级遇到不可预期的问题的时候，可以回滚到HDFS升级前的状态
二级Namenode ：帮助Namenode维持包含了HDFS修改的日志的文件（edits日志文件,下文谈到）大小在限制范围内。
HDFS用户指南(翻译） - 企业应用 - Java - JavaEye论坛 HDFS用户指南(翻译） - 企业应用 - Java - JavaEye论坛 HDFS用户指南(翻译） - 企业应用 - Java - JavaEye论坛 HDFS用户指南(翻译） 如何快速、灵活地架构web应用 - 企业应用 - Java - JavaEye论坛 流行3大数据库备份、还原的处理 - 企业应用 - Java - JavaEye论坛 走了很多弯路终于运行出了petstore - 企业应用 - Java - JavaEye论坛 远程分布式持久化队列服务MemcacheQ安装笔记 - 企业应用 - Java - JavaEye论坛 提炼Java Reflection - OO - Java - JavaEye论坛 Hadoop分布式文件系统：架构和设计要点(翻译) - 企业应用 - Java - Jav... 对于树状结构数据的缓存设计方案的讨论-企业应用-Java -JavaEye做最棒的软件开发... Java过滤特殊字符的正则表达式 - Java - JavaEye论坛 Eclipse调试常用技巧 - Java综合 - Java - JavaEye论坛 Eclipse调试常用技巧 - Java综合 - Java - JavaEye论坛 Eclipse调试常用技巧 - Java综合 - Java - JavaEye论坛 Eclipse快捷键大全 - Java综合 - Java - JavaEye论坛 深入理解JVM - Java综合 - Java - JavaEye论坛 初学者如何开发出一个高质量的J2EE系统(转载） - 企业应用 - Java - Java... Adapter - 适配器模式 - 设计模式 - Java - JavaEye论坛 我的乱码问题处理汇总 - - Java - JavaEye论坛 我的乱码问题处理汇总 - - Java - JavaEye论坛 跨域访问时Session丢失 - Tomcat - Java - JavaEye论坛 JasperReport报表设计总结（一）（已完毕） - 企业应用 - Java - Ja... Velocity用户指南（中文版）(2)