加入收藏 | 设为首页 | 会员中心 | 我要投稿 | RSS
您当前的位置:首页 > 教程文章 > NOSQL数据库

Hadoop源代码分析(34)

时间:2012-04-27 00:32:22  来源:  作者:

继续对NameNode实现的接口做分析。

public DatanodeCommand blockReport(DatanodeRegistration nodeReg,
long[] blocks) throws IOException
DataNode向NameNode报告它拥有的所有数据块,其中,参数blocks包含了数组化以后数据块的信息。FSNamesystem.processReport处理这个请求。一番检查以后,调用DatanodeDescriptor的reportDiff,将上报的数据块分成三组,分别是:
l删除:其它情况;
l加入:BlocksMap中有数据块,但目前的DatanodeDescriptor上没有对应信息;
l使无效:BlocksMap中没有找到数据块。
对于删除的数据块,调用removeStoredBlock,这个方法我们前面已经分析过啦。
对应需要加入的数据块,调用addStoredBlock方法,处理流程如下:
lBlocksMap获取现在的信息,记为storedBlock;如果为空,返回;
l记录block和DatanodeDescriptor的关系;
l新旧数据块记录不是同一个(我们这个流程是肯定不是啦):
1. 如果现有数据块长度为0,更新为上报的block的值;
2. 如果现有数据块长度比新上报的长,invalidateBlock(前面分析过,很简单的一个方法)当前数据块;
3. 如果现有数据块长度比新上报的小,那么会删除所有老的数据块(还是通过invalidateBlock),并更新BlocksMap中数据块的大小信息;
4. 跟新可用存储空间等信息;
l根据情况确定数据块需要复制的数目和目前副本数;
l如果文件处于构建状态或系统现在是安全模式,返回;
l处理当前副本数和文件的目标副本数不一致的情况;
l如果当前副本数大于系统设定门限,开始删除标记为无效的数据块。
还是给个流程图吧:


 

对于标记为使无效的数据块,调用addToInvalidates方法,很简单的方法,直接加到FSNamesystem的成员变量recentInvalidateSets中。

public void blockReceived(DatanodeRegistration registration,
Block blocks[],
String[] delHints)
DataNode可以通过blockReceived,向NameNode报告它最近接受到的数据块,同时给出如果数据块副本数太多时,可以删除数据块的节点(参数delHints)。在DataNode中,这个信息是通过方法notifyNamenodeReceivedBlock,记录到对应的列表中。


NameNode上的处理不算复杂,对输入参数进行检查以后,调用上面分析的addStoredBlock方法。然后在PendingReplicationBlocks对象中删除相应的block。
public void errorReport(DatanodeRegistration registration,
int errorCode,
String msg)
NameNode报告DataNode上的一个错误,如果错误是硬盘错,会删除该DataNode,其它情况只是简单地记录收到一条出错信息。
public NamespaceInfo versionRequest() throws IOException;
NameNode上获取NamespaceInfo,该信息用于构造DataNode上的DataStorage。


UpgradeCommand processUpgradeCommand(UpgradeCommand comm) throws IOException;
我们不讨论。
public void reportBadBlocks(LocatedBlock[] blocks) throws IOException
报告错误的数据块。NameNode会循环调用FSNamesystem的markBlockAsCorrupt方法。处理流程不是很复杂,找对应的INodeFile,如果副本数够,那么调用invalidateBlock,使该DataNode上的Block无效;如果副本数不够,加Block到CorruptReplicasMap中,然后准备对好数据块进行复制。
目前为止,我们已经完成了NameNode上的ClientProtocol和DatanodeProtocol的分析了,NamenodeProtocol我们在理解从NameNode的时候,才会进行分析。
来顶一下
返回首页
返回首页
发表评论 共有条评论
用户名: 密码:
验证码: 匿名发表
推荐资讯
在CentOS下搭建Android 开发环境
在CentOS下搭建Androi
轻松搭建属于自己的Ubuntu发行版
轻松搭建属于自己的Ub
利用SUSE Studio 打造自己的个性化Linux发行版
利用SUSE Studio 打造
那些采用PHP技术的IT大企业
那些采用PHP技术的IT大
相关文章
    无相关信息
栏目更新
栏目热门