本文目录
- 菜鸟求助阿！快疯了！Hadoop分布式系统下文件路径的问题
- cloudera 提示hdfs 副本不足的块 怎么解决
- windows下配置Eclipse连接hdfs错误：Listing folder content
菜鸟求助阿！快疯了！Hadoop分布式系统下文件路径的问题
一个文件被放入到分布式文件系统中，会被分割成多个block放置到每一个的DataNode上，默认dfs.block.size应该是64M，也就是说如果你放置到HDFS上的数据小于64，那么将只有一个Block，此时会被放置到某一个DataNode中，这个可以通过使用命令：hadoop dfsadmin –report就可以看到各个节点存储的情况。也可以直接去某一个DataNode查看目录：hadoop.tmp.dir/dfs/data/current就可以看到那些block了。Block的数量将会直接影响到Map的个数。当然可以通过配置来设定Map和Reduce的任务个数。Map的个数通常默认和HDFS需要处理的blocks相同。也可以通过配置Map的数量或者配置minimum split size来设定，实际的个数为：max(min(block_size,data/#maps),min_split_size)。Reduce可以通过这个公式计算：0.95*num_nodes*mapred.tasktracker.tasks.maximum。Hadoop dfs –ls就是查看/usr/root目录下的内容，默认如果不填路径这就是当前用户路径
cloudera 提示hdfs 副本不足的块 怎么解决
你看的教程是旧的，新版的hadoop启动脚本放在sbin下。start-all.sh已经逐渐被废弃，采用新的启动脚本：sbin/hadoop-daemon.sh --script hdfs start datanodesbin/hadoop-daemon.sh --script hdfs start namenodesbin/yarn-daemon.sh start resourcemanagersbin/yarn-daemon.sh start proxyserversbin/mr-jobhistory-daemon.sh start historyserver【注意1】.不要随意执行上述命令，需要你规划好那几个节点是namenode, 哪些节点是datanode, 哪个节点是resourcemanager, proxyserver, 以及historyserver【注意2】.sbin/hadoop-daemon.sh --script hdfs start datanode 执行后只能只能启动当前节点；sbin/hadoop-daemons.sh --script hdfs start datanode可以启动etc/hadoop/slaves中指定的datanode【注意3】. 最新版本(hadoop2.2.0)的启动脚本libexec/hadoop-config.sh有bug, 若想用sbin/hadoop-daemons.sh --hosts your_host_files --script hdfs start datanode启动节点，注意修改libexec/hadoop-config.sh第98行为：98 elif 同时要小心--hosts your_host_files option, 用户指定的your_host_files一定放在etc/hadoop/下面，但是启动时只指定该文件名，不包含任何路径名，这也是该启动脚本的一个缺陷。【注意4】. 也可以采用sbin/hadoop-daemons.sh --hostnames your_host_name --script hdfs start datanode启动某个节点
windows下配置Eclipse连接hdfs错误：Listing folder content
这个的意思就是说你连不上hadoop的Master节点。首先你在配置Eclipse的时候 一定要保证端口号 IP一定要与你的Master的节点的一致。还有可能是你的Linux下Master节点的防火墙等问题。你可以尝试在Linux那台Master下配置一下Eclipase看好使不
