网站建设相关费用天津搜狗seo推广
Hadoop 配置文件分两类:默认配置文件和自定义配置文件,只有用户想修改某一默认
配置值时,才需要修改自定义配置文件,更改相应属性值
(1)默认配置文件:
cd $HADOOP_HOME/share/hadoop
common路径下的hadoop-common-x.x.x.jar
hdfs下的hadoop-hdfs-x.x.x.jar
mapreduce下的 hadoop-mapreduce-client-core-x.x.x.jar
yarn下的hadoop-yarn-common-x.x.x.jar
说明:cores-site.xml
: 负责全局的配置(common)
hdfs-site.xml
:负责hdfs的配置
mapred-site.xml
: 负责mapreduce的配置
yarn-site.xml
:负责yarn的配置
hadoop-env.sh 记录脚本中要用到的环境变量,以运行脚本
log4j.properties 日志文件
(2)自定义配置文件:
core-site.xml、hdfs-site.xml、yarn-site.xml、mapred-site.xml 四个配置文件存放在
$HADOOP_HOME/etc/hadoop 这个路径上,用户可以根据项目需求重新进行修改配置。
配置文件的解压缩
jar -xvf name.jar
配置文件的查找
1. 命令模式查找
- / 作用:从上往下找
- ? 作用:从下往上找
*
是 指多个任意字符
-
N 作用:当前位置向上找
-
n 作用:当前位置向下找
- shift + * (光标靠近要查询的内容位置,在按shift+*)
2. cat查找
cat 文件名 | grep 内容
理论上可以所有机器都可以用同一套配置文件,
在实际开发中,新机器的硬件规格如果不同,则需要单独配置,hadoop2.x中并没有提供执行这个操作的工具。
由于使用脚本可能造成更新时间的不一致性,所以推荐用专门的工具管理集群。
来源:
(28条消息) hadoop查看默认的配置文件_hadoop默认配置文件_Andy86666的博客-CSDN博客
Hadoop权威指南