一、CentOS7安装 java8,参考
二、安装hadoop 版本V3.03
1、下载并解压hadoop
# mkdir /usr/local/app# mkdir /usr/local/app/hadoop# cd /usr/local/app/hadoop# wget http://mirrors.hust.edu.cn/apache/hadoop/common/hadoop-3.0.3/hadoop-3.0.3.tar.gz# tar -zxvf hadoop-3.0.3-src.tar.gz# mv hadoop-3.0.3-src hadoop# mkdir /usr/hadoop/tmp # mkdir /usr/hadoop/hdfs # mkdir /usr/hadoop/hdfs/data # mkdir /usr/hadoop/hdfs/name
2、配置环境变量
# vi ~/.bash_profile
添加以下内容
# set hadoop pathexport HADOOP_HOME=/usr/app/hadoop/hadoopexport PATH=$PATH:$HADOOP_HOME/bin
使用刚添加的环境变量立即生效
# source ~/.bash_profile
3、hadoop配置 提前创建好目录
mkdir /usr/local/app/hadoop/hadoop/tmp mkdir /usr/local/app/hadoop/hadoop/hdfs mkdir /usr/local/app/hadoop/hadoop/hdfs/data mkdir /usr/local/app/hadoop/hadoop/hdfs/name进入$HADOOP_HOME/etc/hadoop目录，进行相关配置文件修改
etc/hadoop/core-site.xml etc/hadoop/hdfs-site.xml etc/hadoop/hadoop-env.xml etc/hadoop/yarn-env.xml etc/hadoop/mapred-site.xml etc/hadoop/yarn-site.xml 必须保存为 utf-8编码的文档，不然会报错(1) etc/hadoop/core-site.xml
fs.defaultFS hdfs://192.168.1.100:900 192.168.1.100为服务器IP地址，其实也可以使用主机名 io.file.buffer.size 131072 该属性值单位为KB，131072KB即为默认的64M
说明：
- fs.defaultFS： hdfs://host:port/
- io.file.buffer.size ： SequenceFiles文件中.读写缓存size设定
（2）配置：etc/hadoop/hdfs-site.xml
dfs.replication 1 分片数量，伪分布式将其配置成1即可 dfs.namenode.name.dir file:/usr/local/hadoop/tmp/namenode 命名空间和事务在本地文件系统永久存储的路径 dfs.namenode.hosts datanode1, datanode2 datanode1, datanode2分别对应DataNode所在服务器主机名 dfs.blocksize 268435456 大文件系统HDFS块大小为256M，默认值为64M dfs.namenode.handler.count 100 更多的NameNode服务器线程处理来自DataNodes的RPCS
- dfs.namenode.name.dir： 在本地文件系统所在的NameNode的存储空间和持续化处理日志，如果这是一个以逗号分隔的目录列表，然后将名称表被复制的所有目录，以备不时之需。
- dfs.namenode.hosts/dfs.namenode.hosts.exclude Datanodes ： permitted/excluded列表 ，如有必要，可以使用这些文件来控制允许 数据节点的列表
- dfs.blocksize：268435456，大型的文件系统HDFS块大小为256MB
- dfs.namenode.handler.count： 100 设置更多的namenode线程，处理从 datanode发出的大量RPC请求
（3） 配置etc/hadoop/hadoop-env.xml
添加如下配置添加java_home以及用户，否则启动时会报错export JAVA_HOME=/usr/lib/jvm/java-1.8.0-openjdk-1.8.0.171-8.b10.el7_5.x86_64export HDFS_DATANODE_SECURE_USER=rootexport HDFS_DATANODE_SECURE_USER=rootexport HDFS_SECONDARYNAMENODE_USER=rootexport HDFS_DATANODE_USER=root export HDFS_NAMENODE_USER=root
（4） 配置etc/hadoop/yarn-env.xml
添加如下配置添加java_home，否则启动时会报错export JAVA_HOME=/usr/lib/jvm/java-1.8.0-openjdk-1.8.0.171-8.b10.el7_5.x86_64
（5）配置：etc/hadoop/mapred-site.xml
mapreduce.framework.name yarn
（6）配置ResourceManager 和 NodeManager：etc/hadoop/yarn-site.xml
yarn.nodemanager.aux-services mapreduce_shuffle yarn.resourcemanager.webapp.address 192.168.241.128:8099
三、启动
1）格式化namenode
$ bin/hdfs namenode –format
2）启动NameNode 和 DataNode 守护进程
$ sbin/start-dfs.sh
如果出现：Permission denied (publickey,gssapi-keyex,gssapi-with-mic)
则要配置ssh免密登录
# vi /etc/ssh/sshd_config添加修改以下设置：去掉#，或者添加未有的设置选项HostKey /etc/ssh/ssh_host_rsa_keyRSAAuthentication yesPubkeyAuthentication yesAuthorizedKeysFile .ssh/authorized_keys
设置密钥：
# ssh-keygen -t rsa# cd /root/.ssh
会发现有两个文件：id_rsa id_rsa.pub 设置权限
# cat id_rsa.pub>> authorized_keys# chmod 600 authorized_keys
3）启动ResourceManager 和 NodeManager 守护进程
$ sbin/start-yarn.sh
四、配置远程访问 远程访问ip:192.168.137.30 主机名：hdhost 1、配置主机名
vi /etc/hosts
配置如下：
127.0.0.1 localhost localhost.localdomain localhost4 localhost4.localdomain4::1 localhost localhost.localdomain localhost6 localhost6.localdomain6192.168.137.30 hdhost
2、修改hadoop文件配置 将涉及到访问地址的配置文件如：core-site.xml， yarn-site.xml等配置里的 ip或者localhost都改为 hdhost
3、重启hadoop,stop_all.sh,start_all.sh,通过 访问来验证是否成功