让每一名学员高薪就业
返回列表 发新帖

责任链设计Hadoop安装

[复制链接]

146

主题

153

帖子

1123

积分

精英

Rank: 5Rank: 5

积分
1123
发表于 2018-4-12 14:06:00  | 显示全部楼层 | 阅读模式
本帖最后由 往事随风 于 2018-4-12 14:10 编辑

一、系统环境
学习可以在两台虚拟机中安装对应的hadoop,如下所示:
IP
机器名
角色
10.10.101.17
Hadoop01
NameNode/JobTracker
10.10.101.18
Hadoop02
DataNode/TaskTracker
二、配置服务器名称
到/etc/hosts下配置机器名:
图片1.png
三、配置服务器之间的信任关系
hadoop01ssh访问hadoop02需要输入hadoop02的密码,配置信任关系后可以不用输入密码直接ssh登陆:
图片2.png
创建公钥:
图片3.png
将生成的id_rsa.pub修改名称为authorized_keys拷贝到hadoop02机器上:
图片4.png
hadoop02机器上检查是否拷贝到hadoop02目录下:
图片5.png
检查再次从hadoop01sshhadoop02是否还需要提示输入密码:
图片6.png
同理配置hadoop02hadoop01的信任关系。
四、安装JDK
hadoop01hadoop02两台服务器上分别安装JDK
五、安装Hadoop
到官网下载1.x或者2.xhadoop版本,将下载的tar包解压:
图片7.png
切换到配置文件目录进行配置:
图片8.png
修改 hadoop-env.shJavaHome
图片9.png
修改core-site.xml
图片10.png
修改hdfs-site.xml
图片11.png
修改mapred-site.xml
图片12.png
修改masters
图片13.png
修改slaves
图片14.png
关闭两台服务器的防火墙:
图片15.png
hadoop01服务器上配置好的hadoop拷贝一份到从服务器hadoop02上:
图片16.png
hadoop02服务器上查看是否存在刚拷贝的目录:
图片17.png
六、配置服务器到自己的信任关系
之前配置了hadoop01hadoop02服务器之间的信任关系,在启动hadoop之前还需要配置自己到自己的信任关系,直接将id_rsa.pub的内容直接追加到该目录下的authorized_keys中。
图片18.png
检查ssh自己是否提示需要输入密码:
图片19.png
同理配置hadoop02服务器:
图片20.png
七、格式化名称节点
格式化名称节点:
图片21.png
八、启动Hadoop
启动hadoop
图片22.png
启动完毕后可以查看相关日志,还可以利用JDK自带的java进程工具查看Java进程:
hadoop01上有以下进程说明主服务器已经安装成功。
图片23.png
hadoop02上查看到有以下进程说明从服务器已经安装成功。
图片24.png

回复

使用道具 举报

发表回复

您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

最新活动

联系我们

Java培训  |   PHP培训  |   UI培训  |   H5培训  |   Python培训  |   大数据培训  |   如何报名  |   视频下载
快速回复 返回顶部 返回列表