你的位置:首页 > 信息动态 > 新闻中心
信息动态
联系我们

Hadoop单机伪分布搭建

2021/12/10 9:42:58

一、准备工作


1.1检查jdk是否安装成功


1.2、创建所需要的文件夹 //data文件夹用于存放数据文件

[root@localhost ~]# mkdir -p /export/data

1.3、修改主机名为hadoop1

[root@hadoop1 ~]# hostnamectl set-hostname hadoop1

     注:重启虚拟机后才会发生变化

二、设置免密


2.1、生成密钥      //输入命令后三次回车

[root@hadoop1 ~]# ssh-keygen -t rsa

2. 2、把公钥发送给本机

[root@hadoop1 ~]# ssh-copy-id hadoop1

 如下图所示:

 

二、使用xftp工具上传安装包

 

    进入software文件夹下查看

[root@hadoop1 ~]# cd /export/software/
[root@hadoop1 software]# ls

 

 三、解压安装包


3.1、解压至servers文件夹下

[root@hadoop1 software]# tar -zxvf hadoop-2.7.7.tar.gz -C /export/servers/

 四、修改配置文件


 4.1、进入到hadoop目录

[root@hadoop1 hadoop-2.7.7]# cd /export/servers/hadoop-2.7.7/etc/hadoop/

 4.2、修改hadoop-env.sh

 [root@hadoop1 hadoop]# vi hadoop-env.sh

 修改为自己的jdk安装路径:

 

4.3、修改core-site.xml文件:

[root@hadoop1 hadoop]# vi core-site.xml 

在<configuration>标签中添加以下内容:
         

          <property>
                <name>fs.defaultFS</name>
                <value>hdfs://hadoop1:9000</value>
        </property>
        <property>
                <name>hadoop.tmp.dir</name>
                <value>/export/data/hadoopdata</value>
        </property>


完成后保存wq保存退出 
4.4、修改hdfs-site.xml文件:

[root@hadoop1 hadoop]# vi hdfs-site.xml

 在<configuration>标签中添加以下内容:
       

         <property>
                <name>dfs.namenode.name.dir</name>
                <value>/export/data/hadoopdata/name</value>                
        </property>
        <property>
                <name>dfs.datanode.data.dir</name>
                <value>/export/data/hadoopdata/data</value>               
        </property>
        <property>
                <name>dfs.replication</name>
                <value>2</value>
        </property>


完成后保存wq保存退出 

4.5、修改mapred-site.xml文件:
注:首先复制一份文件并命名为mapred-site.xml

[root@hadoop1 hadoop]# cp mapred-site.xml.template mapred-site.xml

然后进行修改:

[root@hadoop1 hadoop]# vi mapred-site.xml

 在<configuration>标签中添加以下内容:

           <property>
                <name>mapreduce.framework.name</name>
                <value>yarn</value>
          </property>


 完成后保存wq保存退出!
4.6、修改yarn-site.xml文件:

[root@hadoop1 hadoop]# vi yarn-site.xml

 在<configuration>标签中添加以下内容:

          <property>
                <name>yarn.nodemanager.aux-services</name>
                <value>mapreduce_shuffle</value>           
        </property>


 完成后保存wq保存退出!

五、配置环境变量

 [root@hadoop1 hadoop]# vi /etc/profile

 添加以下内容:

export HADOOP_HOME=/export/servers/hadoop-2.7.7
PATH=$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$PATH


 完成后wq保存退出!

六、验证是否成功


6.1、刷新配置文件

[root@hadoop1 hadoop]# source /etc/profile

6.2、查看hadoop版本

[root@hadoop1 hadoop]# hadoop version

如图所示:

6.3、 创建所需文件夹

[root@hadoop1 hadoop]# mkdir -p /export/data/hadoopdata/data
[root@hadoop1 hadoop]# mkdir -p /export/data/hadoopdata/name

6.4、初始化Hadoop集群:

[root@hadoop1 hadoop]# hadoop namenode -format

 6.5、启动集群,并使用jps查看进程

[root@hadoop1 hadoop]# start-all.sh

 如图所示即为搭建成功:

七、访问web界面
7.1、关闭防火墙

[root@hadoop1 hadoop]# systemctl stop firewalld

 7.2、在浏览器地址栏中输入自己虚拟机的IP地址加50070端口号
例如:192.168.181.150:50070


 7.3、关闭集群

[root@hadoop1 hadoop]# stop-all.sh