基于Hadoop搭建HDFS伪分布式环境的安装步骤

algorain
  2018-06-22 08:52:03 2018-06-22 08:52 Created   2023-05-14 21:39:50 2023-05-14 21:39 Updated      

基于Hadoop搭建HDFS伪分布式环境的安装步骤 本次实验中，老师使用的是hadoop用户，我是直接使用root用户，所以没有sudo，环境变量也是/etc/profile，其他的基本一样。

  1. JDK安装

查看已经上传的jdk文件，并安装 安装命令： yum localinstall -y jdk-8u171-linux-x64.rpm 添加到系统环境变量： ~/.bash_profile ​ export JAVA_HOME=/usr/java/jdk1.8.0_171-amd64 ​ export PATH=$JAVA_HOME/bin:$PATH:$HOME/bin 使得环境变量生效：source ~/.bash_profile ​ 验证java是否配置成功: java -version

  1. 安装SSH

在安装ssh是出错，用xshell进行ssh连接，发现可以连通，所以不再安装

  1. 安装sshd的时候，发现服务中sshd服务以及启动，所以不安装了

  1. 安装Hadoop

下载并解压Hadoop， 已经下载并放到桌面上，直接解压，安装 解压：tar -zxvf Hadoop-2.6.0-cdh5.7.0.tar.gz 查看目录，并进入/etc/Hadoop/

  1. 修改配置文件

hadoop配置文件的修改($HADDOP_HOME/etc/hadoop) hadoop-env.sh ​ export JAVA_HOME=/usr/java/jdk1.8.0_171-amd64 ​ core-site.xml ​ ​ fs.defaultFS ​ hdfs://localhost:9000 ​ ​ 由于hadoop伪分布式存储默认使用宿主系统的临时文件夹，会导致每次宿主系统重启后丢失，需要手动制定一个目录 ​ ​ hadoop.tmp.dir ​ /home/hadoop/app/tmp ​ ​ hdfs-site.xml ​ ​ dfs.replication ​ 1 ​

  1. 给Hadoop配置环境变量

添加环境变量： ​ export HADOOP_HOME=/home/hadoop/app/hadoop-2.6.0-cdh5.7.0 ​ export PATH=$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$PATH 使环境变量生效 source /etc/profile 查看Hadoop

  1. 启动hdfs

格式化分布式文件系统（仅第一次执行即可，不可重复执行）： ​ hdfs namenode -format 启动: start-dfs.sh 验证是否启动成功： ​ jps ​ NameNode ​ SecondaryNameNode ​ DataNode 浏览器访问方式：http://localhost:50070 8) 关闭hdfs ​ stop-dfs.sh

  • Title: 基于Hadoop搭建HDFS伪分布式环境的安装步骤
  • Author: algorain
  • Created at: 2018-06-22 08:52:03
  • Updated at: 2023-05-14 21:39:50
  • Link: http://www.rain1024.com/2018/06/22/article126/
  • License: This work is licensed under CC BY-NC-SA 4.0.
 Comments
On this page
基于Hadoop搭建HDFS伪分布式环境的安装步骤