Centos 6.5 下Hadoop 1.2.1单节点环境的创建

centos Hadoop 2014年11月26日

1251 0 0

安装以及配置Java

JDK安装

				#chmod 777 jre-6u31-linux-x64-rpm.bin

				#./jre-6u31-linux-x64-rpm.bin

添加java环境变量

				#vim /etc/profile

				#最后添加

				# set java environment

export JAVA_HOME=/usr/java/jre1.6.0_31

export CLASSPATH=.:$JAVA_HOME/jre/lib/rt.jar:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar

export PATH=$PATH:$JAVA_HOME/bin

生效java变量：

				#source /etc/profile

				# java -version

							添加hadoop用户

在所有的机器上都建立相同的目录，也可以就建立相同的用户，最好是以该用户的home路径来做hadoop的安装路径。安装路径都是：/home/hadoop/hadoop-1.2.1

				#useradd hadoop

				#passwd hadoop  #密码也为hadoop

无密码登陆

# su - hadoop
$ ssh-keygen -t rsa
$ cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys
$ chmod 0600 ~/.ssh/authorized_keys

下载安装hadoop

#su - hadoop #wget http://apache.stu.edu.tw/hadoop/common/hadoop-1.2.1/hadoop-1.2.1.tar.gz #tar -zxvf hadoop-1.2.1.tar.gz

我的安装目录为：

/home/hadoop/hadoop-1.2.1

为了方便，使用hadoop命令或者start-all.sh等命令，修改节点上/etc/profile 新增以下内容：

export HADOOP_HOME=/home/hadoop/hadoop-1.2.1

export PATH=$PATH:$HADOOP_HOME/bin

修改完毕后，执行source /etc/profile 来使其生效。

配置Hadoop

配置conf/hadoop-env.sh文件,添加：

export JAVA_HOME=/usr/java/jre1.6.0_31

这里修改为你的jdk的安装位置。

测试hadoop安装

执行hadoop自带的例子来检测hadoop是否安装成功

cd $HADOOP_HOME/bin

/home/hadoop/hadoop-1.2.1/bin/hadoop jar ./hadoop-1.2.1/hadoop-examples-1.2.1.jar wordcount ./hadoop-1.2.1/conf/ /tmp/out

修改配置文件

							vi /home/hadoop/hadoop-1.2.1/conf/core-site.xml

							<configuration>

							<property> 

<name>fs.default.name</name> <value>hdfs://localhost:9000</value> </property>

					</configuration>

					vi /home/hadoop/hadoop-1.2.1/conf/hdfs-site.xml

					<configuration> 

					<property> 

					<name>dfs.replication</name> 

					<value>1</value> 

					</property>

					</configuration>

					vi /home/hadoop/hadoop-1.2.1/conf/mapred-site.xml

<name>mapred.job.tracker</name>

<value>localhost:8021</value>

</property>

</configuration>

格式化HDFS

hadoop namenode -format

启动服务

start-dfs.sh

start-mapred.sh

停止服务

stop-dfs.sh

stop-mapred.sh

验证

Hadoop NameNode 默认端口是50070

访问port 50090 得到 secondary namenode的相关信息.

访问port 50075 得到 DataNode的相关信息.

本文由 CentOS中文站 - 专注Linux技术作者：centos 发表，其版权均为 CentOS中文站 - 专注Linux技术所有，文章内容系作者个人观点，不代表 CentOS中文站 - 专注Linux技术对观点赞同或支持。如需转载，请注明文章来源。

Centos 6.5 下Hadoop 1.2.1单节点环境的创建

JDK安装

添加java环境变量

添加hadoop用户

无密码登陆

配置Hadoop

测试hadoop安装

修改配置文件

相关文章