Mac下 Hadoop部署简介(Mac OSX 10.8.3 + Hadoop-1.0.4)

发表于 2013/04/04

作者 OneCoder

次浏览 2 分钟阅读

OneCoder在自己的笔记本上部署Hadoop环境用于研究学习，记录部署过程和遇到的问题。

1、安装JDK。
2、下载Hadoop(1.0.4)，在Hadoop中配置JAVA_HOME环境变量。修改hadoop-env.sh文件。
export JAVA_HOME= /Library/Java/JavaVirtualMachines/jdk1.7.0_10.jdk/Contents/Home/
3、配置SSH
生成密钥

ssh-keygen -t dsa -P '' -f ~/.ssh/onecoder_dsa

将公钥追加到key中

cat ~/.ssh/onecoder_rsa.pub >> ~/.ssh/authorized_keys

打开Mac OS的远程访问选项。系统设置 -》共享 -》远程登录

4、配置namenode和datanode hdfs本地路径
在hdfs-site.xml中配置

<property>
 <name>dfs.name.dir</name>
 <value>/Users/apple/Documents/hadoop/name/</value>
</property>
<property>
   <name>dfs.data.dir</name>
  <value>/Users/apple/Documents/hadoop/data/</value>
</property>
 <property> 
    <name>dfs.replication</name> 
    <value>1</value> 
 </property>

由于是验证环境，所以数据备份设为1。

5、格式化namenode

bin/Hadoop NameNode -format

6、启动hadoop

可通过bin下的start-all.sh直接全部启动，也可以通过

hadoop namenode (datanode、jobtracker、tasktracker)

，按照上述顺序依次启动。
使用后者可以比较方便的查看启动日志，方便查错。并且也可以在控制台日志中看到监控页面的访问地址和端口。如：
13/04/04 15:52:18 INFO http.HttpServer: Jetty bound to port 50070
当然，这些地址你可以已经烂熟于胸了。通过浏览器进入web监控页面查看。可以看到一切就绪。Hadoop环境部署完成。

其他。
关于警告：Unable to load realm info from SCDynamicStore
网上给出的解决方案是：在hadoop-env.sh中设置

export HADOOP_OPTS="-Djava.security.krb5.realm=OX.AC.UK -Djava.security.krb5.kdc=kdc0.ox.ac.uk:kdc1.ox.ac.uk"

不过在OneCoder这里无效，但是不影响Hadoop环境使用。

大数据

Hadoop

本文由作者按照 CC BY 4.0 进行授权

热门标签