3653人阅读
hadoop（22）
hadoop单机模式配置
一、SSH（secure shell）的免密码登陆
a、执行命令，产生秘钥
产生的秘钥位于 ~/.ssh文件夹中 用户目录下
ssh-keygen -t rsa
b、cp ~/.ssh/id_rsa.pub ~/.ssh/authorized_keys
ubuntu可能要手动开启ssh服务：
sudo apt-get install openssh-server
然后确认sshserver是否启动了：
ps -e |grep ssh
验证：ssh localhost
使用pieTTY的SSH登陆
二、安装hadoop
tar -zvxf hadoop-1.1.2.tar.gz&
三、配置环境变量
/etc/profile添加
export JAVA_HOME=/root/local/jdk
export HADOOP_HOME=/root/local/hadoop
export PATH=.:$HADOOP_HOME/bin:$JAVA_HOME/bin:$PATH
source /etc/profile
修改hadoop配置文件进行单机模式配置
参考教程ppt
配置文件主要位于$HADOOP_HOME/config目录下
1.hadoop-env.sh
export JAVA_HOME=/root/tool/jdk #按个人jdk安装位置自行修改
export HADOOP_PID_DIR=/var/hadoop/pids
export HADOOP_HOME_WARN_SUPPRESS=1
2、core-site.xml
&configuration&
& &property&
& & &name&hadoop.tmp.dir&/name&
& & &value&/data/hadoop-${user.name}&/value&
& &/property&
& &property&
& & &name&fs.default.name&/name&
& & &value&hdfs://localhost:9000&/value&
& &/property&
&/configuration&
3、hdfs-site.xml
&configuration&
& &property&
& & &name&dfs.replication&/name&
& & &value&1&/value&
& &/property&
& &property&
& & &name&dfs.block.size&/name&
& & &value&&/value&
& &/property&
& &property&
& & &name&dfs.data.dir&/name&
& & &value&${hadoop.tmp.dir}/dfs/data&/value&
& &/property&
&/configuration&
4、mapred-site.xml
&configuration&
& &property&
& & &name&mapred.job.tracker&/name&
& & &value&localhost:9001&/value&
& &/property&
& &property&
& & &name&mapred.child.tmp&/name&
& & &value&${hadoop.tmp.dir}&/value&
& &/property&
& &property&
& & &name&pleteuserjobs.maximum&/name&
& & &value&25&/value&
& &/property&
& &property&
& & &name&mapred.child.java.opts&/name&
& & &value&-Dfile.encoding=utf-8 -Duser.language=zh -Xmx512m&/value&
& &/property&
& &property&
& & &name&io.sort.mb&/name&
& & &value&256&/value&
& &/property&
& &property&
& & &name&mapred.tasktracker.map.tasks.maximum&/name&
& & &value&4&/value&
& &/property&
& &property&
& & &name&mapred.tasktracker.reduce.tasks.maximum&/name&
& & &value&4&/value&
& &/property&
&/configuration&
四、启动单机版hadoop
格式化hadoop：hadoop namenode -format
删除原来的Hadoop数据:rm -rf /data/hadoop/tmp
启动：start-all.sh
命令jps查看启动了5个进程 NameNode JobTracker TaskTracker DataNode SecondaryNameNode
web查看：http://192.168.1.100:50070/dfshealth.jsp
http://hadoop:50070/dfshealth.jsp
http://192.168.1.100:50030/jobtracker.jsp
http://hadoop:50030/jobtracker.jsp
然后hadoop配置和启动成功了！
其他的请参考我另外一篇配置文章
参考知识库
* 以上用户言论只代表其个人观点，不代表CSDN网站的观点或立场
访问：882677次
积分：16101
积分：16101
排名：第433名
原创：703篇
转载：275篇
评论：138条
我的其他技术博客站点，欢迎关注。
android面试手册app
(18)(34)(21)(42)(49)(10)(14)(10)(11)(21)(21)(26)(24)(15)(17)(24)(9)(24)(14)(17)(15)(24)(39)(28)(14)(19)(27)(35)(10)(16)(31)(12)(13)(41)(32)(16)(18)(14)(2)(10)(38)(9)(29)(3)(31)(12)(16)(10)(1)
算法分析与设计和算法导论温馨提示！由于新浪微博认证机制调整，您的新浪微博帐号绑定已过期，请重新绑定！&&|&&
LOFTER精选
网易考拉推荐
用微信&&“扫一扫”
将文章分享到朋友圈。
用易信&&“扫一扫”
将文章分享到朋友圈。
安装JAVA。解压cd /usr/local&tar -zxvf jdk-7u25-linux-x64.gz&2.配置/etc/profile &vi /etc/profile#set java environmentJAVA_HOME=/usr/local/jdk1.7.0_25CLASSPATH=.:$JAVA_HOME/lib.tools.jarPATH=$JAVA_HOME/bin:$PATHexport JAVA_HOME CLASSPATH PATH3.使其生效source /etc/profile &4.查看JAVA安装是否成功java -version&&安装ssh，免密码登陆。
apt-get install openssh-server&安装ssh
$ ssh-keygen -t rsa -P ""&（注意不要多加空格或缺少空格）
中途需要安装者选择保存密钥的文件，按回车使用默认的文件就可以了：
Enter file in which to save the key (/root/.ssh/id_rsa):（按回车）
启用SSH KEY:
$ cat /root/.ssh/id_rsa.pub && /root/.ssh/authorized_keys
/etc/init.d/ssh reload
reload ssh
ssh localhost1.安装配置单机hadoop
1)解压到/opt/hadoop
1.$ tar zxvf hadoop-1.2.0.tar.gz
2.$ sudo mv hadoop-1.2.0&/opt/
3.$ sudo chown -R hadoop:hadoop /opt/hadoop-1.2.0
4.$ sudo ln -sf /opt/hadoop-1.2.0&/opt/hadoop
4. 配置 hadoop-env.sh
1）在hadoop/conf 里面hadoop-env.sh增加
1.export JAVA_HOME=/usr/jdk1.7.0_25
2.export HADOOP_HOME=/opt/hadoop
3.export PATH=$PATH:/opt/hadoop/bin
5.配置文件
1)編輯 /opt/hadoop/conf/core-site.xml
1.&configuration&
2.&property&
3.&name&fs.default.name&/name&
4.&value&hdfs://localhost:9000&/value&
5.&/property&
6.&property&
7.&name&hadoop.tmp.dir&/name&
8.&value&/tmp/hadoop/hadoop-${user.name}&/value&
9.&/property&
10.&/configuration&
/opt/hadoop/conf/hdfs-site.xml
1.&configuration&
2.&property&
3.&name&dfs.replication&/name&
4.&value&1&/value&
5.&/property&
6.&/configuration&
/opt/hadoop/conf/mapred-site.xml
1.&configuration&
2.&property&
3.&name&mapred.job.tracker&/name&
4.&value&localhost:9001&/value&
5.&/property&
6.&/configuration&
6.格式化hdfs
1.$ cd /opt/hadoop
2.$ source conf/hadoop-env.sh
3.$ hadoop namenode -format
提示信息一大堆... 7.&启动hadoopJava代码1.$ sudo ./start-all.sh&//在hadoop/bin下执行8.完成后的测试
1.http://localhost:50030/
- Hadoop 管理接口
阅读(2712)|
用微信&&“扫一扫”
将文章分享到朋友圈。
用易信&&“扫一扫”
将文章分享到朋友圈。
历史上的今天
在LOFTER的更多文章
loftPermalink:'',
id:'fks_',
blogTitle:'hadoop 单机安装与部署',
blogAbstract:'说明：安装hadoop首先要安装java 然后再安装hadoop安装JAVA。解压cd /usr/local&tar -zxvf jdk-7u25-linux-x64.gz&2.配置/etc/profile &vi /etc/profile#set java environmentJAVA_HOME=/usr/local/jdk1.7.0_25CLASSPATH=.:$JAVA_HOME/lib.tools.jarPATH=$JAVA_HOME/bin:$PATHexport JAVA_HOME CLASSPATH PATH',
blogTag:'',
blogUrl:'blog/static/',
isPublished:1,
istop:false,
modifyTime:4,
publishTime:1,
permalink:'blog/static/',
commentCount:0,
mainCommentCount:0,
recommendCount:2,
bsrk:-100,
publisherId:0,
recomBlogHome:false,
currentRecomBlog:false,
attachmentsFileIds:[],
groupInfo:{},
friendstatus:'none',
followstatus:'unFollow',
pubSucc:'',
visitorProvince:'',
visitorCity:'',
visitorNewUser:false,
postAddInfo:{},
mset:'000',
remindgoodnightblog:false,
isBlackVisitor:false,
isShowYodaoAd:true,
hostIntro:'',
hmcon:'1',
selfRecomBlogCount:'0',
lofter_single:''
{list a as x}
{if x.moveFrom=='wap'}
{elseif x.moveFrom=='iphone'}
{elseif x.moveFrom=='android'}
{elseif x.moveFrom=='mobile'}
${a.selfIntro|escape}{if great260}${suplement}{/if}
{list a as x}
推荐过这篇日志的人：
{list a as x}
{if !!b&&b.length>0}
他们还推荐了：
{list b as y}
转载记录：
{list d as x}
{list a as x}
{list a as x}
{list a as x}
{list a as x}
{if x_index>4}{break}{/if}
${fn2(x.publishTime,'yyyy-MM-dd HH:mm:ss')}
{list a as x}
{if !!(blogDetail.preBlogPermalink)}
{if !!(blogDetail.nextBlogPermalink)}
{list a as x}
{if defined('newslist')&&newslist.length>0}
{list newslist as x}
{if x_index>7}{break}{/if}
{list a as x}
{var first_option =}
{list x.voteDetailList as voteToOption}
{if voteToOption==1}
{if first_option==false},{/if}&&“${b[voteToOption_index]}”&&
{if (x.role!="-1") },“我是${c[x.role]}”&&{/if}
&&&&&&&&${fn1(x.voteTime)}
{if x.userName==''}{/if}
网易公司版权所有&&
{list x.l as y}
{if defined('wl')}
{list wl as x}{/list}<!DOCTYPE HTML PUBLIC "-//W3C//DTD HTML 4.01 Transitional//EN"
您的访问请求被拒绝 403 Forbidden - ITeye技术社区
您的访问请求被拒绝
亲爱的会员，您的IP地址所在网段被ITeye拒绝服务，这可能是以下两种情况导致：
一、您所在的网段内有网络爬虫大量抓取ITeye网页，为保证其他人流畅的访问ITeye，该网段被ITeye拒绝
二、您通过某个代理服务器访问ITeye网站，该代理服务器被网络爬虫利用，大量抓取ITeye网页
请您点击按钮解除封锁&本作品由创作，采用进行许可。基于上的作品创作。
默认情况下，Hadoop被配置成以非分布式模式运行的一个独立Java进程。这对调试非常有帮助。
(只有一个JVM进程，没有分布式，不使用HDFS)
Ubuntu13.10(32位/64位均可)
hadoop-2.2.0.tar.gz&&
在用户主目录新建文件夹hadoop，Hadoop将安装在该目录~/hadoop
Hadoop安装&
&释放文件并软连接（方便用户以后版本更新)
cd ~/setupEnv
sudo tar zxvf hadoop-2.2.0.tar.gz -C ~/hadoop
sudo ln -s ~/hadoop/hadoop-2.2.0 ~/hadoop/hadoop
修改系统环境变量
sudo gedit /etc/profile
在末尾添加以下内容 ：
export HADOOP_HOME=~/hadoop/hadoop
export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin
&将配置文件启用：
source /etc/profile
hadoop version
&配置hadoop-env.sh
cd ~/hadoop/hadoop/etc/hadoop
sudo gedit hadoop-env.sh
把JAVA_HOME指定为：export JAVA_HOME=/usr/local/java/jdk1.7.0_45
运行测试 (注：Hadoop刚完成安装不修改配置文件即为单机模式)
&测试一：wordcount
在主文件下新建hadoopTest文件夹，创建in子文件夹，创建任意文本文档内容
cd ~/hadoop/hadoop/share/hadoop/mapreduce
hadoop jar hadoop-mapreduce-examples-2.2.0.jar wordcount ~/hadoopTest/in ~/hadoopTest/out
cat ~/hadoopTest/out/part-r-00000
hadoop单机运行可以不打包成jar： hadoop 主类名 [输入输出目录等参数]相比用java运行，使用hadoop命令会自动添加hadoop库文件到classpath
[注意]要实现不打包运行，需要修改环境变量
sudo gedit /etc/profile
export HADOOP_CLASSPATH=$HADOOP_CLASSPATH:.
输出命名方式： map输出：part-m-nnnnn
reduce输出：part-r-nnnnn其中nnnnn为分块序号，从0开始。 分布式下Map的输出是在硬盘上而不是hdfs，因为它作为中间结果是临时的，一旦写入hdfs就会分布式存储并备份。
example中的样例程序说明
阅读(...) 评论()}