搜索
大数据中国 首页 大数据技术 查看内容
Hadoop配置和启动Hadoop方法详解
2014-4-19 16:27 | 查看: 2421| 评论: 0

本节和大家学习一下如何进行Hadoop配置与启动Hadoop方面的知识,相信通过本节的介绍大家对Hadoop配置和启动Hadoop方法有一定的认识,希望本节的介绍对你的学习有所帮助。

Hadoop配置与启动Hadoop

Hadoop三种模式:

StandaloneOperation:只有一个Java虚拟机在跑,完全没有分布式的成分。
Pseudo-DistributedOperation:在同一台机器上启动独立数个JVM进程,进行“分布式”操作。
Fully-DistributedOperation:真正的可以运行于多台机器上的分布式模式。(我们按这种方式进行配置)

环境:

第一台:win7+cygwin
第二台:虚拟机CentOS.5.3

实现目标:

cygwin作为master,部署上NameNode+JobTracker,IP:192.168.220.1
CentOS作为slaver,部署上DataNode+TaskTracker,IP:192.168.14.128

Hadoop配置准备工作:

1.免密码SSH登录,cygwin=》CentOS,见:http://efeil.blog.163.com/blog/static/1189022972010210544494/
2.两个系统Hosts配置相同,为:192.168.220.1hadoop-master

192.168.14.128hadoophadoop-slave01

3.Hadoop配置中conf/core-site.xml配置
<configuration>
<!---globalproperties-->
<property>
<name>hadoop.tmp.dir</name>
<!--这是Cygwin下配置,CentOS下为/tmp/hdfs-gaoyanfei-->
<value>e:/tmp/hdfs-gaoyanfei</value>
<description>Abaseforothertemporarydirectories.</description>
</property>
<!--filesystemproperties-->
<property>
<name>fs.default.name</name>
<value>hdfs://hadoop-master:9000</value>
</property>
</configuration>


4.Hadoop配置中conf/hdfs-site.xml配置:

<?xmlversion="1.0"?>
<?xml-stylesheettype="text/xsl"href="configuration.xsl"?>

<!--Putsite-specificpropertyoverridesinthisfile.-->
<configuration>
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
</configuration>


5.Hadoop配置中conf/mapred-site.xml配置:
<?xmlversion="1.0"?>
<?xml-stylesheettype="text/xsl"href="configuration.xsl"?>
<!--Putsite-specificpropertyoverridesinthisfile.-->
<configuration>
<property>
<name>mapred.job.tracker</name>
<value>hadoop-master:9001</value>
</property>
</configuration>


6.masters配置内容:hadoop-master
7.slaves配置内容:hadoop-slave01

8.在Cygwin下启动:
1.bin/hadoopnamenode-format
2.bin/start-all.sh。本节关于Hadoop配置与启动Hadoop介绍到这里

免责声明: 除非特别声明,文章均为投稿或网络转载,仅代表作者观点,与大数据中国网无关。其原创性以及文中陈述文字和内容未经本站证实,对本文以及其中全部或者部分内容、文字的真实性、完整性、及时性本站不作任何保证或承诺,请读者仅作参考,并请自行核实相关内容。如果本文内容有侵犯你的权益,请发送信息至ab12-120@163.com,我们会及时删除

最新评论

关闭

站长推荐上一条 /1 下一条

 
 
大数据行业交流
大数据行业交流
大数据求职招聘
大数据求职招聘
站长电话:
15010106923
微信联系:
hb-0310
站长邮箱:
ab12-120@163.com
大数据中国微信

QQ   

版权所有: Discuz! © 2001-2013 大数据.

GMT+8, 2024-5-3 13:40 , Processed in 0.147187 second(s), 23 queries .

返回顶部