Archive for 四月, 2010

Hadoop配置及安装部署

hadoop%e9%85%8d%e7%bd%ae%e5%8f%8a%e5%ae%89%e8%a3%85%e9%83%a8%e7%bd%b2

以前博客上的老文,最近又重新在搞hadoop,转过来方便查阅

硬件环境
共有3台机器,均使用的FC5系统,Java使用的是jdk1.6.0。IP配置如下:
dbrg-1:202.197.18.72
dbrg-2:202.197.18.73
dbrg-3:202.197.18.74

这里有一点需要强调的就是,务必要确保每台机器的主机名和IP地址之间能正确解析。

一个很简单的测试办法就是ping一下主机名,比如在dbrg-1上ping dbrg-2,如果能ping通就OK!若不能正确解析,可以修改/etc/hosts文件,如果该台机器作Namenode用,则需要在hosts文件中加上集群中所有机器的IP地址及其对应的主机名;如果该台机器作Datanode用,则只需要在hosts文件中加上本机IP地址和Namenode机器的IP地址。

以本文为例,dbrg-1中的/etc/hosts文件看起来就应该是这样的:
127.0.0.0         localhost     localhost
202.197.18.72     dbrg-1        dbrg-1
202.197.18.73     dbrg-2        dbrg-2
202.197.18.74     dbrg-3        dbrg-3

dbrg-2中的/etc/hosts文件看起来就应该是这样的:
127.0.0.0         localhost    localhost
202.197.18.72     dbrg-1       dbrg-1
202.197.18.73     dbrg-2       dbrg-2

在上一篇学习笔记中提到过,对于Hadoop来说,在HDFS看来,节点分为Namenode和Datanode,其中Namenode只有一个,Datanode可以是很多;在MapReduce看来,节点又分为Jobtracker和Tasktracker,其中Jobtracker只有一个,Tasktracker可以是很多。
我是将namenode和jobtracker部署在dbrg-1上,dbrg-2,dbrg-3作为datanode和tasktracker。当然你也可以将namenode,datanode,jobtracker,tasktracker全部部署在一台机器上

点击查看更多 »

当哥重新戴上头盔

%e5%bd%93%e5%93%a5%e9%87%8d%e6%96%b0%e6%88%b4%e4%b8%8a%e5%a4%b4%e7%9b%94

最近把车卖了,开了大半年,算上税折了2万3左右,觉得还算可以。重新从地下室里捞出尘土满满的电动车,电池长期亏电已经废了,换了块电瓶搞定。戴上头盔,吹着风,那叫一个冷啊,开车的时候这种天气我衬衣加件薄外套就行了,现在得穿羽绒服,而且每次晚上时间晚了就根本不想回去,就跑到杰哥那边过一宿,深刻体会到由俭入奢易,由奢入俭难。