以前博客上的老文,最近又重新在搞hadoop,转过来方便查阅
硬件环境
共有3台机器,均使用的FC5系统,Java使用的是jdk1.6.0。IP配置如下:
dbrg-1:202.197.18.72
dbrg-2:202.197.18.73
dbrg-3:202.197.18.74
这里有一点需要强调的就是,务必要确保每台机器的主机名和IP地址之间能正确解析。
一个很简单的测试办法就是ping一下主机名,比如在dbrg-1上ping dbrg-2,如果能ping通就OK!若不能正确解析,可以修改/etc/hosts文件,如果该台机器作Namenode用,则需要在hosts文件中加上集群中所有机器的IP地址及其对应的主机名;如果该台机器作Datanode用,则只需要在hosts文件中加上本机IP地址和Namenode机器的IP地址。
以本文为例,dbrg-1中的/etc/hosts文件看起来就应该是这样的:
127.0.0.0 localhost localhost
202.197.18.72 dbrg-1 dbrg-1
202.197.18.73 dbrg-2 dbrg-2
202.197.18.74 dbrg-3 dbrg-3
dbrg-2中的/etc/hosts文件看起来就应该是这样的:
127.0.0.0 localhost localhost
202.197.18.72 dbrg-1 dbrg-1
202.197.18.73 dbrg-2 dbrg-2
在上一篇学习笔记中提到过,对于Hadoop来说,在HDFS看来,节点分为Namenode和Datanode,其中Namenode只有一个,Datanode可以是很多;在MapReduce看来,节点又分为Jobtracker和Tasktracker,其中Jobtracker只有一个,Tasktracker可以是很多。
我是将namenode和jobtracker部署在dbrg-1上,dbrg-2,dbrg-3作为datanode和tasktracker。当然你也可以将namenode,datanode,jobtracker,tasktracker全部部署在一台机器上
最近把车卖了,开了大半年,算上税折了2万3左右,觉得还算可以。重新从地下室里捞出尘土满满的电动车,电池长期亏电已经废了,换了块电瓶搞定。戴上头盔,吹着风,那叫一个冷啊,开车的时候这种天气我衬衣加件薄外套就行了,现在得穿羽绒服,而且每次晚上时间晚了就根本不想回去,就跑到杰哥那边过一宿,深刻体会到由俭入奢易,由奢入俭难。
2010公司的年会年后才开,这次分组居然全公司人打乱了分,我还被任命为组长。想想好像已经2年多没参加过公司的任何节目了,很多新人都不知道哥的威名了,那就整一把。为了排练还把钱包丢了,哥差点暴走,不过最后终于实现了目标,节目评上前三,虽然是第三,不过作为开场节目还不错了,1000块奖金到手。
最后是小组合影
焦圈,那忧郁的眼神,唏嘘的胡渣子,还有嘴上那条香肠,他的香肠在上唇,我在下唇。。。
龙眼,英文名:Dragon Fuck
剑南春,手上那支笔转啊转,学不会。。。
何灵,也可以是何炅,新来的实习生,新来的嘛,比较“低调”
我,佛手,哥彪悍的相貌不需要多解释
雪饼,从去年开始,发现他越来越猥琐了,说白了就是黄得可以,可以参照图片中的眼神。老牛中的大牛
常青藤,真的是老牛中的老牛,家里的牛犊也不小了,魔方帝
相见既是缘,这次五人拼车回家,有一人在上海,还没来,我们其他四人周末聚了下,一起吃了顿和谐、友好的晚饭。李锐并非我们小组成员,是杰哥的同事,蛮好一人,也是球友,下午打完篮球就一起来了。晚饭吃得划算无比,因为拿着口碑的优惠券,半价优惠,好久没有享受过自己公司的好处了,呵呵

























最新评论