pu20065226 - 博客园
随笔 - 8  文章 - 0 评论 - 0 trackbacks - 0

摘要: 背景:(测试环境)只有两台机器一台namenode一台namenode,但集群只有一个结点感觉不出来效果,在namenode上挂一个datanode就有两个节点,弊端见最后 操作非常简单(添加独立节点参照:http://www.zjblrv.net/pu20065226/p/8493316.htm阅读全文
posted @ 2018-03-20 11:16 pu20065226 阅读(32) 评论(0) 编辑
摘要: window eclipse连接hadoop集群,本地运行wordcount,报以下错误,尝试网络上的方法无果,如:换64JDK,添加hadoop_home,path,以及在hadoop\bin和c:\windows\system32下放hadoop.dll。 解决:删除hadoop\bin\had阅读全文
posted @ 2018-03-16 16:46 pu20065226 阅读(39) 评论(0) 编辑
摘要: 转载:http://blog.csdn.net/bluesky_usc/article/details/51849125 1值比较 即内容相同,我们就认为是相等的。比如:int i=5;int j =5;此时我们说i和j相等,其实指的是i和j的内容相同。 2引用类型比较 但在Java中,除了值类型,阅读全文
posted @ 2018-03-08 18:04 pu20065226 阅读(33) 评论(0) 编辑
摘要: 需求:有一个数据字典全量汇总表,其中第一个sheet为目录,包括编号和表名,第二个以后为表的明细。其中sheet名就是表名但无序,sheet内字段序号无序有空行 现在要求将其中101,104,107,111表中的格式列和字段名称以及表名取出,生成批量语句,要求按给的编号有序输出,字段出要有序并排除窄阅读全文
posted @ 2018-03-08 17:24 pu20065226 阅读(112) 评论(0) 编辑
摘要: 参考文章:http://www.360doc.com/content/16/0227/18/10529016_537828949.shtml, 配置修改:http://blog.csdn.net/loliaryx/article/details/79125444 本文基于以上两篇文章和自己的实际操作阅读全文
posted @ 2018-03-07 10:16 pu20065226 阅读(42) 评论(0) 编辑
摘要: 1. 配置系统环境 主机名,ssh互信,环境变量等 本文略去jdk安装,请将datanode的jdk安装路径与/etc/hadoop/hadoop-evn.sh中的java_home保持一致,版本hadoop2.7.5 修改/etc/sysconfig/network 然后执行命令hostname 阅读全文
posted @ 2018-03-02 15:39 pu20065226 阅读(45) 评论(0) 编辑
摘要: 1增加主机映射(与namenode的映射一样): 增加最后一行 2新建用户hadoop 建立hadoop用户组 新建用户,useradd -d /usr/hadoop -g hadoop -m hadoop (新建用户hadoop指定用户主目录/usr/hadoop 及所属组hadoop) pass阅读全文
posted @ 2018-02-24 14:49 pu20065226 阅读(121) 评论(0) 编辑
摘要: Hadoop集群部署,就是以Cluster mode方式进行部署。本文是基于JDK1.7.0_79,hadoop2.7.5。 1.Hadoop的节点构成如下: HDFS daemon: NameNode, SecondaryNameNode, DataNode YARN damones: Resou阅读全文
posted @ 2018-02-24 11:21 pu20065226 阅读(240) 评论(0) 编辑