MapReduce

Hadoop-in-Practice第四章MapReduce-Join代码运行问题

hadoop-in-practice-joins

最近在做基于 MapReduce 的 Join 算法,搜到了《Hadoop in Practice》这本书,不得不说老外写的书就是好啊,特别是 PDF 电子版,这代码注释排版,给人的感觉很舒服,而且在 GitHub 上给出了代码: https://github.com/alexholmes/hadoop-book,并且有在更新。相比于前阵子买的一本国人写的技术书,部分代码的缩进都是有问题的,看着都累…

继续阅读

使用Eclipse编译运行MapReduce程序 Hadoop2.6.0_Ubuntu/CentOS

build-mapreduce-using-eclipse

本教程介绍的是如何在 Ubuntu/CentOS 中使用 Eclipse 来开发 MapReduce 程序,在 Hadoop 2.6.0 下验证通过。虽然我们可以使用命令行编译打包运行自己的MapReduce程序,但毕竟编写代码不方便。使用 Eclipse,我们可以直接对 HDFS 中的文件进行操作,可以直接运行代码,省去许多繁琐的命令。本教程由厦门大学数据库实验室出品,转载请注明。

继续阅读

使用命令行编译打包运行自己的MapReduce程序 Hadoop2.6.0

hadoop-build-project-by-shell

网上的 MapReduce WordCount 教程对于如何编译 WordCount.java 几乎是一笔带过… 而有写到的,大多又是 0.20 等旧版本版本的做法,即 javac -classpath /usr/local/hadoop/hadoop-1.0.1/hadoop-core-1.0.1.jar WordCount.java,但较新的 2.X 版本中,已经没有 hadoop-core*.jar 这个文件,因此编辑和打包自己的 MapReduce 程序与旧版本有所不同。

本文以 Hadoop 2.6.0 环境下的 WordCount 实例来介绍 2.x 版本中如何编辑自己的 MapReduce 程序。

继续阅读