通过java api提交自定义hadoop 作业

通过API操作之前要先了解几个基本知识

一、hadoop的基本数据类型和java的基本数据类型是不一样的,但是都存在对应的关系

如下图

技术分享

如果需要定义自己的数据类型,则必须实现Writable

hadoop的数据类型可以通过get方法获得对应的java数据类型

而java的数据类型可以通过hadoop数据类名的构造函数,或者set方法转换

二、hadoop提交作业的的步骤分为八个,可以理解为天龙八步

如下:

map端工作:

1.1 读取要操作的文件--这步会将文件的内容格式化成键值对的形式,键为每一行的起始位置偏移,值为每一行的内容

1.2 调用map进行处理--在这步使用自定义的Mapper类来实现自己的逻辑,输入的数据为1.1格式化的键值对,输入的数据也是键值对的形式

1.3 对map的处理结果进行分区--map处理完毕之后可以根据自己的业务需求来对键值对进行分区处理,比如,将类型不同的结果保存在不同的文件中等。这里设置几个分区,后面就会有对应的几个Reducer来处理相应分区中的内容

1.4 分区之后,对每个分区的数据进行排序,分组--排序按照从小到大进行排列,排序完毕之后,会将键值对中,key相同的选项 的value进行合并。如,所有的键值对中,可能存在

hello 1

hello 1

key都是hello,进行合并之后变成

hello 2

可以根据自己的业务需求对排序和合并的处理进行干涉和实现

1.5 归约(combiner)--简单的说就是在map端进行一次reduce处理,但是和真正的reduce处理不同之处在于:combiner只能处理本地数据,不能跨网络处理。通过map端的combiner处理可以减少输出的数据,因为数据都是通过网络传输的,其目的是为了减轻网络传输的压力和后边reduce的工作量。并不能取代reduce

reduce端工作:

2.1 通过网络将数据copy到各个reduce

2.2 调用reduce进行处理--reduce接收的数据是整个map端处理完毕之后的键值对,输出的也是键值对的集合,是最终的结果

2.3 将结果输出到hdfs文件系统的路径中


新建一个java项目,并导入hadoop包,在项目选项上右键,如图选择

技术分享

找到hadoop的安装目录,选择所有的包

技术分享

在找到hadoop安装目录下的lib,导入其中的所有包

技术分享


新建JMapper类为自定义的Mapper类

import org.apache.hadoop.io.LongWritable;
import org.apache.hadoop.io.Text;
import org.apache.hadoop.mapreduce.Mapper;

//自定义的Mapper类必须继承Mapper类,并重写map方法实现自己的逻辑
public class JMapper extends Mapper<LongWritable, Text, Text, LongWritable> {
	//处理输入文件的每一行都会调用一次map方法,文件有多少行就会调用多少次
	protected void map(
			LongWritable key,
			Text value,
			org.apache.hadoop.mapreduce.Mapper<LongWritable, Text, Text, LongWritable>.Context context)
			throws java.io.IOException, InterruptedException {
		//key为每一行的起始偏移量
		//value为每一行的内容
		
		//每一行的内容分割,如hello	world,分割成一个String数组有两个数据,分别是hello,world
		String[] ss = value.toString().toString().split("\t");
		//循环数组,将其中的每个数据当做输出的键,值为1,表示这个键出现一次
		for (String s : ss) {
			//context.write方法可以将map得到的键值对输出
			context.write(new Text(s), new LongWritable(1));
		}
	};
}

新建JReducer类为自定义的Reducer

import org.apache.hadoop.io.LongWritable;
import org.apache.hadoop.io.Text;
import org.apache.hadoop.mapreduce.Reducer;

//自定义的Reducer类必须继承Reducer,并重写reduce方法实现自己的逻辑,泛型参数分别为输入的键类型,值类型;输出的键类型,值类型;之后的reduce类似
public class JReducer extends Reducer<Text, LongWritable, Text, LongWritable> {
	//处理每一个键值对都会调用一次reduce方法,有多少个键值对就调用多少次
	protected void reduce(
			Text key,
			java.lang.Iterable<LongWritable> value,
			org.apache.hadoop.mapreduce.Reducer<Text, LongWritable, Text, LongWritable>.Context context)
			throws java.io.IOException, InterruptedException {
		//key为每一个单独的单词,如:hello,world,you,me等
		//value为这个单词在文本中出现的次数集合,如{1,1,1},表示总共出现了三次
		long sum = 0;
		//循环value,将其中的值相加,得到总次数
		for (LongWritable v : value) {
			sum += v.get();
		}
		//context.write输入新的键值对(结果)
		context.write(key, new LongWritable(sum));
	};
}

新建执行提交作业的类,取名JSubmit

import java.io.IOException;
import java.net.URI;
import java.net.URISyntaxException;

import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.FileSystem;
import org.apache.hadoop.fs.Path;
import org.apache.hadoop.io.LongWritable;
import org.apache.hadoop.io.Text;
import org.apache.hadoop.mapreduce.Job;
import org.apache.hadoop.mapreduce.lib.input.FileInputFormat;
import org.apache.hadoop.mapreduce.lib.input.TextInputFormat;
import org.apache.hadoop.mapreduce.lib.output.FileOutputFormat;
import org.apache.hadoop.mapreduce.lib.output.TextOutputFormat;

public class JSubmit {
	public static void main(String[] args) throws IOException,
			URISyntaxException, InterruptedException, ClassNotFoundException {
		//Path类为hadoop API定义,创建两个Path对象,一个输入文件的路径,一个输入结果的路径
		Path outPath = new Path("hdfs://localhost:9000/out");
		//输入文件的路径为本地linux系统的文件路径
		Path inPath = new Path("/home/hadoop/word");
		//创建默认的Configuration对象
		Configuration conf = new Configuration();
		//根据地址和conf得到hadoop的文件系统独享
		//如果输入路径已经存在则删除
		FileSystem fs = FileSystem.get(new URI("hdfs://localhost:9000"), conf);
		if (fs.exists(outPath)) {
			fs.delete(outPath, true);
		}
		//根据conf创建一个新的Job对象,代表要提交的作业,作业名为JSubmit.class.getSimpleName()
		Job job = new Job(conf, JSubmit.class.getSimpleName());
		//1.1
		//FileInputFormat类设置要读取的文件路径
		FileInputFormat.setInputPaths(job, inPath);
		//setInputFormatClass设置读取文件时使用的格式化类
		job.setInputFormatClass(TextInputFormat.class);
		
		//1.2调用自定义的Mapper类的map方法进行操作
		//设置处理的Mapper类
		job.setMapperClass(JMapper.class);
		//设置Mapper类处理完毕之后输出的键值对 的 数据类型
		job.setMapOutputKeyClass(Text.class);
		job.setMapOutputValueClass(LongWritable.class);
		
		//1.3分区,下面的两行代码写和没写都一样,默认的设置
<span style="white-space:pre">		</span>job.setPartitionerClass(HashPartitioner.class);
<span style="white-space:pre">		</span>job.setNumReduceTasks(1);
		
		//1.4排序,分组
		
		//1.5归约,这三步都有默认的设置,如果没有特殊的需求可以不管
		
		//2.1将数据传输到对应的Reducer
		
		//2.2使用自定义的Reducer类操作
		//设置Reducer类
		job.setReducerClass(JReducer.class);
		//设置Reducer处理完之后 输出的键值对 的数据类型
		job.setOutputKeyClass(Text.class);
		job.setOutputValueClass(LongWritable.class);
		
		//2.3将结果输出
		//FileOutputFormat设置输出的路径
		FileOutputFormat.setOutputPath(job, outPath);
		//setOutputFormatClass设置输出时的格式化类
		job.setOutputFormatClass(TextOutputFormat.class);
		
		//将当前的job对象提交
		job.waitForCompletion(true);
	}
}

运行java程序,可以再控制台看到提交作业的提示

技术分享

在hdfs中查看输出的文件

技术分享技术分享

运行成功!


郑重声明:本站内容如果来自互联网及其他传播媒体,其版权均属原媒体及文章作者所有。转载目的在于传递更多信息及用于网络分享,并不代表本站赞同其观点和对其真实性负责,也不构成任何其他建议。