1.数据从PC/Mobile端发动给服务器端
2.服务器端收到数据后在分布式集群下会进入到某个Server端，数据经过一系列的业务操作后可能会被记录下来
3.这些记录下来的数据会以文件形式存放于某个固定位置
4.数据推送工具可将这些固定位置的文件推送到大数据平台
5.大数据平台的Map Reduce框架会根据程序应用主动读取数据作为Map/Reduce的数据输入
6.大数据平台清晰完数据后以文件形式输出
7.服务器端去大数据平台存放文件的位置获取文件，并进行解析入库。
8.最终，数据以图形形式展示在报告上。

java程序用于合并mapper和reducer的代码。
public class WordCountApp {
    public static void main(String[] args) throws Exception {
        //创建配置信息
        Configuration configuration = new Configuration();

        //创建Job
        Job worldCountJob = Job.getInstance(configuration, "WorldCount");

        //设置Job的处理类
        worldCountJob.setJarByClass(WordCountApp.class);

        //设置作业的输入路径
        FileInputFormat.setInputPaths(worldCountJob, new Path(args[0]));

        //设置map相关参数
        worldCountJob.setMapperClass(MyMapper.class);
        worldCountJob.setMapOutputKeyClass(Text.class);
        worldCountJob.setMapOutputValueClass(LongWritable.class);

        //设置reduce相关参数
        worldCountJob.setReducerClass(MyReducer.class);
        worldCountJob.setOutputKeyClass(Text.class);
        worldCountJob.setOutputValueClass(LongWritable.class);

        //设置作业的输出路径
        FileOutputFormat.setOutputPath(worldCountJob, new Path(args[1]));

        System.out.println(worldCountJob.waitForCompletion(true) ? 0 : 1);
    }
}

通过这一节的复习，这节内容主要解决MR的启动和运行，数据的合并和连接机制。在这一节中，涉及到了大数据技术的核心技术，调用JAR包，执行机制中会将HDFS中的数据块联系起来，通过HTTP通信发送给相对应的reduce。这些内容设计到了Java编程，网络通信，Linux多服务器的知识，对这些基础知识的掌握是做数据技术的前提。

在MR的启动和连接步骤中，首先通过应用程序将JAR包存储在HDFS中供将来服务器执行MR计算。
应用程序提交Job给JobTrack,JobTrack创建Jobinprocess,Jobinprocess根据数据快和设置reduce数目创建TaskInprocess,这部也就将HDFS和MR关联了起来。TaskTracker与JobTracker通信，分配任务，然后TaskTracker根据任务类型和参数启动相应的Maop或者redece，找到JAR包执行任务。

上述就完成了作业的启动和运行，对于数据的联合和合并，用到的是Shuffle,通过调用partiton接口，对Map产生的<key,value>分区选择，通过HTTP通过发送给对应的reduce执行。

通过复习，这一节的内容贯穿了整个大数据技术的核心，涉及到了计算机的JAR，HTTP，Linux， 数据库的joinw，HDFS和MR的主从架构模式，值得我多次重复复习。