11 | Hive是如何让MapReduce实现SQL操作的？

技术嫁接，我还真搞过2个，1个是selenium + 网上找的代码改本机host 实现 自动测试线上的每台机器的功能，另外1个是 java agent + jd-core （一个反编译软件的底层库）实现profile 监控同时能显示线上跑的真实的代码内容

李老师 在跟着学的过程中 基本上都是现学的 比如 hive https://cwiki.apache.org/confluence/display/Hive/GettingStarted 在学习课程的过程中 是不是先不用对涉及到的这些大数据技术 如hdfs yarn hive等去做深入了解 只需跑一下GettingStared即可 即有个概念

李老师，我之前买过您的《大型网站技术架构案例》并学习过，我想问下，对于一个程序员说，技术功底应该达到什么程度才可以去接触、学习和实践架构方面得东西呢？

package com.company.sparkcore import org.apache.log4j.{Level, Logger} import org.apache.spark.{SparkConf, SparkContext} /** * 使用Spark Core的算子实现简单的join操作 */ object JoinBySpark { def main(args: Array[String]): Unit = { val conf = new SparkConf() .setAppName(JoinBySpark.getClass.getSimpleName) .setMaster("local") Logger.getLogger("org.apache.spark").setLevel(Level.OFF) Logger.getLogger("org.apache.hadoop").setLevel(Level.OFF) val sc = new SparkContext(conf) //通过文本文件创建RDD val page_viewRDD = sc.textFile("file:///e:/page_view.txt") val pv_usersRDD = sc.textFile("file:///e:/pv_users.txt") //提取需要的字段，组合成形如（userid,pageid）的RDD val userid_pageidRDD = page_viewRDD.map(_.split(",")).map(viewData => (viewData(1), viewData(0))) //提取需要的字段，组合成形如（userid,age）的RDD val userid_ageRDD = pv_usersRDD.map(_.split(",")).map(userData => (userData(0), userData(1))) //对上述的两个RDD执行Join操作，形成形如(userid,(pageid,age))的RDD val userid_pageid_ageRDD = userid_pageidRDD.join(userid_ageRDD) userid_pageid_ageRDD.collect().foreach(println) //对join操作形成的RDD提取pageid、age字段 val joinRes = userid_pageid_ageRDD.map(upaData => (upaData._2._1, upaData._2._2)) //打印输出结果 // (1,32) // (1,25) // (2,25) joinRes.collect().foreach(println) } }

大数据框架可以执行sql,能执行sql的框架有hadoop的hive spark的sparkSQL,sparkSQL的执行速度要快于hive, 由于大数据框架能执行sql那么是不是可以把这个框架当做数据库来看待?java就能调用大数据服务操作数据了?

李老师，“生成这些函数的 DAG（有向无环图）”，为什么是有向无环图，您可以说说原因嘛。

拍照软件和图像编辑美化软件结合起来，变成萌拍，美颜相机

“在我们工作中也可以借鉴一下这种将两种技术嫁接到一起产生极大应用创新性的手段，说不定下一个做出类似Hive这种具有巨大应用价值的产品的人就是你！”老师的这句话好振奋人心啊！

智能手机就是嘛！ 以前的手机只能打电话，现在可以拍照、打电话、录音，也可以远程操控家电……等等 把操控其他事物的技术嫁接到手机上……

小白一个，想体验下hive中跑SQL，有什么在线环境吗