一颗蔬菜

我虽是只猫却也常常思考

  • 与Spark Core一样,Spark SQL也有SparkContext
  • Spark 2.x以后 Spark SQL编程的入口是SparkSession。
  • Spark2.x 以前 Spark SQL编程的入口是SQLContext和HiveContext。

实战SQLContxt

import org.apache.spark.{SparkConf, SparkContext}
import org.apache.spark.sql.{DataFrame, SQLContext}

object SQLContextApp {
  def main(args: Array[String]): Unit = {
    val conf = new SparkConf().setAppName("SQLContextApp").setMaster("local")
    val sc : SparkContext= new SparkContext(conf)
    val sqlContext : SQLContext = new SQLContext(sc)

    val df : DataFrame = sqlContext.read.text("file:///C:\\Users\\gosur\\IdeaProjects\\wordCount\\data\\input.txt")
    df.show()

    sc.stop()
  }
}


+-------------+
|        value|
+-------------+
|     pk,pk,pk|
|jepson,jepson|
|     xingxing|
+-------------+

版权声明:本文为原创文章,版权归 一颗蔬菜 所有,转载请联系博主获得授权!
本文地址:https://www.suwenjin.com/index.php/archives/254/

发表评论

正在加载 Emoji