本文共 655 字，大约阅读时间需要 2 分钟。

 spark streaming

scalable 可扩展 highthroughput 高吞吐量 fault-tolerant 高容错

Spark一栈式开发

Spark Streaming结合 Sparkcore 实现离线数据和实时统计的整合

spark两种提交作业的方式

1、spark-submit--master local【2】--class xx --name 启动名  位置 

spark-submit --master local[2] --calss org.apache.examples.streaming.NetworkWordCount --name NetworkWordCount /opt/spark/spark/examples/jars/spark-examples_2.11-2.4.4.jar

2、spark-shell（测试用途） --master local【2】

spark-shell --master local[2]import org.apache.spark.streaming.{Seconds,StreamingContext}val ssc = new StreamingContext(sc,Seconds(5))val lines = ssc.socketTextStream("hadoop",9999)lines.print()ssc.start()ssc.awaitTermination()

测试通信效果

nc -lk hadoop 9999

转载地址：http://atazi.baihongyu.com/