2019千锋Spark全套教程【大数据】（四）
56小时20分钟
Apache Spark 是在大数据工业界里用的最多的基于内存的技术框架，尤其是RDD的特性以及应用，对帮助理解Spark和任务提交的流程以及缓存机制。 学完本章能掌握什么 本节课能够掌握Spark的环境搭建，任务调度流程，以及RDD代码的应用。
教程列表：
好程序员大数据教程：01、Scala解释器本地安装
好程序员大数据教程：02、IDEA安装
好程序员大数据教程：03、安装IDEA的Scala插件
好程序员大数据教程：04、创建maven项目
好程序员大数据教程：05、关于IDEA中maven仓库的配置
好程序员大数据教程：06、安装ScalaSDK、创建类
好程序员大数据教程：07、Scala简介
好程序员大数据教程：08、Scala编译
好程序员大数据教程：09、注释、命名规范
好程序员大数据教程：10、变量的声明
好程序员大数据教程：11、多变量的定义
好程序员大数据教程：12、数据类型
好程序员大数据教程：13、表达式
好程序员大数据教程：14、关于变量的扩展内容
好程序员大数据教程：15、Scala的输入和输出
好程序员大数据教程：16、循环
好程序员大数据教程：17、关于循环的扩展：map、foreach
好程序员大数据教程：18、声明方法
好程序员大数据教程：19、声明函数、方法和函数的转换
好程序员大数据教程：20、回顾
好程序员大数据教程：21、集合简介
好程序员大数据教程：22、数组-定长数组和变长数组
好程序员大数据教程：23、Map-不可变和可变Map
好程序员大数据教程：24、元组
好程序员大数据教程：25、zip拉链
好程序员大数据教程：26、List列表
好程序员大数据教程：27、Set集合
好程序员大数据教程：28、lazy修饰符
好程序员大数据教程：29、集合练习
好程序员大数据教程：30、实现单词计数
好程序员大数据教程：31、实现单词计数
好程序员大数据教程：32、常用方法练习：flatMap、reduce、fold、aggregate、par
好程序员大数据教程：33、默写题
好程序员大数据教程：34、回顾
好程序员大数据教程：35、oop-类和属性
好程序员大数据教程：36、主构造器和辅助构造器
好程序员大数据教程：37、单例对象
好程序员大数据教程：38、伴生对象
好程序员大数据教程：39、apply和unapply方法
好程序员大数据教程：40、特质、继承、实现
好程序员大数据教程：41、模式匹配-String、数组、元组、集合
好程序员大数据教程：42、模式匹配-匹配类型
好程序员大数据教程：43、模式匹配-样例类
好程序员大数据教程：44、Option类型结合模式匹配
好程序员大数据教程：45、模式匹配-偏函数
好程序员大数据教程：46、scala的输入输出
好程序员大数据教程：47、高阶函数-作为值的函数
好程序员大数据教程：48、闭包
好程序员大数据教程：49、回顾
好程序员大数据教程：50、private关键字
好程序员大数据教程：51、柯里化介绍和练习
好程序员大数据教程：52、隐式转换函数
好程序员大数据教程：53、Scala泛型的定义
好程序员大数据教程：54、泛型demo
好程序员大数据教程：55、泛型-上界
好程序员大数据教程：56、泛型-视界
好程序员大数据教程：57、泛型-上下文界定
好程序员大数据教程：58、创建线程池-固定线程数量和可复用线程的线程池
好程序员大数据教程：59、创建有返回值的线程：Future
好程序员大数据教程：60、回顾
好程序员大数据教程：61、Netty的几个重要的组件
好程序员大数据教程：62、实现Server
好程序员大数据教程：63、实现ServerHandler
好程序员大数据教程：64、实现Client
好程序员大数据教程：65、实现ClientHandler
好程序员大数据教程：66、本地测试运行
好程序员大数据教程：67、Akka简介
好程序员大数据教程：68、用Akka实现通信Demo
好程序员大数据教程：69、用Akka实现WordCount
好程序员大数据教程：70、Scala回顾
好程序员大数据教程：71、大数据架构体系介绍
好程序员大数据教程：72、Spark的特性和优点
好程序员大数据教程：73、官网介绍
好程序员大数据教程：74、Spark集群安装、启动
好程序员大数据教程：75、Spark的几个重要的组件
好程序员大数据教程：76、关于Hadoop客户端
好程序员大数据教程：77、提交任务到Spark集群
好程序员大数据教程：78、Spark-Shell启动（local模式和集群模式）
好程序员大数据教程：79、Spark实现WordCount
好程序员大数据教程：80、Spark实现WordCount
好程序员大数据教程：81、打包并提交作业到集群
好程序员大数据教程：82、用Java api实现WordCount
好程序员大数据教程：83、Java Lambda表达式实现WordCount
好程序员大数据教程：84、关于IDEA调试
好程序员大数据教程：85、RDD的概念
好程序员大数据教程：86、回顾
好程序员大数据教程：87、RDD的概念增强
好程序员大数据教程：88、生成RDD的两种方式
好程序员大数据教程：89、RDD的两种算子：transformation和action
好程序员大数据教程：90、简单算子练习
好程序员大数据教程：91、groupByKey和reduceByKey的区别
好程序员大数据教程：92、算子进阶-map、mapPartitions、mapPartitionsWithIndex
好程序员大数据教程：93、算子进阶-重分区算子
好程序员大数据教程：94、算子进阶-aggregate
好程序员大数据教程：95、算子进阶-aggregate
好程序员大数据教程：96、算子进阶-aggregateByKey
好程序员大数据教程：97、算子进阶-combineByKey
好程序员大数据教程：98、算子进阶-Action算子、foreach和foreachPartition
好程序员大数据教程：99、算子进阶-其他算子
好程序员大数据教程：100、pvuv
好程序员大数据教程：101、textFile分区过程
好程序员大数据教程：102、统计广告点击量top3需求分析
好程序员大数据教程：103、统计广告点击量top3需求实现
好程序员大数据教程：104、统计各省各小时的广告点击量的top3
好程序员大数据教程：105、基站停留时间top2需求分析
好程序员大数据教程：106、基站停留时间top2需求实现
好程序员大数据教程：107、RDD对象的传递和序列化
好程序员大数据教程：108、RDD的宽依赖和窄依赖
好程序员大数据教程：109、DAG概念
好程序员大数据教程：110、回顾
好程序员大数据教程：111、DAG、Application、Job、Stage、Task
好程序员大数据教程：112、Stage划分过程
好程序员大数据教程：113、任务管理器中Stage划分过程
好程序员大数据教程：114、task的生成过程
好程序员大数据教程：115、RDD分多个类型
好程序员大数据教程：116、shuffle、shuffle write、shuffle read
好程序员大数据教程：117、血统
好程序员大数据教程：118、学科模块访问量top3需求分析
好程序员大数据教程：119、学科模块访问量top3需求实现
好程序员大数据教程：120、缓存和缓存级别
好程序员大数据教程：121、缓存案例的练习
好程序员大数据教程：122、checkpoint
好程序员大数据教程：123、集群启动流程
好程序员大数据教程：124、任务提交流程
好程序员大数据教程：125、回顾
好程序员大数据教程：126、今天的知识点
好程序员大数据教程：127、自定义排序1
好程序员大数据教程：128、自定义排序2
好程序员大数据教程：130、自定义排序3
好程序员大数据教程：131、自定义排序4
好程序员大数据教程：132、自定义排序5
好程序员大数据教程：133、Spark的分区器
好程序员大数据教程：134、自定义分区器
好程序员大数据教程：135、回顾
好程序员大数据教程：136、今天课程内容
好程序员大数据教程：137、Accumulator累加器的应用场景和简单使用
好程序员大数据教程：138、LongAccumulator、DoubleAccumulator累加器的使用
好程序员大数据教程：139、自定义Accumulator累计器实现聚合过程
好程序员大数据教程：140、自定义Accumulator实现单词计数
好程序员大数据教程：141、总结Accumulator的应用场景和使用步骤
好程序员大数据教程：142、广播变量的应用场景
好程序员大数据教程：143、广播变量的使用过程
好程序员大数据教程：144、广播变量总结
好程序员大数据教程：145、文件的输入输出
好程序员大数据教程：146、IP所属区域访问量需求分析
好程序员大数据教程：147、IP所属区域访问量需求实现
好程序员大数据教程：148、IP所属区域访问量需求实现
好程序员大数据教程：149、JdbcRDD
好程序员大数据教程：150、Spark作业提交的4个阶段
好程序员大数据教程：151、回顾
好程序员大数据教程：152、SparkSQL简介
好程序员大数据教程：153、DataFrame概念
好程序员大数据教程：154、DataSet概念和DataFrame的区别
好程序员大数据教程：155、SparkShell操作SparkSQL
好程序员大数据教程：156、初始化环境创建的几种方式
好程序员大数据教程：157、RDD转换为DataFarme的过程
好程序员大数据教程：158、通过反射的方式生成Schema的过程
好程序员大数据教程：159、通过StructType的方式生成Schema
好程序员大数据教程：160、RDD转换为DataSet及RDD、DataFrame、DataSet互相转换
好程序员大数据教程：161、用DSL语言风格操作
好程序员大数据教程：162、用DSL语言风格实现小需求
好程序员大数据教程：163、用SQL语言风格进行操作
好程序员大数据教程：164、创建临时表和全局表的区别和作用域
好程序员大数据教程：165、自定义函数-实现UDF
好程序员大数据教程：166、自定义函数-实现UDAF（弱类型）
好程序员大数据教程：167、回顾
好程序员大数据教程：168、实现UDAF-强类型
好程序员大数据教程：169、开窗函数练习
好程序员大数据教程：170、集成外部Hive
好程序员大数据教程：171、用代码操作Hive
好程序员大数据教程：172、用代码链接元数据库进行操作
好程序员大数据教程：173、输入输出api
好程序员大数据教程：174、jdbc-获取数据
好程序员大数据教程：175、jdbc-写入数据
好程序员大数据教程：176、Kafka简介
好程序员大数据教程：177、Kafka的应用场景
好程序员大数据教程：178、JMS规范
好程序员大数据教程：179、Kafka主要组件介绍
好程序员大数据教程：180、Kafka集群配置和启动
好程序员大数据教程：181、回顾
好程序员大数据教程：182、kafka常用命令
好程序员大数据教程：183、kafka常用命令
好程序员大数据教程：184、kafka的存储
好程序员大数据教程：185、如何消费已经消费过的数据
好程序员大数据教程：186、kafka分区和消费者的关系和isr同步机制
好程序员大数据教程：187、kafka设置生存周期和动态选举
好程序员大数据教程：188、kafkaapi练习-实现producer
好程序员大数据教程：189、kafkaapi练习-实现consumer
好程序员大数据教程：190、本地测试
好程序员大数据教程：191、Streaming简介
好程序员大数据教程：192、DStream的概念
好程序员大数据教程：193、DStream的概念补充和transformations、outputoperations
好程序员大数据教程：194、StreamingWordCount
好程序员大数据教程：195、回顾kafka
好程序员大数据教程：196、回顾Streaming
好程序员大数据教程：197、补充Kafka的同步flush过程
好程序员大数据教程：198、updateStateByKey实现批次累加功能
好程序员大数据教程：199、消费kafka数据
好程序员大数据教程：200、消费kafka数据
好程序员大数据教程：201、transform的使用
好程序员大数据教程：202、窗口操作的应用背景和概念
好程序员大数据教程：203、窗口操作的使用
好程序员大数据教程：204、回顾
好程序员大数据教程：205、streaming消费kafka的两种方式
好程序员大数据教程：206、直连方式怎么维护offset
好程序员大数据教程：207、streaming清洗数据案例实现过程
好程序员大数据教程：208、生产环境中存在问题分析
好程序员大数据教程：209、streaming消费数据的语义（保证数据一致性）
好程序员大数据教程：210、Spark-On-Yarn的应用场景
好程序员大数据教程：211、Cluster模式和Client模式的区别
好程序员大数据教程：212、提交应用程序到Yarn
好程序员大数据教程：213、总结Spark-On-Yarn的执行过程
好程序员大数据教程：214、总结Driver端初始化过程的内容
好程序员大数据教程：215、解压导入工程
好程序员大数据教程：216、观察脚本的调用过程
好程序员大数据教程：217、集群启动流程-Master服务启动过程
好程序员大数据教程：218、集群启动流程-Worker服务启动过程
好程序员大数据教程：219、回顾
好程序员大数据教程：220、SparkSubmit执行过程
好程序员大数据教程：221、SparkContext初始化主要过程
好程序员大数据教程：222、后端调度器创建了两个endpoint
好程序员大数据教程：223、总结SparkContext和后端调度器创建了两个endpoint
好程序员大数据教程：224、时序图表示SparkContext初始化过程
好程序员大数据教程：225、Driver向Master发送（注册）任务描述过程、Master生成任务信息过程
好程序员大数据教程：226、资源调度的方式
好程序员大数据教程：227、Master通知Worker启动Executor的过程
好程序员大数据教程：228、Executor向Driver进行反向注册过程
好程序员大数据教程：229、RDD的生成过程
好程序员大数据教程：230、stage划分并生成TaskSet的过程
好程序员大数据教程：231、TaskScheduler的任务调度过程以及将task发送给Execuotr的过程
好程序员大数据教程：232、Executor开始执行task-ShuffleMapTask、ResultTask
好程序员大数据教程：233、总结任务提交流程
好程序员大数据教程：234、回顾
好程序员大数据教程：235、触发shuffle的算子
好程序员大数据教程：236、spark shuffle过程
好程序员大数据教程：237、shuffle参数调优
好程序员大数据教程：238、关于spark优化总结
好程序员大数据教程：239、Spark基础阶段总结
好程序员大数据教程：240、Redis介绍
好程序员大数据教程：241、Redis的应用场景
好程序员大数据教程：242、Redis安装和启动
好程序员大数据教程：243、Redis的客户端
好程序员大数据教程：244、数据结构-string
好程序员大数据教程：245、回顾
好程序员大数据教程：246、数据结构-hash
好程序员大数据教程：247、数据机构-list
好程序员大数据教程：248、数据结构-set
好程序员大数据教程：249、jedis-string
好程序员大数据教程：250、jedis-hash
好程序员大数据教程：251、jedis-list
好程序员大数据教程：252、jedis-set
好程序员大数据教程：253、keys命令，数据的生命周期
好程序员大数据教程：254、两种持久化机制
好程序员大数据教程：255、主从复制
好程序员大数据教程：256、集群搭建
好程序员大数据教程：257、ES介绍
好程序员大数据教程：258、ES集群搭建和启动介绍
好程序员大数据教程：259、ik分词器配置过程
好程序员大数据教程：260、ES的检索
好程序员大数据教程：261、关于ES优化的重点
好程序员大数据教程：262、日志生成过程
好程序员大数据教程：263、项目技术架构介绍
好程序员大数据教程：264、数据对接
好程序员大数据教程：265、需求描述
好程序员大数据教程：266、esRDD
好程序员大数据教程：267、其他指标
学员_186143826
03-16 16:09
讲得好，就需要这样的老师