啊嘎哇在线工具箱

"Spark 编程指南"的目录

Spark 编程介绍

Spark 快速入门

Spark 编程指南

引入 Spark

初始化 Spark

Spark 共享变量

Spark 快速上手

Spark 独立应用程序

Spark Shell

Spark 运行程序

Spark RDDs

Spark 并行集合

Spark 外部数据集

Spark RDD 操作

Spark RDD持久化

Spark Streaming

Spark Streaming示例

Spark Streaming基本概念

Spark Streaming关联

初始化StreamingContext

Spark Streaming离散流

输入DStreams

DStream中的转换

DStream的输出操作

DStreams缓存或持久化

Spark Streaming Checkpointing

Spark Streaming部署应用程序

Spark Streaming监控应用程序

Spark Streaming性能调优

Spark Streaming减少批数据的执行时间

Spark Streaming设置正确的批容量

Spark Streaming内存调优

Spark Streaming容错语义

Spark SQL

Spark SQL开始

Spark SQL性能调优

Spark SQL其他接口

编写语言集成(Language-Integrated)的相关查询

Spark SQL数据类型

Spark SQL数据源

Spark SQL RDDs

Spark SQL parquet文件

Spark SQL JSON数据集

Spark SQL Hive表

GraphX编程指南

Spark GraphX开始

Spark GraphX图算法

Spark GraphX例子

Spark GraphX提交应用程序

独立运行Spark

在yarn上运行Spark

Spark GraphX属性图

Spark配置

Spark GraphX图操作符

Spark GraphX Pregel API

Spark GraphX图构造者

Spark GraphX顶点和边RDDs

Spark 编程指南 Spark Streaming基本概念

2024-02-25 开发教程 Spark 编程指南匿名 1℃

Spark Streaming基本概念

在了解简单的例子的基础上，下面将介绍编写Spark Streaming应用程序必需的一些基本概念。

关联
初始化StreamingContext
离散流
输入DStreams
DStream中的转换
DStream的输出操作
缓存或持久化
Checkpointing
部署应用程序
监控应用程序

上一节： Spark Streaming示例

下一节： Spark Streaming关联