教育行业A股IPO第一股(股票代码 003032)

全国咨询/投诉热线:400-618-4000

热门课程

Spark的框架模块和运行模式是什么?

更新时间:2022年01月05日16时54分 来源:红足1世手机版教育 浏览次数:

整个Spark 框架模块包含:Spark Core、 Spark SQL、 Spark Streaming、 Spark GraphX、 Spark MLlib,而后四项的能力都是建立在核心引擎之上。

Sparkd的框架模块和运行模式

Spark Core:Spark的核心,Spark核心功能均由Spark Core模块提供,是Spark运行的基础。Spark Core以RDD为数据抽象,提供Python、Java、Scala、R语言的API,可以编程进行海量离线数据批处理计算。

SparkSQL:基于SparkCore之上,提供结构化数据的处理模块。SparkSQL支持以SQL语言对数据进处理,SparkSQL本身针对离线计算场景。同时基于SparkSQL,Spark提供了StructuredStreaming模块,可以以SparkSQL为基础,进行数据的流式计算。

SparkStreaming:以SparkCore为基础,提供数据的流式计算功能。

MLlib:以SparkCore为基础,进行机器学习计算,内置了大量的机器学习库和API算法等。方便用户以分布式计算的模式进行机器学习计算。

GraphX:以SparkCore为基础,进行图计算,提供了大量的图计算API,方便用于以分布式计算模式进行图计算。


Spark提供多种运行模式,包括:

  • 本地模式(单机)

本地模式就是以一个独立的进程,通过其内部的多个线程来模拟整个Spark运行时环境

  • Standalone模式(集群)

Spark中的各个角色以独立进程的形式存在,并组成Spark集群环境

  • Hadoop YARN模式(集群)

Spark中的各个角色运行在YARN的容器内部,并组成Spark集群环境

  • Kubernetes模式(容器集群)

Spark中的各个角色运行在Kubernetes的容器内部,并组成Spark集群环境

  • 云服务模式(运行在云平台上)
Spark运行模式








猜你喜欢:

什么是Spark SQL?Spark SQL简介

SparkStreaming连接Kafka两种方式

SparkMllib如何解决回归问题?

Spark的应用场景有哪些?

0 分享到:

Java高级软件工程师课程javaee

Python大数据课程python

前端开发培训课程web

UI设计培训课程ui

大数据培训班cloud

软件测试培训课程test

c

新媒体运营培训课程netmarket

产品经理培训课程pm

linux培训班Linux

影视制作培训movies

智能机器人开发robot

电商视觉设计uids

人工智能培训课程Python

北京校区