spark基礎(chǔ)知識(shí)介紹

Spark是一種開源集群計(jì)算環(huán)境，與Hadoop相似但又有所不同。Apache Spark最初是由加州大學(xué)伯克利分銷的AMP實(shí)驗(yàn)室開發(fā)出來的，后來成為Apache的開源項(xiàng)目之一，作為專門為大規(guī)模數(shù)據(jù)處理而設(shè)計(jì)的快速通用型計(jì)算引擎來使用。與MapReduce技術(shù)相比，Spark有著多種優(yōu)勢，如提供了統(tǒng)一全面的框架、大大提高了應(yīng)用運(yùn)行速度、可以快速使用Java等語言來編寫程序等，目前Spark形成一個(gè)應(yīng)用廣泛、發(fā)展高速的生態(tài)系統(tǒng)。接下來就讓我們一起來了解下Spark的性能特點(diǎn)、運(yùn)行模式、運(yùn)行特點(diǎn)以及體系架構(gòu)等知識(shí)。

• 

  spark性能特點(diǎn)

  1、專注性。由于高級(jí)API剝離了對(duì)于集群本身的關(guān)注，所以spark開發(fā)者可以專注于應(yīng)用所需要做的計(jì)算本身。
  2、速度快。Spark支持復(fù)雜算法和交互式計(jì)算，運(yùn)行速度快。
  3、通用性。Spark是一個(gè)通用引擎，因此可以用來完成如文本處理、SQL查詢等運(yùn)算。
  4、支持多種資源管理器。如Hadoop YARN、Apache Mesos等管理器都支持使用。

• 

  spark運(yùn)行模式

  1、spark的運(yùn)行模式是多種多樣的，并不限于一種，可以按需選擇。
  2、以單機(jī)方式部署時(shí)，spark可以用本地模式運(yùn)行或者偽分布模式運(yùn)行。
  3、部署在分布式集群時(shí)，也可以根據(jù)集群的實(shí)際選擇不同的運(yùn)行模式。底層資源調(diào)度既可以使用spark內(nèi)建的獨(dú)立集群運(yùn)行模式，也可以依賴外部資源調(diào)度框架。

• 

  spark運(yùn)行特點(diǎn)

  1、除非在外部存儲(chǔ)系統(tǒng)寫入數(shù)據(jù)，否則Spark Application就不能跨應(yīng)用共享數(shù)據(jù)。
  2、spark的運(yùn)行和資源管理器是沒有關(guān)系的，只需獲取executor進(jìn)程并保持通信即可。
  3、提交SparkContext的Client需靠近運(yùn)行Executor的節(jié)點(diǎn)，而且最好在同一個(gè)Rack里。
  4、Task采用的優(yōu)化機(jī)制是數(shù)據(jù)本地性和準(zhǔn)側(cè)執(zhí)行。

• 

  spark體系架構(gòu)

  Spark體系架構(gòu)主要有三個(gè)組件。
  1、數(shù)據(jù)存儲(chǔ)。Spark使用HDFS文件系統(tǒng)來存儲(chǔ)數(shù)據(jù)。
  2、資源管理。Spark有多種不同的部署方式，可以部署在一個(gè)單獨(dú)服務(wù)器上，也可以部署在分布式計(jì)算框架上，如Mesos等。
  3、API。Spark提供三種程序設(shè)計(jì)語言的API，分別是Java、Scala和Python。開發(fā)者可以利用標(biāo)準(zhǔn)的API接口來創(chuàng)建基于Spark的應(yīng)用。

• 

  spark與hadoop的關(guān)系

  1、spark自身是沒有提供分布式文件系統(tǒng)的，其分析大部分都需要依賴于Hadoop的分布式文件系統(tǒng)，也就是HDFS。
  2、Mapreduce是Hadoop的分布式計(jì)算模塊，Mapreduce和spark都可以計(jì)算數(shù)據(jù)，但Mapreduce比spark速度要慢一些，且功能也不如spark豐富。
  3、spark可以看作是Hadoop MapReduce的替代品，用來提供一個(gè)全面、統(tǒng)一的管理大數(shù)據(jù)用例和需求的解決方案。