想学spark但是没有集群也没有数据？没关系，我来教你白嫖一个！

今天是spark专题的第六篇文章，这篇文章会先容一个免费的spark平台，我们可以基于这个平台做一些学习实验。

databricks

今天要先容的平台叫做databricks，它是spark的建立者开发的统一剖析平台。单凭spark建立者这几个字人人应该就能体会到其中的分量，其中集成了Scala、Python和R语言的环境，可以让我们在线开发挪用云端的spark集群举行盘算。

最最要害的是，它提供免费的社区版本，每个开发者都可以获得15GB内存的免费运行环境。异常适合我们初学者举行学习。

说来惭愧我也是最近才知道这么一个平台（谢谢sqd大佬的分享），否则的话也不用在内陆设置spark的环境了。下面简朴先容一下databricks的设置历程，我不确定是否需要梯子，目测应该可以正常接见。有知道的小伙伴可以在留言板里谈论一下。

首先，我们接见：https://community.cloud.databricks.com/

然后点击注册按钮，建立新用户：

跳转之后会让我们填写一些小我私家的基本信息，好比姓名、公司名称、事情邮箱另有使用这个平台的目的，等等。

我现实验证过，这里的公司没有校验，应该可以随意填写，好比你可以填tencent或者是alibaba都是可以的。事情邮箱我们可以留qq邮箱，并不会做公司邮箱后缀校验，以是学生党们可以不用忧郁，冒充自己在某家心仪的公司就可以了。然后选一下目的这个也都很简朴人人自由选择，选好了之后，我们点击sign up就好了。

这里说明一下，若是留qq邮箱的话验证邮件会被qq当做垃圾邮件放入垃圾箱，以是记得去垃圾箱里查看。然后我们点击邮件中的链接设置密码就完成了。

设置环境

注册好了之后，我们就可以举行愉快地使用了。首先我们建立一个新的集群，点击菜单栏左侧的clusters然后选择一下spark的版本填一下集群的名称即可。

spark的版本可以不用更改，填好名字之后点击create cluster即可。系统有一点点慢，稍微等一会再刷新就会发现列表当中多了一个集群。集群的启动需要一点时间，我们耐心守候即可。

等集群建立好了之后， 我们就可以建立notebook举行愉快地编码了。

我们点击home然后选择自己的账号，点击create notebook。

接着会有一个弹框让我们选择语言和集群，这里的语言我们选Python，若是你喜欢也可以换成Scala。集群就选择我们适才建立的test集群。

我们点击create之后就会自动打开一个notebook的页面，我们就可以在内里编码了。为了测试一下环境，我们输入sc，看一下是否会获得sparkContext。

image-20200517200340320

效果和我们预期一致，说明已经设置好了。以后我们就可以在这个集群当中愉快地玩耍和实验了。它除了自带许多给初学者举行学习的数据集之外，还允许我们自己上传文件，可以说是异常良心了。

实验

接下来我们行使这个平台来举行一个spark sql的小实验，来现实体会一下databricks和spark sql的壮大。

我们这个实验用到的数据是databricks自带的数据集，一共用到两份数据，分别是机场信息的数据以及航班延误的数据。我们要做的事情很简朴，就是将这两份数据join在一起，然后考察一下每一个机场延误的情形。这份数据当中只有美国，以是对我们大多数人没什么价值，仅仅当做学习而已。

首先，我们通过相对路径从databricks的数据集当中获取我们需要的这两份数据：

面试官 | 说说移动端项目适配

flightPerFilePath = "/databricks-datasets/flights/departuredelays.csv"
airportsFilePath = "/databricks-datasets/flights/airport-codes-na.txt"

databricks中的数据集都在databricks-datasets路径下，我们可以通过这行代码查看，你会发现这内里数据集异常多，简直是初学者的福音。

display(dbutils.fs.ls("/databricks-datasets"))

接着，我们用dataframe的api从路径当中天生dataframe：

airports = spark.read.csv(airportsFilePath, header='true', inferSchema='true', sep='\t')
flightPerf = spark.read.csv(flightPerFilePath, header='true')

flightPerf.cache()

由于这两份数据一份是csv一份是txt，以是读取的时刻花样有所区别。flight是csv文件，我们直接读取即可。而airports是txt文件，以是我们需要指定分隔符，inferSchema这个参数示意系统会自动推断它的schema。

我们读取完之后，notebook会异常友好地把字段的信息一并输出出来，我们可以看到字段的名称和它对应的类型。

接下来要做的就很简朴了，只需要将这两者关联到一起即可。我们考察一下似乎并没有发现可以join的key，这是由于这份数据对照特殊，航班当中纪录机场的信息并不是通过名称，而是通过特定的代码，在数据集中这个字段叫做origin，而机场数据也有同样的代码，叫做IATA（国际运输协会）。

我们想要将这两份数据join在一起，然后把延误的时间相加，看看哪些机场的延误时间最多，根据延误时间倒序排序。

这个需求若是用SQL写很简朴，稍微领会过SQL语法的同砚应该就可以写出来：

select a.City, f.origin, sum(f.delay) as Delays
from FlightPerformance f
join airports a
on a.IATA = f.origin
where a.State = 'WA'
group by a.City, f.origin
order by sum(f.delay) desc

但若是用上dataframe的api来实现则要贫苦得多。虽然代码量并不大，基于流式盘算，严酷说起来只有一行代码：

from pyspark.sql.functions import desc
airports.join(
  flightPerf, 
  airports.IATA == flightPerf.origin
).select('City', 'origin', 'delay')
.groupBy(['City', 'origin'])
.agg({'delay': 'sum'})
.withColumnRenamed('sum(delay)', 'Delays')
.orderBy(desc('Delays'))
.show()

虽然逻辑上和SQL完全一样，然则写起来照样要费劲一些。以是我们可以思量将dataframe转化成视图，然后用SQL来操作它：

airports.createOrReplaceTempView('airports')
flightPerf.createOrReplaceTempView('FlightPerformance')

接着我们就可以挪用spark.sql来传入SQL代码举行数据处理了：

spark.sql(""" select a.City, f.origin, sum(f.delay) as Delays from FlightPerformance f join airports a on a.IATA = f.origin where a.State = 'WA' group by a.City, f.origin order by sum(f.delay) desc"""
         ).show()

这样显著就方便了许多，还没完，由于我们使用的是notebook，在notebook支持许多邪术操作，好比我们可以通过%sql来直接在其中写一段SQL。notebook会自动将它转化成dataframe的语句举行执行，不但如此，还可以以图表的形式展示数据：

%sql

select a.City, f.origin, sum(f.delay) as Delays
from FlightPerformance f
join airports a
on a.IATA = f.origin
where a.State = 'WA'
group by a.City, f.origin
order by sum(f.delay) desc

输出的效果是这样的：

不但如此，我们还可以在下方的选择栏当中选择我们想要的图表展现形式。好比我们可以选择饼图：

还没完，databricks当中还集成了舆图，好比我们想看一下美国各个州的数据，这个很容易写出SQL：

%sql

select a.State, sum(f.delay) as Delays
from FlightPerformance f
join airports a
on a.IATA = f.origin
where a.Country = 'USA'
group by a.State

获得的效果默认是以柱状图展示：

我们在图表类型当中选择map：

接下来就是见证事业的时刻，会获得一张带着数据的美国舆图，美国各个州的情形一目了然。

总结

今天的内容到这里就竣事了，关于databricks另有许多适用的功效，由于篇幅限制就不逐一先容了，人人感兴趣的可以自己研究一下。

我小我私家以为这个平台异常精彩，除了写代码体验以及数据可视化做得异常好之外，功效壮大，最要害照样免费的，异常适合我们学生党以及小我私家学习使用。究竟对于我们小我私家而言，拥有一个壮大的spark集群并不容易，希望人人都能用好这个平台，有所收获。

今天的文章就到这里，原创不易，扫码关注我，获取更多精彩文章。