南开20春学期（1709、1803、1809、1903、1909、2003）《大数据开发技术（二）》在线作业[答案]满分答案
20春学期（1709、1803、1809、1903、1909、2003）《大数据开发技术（二）》在线作业
试卷总分:100 得分:100
一、单选题 (共 25 道试题,共 50 分)
1.Spark中DataFrame的（）方法是进行条件查询
A.where
B.limit
C.join
D.apply
2.Dstream输出操作中print方法在Driver中打印出DStream中数据的()元素。
A.第一个
B.所有
C.前10个
D.前100个
3.Scala元组的值是通过将单个的值包含在（）中构成的
A.尖括号
B.小括号
C.大括号
D.中括号
4.当需要将一个普通的RDD转化为一个PairRDD时可以使用（）函数来进行操作
A.transfer
B.map
C.change
D.build
5.以下哪个函数可以求两个RDD交集 （）
A.union
B.substract
C.intersection
D.cartesian
6.以下哪个函数可以求两个RDD差集 （）
A.union
B.substract
C.intersection
D.cartesian
7.spark-submit配置项中（）表示executor使用的总核数
A.--total-executor-cores NUM
B.--num-executors NUM
C.--executor-memory MEM
D.--executor-coures NUM
8.GraphX中（）方法可以释放顶点缓存
A.unpersistVertices
B.presist
C.edges.unpersist
D.cache
9.以下哪个方法可以从外部存储中创建RDD（）
A.textFile
B.parallelize
C.makeRDD
D.loadFile
10.Scala可以使用（）关键字实现单例模式
A.static
B.public
C.private
D.object
11.以下哪个不是Scala的数据类型（）
A.Short Int
B.Long
C.Int
D.Any
12.Mllib中metrics.precisionByThreshold表示（）指标
A.召回率
B.准确度
C.ROC曲线
D.F值
13.图的结构通常表示为：G(V,E)，其中，E是图G中()
A.顶点的集合
B.顶点
C.边的集合
D.边
14.请问RDD的（）操作用于将相同键的数据聚合
A.zip
B.join
C.combineByKey
D.collect
15.Mllib中metrics.recallByThreshold 表示（）指标
A.召回率
B.准确度
C.ROC曲线
D.F值
16.GraphX中EdgeRDD继承自（）
A.VertexRDD[VD]
B.RDD[(VertexId，VD)]
C.RDD[Edge]
D.EdgeRDD
17.Dstream输出操作中（）方法将DStream中的内容以文本的形式保存为文本文件
A.saveAsTextFiles
B.saveAsObjectFiles
C.saveAsHadoopFiles
D.print
18.GraphX中（）方法可以查询顶点信息
A.vertices
B.numVertices
C.numEdges
D.edges
19.Scala通过（）来定义变量
A.val
B.val
C.define
D.def
20.Mllib中线性会馆算法中的参数reParam表示（）
A.要运行的迭代次数
B.梯度下降的步长
C.是否给数据加干扰特征或者偏差特征
D.Lasso 和ridge 的正规化参数
21.Scala中（）方法返回Map所有的value
A.values
B.value
C.keys
D.key
22.Scala列表方法中返回所有元素，除了最后一个的方法是（）
A.init
B.head
C.filter
D.drop
23.Spark Streming中（）函数可以使用func将源DStream中的每个元素进行聚合操作，返回一个内部所包含的RDD只有一个元素的新DStream
A.union
B.reduce
C.join
D.cogroup
24.PairRDD可以通过（）获得仅包含键的RDD
A.values
B.value
C.keys
D.key
25.Scala中（）方法返回Map所有的key
A.values
B.value
C.keys
D.key
南开20春学期（1709、1803、1809、1903、1909、2003）《大数据开发技术（二）》在线作业[答案]多选题答案
二、多选题 (共 10 道试题,共 20 分)
26.以下哪个是Scala的数据类型（）
A.Nothing
B.NULL
C.AnyRef
D.Any
27.以下算法中属于分类算法的是（）
A.随机森林
B.逻辑回归
C.Kmeans
D.KNN算法
28.Spark的RDD持久化操作有()方式
A.storage
B.presist
C.long
D.cache
29.Spark Streaming的特点有（）
A.高吞吐量
B.容错能力强
C.可伸缩
D.单极性
30.Spark Streaming能够和（）无缝集成
A.Spark SQL
B.Mllib
C.Hadoop
D.GraphX
31.Scala系统支持（）作为对象成员
A.通用类
B.抽象类
C.复合类
D.内部类
32.Scala中可以用（）方法来连接两个或多个列表
A.List.concat()
B.List.:::()
C.::
D.#:::
33.Spark DataFrame中（）方法可以返回一个List
A.takeAsList
B.take
C.collectAsList
D.collect
34.Spark DataFrame中（）方法可以返回一个Array对象
A.takeAsList
B.take
C.collectAsList
D.collect
35.Spark可以通过哪些外部存储创建RDD（）
A.通配符匹配的文件
B.目录
C.文本文件
D.压缩文件
三、判断题 (共 15 道试题,共 30 分)
36.Spark只有键值对类型的RDD才能设置分区方式
37.Scala中列表是可变的
38.RDD的转换操作是用于触发转换操作的操作，这个时候才会真正开始进行计算。
39.Spark取代Hadoop仅仅是取代MapReduce这种计算框架，Spark可以取代HDFS吗
40.Spark在同一个应用中不能同时使用Spark SQL和Mllib
41.val如同Java里面的非final变量，可以在它的声明周期中被多次赋值。
42.Scala 配备了一种表现型的系统，它以静态的方式进行抽象，以安全和连贯的方式进行使用。
43.RDD的mapPartitions操作会导致Partitions数量的变化
44.RDD的flatMap操作是将函数应用于RDD 之中的每一个元素，将返回的迭代器(数组、列表等)中的所有元素构成新的RDD 。
45.RDD的subtract用于用于将前一个RDD 中在后一个RDD 出现的元素删除
46.MLlib中StandardScaler处理的对象是每一列，也就是每一维特征，将特征标准化为单位标准差或是0均值，或是0均值单位标准差。
47.RDD的filter函数返回一个存储符合过滤条件的所有元素的新RDD
48.用户可以在Apache Mesos上运行Spark
49.RDD中join操作根据键对两个RDD进行内连接，将两个RDD 中键相同的数据的值相加。
50.PairRDD中groupByKey是对具有相同键的值进行分组
南开20春学期（1709、1803、1809、1903、1909、2003）《大数据开发技术（二）》在线作业[答案]历年参考题目如下：
