本文目录
- spark的rdd和java直接调用javardd有什么不同
- spark和java的关系
- 为什么spark支持多种语言编程,而mapreduce只支持java
- Spark使用的语言是什么
- 大数据和java开发哪个前景更好
spark的rdd和java直接调用javardd有什么不同
没啥大的区别，就是spark支持不同的开发语言而已。spark建议用scalc开发，毕竟spark用Scala写的。就像hadoop一样，用java写的，就推荐用java开发一个道理。实在说有啥大的区别，我觉得最大的差别应该就是大家的心里作用吧！
spark和java的关系
通常大家只是说Spark是基于内存计算的，速度比MapReduce要快。或者说内存中迭代计算。其实我们要抓住问题的本质。总结有以下几点：1、Spark vs MapReduce ≠ 内存 vs 磁盘其实Spark和MapReduce的计算都发生在内存中，区别在于：MapReduce通常需要将计算的中间结果写入磁盘，然后还要读取磁盘，从而导致了频繁的磁盘IO。Spark则不需要将计算的中间结果写入磁盘，这得益于Spark的RDD(弹性分布式数据集，很强大)和DAG(有向无环图)，其中DAG记录了job的stage以及在job执行过程中父RDD和子RDD之间的依赖关系。中间结果能够以RDD的形式存放在内存中，且能够从DAG中恢复，大大减少了磁盘IO。2、Spark vs MapReduce Shuffle的不同Spark和MapReduce在计算过程中通常都不可避免的会进行Shuffle，两者至少有一点不同：MapReduce在Shuffle时需要花费大量时间进行排序，排序在MapReduce的Shuffle中似乎是不可避免的；Spark在Shuffle时则只有部分场景才需要排序，支持基于Hash的分布式聚合，更加省时；3、多进程模型 vs 多线程模型的区别MapReduce采用了多进程模型，而Spark采用了多线程模型。多进程模型的好处是便于细粒度控制每个任务占用的资源，但每次任务的启动都会消耗一定的启动时间。就是说MapReduce的Map Task和Reduce Task是进程级别的，而Spark Task则是基于线程模型的，就是说mapreduce 中的 map 和 reduce 都是 jvm 进程，每次启动都需要重新申请资源，消耗了不必要的时间(假设容器启动时间大概1s，如果有1200个block，那么单独启动map进程事件就需要20分钟)Spark则是通过复用线程池中的线程来减少启动、关闭task所需要的开销。(多线程模型也有缺点，由于同节点上所有任务运行在一个进程中，因此，会出现严重的资源争用，难以细粒度控制每个任务占用资源)总结：关于Spark为什么比MapReduce快，或者Spark速度快于MapReduce的原因，总结至少有这几点不同之处吧。
为什么spark支持多种语言编程,而mapreduce只支持java
Java开发系统级别软件的优势，我觉得是不言而喻的，这应该选择的首要原因。加上Apache社区从来都是Java主打的。而且从易用性和普及性考虑，一个开源软件在10年前用scala开发真的是作。
Spark使用的语言是什么
Spark的框架使用Scala语言编写的，简洁而优雅； Spark的开发目前主要可以使用三种语言：Scala、Java、Python
大数据和java开发哪个前景更好
从发展的角度来说，Java已经处在一门编程语言的成熟期，未来Java程序员要想有更好的发展，则需要深入到一个领域，比如大数据或者人工智能，这样才能有较强的职场竞争力和较好的发展空间，他两不是一个同类，但是属于包含和被包含的关系。
大数据和java前景怎么样
一、现状
1、java是编程语言，目前来看还是有一定优势的。但每年新增的海量java程序员让这个行业开始拥挤起来，已经出现人才溢出状态。
2、大数据经过2016/2017年的高曝光，2018年开始进入大数据年，各大中小企业开始大数据部门，人才缺口不断增大。
二、未来
1、java是编程语言，未来会不会有更优秀的编程语言取代其主导地位，并不好说。
2、大数据的应用范围广，不但覆盖全行业，还将影响一些机构机关。被人们最为看好的人工智能也需要大数据的支持，离开大数据人工智能将无法智能。
Java和大数据之间的关系
作为一个入门级的选手来讲，首先得明白，Java它本身是一门计算机编程语言，而进入大数据的学习，无论你有什么基础，是零基础还是有过相关的学习经验，都至少应该有一门计算机编程语言的加持，这就好比上战场必须有副锋利的武器，有了编程语言在手，才能在大数据的天地中放手一搏。
同时，JAVA的掌握程度不是皮毛，而应该达到精通的水平。当然也可以精通其他的语言，也是可以的。在大数据开发中使用非常多的便是Java编程语言，同时JAVA这类开源的编程语言来讲在各类技术领域应用也比较广泛，这也是初级选手为什么在入门时都会选择Java的原因。
在大数据中，你所主攻的方向是Hadoop开发，那就一定要学好Java，因为它是Hadoop的专用编程语言。
而其他方向的研究，如果你主攻spark，那就要学习Scala语言，从而更好地工作。
