mark一下,感谢作者分享!
Spark Idea Maven 开发环境搭建
一、安装jdk
jdk版本最好是1.7以上,设置好环境变量,安装过程,略。
二、安装Maven
我选择的Maven版本是3.3.3,安装过程,略。
编辑Maven安装目录conf/settings.xml文件,
?
三、安装Idea
安装过程,略。
四、创建Spark项目
1、新建一个Spark项目,
2、选择Maven,从模板创建项目,
3、填写项目GroupId等,
4、选择本地安装的Maven和Maven配置文件。
5、next
6、创建完毕,查看新项目结构:
7、自动更新Maven pom文件
8、编译项目
如果出现这种错误,这个错误是由于Junit版本造成的,可以删掉Test,和pom.xml文件中Junit的相关依赖,
即删掉这两个Scala类:
和pom.xml文件中的Junit依赖:
?
9、刷新Maven依赖
10、引入Jdk和Scala开发库
11、在pom.xml加入相关的依赖包,包括Hadoop、Spark等
?
然后刷新maven的依赖,
12、新建一个Scala Object。
测试代码为:
?
执行,
如果报了以下错误,
?
可以把servlet-api 2.5 jar删除即可:
最好的办法是删除pom.xml中相关的依赖,即
?
最后的pom.xml文件的依赖是
?
如果是报了这个错误,也没有什么问题,程序依旧可以执行,
?
最后看到的正常输出:
?
至此,开发环境搭建完毕。
五、打jar包
1、新建一个Scala Object
代码是:
?
2、 File -》Project Structure
3、点击ok
可以设置jar包输出目录:
4、build Artifact
5、运行:
把测试文件放到HDFS的/test/ 目录下,提交:
?
6、如果出现以下错误
?
就使用WinRAR打开jar包,删除META-INF目录下的除了mainfest.mf,.rsa及maven目录以外的其他所有文件
分类: Scala, Spark好文要顶 关注我 收藏该文 骁枫
关注 - 52
粉丝 - 5+加关注1 0currentDiggType = 0; « 上一篇: Spring项目解决Post乱码
» 下一篇: Flume 远程写HDFS
posted on -09-19 11:49 骁枫 阅读( 16342) 评论( 3) 编辑 收藏
FeedBack: #1楼 -02-07 14:20 四档路飞 感谢分享 支持(0) 反对(0) /face/463598/1117144908.png #2楼 -03-12 13:48 北方雪 在spark-submit时,总提示classnotfoundexception 自己的类名。如何解决? 支持(0) 反对(0) #3楼 3945107 /4/8 14:38:41 -04-08 14:38 STAR_ME @ 北方雪
后来解决了没 支持(0) 反对(0) 刷新评论 刷新页面 返回顶部 注册用户登录后才能发表评论,请 登录 或 注册, 访问网站首页。【推荐】超50万VC++源码: 大型组态工控、电力仿真CAD与GIS源码库!
【推荐】华为云7大明星产品0元免费使用
【推荐】腾讯云如何降低移动开发成本
【大赛】首届“顶天立地”AI开发者大赛
最新IT新闻:
· 好久不见的蛙儿子到了阿里邮局,给你发来了明信片
· 马斯克:Model 3明年初将进入亚欧市场
· 来电科技CEO被爆盗窃 来电与街电的“战争”再升级
· 百度百科上了区块链,“不背锅”只是第一步
· 反思IBM沃森大裁员:AI落地应用,需解决这三大痛点
» 更多新闻… 最新知识库文章:
· 你可以把编程当做一项托付终身的职业
· 评审的艺术——谈谈现实中的代码评审
· 如何高效学习
· 如何成为优秀的程序员?
· 菜鸟工程师的超神之路 – 从校园到职场
» 更多知识库文章… fixPostBody(); setTimeout(function () { incrementViewCount(cb_entryId); }, 50); deliverAdT2(); deliverAdC1(); deliverAdC2(); loadNewsAndKb(); loadBlogSignature(); LoadPostInfoBlock(cb_blogId, cb_entryId, cb_blogApp, cb_blogUserGuid); GetPrevNextPost(cb_entryId, cb_blogId, cb_entryCreatedDate, cb_postType); loadOptUnderPost(); GetHistoryToday(cb_blogId, cb_blogApp, cb_entryCreatedDate); Copyright © 骁枫 Powered by: 博客园 模板提供: 沪江博客