使用IntelliJ IDEA配置Spark应用开发环境及源码阅读环境
在本地搭建好Spark 1.6.0后,除了使用官方文档中的sbt命令打包,spark-submit提交程序外,我们可以使用IntelliJ IDEA这个IDE在本地进行开发调试,之后再将作业提交到集群生产环境中运行,使用IDE可以提升我们的开发效率。
more ...在本地搭建好Spark 1.6.0后,除了使用官方文档中的sbt命令打包,spark-submit提交程序外,我们可以使用IntelliJ IDEA这个IDE在本地进行开发调试,之后再将作业提交到集群生产环境中运行,使用IDE可以提升我们的开发效率。
more ...用Ubuntu 14.04.4 LTS当主系统已经有一段时间了,以前在8节点服务器配置过Spark和Hadoop,今天花一点时间在单机部署一下Spark吧,整理好自己的Spark开发环境。
more ...决定开始写博客了,留下一些记录,开始一个新起点。最近复习了一些C++的语法,虽然很简单,但就用它开始第一篇博客吧。
more ...