idea 配置 scala 2.12 spark 3.0.2 开发环境
基本开发环境 下载对应包 maven：https://mvnrepository.com/search?q=spark spark：http://spark.apache.org/downloads.html scala：https://www.scala-lang.org/download/2.12.12.html 注意 spark 3 使用的版本是 scala 2.12.* java：https://www.oracle.com/java/technologies/javase/javase-jdk8-downloads.html 编译器配置 下载scala 插件 工程构建 配置scala 插件 构建scala 本地jar 包工程 file -》 project structure -》 添加下载的spark 中的jar 包 代码： import org.apache.spark.SparkContext ...
centos安装配置hive
本文开篇，附 Hive 相关内容地址： Hive官网：http://hive.apache.org Hive官方参考文档：https://cwiki.apache.org/confluence/display/Hive/GettingStarted Hive各版本下载地址：http://archive.apache.org/dist/hive Hive GitHub地址：https://github.com/apache/hive 1.前提 hive 安装之前，需要以 Hadoop 集群为前提，Hive 是执行在 Hadoop集群上的。Hadoop集群安装，参考： CentOS 7.7 安装 Hadoop 2.10.1集群 CentOS 7.7 安装 Hadoop 3.1.3集群 Hadoop HA版集群安装(待补充) 已安装好的 MySQL数据库...
deepin单节点启动hadoop
下载HADOOP 2、Core-site.xml文件配置 注意：以下所有文件均在对应文件夹下面 可以命令行编辑 也可在vscode 编辑 <span class="token punctuation"><</span><span class="token variable">configuration</span><span class="token punctuation">></span> <span class="token punctuation"><</span><span class="token variable">property</span><span class="tok...
在windows环境下安装hadoop
最近折腾文件系统，用到了hadoop，虽然项目是部署在Linux下的。但自己平时开发用的是windows系统（本人用的是win10 64bit）。为了方便开发和调试，所以打算在windows环境下安装hadoop。 往上找了几篇文章，都说得不是很详细。安装过程中遇到了一些问题，索性自己折腾了一番，终于搞好了。 准备条件： 首先需要下载 hadoop的tar.gz包，目前最新版本是2.7.3 下载地址：http://hadoop.apache.org/releases.html 然后确保操作系统是64bit，已安装.netframework，要4.0以上版本，一般现在的windows系统都有自带的。 第...
Hadoop入门案例（一） wordcount
1. 需求说明 大数据中，经常可能会碰到一些需要单词的出现个数，例如top n 等等。下面介绍一个hadoop的入门案例，对一个或多个文本中的单词进行统计 1.1 需求输入 输入一个或者多个文本 测试的文本内容如下 aa bb cc aa aa aa dd dd ee ee ee ee ff aa bb zks ee kks ee zz zks 1 2 3 4 1.2 需求输出 将文本中的内容按照单词进行计数，并且将各个单词的统计记录到制定的路径下 2. 代码如下 <span class="hljs-keyword">package</span> com.myhadoop.mapreduce.test; <span cla...
分布式搭建hadoop2.8和spark2.1环境
一、前期准备工作： 1.安装包的准备： VMware(10.0版本以上) : 官方网站：https://www.vmware.com/cn.html 官方下载地址：http://www.vmware.com/products/player/playerpro-evaluation.html 10.0版本注册码： v1Z0G9-67285-FZG78-ZL3Q2-234JG 4C4EK-89KDL-5ZFP9-1LA5P-2A0J0 HY086-4T01N-CZ3U0-CV0QM-13DNU 11.0版本注册码： 1F04Z-6D111-7Z029-AV0Q4-3AEH8 12.0版本注册码： 5A02H-AU243-TZJ49-GTC7K-3C61N ubuntu14.0系统:(64位)选择ubuntu纯属个人喜好，Liunx发行版有很多都支持Hadoop，而1...
Hadoop学习教程(二) —- CentOS下安装JDK
上篇我们讲述了如何使用VMware安装CentOS系统，接下来就看如何安装我们最为熟悉的jdk吧！安装前先看看系统上有没有安装过jdk，输入java -version,如果查询出了其他版本的jdk版本，就先删除了，笔者这里使用jdk1.6。说开始就开始，下面开始说明安装步骤吧。 1.我们去Oracle获取jdk1.6安装文件，地址分享: http://download.csdn.net/download/hexiaolong0516/9985712 2.启动虚拟机，进入CentOS系统，首先进入/usr/local目录，新建java目录，进入java目录，将下载好的安装包拷贝进此目录，不知道怎么拷贝，Vmw...