hive3.1.2 on spark
1. 安装java(openjdk8) 2.安装Mysql wget https://dev.mysql.com/get/mysql57-community-release-el7-8.noarch.rpm rpm -ivh mysql57-community-release-el7-8.noarch.rpm cd /etc/yum.repos.d/ rpm --import https://repo.mysql.com/RPM-GPG-KEY-mysql-2022 yum -y install mysql-server systemctl start mysqld grep 'temporary password' /var/log/mysqld.log mysql -uroot -p set global validate_password_policy=LOW; set global validate_password_length=4; ALTER USER 'root'@'localhost' ID...
spark版hello word
import org.apache.spark.SparkContext import org.apache.spark.SparkContext._ import org.apache.spark.SparkConf object WordCount { def main(args: Array[String]) { val inputFile = "/Users/artefact/software/spark-3.1.3-bin-hadoop3.2/data/wordcount.txt" val conf = new SparkConf().setAppName("WordCount").setMaster("local") val sc = new SparkContext(conf) val textFile = sc.textFile(inputFile) val wordCount = textFile .flatMap(_.split(" ")) //.flat...
idea 配置 scala 2.12 spark 3.0.2 开发环境
基本开发环境 下载对应包 maven：https://mvnrepository.com/search?q=spark spark：http://spark.apache.org/downloads.html scala：https://www.scala-lang.org/download/2.12.12.html 注意 spark 3 使用的版本是 scala 2.12.* java：https://www.oracle.com/java/technologies/javase/javase-jdk8-downloads.html 编译器配置 下载scala 插件 工程构建 配置scala 插件 构建scala 本地jar 包工程 file -》 project structure -》 添加下载的spark 中的jar 包 代码： import org.apache.spark.SparkContext ...
分布式搭建hadoop2.8和spark2.1环境
一、前期准备工作： 1.安装包的准备： VMware(10.0版本以上) : 官方网站：https://www.vmware.com/cn.html 官方下载地址：http://www.vmware.com/products/player/playerpro-evaluation.html 10.0版本注册码： v1Z0G9-67285-FZG78-ZL3Q2-234JG 4C4EK-89KDL-5ZFP9-1LA5P-2A0J0 HY086-4T01N-CZ3U0-CV0QM-13DNU 11.0版本注册码： 1F04Z-6D111-7Z029-AV0Q4-3AEH8 12.0版本注册码： 5A02H-AU243-TZJ49-GTC7K-3C61N ubuntu14.0系统:(64位)选择ubuntu纯属个人喜好，Liunx发行版有很多都支持Hadoop，而1...