hive权限配置注意事项2
root> beeline -u jdbc:hive2://localhost:10000 在使用beeline连接hive 的时候会报权限验证失败的错误： org.apache.hadoop.security.AccessControlException: Permission denied: user=anonymous, access=EXECUTE, inode="/tmp":root:supergroup:drwx------ 需要在hdfs.site.xml增加： <property> <name>dfs.permissions</name> <value>false</value> </property> hive-site.xml配置： <?xml version="1.0"?> <?xml-stylesheet type=...
centos安装配置hive
本文开篇，附 Hive 相关内容地址： Hive官网：http://hive.apache.org Hive官方参考文档：https://cwiki.apache.org/confluence/display/Hive/GettingStarted Hive各版本下载地址：http://archive.apache.org/dist/hive Hive GitHub地址：https://github.com/apache/hive 1.前提 hive 安装之前，需要以 Hadoop 集群为前提，Hive 是执行在 Hadoop集群上的。Hadoop集群安装，参考： CentOS 7.7 安装 Hadoop 2.10.1集群 CentOS 7.7 安装 Hadoop 3.1.3集群 Hadoop HA版集群安装(待补充) 已安装好的 MySQL数据库...
deepin单节点启动hadoop
下载HADOOP 2、Core-site.xml文件配置 注意：以下所有文件均在对应文件夹下面 可以命令行编辑 也可在vscode 编辑 <span class="token punctuation"><</span><span class="token variable">configuration</span><span class="token punctuation">></span> <span class="token punctuation"><</span><span class="token variable">property</span><span class="tok...
docker单节点启动consul
内网： docker run --restart=always -d --net=host --name=consul -e 'CONSUL_LOCAL_CONFIG={"skip_leave_on_interrupt": true}' consul agent -server -bind=172.16.198.144 -bootstrap-expect=1 -ui 外网： docker run --restart=always -d --net=host --name=consul -p 8300:8300 -e 'CONSUL_LOCAL_CONFIG={"skip_leave_on_interrupt": true}' consul agent -server -bind=116.62.243.164 -bootstrap-expect=1 -ui
使用Jmeter测试Restful接口压力测试
下载地址：http://mirror.bit.edu.cn/apache//jmeter/binaries/apache-jmeter-5.1.1.zip （需要JAVA8） 一、添加线程组等元件 添加线程组 添加线程组，Jmeter执行是通过线程组进行驱动的，测试计划必须最少有一个线程组，选中Test Plan，点击右键，添加》Threads》线程组 添加用户参数 在线程组上添加用户参数，用户可以利用此元件进行参数设置，在取样器中进行参数化，用户（线程）在进行参数化取值时可以根据用户来区分，选中线程组，点击右键，添加》前置处理器》用户参数，填写调用的名称，变量值 ...
API网关ocelot特性之聚合
请求聚合 即将多个API请求结果合并为一个返回。要实现请求聚合我们需要给其它参与的路由起一个Key。 { <span class="hljs-attr">"</span><span class="hljs-attr">ReRoutes": [ { "DownstreamPathTemplate": <span class="hljs-string">"/", "UpstreamPathTemplate": "/laura", "UpstreamHttpMethod": [ "Get&q...
Docker中的push和pull操作
Docker可以像GitHub一样进行Push和Pull操作并且十分简单 1.在Docker Hub上注册一个账号，然后创建一个远程仓库 Docker Hub地址： https://hub.docker.com/ 2.首先将本地容器打包成本地镜像 docker commit 容器名 镜像仓库:镜像标签 然后只要使用docker images可以查看到你打包到本地镜像就可以了 3.将本地容器打包到远程仓库 docker tag 本地镜像仓库：本地镜像标签 远程仓库名：远程镜像标签 4.push到远程仓库 docker login docker push 远程仓库名：远程镜像标签 注意 ： 这里的远程镜像标签是自己定义的...
Consul 入门教程
目录 一、什么是服务发现 二、consul 简介 三、consul的几个概念 四、安装 Consul 五、运行 Consul Agent 六、集群成员 七、停止 Agent 八、注册服务 九、Consul 集群 十、健康检查 十一、KV Data 十二、Consul Web UI 十三、Docker下安装consul 一、什么是服务发现 微服务的框架体系中，服务发现是不能不提的一个模块。我相信了解或者熟悉微服务的童鞋应该都知道它的重要性。这里我只是简单的提一下，毕竟这不是我们的重点。我们看下面的一幅图片： 图中，客户端的一个接口，需要调用服务A-N。客户...
为什么分布式一定要有消息队列？
1、为什么要使用消息队列? 分析:一个用消息队列的人，不知道为啥用，这就有点尴尬。没有复习这点，很容易被问蒙，然后就开始胡扯了。 回答:这个问题,咱只答三个最主要的应用场景(不可否认还有其他的，但是只答三个主要的),即以下六个字:解耦、异步、削峰 (1)解耦 传统模式: 传统模式的缺点： 系统间耦合性太强，如上图所示，系统A在代码中直接调用系统B和系统C的代码，如果将来D系统接入，系统A还需要修改代码，过于麻烦！ 中间件模式: 中间件模式的的优点： 将消息写入消息队列，需要消息的系统自己从消息队...
raid0、raid1、raid5、raid10这四种raid的特点和区别
raid(Redundant Array of Independent Disk 独立冗余磁盘阵列)技术是加州大学伯克利分校1987年提出，最初是为了组合小的廉价磁盘来代替大的昂贵磁盘，同时希望磁盘失效时不会使对数据的访问受损 失而开发出一定水平的数据保护技术。raid就是一种由多块廉价磁盘构成的冗余阵列，在操作系统下是作为一个独立的大型存储设备出现。raid可以充分发 挥出多块硬盘的优势，可以提升硬盘速度，增大容量，提供容错功能够确保数据安全性，易于管理的优点，在任何一块硬盘出现问题的情况下都可以继续工作，不会 受到损坏硬...