Linux安装NFS
1、创建共享目录和权限设置 [root@k8s-master ~]# mkdir -p /data/nfs [root@k8s-master ~]# chown -R 755 /data/nfs/ [root@k8s-master ~]# ll /data/ 2、通过yum进行安装 [root@k8s-master ~]#yum -y install nfs-utils rpcbind 3、配置 nfs，nfs 的默认配置文件在 /etc/exports 文件下，在该文件中添加下面的配置信息： [root@k8s-master ~]# vim /etc/exports /data/nfs *(rw,sync,no_root_squash) ####备注相关配置说明 /data/nfs：是共享的数据目录 *：表示任何人都有权限连接，当然也可...
kibana查询统计
统计关键词数量 ： GET /docker-wecom-crm-api-2023.09/_search?q=message:"不存在外部联系人的关系" { "size": 0, "query": { "match_all": { } } }
linux快速搭建轻量级efk日志系统
一、前言 为什么要用EFK（or ELK）: EFK 中的F是 filebeat还是fluentd? 单机推荐用filebeat，非常轻量级，占用内存为10M 二、安装过程 首先，通过docker-compose安装最方便，这里是yml文件： 注意1：es, kibana, filebeat版本最好一致 注意2：物理机最低内存2G才能安装（es大概800M，kibana 200M, filebeat 100M）, 实在不行加swap！ version : '3' services: es: container_name: es image: docker.elastic.co/elasticsearch/elasticsearch:7.2.0 ports: - "9200:9...
centos安装chrome+chromedriver
一、下载对应的版本： driver: https://chromedriver.storage.googleapis.com/index.html?path=103.0.5060.24/ chrome: http://dist.control.lth.se/public/CentOS-7/x86_64/google.x86_64/ 二、安装 unzip chromedriver.zip yum install google_chrome... 三、使用python做中转代理 Main.py import os from fastapi importFastAPI,Request import uvicorn from fastapi importFastAPI fromGoogleUtilimportGoogleUtil from fastapi.responses importHTMLResponse app =FastAPI() @app.get("/") d...
使用tunnel upload上传本地文件到阿里云odps
安装并配置MaxCompute客户端 说明 客户端从v0.27.0版本开始支持MaxCompute 2.0新数据类型，推荐使用新数据类型。支持的数据类型列表，请参见2.0数据类型版本。 安装并配置MaxCompute客户端的操作流程如下： 下载MaxCompute客户端安装包（Github）。 说明 如果上方链接无法下载，您可以尝试单击此处的MaxCompute客户端安装包（OSS）进行下载。更多关于Github链接访问失败的问题，推荐您直接在搜索引擎中查找相关解决方案。 解压下载的安装包文件，得到bin、conf、lib和plugins文件夹。 进入conf文件夹，配...
neo4j语法
1. "查"操作 , 查找 id 属性 为 501的节点: MATCH (r:Topic) HERE id(r) =501 RETURN r 增： CREATE(a:Article{title:"txxxxxx"}) return a; 修改： MATCH (r) WHERE id(r) = 501 SET r.test = "testtest" 删除： MATCH (r:Article) WHERE id(r) = 501 DELETE r 建立关系： MATCH (n:Topic{name:'Obesit Supplements'}),(s:Source{name:'Amazon'}) with n,s create (s)-[:BELONG]->(n) 查询不包含某个属性的节点： MATCH ...
将数据从mysql迁移到clickhouse
1、关于clickhouse的介绍 https://zhuanlan.zhihu.com/p/370201180 2、京东使用clickhouse存储秒级100G日志数据： https://new.qq.com/omn/20220408/20220408A03TA600.html 3、将MySQL数据迁徙到clickhouse内操作步骤： #clickhouse-client 🙂 create database newDB; 🙂 use newDB; –导入数据： CREATE TABLE Orders ENGINE = MergeTree ORDER BY OrderID AS SELECT * FROM mysql(‘10.42.134.136:3307’, ‘DBNAME’, ‘Orders’, ‘root’, ‘PASSWORD’); Ok. 0 rows in set. Elapsed: 1832.114 sec....
hive3.1.2 on spark
1. 安装java(openjdk8) 2.安装Mysql wget https://dev.mysql.com/get/mysql57-community-release-el7-8.noarch.rpm rpm -ivh mysql57-community-release-el7-8.noarch.rpm cd /etc/yum.repos.d/ rpm --import https://repo.mysql.com/RPM-GPG-KEY-mysql-2022 yum -y install mysql-server systemctl start mysqld grep 'temporary password' /var/log/mysqld.log mysql -uroot -p set global validate_password_policy=LOW; set global validate_password_length=4; ALTER USER 'root'@'localhost' ID...
spark版hello word
import org.apache.spark.SparkContext import org.apache.spark.SparkContext._ import org.apache.spark.SparkConf object WordCount { def main(args: Array[String]) { val inputFile = "/Users/artefact/software/spark-3.1.3-bin-hadoop3.2/data/wordcount.txt" val conf = new SparkConf().setAppName("WordCount").setMaster("local") val sc = new SparkContext(conf) val textFile = sc.textFile(inputFile) val wordCount = textFile .flatMap(_.split(" ")) //.flat...
idea 配置 scala 2.12 spark 3.0.2 开发环境
基本开发环境 下载对应包 maven：https://mvnrepository.com/search?q=spark spark：http://spark.apache.org/downloads.html scala：https://www.scala-lang.org/download/2.12.12.html 注意 spark 3 使用的版本是 scala 2.12.* java：https://www.oracle.com/java/technologies/javase/javase-jdk8-downloads.html 编译器配置 下载scala 插件 工程构建 配置scala 插件 构建scala 本地jar 包工程 file -》 project structure -》 添加下载的spark 中的jar 包 代码： import org.apache.spark.SparkContext ...