分类目录

链接

2024年 3月
 123
45678910
11121314151617
18192021222324
25262728293031

近期文章

热门标签

新人福利,免费薅羊毛

Linux安装NFS

1、创建共享目录和权限设置 [root@k8s-master ~]# mkdir -p /data/nfs [root@k8s-master ~]# chown -R 755 /data/nfs/ [root@k8s-master ~]# ll /data/ 2、通过yum进行安装 [root@k8s-master ~]#yum -y install nfs-utils rpcbind 3、配置 nfs,nfs 的默认配置文件在 /etc/exports 文件下,在该文件中添加下面的配置信息: [root@k8s-master ~]# vim /etc/exports /data/nfs *(rw,sync,no_root_squash) ####备注相关配置说明 /data/nfs:是共享的数据目录 *:表示任何人都有权限连接,当然也可...

k8s, 大数据 暂无评论 阅读(36)

kibana查询统计

统计关键词数量 : GET /docker-wecom-crm-api-2023.09/_search?q=message:"不存在外部联系人的关系" { "size": 0, "query": { "match_all": { } } }    

大数据 暂无评论 阅读(71)

linux快速搭建轻量级efk日志系统

一、前言 为什么要用EFK(or ELK):   EFK 中的F是 filebeat还是fluentd? 单机推荐用filebeat,非常轻量级,占用内存为10M   二、安装过程 首先,通过docker-compose安装最方便,这里是yml文件: 注意1:es, kibana, filebeat版本最好一致 注意2:物理机最低内存2G才能安装(es大概800M,kibana 200M, filebeat 100M), 实在不行加swap!   version : '3' services:     es:     container_name: es     image: docker.elastic.co/elasticsearch/elasticsearch:7.2.0     ports:       - "9200:9...

DevOps, Docker, JAVA, 云计算, 分布式, 大数据, 微服务, 系统架构 暂无评论 阅读(284)

centos安装chrome+chromedriver

一、下载对应的版本: driver: https://chromedriver.storage.googleapis.com/index.html?path=103.0.5060.24/ chrome: http://dist.control.lth.se/public/CentOS-7/x86_64/google.x86_64/   二、安装 unzip chromedriver.zip yum install google_chrome...   三、使用python做中转代理 Main.py import os from fastapi importFastAPI,Request import uvicorn from fastapi importFastAPI fromGoogleUtilimportGoogleUtil from fastapi.responses importHTMLResponse app =FastAPI() @app.get("/") d...

LINUX, Python, 大数据 暂无评论 阅读(86)

使用tunnel upload上传本地文件到阿里云odps

安装并配置MaxCompute客户端 说明 客户端从v0.27.0版本开始支持MaxCompute 2.0新数据类型,推荐使用新数据类型。支持的数据类型列表,请参见2.0数据类型版本。 安装并配置MaxCompute客户端的操作流程如下: 下载MaxCompute客户端安装包(Github)。 说明 如果上方链接无法下载,您可以尝试单击此处的MaxCompute客户端安装包(OSS)进行下载。更多关于Github链接访问失败的问题,推荐您直接在搜索引擎中查找相关解决方案。 解压下载的安装包文件,得到bin、conf、lib和plugins文件夹。 进入conf文件夹,配...

大数据 暂无评论 阅读(89)

neo4j语法

1. "查"操作 , 查找 id 属性 为 501的节点: MATCH (r:Topic)    HERE id(r) =501  RETURN r 增: CREATE(a:Article{title:"txxxxxx"}) return a; 修改: MATCH (r)   WHERE id(r) = 501   SET r.test = "testtest" 删除: MATCH (r:Article)  WHERE id(r) = 501  DELETE r 建立关系: MATCH (n:Topic{name:'Obesit Supplements'}),(s:Source{name:'Amazon'}) with n,s create (s)-[:BELONG]->(n) 查询不包含某个属性的节点: MATCH ...

大数据 暂无评论 阅读(60)

将数据从mysql迁移到clickhouse

1、关于clickhouse的介绍 https://zhuanlan.zhihu.com/p/370201180   2、京东使用clickhouse存储秒级100G日志数据: https://new.qq.com/omn/20220408/20220408A03TA600.html   3、将MySQL数据迁徙到clickhouse内操作步骤: #clickhouse-client 🙂 create database newDB; 🙂 use newDB; –导入数据: CREATE TABLE Orders ENGINE = MergeTree ORDER BY OrderID AS SELECT * FROM mysql(‘10.42.134.136:3307’, ‘DBNAME’, ‘Orders’, ‘root’, ‘PASSWORD’);   Ok. 0 rows in set. Elapsed: 1832.114 sec....

MySQL, 大数据 暂无评论 阅读(213)

hive3.1.2 on spark

1.  安装java(openjdk8)   2.安装Mysql wget https://dev.mysql.com/get/mysql57-community-release-el7-8.noarch.rpm rpm -ivh mysql57-community-release-el7-8.noarch.rpm cd /etc/yum.repos.d/ rpm --import https://repo.mysql.com/RPM-GPG-KEY-mysql-2022 yum -y install mysql-server systemctl start mysqld grep 'temporary password' /var/log/mysqld.log mysql -uroot -p set global validate_password_policy=LOW; set global validate_password_length=4; ALTER USER 'root'@'localhost' ID...

大数据 暂无评论 阅读(62)

spark版hello word

import org.apache.spark.SparkContext import org.apache.spark.SparkContext._ import org.apache.spark.SparkConf   object WordCount {   def main(args: Array[String]) {     val inputFile =  "/Users/artefact/software/spark-3.1.3-bin-hadoop3.2/data/wordcount.txt"     val conf = new SparkConf().setAppName("WordCount").setMaster("local")     val sc = new SparkContext(conf)     val textFile = sc.textFile(inputFile)     val wordCount = textFile       .flatMap(_.split(" ")) //.flat...

大数据 暂无评论 阅读(71)

idea 配置 scala 2.12 spark 3.0.2 开发环境

基本开发环境 下载对应包 maven:https://mvnrepository.com/search?q=spark spark:http://spark.apache.org/downloads.html scala:https://www.scala-lang.org/download/2.12.12.html 注意 spark 3 使用的版本是 scala 2.12.* java:https://www.oracle.com/java/technologies/javase/javase-jdk8-downloads.html 编译器配置 下载scala 插件 工程构建 配置scala 插件 构建scala 本地jar 包工程 file -》 project structure -》 添加下载的spark 中的jar 包 代码: import org.apache.spark.SparkContext ...

大数据 暂无评论 阅读(60)