MY Blog

Thinking will not overcome fear but action will.

CDH 7.1.4 大数据平台搭建-新手指南

大数据平台搭建

CDH 7.1.4 大数据平台搭建-新手指南（转） [转载链接] https://blog.csdn.net/guofeng_0/article/details/111319437 环境介绍 笔记本硬件 硬盘 1T SSD 内存 48G 处理器 I5 8代 软件及版本 系统 Win10 家庭版 虚拟机 VMware 15.5.1 Linux rhel-server-7.9-x86_...

Posted by zhmingyong on September 26, 2023

Mac多个java版本切换

java版本切换

Mac多个java版本切换 在开发的时候，我们会安装不同版本的jdk，那么这个时候又需要根据项目来使用不同的java版本，那么怎么来切换昵 第一步： 首先找出你安装的所有版本路径： /usr/libexec/java_home -V zhangmingyong@mingyongzhangMacBook-Pro ~ % /usr/libexec/java_home -V Match...

Posted by zhmingyong on September 14, 2023

Mac M2芯片编译hudi源码问题之protoc

hudi源码编译

Mac M2芯片编译hudi源码问题之protoc 解决部署Hudi时遇到的 Error extracting protoc for version 3.21.5: Unsupported platform: protoc-xxx.exe 问题 在部署Hudi时遇到以下不支持protoc的问题： [ERROR] Failed to execute goal com.github.os7...

Posted by zhmingyong on September 14, 2023

TDengine 入门教程——数据库SQL操作 | 建库、建表、数据读写

TDengine 建库、建表、数据读写

TDengine 入门教程——数据库SQL操作 | 建库、建表、数据读写 文章目录 一、前文 二、库操作 2.1 创建库 2.2 删除库 2.3 查询库 三、表操作 3.1 创建表 3.2 删除表 3.3 查询所有表 3.4 查询表结构 四、数据写入 4.1 ...

Posted by zhmingyong on September 5, 2023

大数据Hadoop集群的扩容及缩容（动态添加删除节点）

动态添加删除节点

添加白名单和黑名单 白名单，表示在白名单的主机IP地址可以用来存储数据 企业中；配置白名单，可以尽量防止黑客恶意访问攻击。 配置白名单步骤如下： 1）在NameNode节点的/opt/module/hadoop-3.1.3/etc/hadoop目录创建whitelist和blacklist 创建白名单 vim whitelist # 输入如下内容 hadoop102 hadoop103 ...

Posted by zhmingyong on August 30, 2023

Trino连机器基于HDFS集群连接Hudi

namenode高可用下使用hudi连接器

trino连接hudi最小配置示例(hudi.properties) connector.name=hudi hive.metastore.uri=thrift://example.net:9083 namenode单节点情况下，hudi写入任务配置确定活动namenode节点的情况下，trino读取无异常；namenode集群情况下，hudi写入任务配置集群名称并写入hudi后，trin...

Posted by zhmingyong on August 30, 2023

Hadoop集群动态扩容和缩容

dataNode扩容和缩容

一.动态扩容 1.准备工作 安装java 配置hostname 确保ssh免密登录可以互通 配置hosts 关闭防火墙 2.修改workers 修改保存每台服务器的$HADOOP_home/etc/hadoop/workers文件，添加节点node4。 # cat workers node1 node2 node3 node4 3.启动DataNode 在新加的节点node4上，启动d...

Posted by zhmingyong on August 30, 2023

文件目录树状(tree)显示

Mac终端显示输树状文件结构

使用 tree 在终端显示树状文件结构 安装 tree 使用 brew 进行安装 $ brew install tree 使用 直接使用 tree 命令，会在当前文件目录下，递归输出所有文件层级 $ tree 限制层级 $ tree -L 2 指定当前目录下的某个文件夹...

Posted by zhmingyong on August 20, 2023

快速配置zsh

zsh的快速配置

查看你的系统有几种shell cat /etc/shells 显示 /bin/bash /bin/csh /bin/ksh /bin/sh /bin/tcsh /bin/zsh 安装 oh my zsh git clone git://github.com/robbyrussell/oh-my-zsh.git ~/.oh-my-zsh cp ~/.oh-my-zsh/templ...

Posted by zhmingyong on August 19, 2023

如何释放Linux中的缓存

Linux缓存占用高如何清除

如何释放Linux中的缓存 一、缓存的定义 Linux中的缓存是一个非常有用的机制。它会在系统上运行的进程需要使用文件时缓存该文件，以便下次再需要使用时可以更快地读取。因此，缓存机制可以加快系统的读写速度。 缓存有两个主要部分，即缓存页和缓存管理程序。缓存页是内存中的一个具体页，该页包含了文件的内容。缓存管理程序则是负责缓存页的实现和管理，控制何时释放缓存页等。 二、缓存释放的必要性...

Posted by zhmingyong on August 19, 2023

FEATURED TAGS
Linux 缓存清除 定时清除 Mac Hadoop 集群 扩容 缩容 Trino Hudi 大数据 数据湖 Docker SpringBoot 安全基线 安全加固
ABOUT ME

Goals determine what you going to be!

✉️ zhmingyong@gmail.com

FRIENDS