MY Blog

Thinking will not overcome fear but action will.

SpringBoot 动态加载 jar 包，动态配置方案

动态加载 jar 包，动态配置方案

SpringBoot 动态加载 jar 包，动态配置方案 一、概述 1、背景 目前数据治理服务中有众多治理任务，当其中任一治理任务有改动需要升级或新增一个治理任务时，都需要将数据治理服务重启，会影响其他治理任务的正常运行。 2、目标 能够动态启动、停止任一治理任务 能够动态升级、添加治理任务 启动、停止治理任务或升级、添加治理任...

Posted by zhmingyong on April 17, 2024

Trino HTTPS与密码认证实战

Trino密码认证实战

概述 Trino支持TLS（传输层安全性）认证以确保在数据传输过程中的安全性。TLS认证是一种用于加密和保护数据传输的协议，它在客户端和服务器之间建立安全的通信通道，以防止中间人攻击和数据泄露。 以下是使用TLS认证的一些背景信息： 数据安全性：在数据分析和查询过程中，敏感数据的传输可能涉及到机密信息，如个人身份信息、财务数据等。TLS认证提供了一种加密通信的方式，确保数据在传输过程中不...

Posted by zhmingyong on April 16, 2024

Apache Hudi、MinIO、HMS构建现代数据湖（转）

Hudi与Minio构建数据湖

Apache Hudi + MinIO + HMS 构建现代数据湖（转） [转载链接] https://mp.weixin.qq.com/s/rCJ6XikkU03VvuLj3eFoGQ Apache Hudi 已成为管理现代数据湖的领先开放表格式之一，直接在现代数据湖中提供核心仓库和数据库功能。这在很大程度上是由于 Hudi 提供了高级功能，例如表、事务、更新插入/删除、高级索引、流...

Posted by zhmingyong on April 15, 2024

CentOS、Ubuntu、Debian、Alpine更换国内源方法

更换国内源

一般来说，Linux系统、Docker、NPM的国内源可以大幅加速软件和镜像包的下载速度，同时也可以避免一些网络问题。 国内的源通常是由国内的各大云服务商提供的，这些云服务商在本地都有自己的加速服务器和缓存系统，可以更快地下载镜像。另外，由于地理位置的原因，国内的源通常比国外的源更稳定，也更容易受到国内用户的访问。因此，更换国内源可以提高开发效率和稳定性，减少不必要的网络问题。 Cent...

Posted by zhmingyong on December 8, 2023

MyBatis-Flex

MyBatis

Mybatis-Flex 是一个优雅的 Mybatis 增强框架，它非常轻量、同时拥有极高的性能与灵活性。我们可以轻松的使用 Mybaits-Flex 链接任何数据库，其内置的 QueryWrapper^亮点 帮助我们极大的减少了 SQL 编写的工作的同时，减少出错的可能性。 总而言之，MyBatis-Flex 能够极大地提高我们的开发效率和开发体验，让我们有更多的时间专注于自己的事情。 ...

Posted by zhmingyong on November 30, 2023

Java工具类之Hutool

Util

推荐一个非常好用的Java工具类库，企业级常用工具类，基本都有，能避免重复造轮子及节省大量的开发时间，非常不错，值得大家去了解使用。 Hutool 谐音 “糊涂”，寓意追求 “万事都作糊涂观，无所谓失，无所谓得” 的境界。 Hutool 是一个 Java 工具包，也只是一个工具包，它帮助我们简化每一行代码，减少每一个方法，让 Java 语言也可以 “甜甜的”。Hutool 最初是我项目中...

Posted by zhmingyong on November 29, 2023

Docker保存容器为镜像

docker命令

Docker保存容器为镜像 Docker保存容器为镜像 介绍 Docker是一种开源的容器化平台，通过使用Docker，可以将应用程序与其依赖项一起打包到一个独立的容器中，以便在任何地方运行。Docker容器可以很容易地进行部署、复制和移植，并且与操作系统和硬件基础设施无关。 在Docker中，容器是从镜像创建的。镜像是一个只读的模板，用于创建容器。一个镜像可以包含一个完整的操作系统，以...

Posted by zhmingyong on November 14, 2023

Trino集群部署与使用

trino-gateway解决trino协调者单节点问题

trino-gateway 简介 A load balancer, proxy server, and configurable routing gateway for multiple Trino clusters. 这是trino-gateway github中的介绍，一个集负载均衡，代理服务与网关路由配置的多trino集群。其实可以简单理解为代理服务，与我们使用vpn类似。 ou...

Posted by zhmingyong on November 7, 2023

OpenFeign支持PATCH请求

OpenFeign支持PATCH请求

OpenFeign支持PATCH请求 OpenFeign调用第三方接口 @FeignClient(name = "FlinkClusterManagerFeign", contextId = "FlinkJobsManagerFeign", url = "http://localhost:8081") public interface FlinkJobsManagerFeign { ...

Posted by zhmingyong on November 1, 2023

Hudi编译适配hadoop3.2.4

Hudi适配hadoop3.x

Hudi编译适配hadoop3.2.4 本文讲解hudi如何编译适配Hadoop3.x，其中hudi采用版本0.12.3，hadoop采用版本3.2.4。 1.默认配置 Hudi的编译配置文件为<HUDI_HOME>/pom.xml（其中<HUDI_HOME>是Hudi根目录），默认配置的hadoop版本为2.10.1。相关配置如下图： 编译参数-Dhad...

Posted by zhmingyong on September 26, 2023

FEATURED TAGS
Linux 缓存清除 定时清除 Mac Hadoop 集群 扩容 缩容 Trino Hudi 大数据 数据湖 Docker SpringBoot 安全基线 安全加固
ABOUT ME

Goals determine what you going to be!

✉️ zhmingyong@gmail.com

FRIENDS