今天阳光很暖
开始阅读 Github
  听听音乐
Flink Log4j jar包冲突问题解决 Flink Log4j jar包冲突问题解决
flink 任务添加了 elasticsearch 之后 log4j 日志的 jar出现了冲突， 下面是一些报错日志以及解决方式： 1. 提交任务时未成功提交的日志Setting HBASE_CONF_DIR=/etc/hbase/con
2023-09-01 flink
exception flink
Spark 操作ES报错 Failed to find data source Spark 操作ES报错 Failed to find data source
1. 异常描述将服务部署到一个新的服务器上抛出了一个关于 ES的 ClassNotFoundException 异常 java.lang.ClassNotFoundException: Failed to find data source:
2023-08-10 spark
exception spark
华为云编译好的 arm 架构Ambari 下载地址 华为云编译好的 arm 架构Ambari 下载地址
华为鲲鹏 aarch64 版本 Ambari HDP 下载地址 https://mirrors.huaweicloud.com/kunpeng/yum/el/7/bigdata/ ambarihttps://mirrors.huaweicl
2023-07-18 ambari
exception ambari hdfs
对 kafka 中的消息进行 Avro 序列化 对 kafka 中的消息进行 Avro 序列化
1. Avro 介绍Avro 是一种数据序列化系统，由 Apache Foundation 开发并维护。它提供了丰富的数据结构类型，并且可以用于编码结构化数据。Avro 主要被用于 Apache Hadoop 这样的大数据处理系统中，它可以
2023-07-02 kafka
kafka avro
DolphinScheduler 部署文档 DolphinScheduler 部署文档
本文档部署了最新的 3.14 版本， 官网上的部署文档有些错误， 本文中进行了修复 1. DolphinScheduler 简介Apache DolphinScheduler 官网地址： https://dolphinscheduler
2023-03-20 dolphinScheduler
dolphinScheduler
使用 assembly 对 SpringBoot 代码打包 使用 assembly 对 SpringBoot 代码打包
1. 背景最近向服务器上部署 spring boot项目时，会遇到一个问题，那就是 spring boot 打包时，会将自己写的代码和项目的所有依赖文件打成一个可执行的 jar 包。通常我们的项目都是运行在服务器上的，当项目更新时，每次都要
2023-03-17 java
java
Async Hbase 时频繁遇到 too many open file 异常 Async Hbase 时频繁遇到 too many open file 异常
在使用 Async Hbase 时频繁遇到 too many open file 异常，程序自动重启后会立即报错，具体报错日志如下： flink版本：1.16.0 asynchbase版本：1.8.2 2023-03-08 16:15:
2023-03-14 hbase
hbase exception
安装 Ambari 时遇到的异常记录 安装 Ambari 时遇到的异常记录
由于最近公司机房断电，导致几台测试环境 Ambari 服务器损坏， 所以对 Ambari服务进行了重装， 下面对此次安装过程中遇见的问题与解决办法进行记录 1. 安装 unzipTraceback (most recent call l
2023-03-08 ambari
exception ambari
2.7.3 - Ambari 告警信息总结 2.7.3 - Ambari 告警信息总结
此文档真对 spark 2.7.3 版本的 ambari 告警信息进行总结: 1. 告警级别 告警级别 解释 说明 OK ok 集群运行良好 WARNING 警告 集群指标到了一定阈值，需关注 The cluster indi
2023-01-05 ambari
exception ambari
Spark 数据倾斜分析与解决思路 Spark 数据倾斜分析与解决思路
1. 背景介绍数据倾斜是在大数据计算中，经常会面临一个非常棘手的问题。数据倾斜会导致 Spark 作业性能大幅下降，这远远低于我们的期望。为了确保 Spark 作业的高性能，我们需要进行数据倾斜调优。数据倾斜调优是一项复杂的任务，需要采用多
2022-08-08 spark
exception spark
Ambari 启动异常 ambari_commons.exceptions.FatalException Ambari 启动异常 ambari_commons.exceptions.FatalException
背景昨天公司机房停电， 没来得及关服务器， 早上到公司发现Ambari环境无法启动了 异常信息[root@node1 ~]# service ambari-server status Using python /usr/bin/pytho
2022-07-26 ambari
exception ambari
Ambari2.7.3 集成 Flume Service Ambari2.7.3 集成 Flume Service
1. 介绍Ambari 是一个开源的 Apache 项目，用于部署、监控和管理 Hadoop 集群。Ambari 提供了一个易于使用的 Web UI 和 RESTful API 来简化 Hadoop 集群管理。Ambari 2.7.3 是
2022-06-05 ambari
exception ambari flume
1 / 24