• DataX文本抽取支持字符串切割

    背景DataX的文本抽取,都是基于com.csvReader.CsvReader进行读取,CsvReader有个缺陷就是无法对文本按照字符串进行切割,但是部分业务数据的行分隔符,列分隔符是使用的字符串 方案1. 将字符串切割和单字符切割分开实现阿里云...
  • DataXOOM

    背景线上环境发现有部分从ftp采集数据的任务出现OOM情况 排查过程1. 查看日志通过日志看到有出现OOM异常,因DataX的启动脚本配置了DEFAULT_JVM = “-Xms1g -Xmx1g -XX:+HeapDumpOnOutOfMemory...
  • main方法结束程序不退出排查

    背景线上环境接手的代码有使用shell命令通过java -jar直接拉起一个java进程执行main方法的场景,系统长时间运行后发现有拉起的java进程main执行完毕后没有销毁 排查过程1. 查看日志通过日志看到main方法中有java.lang....
  • 线程假死排查

    背景测试环境发现有部分业务执行一次后就不再执行了,出现了线程假死情况 排查过程1. 查看日志通过日志看到在备份文件时有异常发生,但是代码时将该异常捕获了,正常情况是不会导致线程假死的情况,需要进一步排查 2. 查看业务代码,先判断是否有明显bug经排...
  • CPU100排查

    背景接手的代码在运行时cpu抛高 排查过程1. 确定进程通过top命令找出cpu抛高的进程 1top 2. 确定线程通过top -Hp 进程号找出cpu抛高的线程 1top -Hp 39511 3. 确定线程正在执行内容3.1. 查看堆栈 将...
  • Seatunnel测试

    1. 前置条件 seatunnel hadoop,检查点会用到hdfs,没有也能看到效果 本地hadoop,需要hadoop_home,没有也能看到效果 2. sftp->hive2.1 场景说明将ftp文件同步到hive分区表中,根据ftp...
  • markdown语法记录

    字体 颜色1<font style="background: #f9f2f4" color=#c7254e>背景色/字体颜色</font> 示例:背景色/字体颜色
  • hystrix配置参数

    HystrixCommand 配置方式我们的配置都是基于 HystrixCommand 的,我们通过在方法上添加@HystrixCommand 注解并配置注解的参数来实现配置,但有的时候一个类里面会有多个 Hystrix 方法,每个方法都是类似配置的...
  • jvm参数调优实战

    背景线上有个用于对接第三方电商平台接口的duubo服务,公司内部系统需要调用第三方平台接口时不用去关心平台接口,只需要调用该服务接口即可。该服务上线后一直没有关注其gc情况,最近得空,看下是否有优化空间。 现状在启动参数上加上打印gc日志参数,使用g...