Poison

发表于

Tomcat thread pool policy

TaskQueue
ThreadPoolExecutor

JDK 原生的线程池实现在当前线程池线程数量大于等于 corePoolSize 时会在线程池队列满后才创建新的线程，更加适合于 CPU 密集型的任务，而 Tomcat 会在大于等于 corePoolSize 且小于 maximumPoolSize 时先创建线程，达到 maximumPoolSize 后再放入队列，更适合 IO 密集型任务。

类似的实现在 Dubbo 源码中也可以看到：

TaskQueue
EagerThreadPool

Poison

发表于

Coalesce Hints for SQL Queries

该特性用于控制输出的文件数，之前数仓同步时耗时较长，经过定位后发现大部分时间消耗在与 OSS 的数据交互上，主要是小文件引起，每张表默认会生成 200 个文件，后面优化为根据每张表的表记录数计算出一个合适的分区数使用上述 Hint 嵌入在 SQL 中，整个数仓同步耗时降低近 50%.

同时发现的问题还有 emr-oss 连接器中对 System.gc() 的显式调用，该 问题 会导致花费大量时间在不必要的 FullGC 上，后面移除了该调用以提升数仓同步速度。

Poison

发表于

关于 NoClassDefFoundError, 稍有经验的开发应该都遇到过，比如下面这个异常：

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
java.lang.NoClassDefFoundError: org/apache/commons/lang/exception/NestableRuntimeException
	at java.lang.ClassLoader.defineClass1(Native Method) ~[?:1.8.0_211]
	at java.lang.ClassLoader.defineClass(ClassLoader.java:763) ~[?:1.8.0_211]
	at java.security.SecureClassLoader.defineClass(SecureClassLoader.java:142) ~[?:1.8.0_211]
	at java.net.URLClassLoader.defineClass(URLClassLoader.java:468) ~[?:1.8.0_211]
	at java.net.URLClassLoader.access$100(URLClassLoader.java:74) ~[?:1.8.0_211]
	at java.net.URLClassLoader$1.run(URLClassLoader.java:369) ~[?:1.8.0_211]
	at java.net.URLClassLoader$1.run(URLClassLoader.java:363) ~[?:1.8.0_211]
	at java.security.AccessController.doPrivileged(Native Method) ~[?:1.8.0_211]
	at java.net.URLClassLoader.findClass(URLClassLoader.java:362) ~[?:1.8.0_211]
	at org.apache.flink.util.ChildFirstClassLoader.loadClassWithoutExceptionHandling(ChildFirstClassLoader.java:71) ~[flink-dist_2.11-1.12.1.jar:1.12.1]
	at org.apache.flink.util.FlinkUserCodeClassLoader.loadClass(FlinkUserCodeClassLoader.java:48) ~[flink-dist_2.11-1.12.1.jar:1.12.1]
	at java.lang.ClassLoader.loadClass(ClassLoader.java:357) ~[?:1.8.0_211]
	at com.aliyun.openservices.log.flink.util.LogClientProxy.<init>(LogClientProxy.java:26) ~[?:?]
	at com.aliyun.openservices.log.flink.FlinkLogConsumer.createClient(FlinkLogConsumer.java:65) ~[?:?]
	at com.aliyun.openservices.log.flink.FlinkLogConsumer.run(FlinkLogConsumer.java:71) ~[?:?]
	at org.apache.flink.streaming.api.operators.StreamSource.run(StreamSource.java:110) ~[flink-dist_2.11-1.12.1.jar:1.12.1]
	at org.apache.flink.streaming.api.operators.StreamSource.run(StreamSource.java:66) ~[flink-dist_2.11-1.12.1.jar:1.12.1]
	at org.apache.flink.streaming.runtime.tasks.SourceStreamTask$LegacySourceFunctionThread.run(SourceStreamTask.java:241) ~[flink-dist_2.11-1.12.1.jar:1.12.1]
Caused by: java.lang.ClassNotFoundException: org.apache.commons.lang.exception.NestableRuntimeException
	at java.net.URLClassLoader.findClass(URLClassLoader.java:382) ~[?:1.8.0_211]
	at java.lang.ClassLoader.loadClass(ClassLoader.java:424) ~[?:1.8.0_211]
	at org.apache.flink.util.FlinkUserCodeClassLoader.loadClassWithoutExceptionHandling(FlinkUserCodeClassLoader.java:64) ~[flink-dist_2.11-1.12.1.jar:1.12.1]
	at org.apache.flink.util.ChildFirstClassLoader.loadClassWithoutExceptionHandling(ChildFirstClassLoader.java:74) ~[flink-dist_2.11-1.12.1.jar:1.12.1]
	at org.apache.flink.util.FlinkUserCodeClassLoader.loadClass(FlinkUserCodeClassLoader.java:48) ~[flink-dist_2.11-1.12.1.jar:1.12.1]
	at java.lang.ClassLoader.loadClass(ClassLoader.java:357) ~[?:1.8.0_211]
	... 18 more

ClassNotFoundException 是引起 NoClassDefFoundError 的最常见原因，常见于实际需要使用的依赖版本与应用依赖不一致，这个问题非常常见，但是估计大家都没注意 ClassNotFoundException 为什么会被转换为 NoClassDefFoundError, 在一次线上问题的排查过程中笔者查询了 JLS 中的类的详细初始化顺序 Detailed Initialization Procedure, 在此摘抄一段最核心的部分：

阅读全文 »