最近使用Httpcomponents-client过程中遇到一个线程阻塞的问题。通过jstack dump线程发现，是block在AbstractConnPool的getPoolEntryBlocking中，于是决定研究一下Httpcomponents-client的源码。 问题背景 邮件发送线程阻塞，jstack dump发现如下问题： 可见，阻塞发生在Httpcompone...

刚发布的Java9中，有一个特性是新增了快速构造不可变集合的工厂函数。官方说明如下： JEP 269: Convenience Factory Methods for Collections Makes it easier to create instances of collections and maps with small numbers of elements. N...

很久没更新博客，本想写篇关于Java9 集合工厂函数的博客，却没想到阴差阳错先遇到Lombok与Java9的兼容性问题。 我在一个试验用的工程里，想做一些关于Java9新特性的试验，该工程原本是依赖lombok的。结果，编译时，原有的使用@Slf4j注解的的类报编译错误。 Error:(18, 1) java: 程序包 javax.annotation 不可见 (程序包 ...

通信流程概括 任务部署时，xd-admin和container之间通过zookeeper的节点监听通信。container监听zk deployment节点，执行部署。同事绑定kafka message consumer和reactor subscriber。 任务启动时，xd-admin和container通过kafka通信。container端消费到kafka的message...

对于保存在.properties文件中的敏感信息，支持采用加密的方式保存。然后在程序中解密使用。 实现方案 采用自定义PropertySourceLoader的方式，在.properties配置文件加载期，遍历值，遇到指定格式的值，则执行解密操作。具体代码如下： /** * @author li.hzh * @date 2017-04-10 13:46 */ @Slf4j pu...

Spring XD on Yarn在使用过程中发现不论是YarnClient还是AppMaster对Yarn HA的支持都不好。在Yarn的RM重启或切换的情况下，YarnClient必须修改配置文件中的RM地址才可以继续使用，即使在配置文件中配置了Yarn HA的相关配置也不生效。而AppMaster同样会因为长时间监测不到心跳而被Yarn Kill掉，导致XD服务挂掉。 因此，此调研的目...

SpringXD on Yarn支持Container分组。可以更好的控制admin和container分配。 控制组内成员 以组单位整体控制生命周期 动态创建组 重启失败的容器 实际上，XD on Yarn有内置分组admin和container。结合例子使用： 查看分组列表： bin/xd-yarn clustersinfo -a application_...

配置Spring Flo可在SpringXD的admin-ui页面提供拖拽式的组合job的定义。 从Pivotal官方下载Flo for XD 1.0.1版本 https://network.pivotal.io/products/p-spring-flo 解压flo-spring-xd-admin-ui-client-1.3.1.RELEASE.zip unzip flo-spr...

SpringXD中的Job实际即为Spring Batch中的Job，因此我们先按照Spring Batch的规范开发一个简单的Job。 项目依赖： <dependencies> <dependency> <groupId>org.springframework.batch</groupId> ...

Spring XD可以on yarn运行。 下载on yarn运行包并解压 wget http://repo.spring.io/release/org/springframework/xd/spring-xd/1.3.1.RELEASE/spring-xd-1.3.1.RELEASE-yarn.zip unzip spring-xd-1.3.1.RELEASE-yarn.zip 部...