OneCoder

海量数据测试,利用数据库查询拷贝快速构造测试数据

这也是OneCoder在数据测试过程中遇到的问题,不一定有多少普试性,但是也许可以解决你的问题。 海量数据测试,数据导入一般是非常耗时的过程。OneCoder这里面对大约2T左右数据的导入问题,头疼不已,时间有限。本来准备的方式是将事先生成好的数据文件导入HBase中,这里有两个比较耗时的过程,put到hdfs和import到HBase中,昨天测试5G数据导入到HBase中,居然用了20m...

HBase利用bulk load批量导入数据

OneCoder只是一个初学者,记录的只是自己的一个过程。不足之处还望指导。 看网上说导入大量数据,用bulk load的方式效率比较高。bulk load可以将固定格式的数据文件转换为HFile文件导入,当然也可以直接导入HFile文件。所以OneCoder最开始考虑的生成HFile文件供HBase导入,不过由于手太新,一直没有搞定。参考了很多网上的代码也没跑通。暂时搁浅。 后来One...

用16G内存在Java Map中处理30亿对象

在一个下雨的夜晚,我在思考Java中内存管理的问题,以及Java集合对内存使用的效率情况。我做了一个简单的实验,测试在16G内存条件下,Java的Map可以插入多少对象。 这个试验的目的是为了得出集合的内部上限。所以,我决定使用很小的key和value。所有的测试,都是在64w位linux环境下进行的,操作系统是ubuntu12.04。JVM版本为Oracle Java 1.7.0_09-...

SpringMVC3.1+Hibernate4.1.7完全基于注解配置(零配置文件)

其实这篇文章应该是上篇《Servlet3.0下基于注解的SpringMVC3.1配置-完全零配置文件》的续篇,因为上篇只介绍到web工程和Spring(包括MVC)的零配置,相对于传统的SSH来说,相当于SS零配置了。那么S和H的结合如果零配置文件呢。 Hibernate的注解配置大家应该不会陌生。主要就是对实体类的配置,注明对应的表和字段即可。 /** * 用户模型 * * @...

Java Timer任务执行消耗事件大于执行周期问题验证

其实是一个不值得一提的小问题,不过既然验证了,就拿出来分享一下吧。 OneCoder在要做一个周期性的任务,Timer即可实现,不过考虑到有可能在一个周期内,任务可能没有结束,不知道Timer的处理方式,是直接启动下一个,还是等待完成,还是可配置的。于是OneCoder进行了一个简单的验证: /** * @author lihzh * @alia OneCoder * @blog...