海量数据测试,利用数据库查询拷贝快速构造测试数据
这也是OneCoder在数据测试过程中遇到的问题,不一定有多少普试性,但是也许可以解决你的问题。 海量数据测试,数据导入一般是非常耗时的过程。OneCoder这里面对大约2T左右数据的导入问题,头疼不已,时间有限。本来准备的方式是将事先生成好的数据文件导入HBase中,这里有两个比较耗时的过程,put到hdfs和import到HBase中,昨天测试5G数据导入到HBase中,居然用了20m...
这也是OneCoder在数据测试过程中遇到的问题,不一定有多少普试性,但是也许可以解决你的问题。 海量数据测试,数据导入一般是非常耗时的过程。OneCoder这里面对大约2T左右数据的导入问题,头疼不已,时间有限。本来准备的方式是将事先生成好的数据文件导入HBase中,这里有两个比较耗时的过程,put到hdfs和import到HBase中,昨天测试5G数据导入到HBase中,居然用了20m...
其实这个本来没什么可写的,只是OneCoder恰巧用到又不会,在网上查了一下找到了答案,所以记录一下,也做分享。 很简单,一句话,执行: mvn dependency:copy-dependencies -DoutputDirectory=lib -DincludeScope=compile 会将依赖的包拷贝到工程的lib目录下。
OneCoder只是一个初学者,记录的只是自己的一个过程。不足之处还望指导。 看网上说导入大量数据,用bulk load的方式效率比较高。bulk load可以将固定格式的数据文件转换为HFile文件导入,当然也可以直接导入HFile文件。所以OneCoder最开始考虑的生成HFile文件供HBase导入,不过由于手太新,一直没有搞定。参考了很多网上的代码也没跑通。暂时搁浅。 后来One...
在一个下雨的夜晚,我在思考Java中内存管理的问题,以及Java集合对内存使用的效率情况。我做了一个简单的实验,测试在16G内存条件下,Java的Map可以插入多少对象。 这个试验的目的是为了得出集合的内部上限。所以,我决定使用很小的key和value。所有的测试,都是在64w位linux环境下进行的,操作系统是ubuntu12.04。JVM版本为Oracle Java 1.7.0_09-...
JUnit单元测试用例中使用Spring框架,之前我的使用方式很直接。 /** * 用于需要用到Spring的测试用例基类 * * @author lihzh * @alia OneCoder * @blog http://www.coderli.com */ @RunWith(SpringJUnit4ClassRunner.class) @ContextConfigurat...
在上回介绍Spring3.1+Hibernate4.1.7基于注解配置的时候(《SpringMVC3.1+Hibernate4.1.7完全基于注解配置(零配置文件)》)说过,在修改配置方式的时候遇到过不少问题。这里介绍一下。 方式一 OneCoder考虑在DataSourceConfig中,仅保留数据源配置,其他的诸如SessiionFactory的配置都移到AppConfig中。代...
其实这篇文章应该是上篇《Servlet3.0下基于注解的SpringMVC3.1配置-完全零配置文件》的续篇,因为上篇只介绍到web工程和Spring(包括MVC)的零配置,相对于传统的SSH来说,相当于SS零配置了。那么S和H的结合如果零配置文件呢。 Hibernate的注解配置大家应该不会陌生。主要就是对实体类的配置,注明对应的表和字段即可。 /** * 用户模型 * * @...
Spring3.1.x系列的一个新特性就是支持了Servlet3.0规范,基于注解的方式配置SpringMVC框架。官方文档描述如下: 3.1.10 Support for Servlet 3 code-based configuration of Servlet Container The new Web...
其实是一个不值得一提的小问题,不过既然验证了,就拿出来分享一下吧。 OneCoder在要做一个周期性的任务,Timer即可实现,不过考虑到有可能在一个周期内,任务可能没有结束,不知道Timer的处理方式,是直接启动下一个,还是等待完成,还是可配置的。于是OneCoder进行了一个简单的验证: /** * @author lihzh * @alia OneCoder * @blog...
十一匆匆的就过去了,OneCoder过的也是有点恍惚。不知道都做了什么,心却有点散。做一篇翻译,权当收收心,找找感觉吧。 原文地址:http://www.markhneedham.com/blog/2012/09/23/java-parsing-csv-files/ 在之前发布的博文里我提到,我最近正在把一些neo4j数据加载的代码从Ruby...