这也是OneCoder在数据测试过程中遇到的问题，不一定有多少普试性，但是也许可以解决你的问题。 海量数据测试，数据导入一般是非常耗时的过程。OneCoder这里面对大约2T左右数据的导入问题，头疼不已，时间有限。本来准备的方式是将事先生成好的数据文件导入HBase中，这里有两个比较耗时的过程，put到hdfs和import到HBase中，昨天测试5G数据导入到HBase中，居然用了20m...

其实这个本来没什么可写的，只是OneCoder恰巧用到又不会，在网上查了一下找到了答案，所以记录一下，也做分享。 很简单，一句话，执行： mvn dependency:copy-dependencies -DoutputDirectory=lib -DincludeScope=compile 会将依赖的包拷贝到工程的lib目录下。

OneCoder只是一个初学者，记录的只是自己的一个过程。不足之处还望指导。 看网上说导入大量数据，用bulk load的方式效率比较高。bulk load可以将固定格式的数据文件转换为HFile文件导入，当然也可以直接导入HFile文件。所以OneCoder最开始考虑的生成HFile文件供HBase导入，不过由于手太新，一直没有搞定。参考了很多网上的代码也没跑通。暂时搁浅。 后来One...

在一个下雨的夜晚，我在思考Java中内存管理的问题，以及Java集合对内存使用的效率情况。我做了一个简单的实验，测试在16G内存条件下，Java的Map可以插入多少对象。 这个试验的目的是为了得出集合的内部上限。所以，我决定使用很小的key和value。所有的测试，都是在64w位linux环境下进行的，操作系统是ubuntu12.04。JVM版本为Oracle Java 1.7.0_09-...

JUnit单元测试用例中使用Spring框架，之前我的使用方式很直接。 /** * 用于需要用到Spring的测试用例基类 * * @author lihzh * @alia OneCoder * @blog http://www.coderli.com */ @RunWith(SpringJUnit4ClassRunner.class) @ContextConfigurat...

在上回介绍Spring3.1+Hibernate4.1.7基于注解配置的时候(《SpringMVC3.1+Hibernate4.1.7完全基于注解配置(零配置文件)》)说过，在修改配置方式的时候遇到过不少问题。这里介绍一下。 方式一 OneCoder考虑在DataSourceConfig中，仅保留数据源配置，其他的诸如SessiionFactory的配置都移到AppConfig中。代...

其实这篇文章应该是上篇《Servlet3.0下基于注解的SpringMVC3.1配置-完全零配置文件》的续篇，因为上篇只介绍到web工程和Spring(包括MVC)的零配置，相对于传统的SSH来说，相当于SS零配置了。那么S和H的结合如果零配置文件呢。 Hibernate的注解配置大家应该不会陌生。主要就是对实体类的配置，注明对应的表和字段即可。 /** * 用户模型 * * @...

Spring3.1.x系列的一个新特性就是支持了Servlet3.0规范，基于注解的方式配置SpringMVC框架。官方文档描述如下： 3.1.10 Support for Servlet 3 code-based configuration of Servlet Container The new Web...

其实是一个不值得一提的小问题，不过既然验证了，就拿出来分享一下吧。 OneCoder在要做一个周期性的任务，Timer即可实现，不过考虑到有可能在一个周期内，任务可能没有结束，不知道Timer的处理方式，是直接启动下一个，还是等待完成，还是可配置的。于是OneCoder进行了一个简单的验证： /** * @author lihzh * @alia OneCoder * @blog...

十一匆匆的就过去了，OneCoder过的也是有点恍惚。不知道都做了什么，心却有点散。做一篇翻译，权当收收心，找找感觉吧。 原文地址:http://www.markhneedham.com/blog/2012/09/23/java-parsing-csv-files/     在之前发布的博文里我提到，我最近正在把一些neo4j数据加载的代码从Ruby...