OneCoder

MySQL Cluster 初用初测小结

基于上篇搭建的环境,验证一些基本功能和性能需求。这里先说一下功能使用的问题。OneCoder也是第一次用。摸索着来,仅做一个记录。 从部署图就可知道,对数据库的请求操作发生在SQL节点上。为了达到试验效果,这里又追加了一个sql节点。现在集群环境如下: 在追加的过程中,发现MySQL Cluster对启动顺序要求严格,在没考虑热部署方案的情况下,必须停止了所有节点,重新按照ma...

Mac OS 下 Java开发环境搭建

OneCoder最近入手一台Mac Pro。其实这个话题本来没什么可写的。但是考虑确实自己开始是不知道的,哪怕是一丁点的收获,也应该记录下来。 其实Java开发环境无非就是安装JDK,安装IDE,配置环境变量。JDK自然从官网下载Mac版的,IDE,OneCoder也从Eclipse的官网下载了。安装也是一键安装和解压即可。而且发现JDK安装后,在命令行运行java -version和ja...

海量数据测试,利用数据库查询拷贝快速构造测试数据

这也是OneCoder在数据测试过程中遇到的问题,不一定有多少普试性,但是也许可以解决你的问题。 海量数据测试,数据导入一般是非常耗时的过程。OneCoder这里面对大约2T左右数据的导入问题,头疼不已,时间有限。本来准备的方式是将事先生成好的数据文件导入HBase中,这里有两个比较耗时的过程,put到hdfs和import到HBase中,昨天测试5G数据导入到HBase中,居然用了20m...

HBase利用bulk load批量导入数据

OneCoder只是一个初学者,记录的只是自己的一个过程。不足之处还望指导。 看网上说导入大量数据,用bulk load的方式效率比较高。bulk load可以将固定格式的数据文件转换为HFile文件导入,当然也可以直接导入HFile文件。所以OneCoder最开始考虑的生成HFile文件供HBase导入,不过由于手太新,一直没有搞定。参考了很多网上的代码也没跑通。暂时搁浅。 后来One...

用16G内存在Java Map中处理30亿对象

在一个下雨的夜晚,我在思考Java中内存管理的问题,以及Java集合对内存使用的效率情况。我做了一个简单的实验,测试在16G内存条件下,Java的Map可以插入多少对象。 这个试验的目的是为了得出集合的内部上限。所以,我决定使用很小的key和value。所有的测试,都是在64w位linux环境下进行的,操作系统是ubuntu12.04。JVM版本为Oracle Java 1.7.0_09-...

SpringMVC3.1+Hibernate4.1.7完全基于注解配置(零配置文件)

其实这篇文章应该是上篇《Servlet3.0下基于注解的SpringMVC3.1配置-完全零配置文件》的续篇,因为上篇只介绍到web工程和Spring(包括MVC)的零配置,相对于传统的SSH来说,相当于SS零配置了。那么S和H的结合如果零配置文件呢。 Hibernate的注解配置大家应该不会陌生。主要就是对实体类的配置,注明对应的表和字段即可。 /** * 用户模型 * * @...