利用JPPF进行并行计算，计算任务运行在远端节点上，那么如何收集运行在远端的任务日志，用于跟踪和分析呢？ JPPF框架对此也有封装，主要的实现思路是，通过自定义实现一个log4j的appender，对外提供JMX服务。客户端（监控端）实现一个监听器，监听远端日志，这样即可把远端日志采集到本地进行统一的管理。这对于我们收集和管理并行计算实时日志是非常有用的。具体看一下： 在没个执行任务...

不算什么深入的研究，主要是了解下JPPF中类的加载和隔离机制。 JPPF中类的加载采用的是分布式类加载技术。这样既可在Node节点运行在node上并不存在的类。也就是类可以仅在用户的Client端存在。 如图，JPPF的class loader大致分三层。 System class loader是由JVM控制的加载器，用于启动node节点。在大多数JVM中是，该loader是...

先说一个挺有意思的事情，就在OneCoder准备记录试用过程的时候，给大家截图下载页面的时候，发现最新版本变成3.3.4了。于是，我也只好重新下载了：） 关于JPPF的介绍，可访问其官网：http://www.jppf.org 下载页面：http://www.jppf.org/downloads.php 想要运行JPPF并行计算任务，需要至少一个Node节点(执行任务的节点)，一个...

最近用Hessian4.0.7做文件上传，先给出自己做试验的样例代码，写在tomcat7下，采用servlet3.0，配置代码如下： ** * 基于Servlet3.0的，相当于以前<b>web.xml</b>配置文件的配置类 * * @author OneCoder * @Blog http://www.coderli.com * @date 2012...

记录卸载过程和问题。现有环境Cloudera Manager + (1 + 2 )的CDH环境。 1、先在Manage管理端移除所有服务。 2、删除Manager Server 在Manager节点运行 $ sudo /usr/share/cmf/uninstall-cloudera-manager.sh 如果没有该脚本，则可以手动删除，先停止服务： sudo servi...

1、安装JDK。之前在部署Hadoop的时候已经安装完成。 2、下载解压HBase。 3、配置HBase数据存储路径，虽然单机模式可以使用本地文件系统，不过OneCoder还是配置HDFS文件系统。 修改hbase-site.xml <configuration> <property> <name>hbase.rootdir...

事务日志使得事务更加高效。每次数据改变的时候，存储引擎可以在内存中修改数据拷贝而不用每次都修改磁盘上数据。这速度很快。随后存储引擎会修改记录写入事务日志，该日志是在磁盘上的从而完成持久化。这也是相对高效的过程。因为，追加日志事件产生的是连续的小范围磁盘上的I/O操作，而不是大范围的随机I/O操作。然后，在随后的某时刻一个进程会更新磁盘上的表。因此，更多存储引擎都采用该技术(被称作：write...

当多个事务同时持有和请求同一资源上的锁而产生循环依赖的时候就产生了死锁。死锁发生在事务试图以不同的顺序锁定资源。以StockPrice表上的两个事务为例： 事务1 START TRANSACTION; UPDATE StockPrice SET close = 45.50 WHERE stock_id = 4 and date = '2002-05-01';...

OneCoder在自己的笔记本上部署Hadoop环境用于研究学习，记录部署过程和遇到的问题。 1、安装JDK。 2、下载Hadoop(1.0.4)，在Hadoop中配置JAVA_HOME环境变量。修改hadoop-env.sh文件。 export JAVA_HOME= /Library/Java/JavaVirtualMachines/jdk1.7.0_10.jdk/Contents...

HBase在扫描数据的时候，使用scanner表扫描器。HTable通过一个Scan实例，调用getScanner(scan)来获取扫描器。可以配置扫描起止位，以及其他的过滤条件。通过迭代器返回查询结果，使用起来虽然不是很方便，不过并不复杂。但是这里有一点可能被忽略的地方，就是返回的scanner迭代器，每次调用next的获取下一条记录的时候，默认配置下会访问一次RegionServer。这...