Spring XD有两种运行模式：单机和分布式模式。这里关注分布式模式的部署和运行时特点。 分布式集群组件 Spring XD分布式环境包含以下组件： Admin 管理节点。管理Stream和Job的配置和发布，提供REST接口等。 Container 运行流式任何和批量任务的节点，部署在独立的主机上。 Zookeeper 管理XD集群的运行时环境 Spring ...

Scala做为支持函数式编程的语言，函数自然是其核心的特性，因此笔者对函数部分的学习自然会更加认真细致一些。但也仅仅是基础部分。 函数基础 先看一段代码： package com.coderli.scala.lab class FuntionDemo { /** * 函数声明 * * @param a * @param b * @ret...

上手学习Scala语言。先熟悉一下语法。对于Scala笔者也是完全的新手，对scala的设计思想和实现原理没有太多了解。错误在所难免，还望发现后不吝指教。 Hello World 基础环境配置直接利用IntelliJ提供的Scala插件，会自动下载Scala开发包并配置好开发环境。直接从我们熟悉的“Hello world”开始对Scala的认知过程。 /** * Scala 基...

Zabbix 源码编译部署说明。 源码编译 源码下载 wget http://jaist.dl.sourceforge.net/project/zabbix/ZABBIX%20Latest%20Stable/3.0.4/zabbix-3.0.4.tar.gz tar -xzvf zabbix-3.0.4.tar.gz 创建zabbix用户 groupadd zabbix us...

记录Elasticsearch集群搭建的过程。 安装JDK 8 官方推荐的版本是1.8.0_73 以上。因此首先安装jdk。安装之前下载的jdk-8u77版 rpm -i jdk-8u77-linux-x64.rpm 安装ElasticSearch 下载安装包 curl -L -O https://download.elastic.co/elasticsearch/rele...

项目需要用到分用户的FTP服务器，因此花了一天时间学习了vsftpd服务的搭建和配置说明。记录如下。 安装 yum install vsftpd ftp 配置虚拟用户 虚拟用户即可以登录Ftp，不能登录系统。配置原理即开启vsftpd的虚拟用户功能，并配合pam管理用户认证 修改配置文件/etc/vsftpd/vsftpd.conf # 关闭匿名访问 anonymous_en...

CentOS6.5系列默认安装的是MySQL5.1版本，并且默认的repo里也没有高版本的MySQL。 卸载低版本MySQL 先通过 rpm -qa|grep mysql 命令查到mysql安装包详细的名称。然后用命令 rpm -e mysql-**** --nodeps 卸载即可 添加MySQL5.7 Repo源 在目录/etc/yum.repos.d/下新建mys...

继续搭建HBase集群环境。HBase版本也比较杂，目前也有两大稳定的分支，1.1.x和1.2.x。从官方文档了解到，支持Hadoop2.6.1+对应版本应该是1.2.x系列，因此这里选择1.2.1稳定版。1.1.x在Hadoop 2.6.1+上是未测试的。 下载HBase 同样，通过镜像站下载 wget http://mirrors.cnnic.cn/apache/hbase/1...

还是在之前的Hadoop集群环境上继续搭建Spark-1.6.1环境 下载安装 下载Spark并解压 wget http://mirrors.cnnic.cn/apache/spark/spark-1.6.1/spark-1.6.1-bin-hadoop2.6.tgz tar -xvzf spark-1.6.1-bin-hadoop2.6.tgz -C /home/dps-hado...

Kafka集群环境依赖于Zookeeper环境。因此我们的环境搭建实际分为两部分。Zookeeper环境搭建和Kafka环境搭建。 Zookeeper 3.4.8集群搭建 部署安装包 下载 wget http://mirrors.cnnic.cn/apache/zookeeper/zookeeper-3.4.8/zookeeper-3.4.8.tar.gz 解压 tar -...