- 安装
花雨
1.安装飞Q2.安装共享屏幕3.安装PLSQL(为oracle设计,只能连接oracle数据库)解压,这个软件可以连接数据库编写sql代码,并保存文件安装英文版的,不需要注册,也不需要安装中文版4.安装KETTEL,首先安装依赖包(注意:这里有中文乱码,需要修改两个地方,一个是系统环境变量,一个是编辑spoon.bat添加一个内容)这个oracle客户端使ketle可以连接oracle解压解压,把
- MySQL数据同步&归档使用工具总结
黄叶都
数据库mysql数据库
数据迁移方式&工具总结kettel的使用dataX的使用pt-archiver的使用kettel的使用1、中文网:http://www.kettle.org.cn/2、下载地址3、使用kettle进行数据迁移3.1打开文件夹,运行spoon.bat3.2点击文件,新建转换3.3新建数据库连接,一个为源数据库,另一个为目的数据库3.4建立表输入和表输出(表输入为源数据表,表输出为要写入的表)3.5点
- 解决KETTLE9 连接MYSQL 8 Error connecting to database: (using class org.gjt.mm.mysql.Driver)
高从文
数据库mysqlsql
1、KETTEL连接MySQL使用KETTLE连接MYSQL数据库,一般步骤很简单,只需要准备好MySQL的JDBC连接驱动;驱动下载官网地址:MySQL::DownloadMySQLConnector/J(ArchivedVersions)(根据MySQL版本,选择合适版本的驱动);下载驱动放置于KETTL安装目录下的lib驱动库,重启KETELL。然后,新建DB连接,选择MYSQL(Navic
- mxgraph学习(一)
青耳~
绘图工具
写在前面:最近项目中有个模块,是需要在页面绘制体现数据从数据库到表数据的变化历史。其中有两个概念:‘数据血源’,‘影响分析’。也就是模仿kettel的呈现效果,在项目页面上直接呈现,不必打开kettel去一一查看数据的历史。大概的背景是这样。雏形:在此基础上我还需要实现:图的可拖动,可放大缩小。以及点击事件等。因此各种找资源学习,以下是一些学习连接:官方文档:https://jgraph.gith
- Windows平台Hadoop出现 Exception message: CreateSymbolicLink error (1314): ???????????
lhyxcxy
hadoop2.7.1windows2008serverR2问题描述:在使用kettel执行ELT任务到hive时hadoop出现Exceptionmessage:CreateSymbolicLinkerror(1314):???????????(创建符号表异常),经过分析发现为windows账户不具备创建符号表的权限解决方法:1.默认管理员可以创建符号表,可以使用管理员命令行启动hadoop的应
- kettle连接Webservice接口
u010082526
kettle
参考Webservice接口数据抽取_kettel发送HTTPPOST请求,获取返回内容。发送HTTPGET请求,获取返回内容,可以从前面获取URL、参数名、参数值通过Restful获取数据通过webService获取数据查询HTTP/WebService点击“load”能加载出方法kettle的组件--生成记录文本文件输出报错报错:2019/04/1818:32:53-20190418-Disp
- Webservice接口数据抽取_kettel
寡丶人
oracle数据kettelwebservice接口Web服务查询
在进行ETl数据抽取的时,有时会遇到Webservice接口服务的情况;这里对kettel工具和java脚本两种抽取方式来简单的介绍一下。由于篇幅较长,我分四篇来介绍;下一篇地址:(Webservice接口数据抽取_kettel)先看第一篇:kettel工具方式:一、Webservice服务查询。这里利用常见的天气信息的接口来做演示。(http://www.webxml.com.cn/WebSer
- kettel解析XML难点
寡丶人
最近一直用kettel对Webservice服务进行数据抽取;不同的公司,不同的开发,总是会各种各样的XML样式给你;解析XML确实比较头疼。一、字符集问题XML文件的字符集一般会设置成三种:UTF-8、GBK、ANSI一般我们看XML的文件头,就知道是哪一种字符集:对应的在kettel里面也要保持一致,解析才能成功。不然会有报错:对于ANSI,这个比较。你在txt文档里编辑好xml,文件头是UT
- saiku多维数据引擎自动化创建数据源
ksice
pentaho-platform作为pentaho-kettel的管理端,可以集成很多不同的插件类似saiku这种分析报表,saiku下载地址GitHub-OSBI/saiku:SaikuAnalytics-TheWorldsGreatestOpenSourceOLAPBrowser然后用户在saiku中进行拖拽生成数据二维模型等一些导出统计功能,但是saiku的多维数据源都需要在pentaho-
- kettle 实时同步数据(插入/更新/删除数据)
fk478561641
首先需要下载kettle工具,本人的环境为:jdk1.8。下载地址:https://jaist.dl.sourceforge.net/project/pentaho/Data%20Integration/7.1/pdi-ce-7.1.0.0-12.zip来接mysql数据库需要把mysql-connector-java-5.1.38.jar导入到解压后的lib文件中,并重启kettel。表同步为单
- kettle增量抽取框架
寡丶人
利用kettle进行数据抽取,其实和手工的ETL流程差不多,最近结合项目整理了一个简单实用的抽取框架。一、抽取的大致流程:、二、kettel框架:三、细节介绍:1、SET_START_DATE:得到系统当前的时间,作为抽取的开始时间。2、GET_MINETLFLAG:从ETL的日志表中的到当前的最小FLAG,一般为时间戳。3、GET_TAREGT_TABLE_CHANGE:得到插入、更新等数据库操
- kettel job脚本执行定时任务步骤
baidu_16217779
数据库脚本Kettle
1 下载kettle安装包1.1Kettle安装包官网下载地址:http://sourceforge.net/projects/pentaho/files/Data%20Integration/3.2.0-stable;(5.0.1以上版本都不支持,我用的是5.0.1版本)。给aix系统安装jdk,PS:必须1.6以上版本。配置好环境变量。2安装部署kettle2.1、本地下载完ket
- kettle实现hadoop文件操作
龙明倩
Kettlehadoop
Kettle默认版本只支持0.20.0的版本如果要支持,2.2版本,要进行插件升级1.1复制文件到hadoop系统场景描述:从本地环境(window)复制txt文件到10.204.104.193的hadoop环境,放到/user/hadoop/input目录下1.1.1环境及元数据描述2013-11-14Kettel版本信息:pdi-ce-4.4.0-stableC:\weblogs_rebuil
- kettel的stream lookup报错
longshenlmj
Kettle
kettel的streamlookup报错:youcan'tusethe'integer-pair'algorithmwhenyouhavemorethanonekeyorvalue-fieldorvalueinnotaninteger. 去外国网站看了wiki基本没用http://wiki.pentaho.com/display/EAI/Stream+Lookupsomeforums给了我答案h
- mondb入手
木zi_鸣
mongodb
windows 启动mongodb 编写bat文件,
mongod --dbpath D:\software\MongoDBDATA
mongod --help 查询各种配置
配置在mongob
打开批处理,即可启动,27017原生端口,shell操作监控端口 扩展28017,web端操作端口
启动配置文件配置,
数据更灵活 
- 大型高并发高负载网站的系统架构
bijian1013
高并发负载均衡
扩展Web应用程序
一.概念
简单的来说,如果一个系统可扩展,那么你可以通过扩展来提供系统的性能。这代表着系统能够容纳更高的负载、更大的数据集,并且系统是可维护的。扩展和语言、某项具体的技术都是无关的。扩展可以分为两种:
1.
- DISPLAY变量和xhost(原创)
czmmiao
display
DISPLAY
在Linux/Unix类操作系统上, DISPLAY用来设置将图形显示到何处. 直接登陆图形界面或者登陆命令行界面后使用startx启动图形, DISPLAY环境变量将自动设置为:0:0, 此时可以打开终端, 输出图形程序的名称(比如xclock)来启动程序, 图形将显示在本地窗口上, 在终端上输入printenv查看当前环境变量, 输出结果中有如下内容:DISPLAY=:0.0
- 获取B/S客户端IP
周凡杨
java编程jspWeb浏览器
最近想写个B/S架构的聊天系统,因为以前做过C/S架构的QQ聊天系统,所以对于Socket通信编程只是一个巩固。对于C/S架构的聊天系统,由于存在客户端Java应用,所以直接在代码中获取客户端的IP,应用的方法为:
String ip = InetAddress.getLocalHost().getHostAddress();
然而对于WEB
- 浅谈类和对象
朱辉辉33
编程
类是对一类事物的总称,对象是描述一个物体的特征,类是对象的抽象。简单来说,类是抽象的,不占用内存,对象是具体的,
占用存储空间。
类是由属性和方法构成的,基本格式是public class 类名{
//定义属性
private/public 数据类型 属性名;
//定义方法
publ
- android activity与viewpager+fragment的生命周期问题
肆无忌惮_
viewpager
有一个Activity里面是ViewPager,ViewPager里面放了两个Fragment。
第一次进入这个Activity。开启了服务,并在onResume方法中绑定服务后,对Service进行了一定的初始化,其中调用了Fragment中的一个属性。
super.onResume();
bindService(intent, conn, BIND_AUTO_CREATE);
- base64Encode对图片进行编码
843977358
base64图片encoder
/**
* 对图片进行base64encoder编码
*
* @author mrZhang
* @param path
* @return
*/
public static String encodeImage(String path) {
BASE64Encoder encoder = null;
byte[] b = null;
I
- Request Header简介
aigo
servlet
当一个客户端(通常是浏览器)向Web服务器发送一个请求是,它要发送一个请求的命令行,一般是GET或POST命令,当发送POST命令时,它还必须向服务器发送一个叫“Content-Length”的请求头(Request Header) 用以指明请求数据的长度,除了Content-Length之外,它还可以向服务器发送其它一些Headers,如:
- HttpClient4.3 创建SSL协议的HttpClient对象
alleni123
httpclient爬虫ssl
public class HttpClientUtils
{
public static CloseableHttpClient createSSLClientDefault(CookieStore cookies){
SSLContext sslContext=null;
try
{
sslContext=new SSLContextBuilder().l
- java取反 -右移-左移-无符号右移的探讨
百合不是茶
位运算符 位移
取反:
在二进制中第一位,1表示符数,0表示正数
byte a = -1;
原码:10000001
反码:11111110
补码:11111111
//异或: 00000000
byte b = -2;
原码:10000010
反码:11111101
补码:11111110
//异或: 00000001
- java多线程join的作用与用法
bijian1013
java多线程
对于JAVA的join,JDK 是这样说的:join public final void join (long millis )throws InterruptedException Waits at most millis milliseconds for this thread to die. A timeout of 0 means t
- Java发送http请求(get 与post方法请求)
bijian1013
javaspring
PostRequest.java
package com.bijian.study;
import java.io.BufferedReader;
import java.io.DataOutputStream;
import java.io.IOException;
import java.io.InputStreamReader;
import java.net.HttpURL
- 【Struts2二】struts.xml中package下的action配置项默认值
bit1129
struts.xml
在第一部份,定义了struts.xml文件,如下所示:
<!DOCTYPE struts PUBLIC
"-//Apache Software Foundation//DTD Struts Configuration 2.3//EN"
"http://struts.apache.org/dtds/struts
- 【Kafka十三】Kafka Simple Consumer
bit1129
simple
代码中关于Host和Port是割裂开的,这会导致单机环境下的伪分布式Kafka集群环境下,这个例子没法运行。
实际情况是需要将host和port绑定到一起,
package kafka.examples.lowlevel;
import kafka.api.FetchRequest;
import kafka.api.FetchRequestBuilder;
impo
- nodejs学习api
ronin47
nodejs api
NodeJS基础 什么是NodeJS
JS是脚本语言,脚本语言都需要一个解析器才能运行。对于写在HTML页面里的JS,浏览器充当了解析器的角色。而对于需要独立运行的JS,NodeJS就是一个解析器。
每一种解析器都是一个运行环境,不但允许JS定义各种数据结构,进行各种计算,还允许JS使用运行环境提供的内置对象和方法做一些事情。例如运行在浏览器中的JS的用途是操作DOM,浏览器就提供了docum
- java-64.寻找第N个丑数
bylijinnan
java
public class UglyNumber {
/**
* 64.查找第N个丑数
具体思路可参考 [url] http://zhedahht.blog.163.com/blog/static/2541117420094245366965/[/url]
*
题目:我们把只包含因子
2、3和5的数称作丑数(Ugly Number)。例如6、8都是丑数,但14
- 二维数组(矩阵)对角线输出
bylijinnan
二维数组
/**
二维数组 对角线输出 两个方向
例如对于数组:
{ 1, 2, 3, 4 },
{ 5, 6, 7, 8 },
{ 9, 10, 11, 12 },
{ 13, 14, 15, 16 },
slash方向输出:
1
5 2
9 6 3
13 10 7 4
14 11 8
15 12
16
backslash输出:
4
3
- [JWFD开源工作流设计]工作流跳跃模式开发关键点(今日更新)
comsci
工作流
既然是做开源软件的,我们的宗旨就是给大家分享设计和代码,那么现在我就用很简单扼要的语言来透露这个跳跃模式的设计原理
大家如果用过JWFD的ARC-自动运行控制器,或者看过代码,应该知道在ARC算法模块中有一个函数叫做SAN(),这个函数就是ARC的核心控制器,要实现跳跃模式,在SAN函数中一定要对LN链表数据结构进行操作,首先写一段代码,把
- redis常见使用
cuityang
redis常见使用
redis 通常被认为是一个数据结构服务器,主要是因为其有着丰富的数据结构 strings、map、 list、sets、 sorted sets
引入jar包 jedis-2.1.0.jar (本文下方提供下载)
package redistest;
import redis.clients.jedis.Jedis;
public class Listtest
- 配置多个redis
dalan_123
redis
配置多个redis客户端
<?xml version="1.0" encoding="UTF-8"?><beans xmlns="http://www.springframework.org/schema/beans" xmlns:xsi=&quo
- attrib命令
dcj3sjt126com
attr
attrib指令用于修改文件的属性.文件的常见属性有:只读.存档.隐藏和系统.
只读属性是指文件只可以做读的操作.不能对文件进行写的操作.就是文件的写保护.
存档属性是用来标记文件改动的.即在上一次备份后文件有所改动.一些备份软件在备份的时候会只去备份带有存档属性的文件.
- Yii使用公共函数
dcj3sjt126com
yii
在网站项目中,没必要把公用的函数写成一个工具类,有时候面向过程其实更方便。 在入口文件index.php里添加 require_once('protected/function.php'); 即可对其引用,成为公用的函数集合。 function.php如下:
<?php /** * This is the shortcut to D
- linux 系统资源的查看(free、uname、uptime、netstat)
eksliang
netstatlinux unamelinux uptimelinux free
linux 系统资源的查看
转载请出自出处:http://eksliang.iteye.com/blog/2167081
http://eksliang.iteye.com 一、free查看内存的使用情况
语法如下:
free [-b][-k][-m][-g] [-t]
参数含义
-b:直接输入free时,显示的单位是kb我们可以使用b(bytes),m
- JAVA的位操作符
greemranqq
位运算JAVA位移<<>>>
最近几种进制,加上各种位操作符,发现都比较模糊,不能完全掌握,这里就再熟悉熟悉。
1.按位操作符 :
按位操作符是用来操作基本数据类型中的单个bit,即二进制位,会对两个参数执行布尔代数运算,获得结果。
与(&)运算:
1&1 = 1, 1&0 = 0, 0&0 &
- Web前段学习网站
ihuning
Web
Web前段学习网站
菜鸟学习:http://www.w3cschool.cc/
JQuery中文网:http://www.jquerycn.cn/
内存溢出:http://outofmemory.cn/#csdn.blog
http://www.icoolxue.com/
http://www.jikexue
- 强强联合:FluxBB 作者加盟 Flarum
justjavac
r
原文:FluxBB Joins Forces With Flarum作者:Toby Zerner译文:强强联合:FluxBB 作者加盟 Flarum译者:justjavac
FluxBB 是一个快速、轻量级论坛软件,它的开发者是一名德国的 PHP 天才 Franz Liedke。FluxBB 的下一个版本(2.0)将被完全重写,并已经开发了一段时间。FluxBB 看起来非常有前途的,
- java统计在线人数(session存储信息的)
macroli
javaWeb
这篇日志是我写的第三次了 前两次都发布失败!郁闷极了!
由于在web开发中常常用到这一部分所以在此记录一下,呵呵,就到备忘录了!
我对于登录信息时使用session存储的,所以我这里是通过实现HttpSessionAttributeListener这个接口完成的。
1、实现接口类,在web.xml文件中配置监听类,从而可以使该类完成其工作。
public class Ses
- bootstrp carousel初体验 快速构建图片播放
qiaolevip
每天进步一点点学习永无止境bootstrap纵观千象
img{
border: 1px solid white;
box-shadow: 2px 2px 12px #333;
_width: expression(this.width > 600 ? "600px" : this.width + "px");
_height: expression(this.width &
- SparkSQL读取HBase数据,通过自定义外部数据源
superlxw1234
sparksparksqlsparksql读取hbasesparksql外部数据源
关键字:SparkSQL读取HBase、SparkSQL自定义外部数据源
前面文章介绍了SparSQL通过Hive操作HBase表。
SparkSQL从1.2开始支持自定义外部数据源(External DataSource),这样就可以通过API接口来实现自己的外部数据源。这里基于Spark1.4.0,简单介绍SparkSQL自定义外部数据源,访
- Spring Boot 1.3.0.M1发布
wiselyman
spring boot
Spring Boot 1.3.0.M1于6.12日发布,现在可以从Spring milestone repository下载。这个版本是基于Spring Framework 4.2.0.RC1,并在Spring Boot 1.2之上提供了大量的新特性improvements and new features。主要包含以下:
1.提供一个新的sprin