千里草竹
千里草竹

为整个作业设置变量——kettle参数和变量使用

1 kettle使用参数时，如果参数位置是字符串(数字也可以加)，最好加引号

eg:

2 kettle设置变量为整个作业使用

2.1 整个作业的预览图

  • 在这个作业里面，从“转换设置变量” 开始之后的各个分支不是并发执行的，执行的先后顺序是各个分支被连接的顺序

2.2 设置变量

  • 图中数据库连接查询,各个之间没有关联，只是为了从不同的数据库查询需要的值。
  • 设置环境变量，“字段值：”字段名称是前面sql语句的，不可改变；“变量名” 是我们给定的，在只有需要使用是 ，使用>${} 就可以使用，但是设置的变量不能在本次转换中使用。
  • 需要给定变量的活动类型。一般整个作业的其他转换都需要使用这些变量，直接给定“Vaild in tht root job”

这是执行输出的详细日志

2017/03/18 12:56:57 - 20170318test_param_setPara_tran1_2 - 转换已经从资源库预先载入.
2017/03/18 12:56:57 - Spoon - 转换已经打开.
2017/03/18 12:56:57 - Spoon - 正在打开转换 [20170318test_param_setPara_tran1_2]...
2017/03/18 12:56:57 - Spoon - 开始执行转换.
2017/03/18 12:56:57 - 20170318test_param_setPara_tran1_2 - 为了转换解除补丁开始  [20170318test_param_setPara_tran1_2]
2017/03/18 12:56:57 - 20170318test_param_setPara_tran1_2 - 已经找到的参数数量:0
2017/03/18 12:56:57 - 20170318test_param_setPara_tran1_2 - 这没有一个重放的转换
2017/03/18 12:56:57 - 20170318test_param_setPara_tran1_2 - 我找到 3 个不同的要执行的步骤.
2017/03/18 12:56:57 - 20170318test_param_setPara_tran1_2 - 分派记录集...
2017/03/18 12:56:57 - 20170318test_param_setPara_tran1_2 -  正在分配行组为步骤 0 --> fin_lrb_out
2017/03/18 12:56:57 - 20170318test_param_setPara_tran1_2 -   前一个副本 = 1, 下一个副本=1
2017/03/18 12:56:57 - 20170318test_param_setPara_tran1_2 - 转换分配了新的行组 [fin_lrb_out.0 - 文本文件输出.0]
2017/03/18 12:56:57 - 20170318test_param_setPara_tran1_2 -  已分配 1 行组为步骤 0 --> fin_lrb_out
2017/03/18 12:56:57 - 20170318test_param_setPara_tran1_2 -  正在分配行组为步骤 1 --> 文本文件输出
2017/03/18 12:56:57 - 20170318test_param_setPara_tran1_2 -   前一个副本 = 1, 下一个副本=1
2017/03/18 12:56:57 - 20170318test_param_setPara_tran1_2 - 转换分配了新的行组 [文本文件输出.0 - Transformation Executor.0]
2017/03/18 12:56:57 - 20170318test_param_setPara_tran1_2 -  已分配 2 行组为步骤 1 --> 文本文件输出
2017/03/18 12:56:57 - 20170318test_param_setPara_tran1_2 -  正在分配行组为步骤 2 --> Transformation Executor
2017/03/18 12:56:57 - 20170318test_param_setPara_tran1_2 -  已分配 2 行组为步骤 2 --> Transformation Executor
2017/03/18 12:56:57 - 20170318test_param_setPara_tran1_2 - 正在分配步骤和步骤数据...
2017/03/18 12:56:57 - 20170318test_param_setPara_tran1_2 -  转换大约分配了 步骤 [fin_lrb_out] 类型的 [TableInput]
2017/03/18 12:56:57 - fin_lrb_out.0 - 分散被激活
2017/03/18 12:56:57 - fin_lrb_out.0 - Starting allocation of buffers & new threads...
2017/03/18 12:56:57 - fin_lrb_out.0 - 步骤信息: 输入数量=0 输出数量=1
2017/03/18 12:56:57 - fin_lrb_out.0 - output rel. is  1:1
2017/03/18 12:56:57 - fin_lrb_out.0 - 发现输出 rowset [fin_lrb_out.0 - 文本文件输出.0]
2017/03/18 12:56:57 - fin_lrb_out.0 - 完成分发
2017/03/18 12:56:57 - 20170318test_param_setPara_tran1_2 -  转换已经分配了一个新的步骤: [fin_lrb_out].0
2017/03/18 12:56:57 - 20170318test_param_setPara_tran1_2 -  转换大约分配了 步骤 [文本文件输出] 类型的 [TextFileOutput]
2017/03/18 12:56:57 - 文本文件输出.0 - 分散被激活
2017/03/18 12:56:57 - 文本文件输出.0 - Starting allocation of buffers & new threads...
2017/03/18 12:56:57 - 文本文件输出.0 - 步骤信息: 输入数量=1 输出数量=1
2017/03/18 12:56:57 - 文本文件输出.0 - 获取来自前一步骤 [文本文件输出] #0 --> fin_lrb_out
2017/03/18 12:56:57 - 文本文件输出.0 - input rel is 1:1
2017/03/18 12:56:57 - 文本文件输出.0 - 发现输入记录集合 [fin_lrb_out.0 - 文本文件输出.0]
2017/03/18 12:56:57 - 文本文件输出.0 - output rel. is  1:1
2017/03/18 12:56:57 - 文本文件输出.0 - 发现输出 rowset [文本文件输出.0 - Transformation Executor.0]
2017/03/18 12:56:57 - 文本文件输出.0 - 完成分发
2017/03/18 12:56:57 - 20170318test_param_setPara_tran1_2 -  转换已经分配了一个新的步骤: [文本文件输出].0
2017/03/18 12:56:57 - 20170318test_param_setPara_tran1_2 -  转换大约分配了 步骤 [Transformation Executor] 类型的 [TransExecutor]
2017/03/18 12:56:57 - Transformation Executor.0 - 分散被激活
2017/03/18 12:56:57 - Transformation Executor.0 - Starting allocation of buffers & new threads...
2017/03/18 12:56:57 - Transformation Executor.0 - 步骤信息: 输入数量=1 输出数量=0
2017/03/18 12:56:57 - Transformation Executor.0 - 获取来自前一步骤 [Transformation Executor] #0 --> 文本文件输出
2017/03/18 12:56:57 - Transformation Executor.0 - input rel is 1:1
2017/03/18 12:56:57 - Transformation Executor.0 - 发现输入记录集合 [文本文件输出.0 - Transformation Executor.0]
2017/03/18 12:56:57 - Transformation Executor.0 - 完成分发
2017/03/18 12:56:57 - 20170318test_param_setPara_tran1_2 -  转换已经分配了一个新的步骤: [Transformation Executor].0
2017/03/18 12:56:57 - 20170318test_param_setPara_tran1_2 - 这项转换可以被回放 回放日期是: 2017/03/18 12:56:57
2017/03/18 12:56:57 - 20170318test_param_setPara_tran1_2 - 正在初始化 3 步骤...
2017/03/18 12:56:57 - fin_lrb_out.0 - Released server socket on port 0
2017/03/18 12:56:57 - 文本文件输出.0 - Released server socket on port 0
2017/03/18 12:56:57 - mysql_my - New database connection defined
2017/03/18 12:56:57 - 文本文件输出.0 - Parent folder exists [file:///E:/kettle/pdi-ce-6.1.0.1-196/data-integration/kettle/step1]!
2017/03/18 12:56:57 - 文本文件输出.0 - Opening output stream using provider: None
2017/03/18 12:56:57 - 文本文件输出.0 - Opening output stream in encoding: GBK
2017/03/18 12:56:57 - 文本文件输出.0 - Opened new file with name [file:///E:/kettle/pdi-ce-6.1.0.1-196/data-integration/kettle/step1/file1_2_20170318.txt]
2017/03/18 12:56:57 - Transformation Executor.0 - Released server socket on port 0
2017/03/18 12:56:57 - mysql_my - Auto commit off
2017/03/18 12:56:57 - fin_lrb_out.0 - Connected to database...
2017/03/18 12:56:57 - 20170318test_param_setPara_tran1_2 - 步骤 [fin_lrb_out.0] 初始化不完全，有缺陷.
2017/03/18 12:56:57 - 20170318test_param_setPara_tran1_2 - 步骤 [文本文件输出.0] 初始化不完全，有缺陷.
2017/03/18 12:56:57 - 20170318test_param_setPara_tran1_2 - 步骤 [Transformation Executor.0] 初始化不完全，有缺陷.
2017/03/18 12:56:57 - fin_lrb_out.0 - 开始运行...
2017/03/18 12:56:57 - fin_lrb_out.0 - SQL query : SELECT * FROM fin_lrb_out WHERE bbyf>='2016-10' and bbyf<=2018-10
2017/03/18 12:56:57 - 文本文件输出.0 - 开始运行...
2017/03/18 12:56:57 - Transformation Executor.0 - 开始运行...
2017/03/18 12:56:57 - 20170318test_param_setPara_tran1_2 - 转换已经分配了 3 线程 和 2 列组.
2017/03/18 12:56:57 - fin_lrb_out.0 - Finished reading query, closing connection.
2017/03/18 12:56:57 - mysql_my - Connection to database closed!
2017/03/18 12:56:57 - fin_lrb_out.0 - 完成处理 (I=0, O=0, R=0, W=0, U=0, E=0)
2017/03/18 12:56:57 - 文本文件输出.0 - 完成处理 (I=0, O=0, R=0, W=0, U=0, E=0)
2017/03/18 12:56:57 - Transformation Executor.0 - 完成处理 (I=0, O=0, R=0, W=0, U=0, E=0)
2017/03/18 12:56:57 - Spoon - 转换完成!!

你可能感兴趣的:(kettle)

  • Spring Boot 集成 Kettle m0_74824112 面试学习路线阿里巴巴springboot后端java
    Kettle简介Kettle最初由MattCasters开发，是Pentaho数据集成平台的一部分。它提供了一个用户友好的界面和丰富的功能集，使用户能够轻松地设计、执行和监控ETL任务。Kettle通过其强大的功能和灵活性，帮助企业高效地处理大规模数据集成任务。主要组成部分Spoon：用途：Spoon是Kettle的图形化设计工具。用户可以使用Spoon设计和调试ETL转换和作业。功能：拖放式界面
  • 深入理解Kettle：ETL工具的学习与实践 未知方程 无解
    本文还有配套的精品资源，点击获取简介：Kettle（Spoon）是Pentaho公司开发的开源ETL工具，用于数据整合和数据仓库建设。本学习笔记着重于Kettle的核心——转换引擎，详细探讨其数据处理的各个步骤，包括数据的输入、转换、输出以及工作原理，提供了一系列的学习资源和实践操作指南，旨在帮助学习者深入理解并掌握Kettle的转换引擎，从而提升数据处理能力。1.Kettle（Spoon）简介与
  • 使用Kettle定时同步数据库的数据（详细实例操作） 故里2130 包教会专栏数据库
    数据库的数据同步、迁移在我们运维软件中，经常使用，而且非常的频繁。同步、迁移数据的工具非常多，比如Navicat、SqlServer等等，甚至很多公司，都是自己写的定时同步软件。今天，我们介绍一款Java开源免费的数据库同步软件，功能非常强大。本节只演示，定时同步数据库的数据，从test数据库定时同步到test1数据库的教程。（坑很多）1.首先下载安装包，进行解压。路径：迅雷云盘2.然后进入目录中
  • Kettle 实战面试题及参考答案（完整版） 一杯小周 etl大数据
    Kettle实战面试题及参考答案（完整版）以下是几个Kettle（PentahoDataIntegration）项目实战面试题及参考答案的完整Markdown格式整理，包含代码示例和优化方案。目录中文乱码处理增量数据抽取数据去重方案亿级数据同步作业失败排查1.Kettle抽取数据时遇到中文乱码，如何解决？答案：原因：数据库客户端默认编码与Kettle设置不一致（如UTF-8与GBK）。解决方案：在
  • 轻松连接MySQL与Oracle：Spoon(Kettle)配置指南 黄豪宙
    轻松连接MySQL与Oracle：Spoon(Kettle)配置指南项目地址:https://gitcode.com/Resource-Bundle-Collection/3c3aa项目介绍在数据处理和ETL（Extract,Transform,Load）领域，Spoon(Kettle)是一款功能强大的开源工具，广泛应用于数据集成和数据转换任务。然而，对于许多用户来说，配置Spoon(Kettle
  • 强大的ETL利器—DataFlow3.0 lixiang2114 数据分析etlflumesqoop数据库数据仓库
    产品开发背景DataFlow是基于应用数据流程的一套分布式ETL系统服务组件，其前身是LogCollector2.0日志系统框架，自LogCollector3.0版本开始正式更名为DataFlow3.0。目前常用的ETL工具Flume、LogStash、Kettle、Sqoop等也可以完成数据的采集、传输、转换和存储；但这些工具都不具备事务一致性。比如Flume工具仅能应用到通信质量无障碍的局域网
  • 【YashanDB 知识库】kettle 同步大表提示 java 内存溢出 数据库
    【问题分类】数据导入导出【关键字】数据同步，kettle，数据迁移，java内存溢出【问题描述】kettle同步大表提示ERROR：couldnotcreatethejavavirtualmachine!【问题原因分析】java内存溢出【解决/规避方法】①增加JVM的堆内存大小。编辑Spoon.bat，增加堆大小到2GB，如：if"%PENTAHO_DI_JAVA_OPTIONS%"==""set
  • spring boot整合kettle调用数据库资源库中的job 机智的小小岳 kettle
    前言上篇文章记录了springboot如何调用文件资源库下的job，这篇文章会记录如何调用数据库资源库的job1.导入jar包在调用文件路径下的job需要导入如下jar包而调用数据库资源库的job需要多导入2个jar包否则会报http错误，jar包如下2.运行代码代码如下：@TestpublicvoidexcuteDBTrans()throwsKettleException{//初始环境EnvUt
  • 5. clickhouse 单节点多实例部署 Toroidals 大数据组件安装部署教程clickhouse单节点多实例伪分布安装部署
    环境说明：主机名：cmc01为例操作系统：centos7安装部署软件版本部署方式centos7zookeeperzookeeper-3.4.10伪分布式hadoophadoop-3.1.3伪分布式hivehive-3.1.3-bin伪分布式clickhouse21.11.10.1-2单节点多实例dolphinscheduler3.0.0单节点kettlepdi-ce-9.3.0.0单节点sqoop
  • 使用Kettle实现不同数据之间同步 Azure DevOps 数据库数据仓库etlbigdatadatabase
    Contents1.概述2.软件安装3.典型场景：Oracle-2-SqlServer4.定期自动同步数据1.概述Kettle是一个久负盛名的ETL数据传输工具，在我们接触过的许多IT企业中，几乎都有不同的开发或运维团队在使用这个工具。AzureDevOpsServer中存储着大量的开发过程数据，如果对于开发过程数据进行度量分析，为了避免大量读取实时库(AzureDevOps_DefaultCol
  • kettle常用的数据库连接示例 星月情缘02 ETL技术kettlesql连接
    kettle是一款强大的数据抽取转换工具，在数据仓库，ETL任务处理中使用的非常频繁的开源工具。它也支持众多的数据库连接类型。下面是支持的数据库连接对比图。请参考学习。就介绍这么多。
  • kettle 异常关闭后重新打开导致不能创建和打开转换与作业的解决办法 星月情缘02 ETL技术
    经常使用kettle的人都熟悉kettle工具的常用操作，但是，对于它出现过的很多问题却不一定都见过，自己就是遇到过几次，上午找答案也是乱七八糟的回答，在这里给做一个总结的回复。希望帮助大家。常见的卡死的原因是因为点击某个组件后，长时间无响应只能强制关闭，再次打开后出现错误提示,比如无法找到指定的源步骤，2.不能创建作业和转换文件，3.不能打开已有的转换作业文件，4.Kitchencannotco
  • Hadoop错误: put: Lease mismatch on ... by DFSClient_NONMAPREDUCE_-499992815_1.... 学习总结 星月情缘02 ETL技术Hadoophdfs租约hadoop错误
    错误总结分享:使用了hadoop挺长时间了，多数人应该很熟悉它的特点了吧，但是今天突然遇到个错误，从来没见过，一时自己也想不到是什么原因，就在网上查了一些资料，得到了解决的办法，再次分享一下。过程:使用kettle数据清洗工具在进行同步任务的过程中，最后数据是被加载到hdfs的，这里用shell脚本实现，hdfsdfs-put-r/hdfs的目录。结果程序执行到这一步的时候报错了。错误描述就是文章
  • 服务行业的数据管理实践：TapData Cloud 如何助力连锁酒店物业的全球化运营优化 数据库
    使用TapData，化繁为简，摆脱手动搭建、维护数据管道的诸多烦扰，轻量替代OGG,Kettle等同步工具，以及基于Kafka的ETL解决方案，「CDC+流处理+数据集成」组合拳，加速仓内数据流转，帮助企业将真正具有业务价值的数据作用到实处，将“实时数仓”方法论落进现实。TapData持续迭代产品能力，优化用户体验的同时，也在不断探索各行各业数据需求的底层逻辑，力求为行业用户提供更加简洁、更具针对
  • 批量作业调度、数据挖掘，这几款应该是今年 “最值得推荐” 的ETL工具了 加菲盐008 taskctlKettlekettleetl批量作业调度数据挖掘taskctl
    工具传送门：Taskctl商业付费版(付费)TaskctlWeb商业免费版（永久免费）Kettle（开源免费）Datastage(付费)ETL是数据仓库中的非常重要的一环，是承前启后的必要的一步。ETL负责将分布的、异构数据源中的数据如关系数据、平面数据文件等抽取到临时中间层后进行清洗、转换、集成，最后加载到数据仓库或数据集市中，成为联机分析处理、数据挖掘的基础。下面给大家介绍一下什么是ETL以及
  • 【开源免费】kettle作业调度—自动化运维—数据挖掘—informatica-批量作业工具taskctl 加菲盐008 KettleETL作业调度工具taskctl运维数据库linux大数据数据挖掘
    关注公众号"taskctl"，关键字回复"领取"即可获权产品简介taskctl是一款由成都塔斯克信息技术公司历经10年研发的etl作业集群调度工具，该产品概念新颖，体系完整、功能全面、使用简单、操作流畅，它不仅有完整的调度核心、灵活的扩展，同时具备完整的应用体系。目前已获得金融，政府，制造，零售，健康，互联网等领域1000多家头部客户认可。图片来自网络2020年疫情席卷全球，更是对整个市场经济造成
  • Kettle发送邮件功能如何配置以实现自动化？ DengHua2203 邮件群发服务器邮件营销邮件接口Kettle发送邮件API接口触发式邮件
    kettle发送邮件如何设置？Kettle配置发送邮件的方法？Kettle发送邮件功能能够帮助用户在数据处理过程中自动发送电子邮件，极大地提高了工作效率。AokSend将详细介绍如何配置Kettle发送邮件功能，以实现自动化操作。Kettle发送邮件：设置对象需要在Kettle中明确指定邮件的收件人和发件人地址。这样，当Kettle发送邮件时，系统就能准确无误地将邮件发送给指定的收件人。这一步骤确
  • 2020-08-20 Kettle 无法正常启动 报错：does not exist, please create it ；Unable to create the database cache 迷光 缓存数据库经验分享
    当我启动etl的时候出现报错找不到指定文件Lockacquired.Settingstartlevelto100E:\data-integration\system\karaf\deploydoesnotexist,pleasecreateit.于是我进行了百度根据文章我知道是缓存文件导致的这个问题缓存文件造成的错误，只需要找到..\pdi-ce-6.0.1.0-386\data-integrat
  • 第三章 可视化ETL平台——Kettle okbin1991 etl数据仓库数据库
    第三章可视化ETL平台——Kettle课程目标能够理解Kettle的主要用途能够搭建Kettle开发环境能够掌握Kettle输入组件的使用能够掌握Kettle输出组件的使用能够掌握Kettle转换组件的使用1.Kettle介绍1.1数据仓库数据仓库是一个很大的数据存储集合，出于企业的分析性报告和决策支持目的而创建的，对多样的业务数据进行筛选与整合。它为企业提供一定的BI能力，指导业务流程
  • 从零到一建设数据中台 - 关键技术汇总 我码玄黄 数据中台数据挖掘数据分析大数据
    一、数据中台关键技术汇总语言框架：Java、Maven、SpringBoot数据分布式采集：Flume、Sqoop、kettle数据分布式存储：HadoopHDFS离线批处理计算：MapReduce、Spark、Flink实时流式计算：Storm/SparkStreaming、Flink批处理消息队列：Kafka查询分析：Hbase、Hive、ClickHouse、Presto搜索引擎：Elast
  • MATLAB 编程风格指南 DeepLearning Matlab学习matlab编程文档语言测试documentation
    转载自：http://blog.csdn.net/chenyusiyuan/archive/2007/11/19/1892378.aspxMATLAB编程风格指南——RichardJohnsonVersion1.5，Oct.2002版权；Datatool所有翻译：Genial@USTC“Languageislikeacrackedkettleonwhichwebeattunedtodanceto,
  • 二百二十三、Kettle——从Hive增量导入到ClickHouse(根据day字段判断) 天地风雷水火山泽 Kettlehiveclickhousekettle
    一、目的需要用Kettle从Hive的DWS层库表数据增量同步到ClickHouse的ADS层库表中，不过这次的增量判断字段是day字段，不像之前的create_time字段因为day字段需要转换类型，而create_time字段字段不需要转换类型，因此两者的Kettle任务配置有所不同，也踩了一些坑，因此再写一篇博客整理一下，根据day字段判断的情况下kettle如何配置才能从Hive增量导入到
  • ETL数据集成工具DataX、Kettle、ETLCloud特点对比 RestCloud ETL数据集成dataxkettle
    ETL数据集成工具对于数据仓库，大数据集成类应用，通常会采用ETL工具辅助完成。ETL，是英文Extract-Transform-Load的缩写，用来描述将数据从来源端经过抽取(extract)、交互转换(transform)、加载(load)至的端的过程当前的很多应用也存在大量的ELT应用模式。常见的ETL工具或类ETL的数据集成同步工具很多，以下对开源的datax、Kettle、ETLClou
  • ETL数据集成工具DataX、Kettle、ETLCloud特点对比 etlkettle
    ETL数据集成工具对于数据仓库，大数据集成类应用，通常会采用ETL工具辅助完成。ETL，是英文Extract-Transform-Load的缩写，用来描述将数据从来源端经过抽取(extract)、交互转换(transform)、加载(load)至的端的过程当前的很多应用也存在大量的ELT应用模式。常见的ETL工具或类ETL的数据集成同步工具很多，以下对开源的datax、Kettle、ETLClou
  • Linux下删除n天前的文件2019-01-16 dataHunter
    #!/bin/bashfind/opt/kettleLogs-mtime+10-typef-name"JOB_H-*.log"-execrm-rf{}\;find/opt/kettleLogs-mtime+30-typef-name"JOB_D-*.log"-execrm-rf{}\;
  • Kettle发送邮箱并在正文中以表格形式展示内容[升级版] GuangHui
    在上一篇关于Kettle发送邮件并在正文中以表格形式展示内容的文章中,已经提到Kettle邮箱正文中支持HTML格式,要在邮箱正文中展示表格,那就行拼出HTML,然后扔到邮箱正文中.方法就是这么简单直接,上一篇文章中拼接HTML是在数据库SQL查询时完成的,而这次咱尝试使用Kettle支持的JavaScript脚本来完成.下面就结合一个小的需求案例,来说明一下.一.需求说明结算系统每天实时接收积分
  • Kettle 导入优化指南 Kassadar
    在“表输出”的“上一个步骤“的组件上右键选择”数据发送……”的方式为”Round-Robin”。在”表输出”组件上右键选择“改变开始复制的数量……”填入并发数量“{d}”。第一次时注意调大弹出框，默认是看不到”确定”按钮的。配置完成后，“表输出”组件左上角会有“x{d}”字样。配置目标”数据源”，在”选项”中配置”命令参数”。
  • ubuntu22安装和部署Kettle8.2
    在Ubuntu22上安装和部署Kettle8.2，你可以按照以下步骤进行：安装Java环境：Kettle需要Java环境来运行。在终端中输入以下命令安装Java：sudoaptupdatesudoaptinstallopenjdk-8-jdk安装完成后，你可以通过命令java-version来验证Java是否安装成功。下载并解压Kettle：从Pentaho官网或者其他可信赖的源下载Kettle8
  • 时区设置引起的一系列问题 flexitime linux
    这几天都在一直研究如何使用metabase和Kettle的事，我在一台Centos上使用Docker安装了metabase是，并用Docker部署一个Postgresql作为数据库，在另一台Centos上安装了Kettle当我大概知道如何使用后，我把使用kettle把我们一个Oracle业务数据库连上，通过脚本采集数据到Postgresql上面，后来在写SQL的过程中发现PG上的数据与Oracle
  • kettle--文本文件输出有空格解决方案 刀鋒偏冷 etl
    在kettle文本文件输出时，不管如何设置字段类型和长度，导出的数据都会有空格，遇到这一问题，可以在文本文件输出控件中勾选这一项，即可解决这一问题。文本文件输出：
  • 对于规范和实现，你会混淆吗？ yangshangchuan HotSpot
    昨晚和朋友聊天，喝了点咖啡，由于我经常喝茶，很长时间没喝咖啡了，所以失眠了，于是起床读JVM规范，读完后在朋友圈发了一条信息： JVM Run-Time Data Areas：The Java Virtual Machine defines various run-time data areas that are used during execution of a program. So
  • android 网络 百合不是茶 网络
    android的网络编程和java的一样没什么好分析的都是一些死的照着写就可以了,所以记录下来  方便查找   ,  服务器使用的是TomCat   服务器代码;  servlet的使用需要在xml中注册 package servlet; import java.io.IOException; import java.util.Arr
  • [读书笔记]读法拉第传 comsci 读书笔记
          1831年的时候,一年可以赚到1000英镑的人..应该很少的...       要成为一个科学家,没有足够的资金支持,很多实验都无法完成       但是当钱赚够了以后....就不能够一直在商业和市场中徘徊......
  • 随机数的产生 沐刃青蛟 随机数
    c++中阐述随机数的方法有两种：   一是产生假随机数（不管操作多少次，所产生的数都不会改变）          这类随机数是使用了默认的种子值产生的，所以每次都是一样的。   //默认种子 for (int i = 0; i < 5; i++) { cout<<
  • PHP检测函数所在的文件名 IT独行者 PHP函数
    很简单的功能，用到PHP中的反射机制，具体使用的是ReflectionFunction类，可以获取指定函数所在PHP脚本中的具体位置。 创建引用脚本。 代码：   [php]   view plain copy // Filename: functions.php    <?php&nbs
  • 银行各系统功能简介 文强chu 金融
    银行各系统功能简介 　 业务系统 核心业务系统 业务功能包括：总账管理、卡系统管理、客户信息管理、额度控管、存款、贷款、资金业务、国际结算、支付结算、对外接口等 清分清算系统 以清算日期为准，将账务类交易、非账务类交易的手续费、代理费、网络服务费等相关费用，按费用类型计算应收、应付金额，经过清算人员确认后上送核心系统完成结算的过程 国际结算系
  • Python学习1(pip django 安装以及第一个project) 小桔子 pythondjangopip
        最近开始学习python,要安装个pip的工具。听说这个工具很强大，安装了它，在安装第三方工具的话so easy!然后也下载了，按照别人给的教程开始安装，奶奶的怎么也安装不上！ 第一步：官方下载pip-1.5.6.tar.gz, https://pypi.python.org/pypi/pip easy! 第二部：解压这个压缩文件，会看到一个setup.p
  • php 数组 aichenglong PHP排序数组循环多维数组
    1 php中的创建数组 $product = array('tires','oil','spark');//array()实际上是语言结构而不  是函数 2 如果需要创建一个升序的排列的数字保存在一个数组中，可以使用range()函数来自动创建数组 $numbers=range(1,10)//1 2 3 4 5 6 7 8 9 10 $numbers=range(1,10,
  • 安装python2.7 AILIKES python
    安装python2.7 1、下载可从 http://www.python.org/进行下载#wget https://www.python.org/ftp/python/2.7.10/Python-2.7.10.tgz 2、复制解压 #mkdir -p /opt/usr/python #cp  /opt/soft/Python-2
  • java异常的处理探讨 百合不是茶 JAVA异常
    //java异常  /* 1，了解java 中的异常处理机制，有三种操作 a,声明异常  b,抛出异常  c,捕获异常 2，学会使用try-catch-finally来处理异常 3，学会如何声明异常和抛出异常 4，学会创建自己的异常   */   //2，学会使用try-catch-finally来处理异常  
  • getElementsByName实例 bijian1013 element
    实例1： <!DOCTYPE html PUBLIC "-//W3C//DTD XHTML 1.0 Transitional//EN" "http://www.w3.org/TR/xhtml1/DTD/xhtml1-transitional.dtd"> <html xmlns="http://www.w3.org/1999/x
  • 探索JUnit4扩展：Runner bijian1013 java单元测试JUnit
            参加敏捷培训时，教练提到Junit4的Runner和Rule，于是特上网查一下，发现很多都讲的太理论，或者是举的例子实在是太牵强。多搜索了几下，搜索到两篇我觉得写的非常好的文章。         文章地址：http://www.blogjava.net/jiangshachina/archive/20
  • [MongoDB学习笔记二]MongoDB副本集 bit1129 mongodb
    1. 副本集的特性   1)一台主服务器(Primary),多台从服务器(Secondary)   2)Primary挂了之后，从服务器自动完成从它们之中选举一台服务器作为主服务器，继续工作，这就解决了单点故障，因此，在这种情况下，MongoDB集群能够继续工作   3)挂了的主服务器恢复到集群中只能以Secondary服务器的角色加入进来   2
  • 【Spark八十一】Hive in the spark assembly bit1129 assembly
    Spark SQL supports most commonly used features of HiveQL. However, different HiveQL statements are executed in different manners: 1. DDL statements (e.g. CREATE TABLE, DROP TABLE, etc.)
  • Nginx问题定位之监控进程异常退出 ronin47
    nginx在运行过程中是否稳定，是否有异常退出过？这里总结几项平时会用到的小技巧。 1. 在error.log中查看是否有signal项，如果有，看看signal是多少。 比如，这是一个异常退出的情况： $grep signal error.log 2012/12/24 16:39:56 [alert] 13661#0: worker process 13666 exited on s
  • No grammar constraints (DTD or XML schema).....两种解决方法 byalias xml
    方法一：常用方法   关闭XML验证 工具栏：windows => preferences => xml => xml files => validation => Indicate when no grammar is specified:选择Ignore即可。 方法二：（个人推荐） 添加 内容如下 <?xml version=
  • Netty源码学习-DefaultChannelPipeline bylijinnan netty
    package com.ljn.channel; /** * ChannelPipeline采用的是Intercepting Filter 模式 * 但由于用到两个双向链表和内部类，这个模式看起来不是那么明显，需要仔细查看调用过程才发现 * * 下面对ChannelPipeline作一个模拟，只模拟关键代码： */ public class Pipeline {
  • MYSQL数据库常用备份及恢复语句 chicony mysql
    备份MySQL数据库的命令，可以加选不同的参数选项来实现不同格式的要求。 mysqldump -h主机 -u用户名 -p密码 数据库名 > 文件 备份MySQL数据库为带删除表的格式，能够让该备份覆盖已有数据库而不需要手动删除原有数据库。 mysqldump -–add-drop-table -uusername -ppassword databasename > ba
  • 小白谈谈云计算--基于Google三大论文 CrazyMizzz Google云计算GFS
        之前在没有接触到云计算之前，只是对云计算有一点点模糊的概念，觉得这是一个很高大上的东西，似乎离我们大一的还很远。后来有机会上了一节云计算的普及课程吧，并且在之前的一周里拜读了谷歌三大论文。不敢说理解，至少囫囵吞枣啃下了一大堆看不明白的理论。现在就简单聊聊我对于云计算的了解。     我先说说GFS   &n
  • hadoop 平衡空间设置方法 daizj hadoopbalancer
    在hdfs-site.xml中增加设置balance的带宽，默认只有1M： <property>   <name>dfs.balance.bandwidthPerSec</name>     <value>10485760</value>     <description&g
  • Eclipse程序员要掌握的常用快捷键 dcj3sjt126com 编程
      判断一个人的编程水平，就看他用键盘多，还是鼠标多。用键盘一是为了输入代码（当然了，也包括注释），再有就是熟练使用快捷键。 曾有人在豆瓣评 《卓有成效的程序员》：“人有多大懒，才有多大闲”。之前我整理了一个 程序员图书列表，目的也就是通过读书，让程序员变懒。  程序员作为特殊的群体，有的人可以这么懒，懒到事情都交给机器去做，而有的人又可以那么勤奋，每天都孜孜不倦得
  • Android学习之路 dcj3sjt126com Android学习
    转自：http://blog.csdn.net/ryantang03/article/details/6901459 以前有J2EE基础，接触JAVA也有两三年的时间了，上手Android并不困难，思维上稍微转变一下就可以很快适应。以前做的都是WEB项目，现今体验移动终端项目，让我越来越觉得移动互联网应用是未来的主宰。 下面说说我学习Android的感受，我学Android首先是看MARS的视
  • java 遍历Map的四种方法 eksliang javaHashMapjava 遍历Map的四种方法
    转载请出自出处： http://eksliang.iteye.com/blog/2059996 package com.ickes; import java.util.HashMap; import java.util.Iterator; import java.util.Map; import java.util.Map.Entry; /** * 遍历Map的四种方式
  • 【精典】数据库相关相关 gengzg 数据库
    package C3P0; import java.sql.Connection; import java.sql.SQLException; import java.beans.PropertyVetoException; import com.mchange.v2.c3p0.ComboPooledDataSource; public class DBPool{
  • 自动补全 huyana_town 自动补全
    <!DOCTYPE html PUBLIC "-//W3C//DTD XHTML 1.0 Transitional//EN" "http://www.w3.org/TR/xhtml1/DTD/xhtml1-transitional.dtd"><html xmlns="http://www.w3.org/1999/xhtml&quo
  • jquery在线预览PDF文件，打开PDF文件 天梯梦 jquery
    最主要的是使用到了一个jquery的插件jquery.media.js，使用这个插件就很容易实现了。   核心代码 <!DOCTYPE html PUBLIC "-//W3C//DTD XHTML 1.0 Transitional//EN" "http://www.w3.org/TR/xhtml1/DTD/xhtml1-transitional.
  • ViewPager刷新单个页面的方法 lovelease androidviewpagertag刷新
      使用ViewPager做滑动切换图片的效果时，如果图片是从网络下载的，那么再子线程中下载完图片时我们会使用handler通知UI线程，然后UI线程就可以调用mViewPager.getAdapter().notifyDataSetChanged()进行页面的刷新，但是viewpager不同于listview，你会发现单纯的调用notifyDataSetChanged()并不能刷新页面
  • 利用按位取反（~）从复合枚举值里清除枚举值 草料场 enum
    以 C# 中的 System.Drawing.FontStyle 为例。   如果需要同时有多种效果， 如：“粗体”和“下划线”的效果，可以用按位或（|） FontStyle style = FontStyle.Bold | FontStyle.Underline;   如果需要去除 style 里的某一种效果，
  • Linux系统新手学习的11点建议 刘星宇 编程工作linux脚本
    　　随着Linux应用的扩展许多朋友开始接触Linux，根据学习Windwos的经验往往有一些茫然的感觉：不知从何处开始学起。这里介绍学习Linux的一些建议。 　　一、从基础开始：常常有些朋友在Linux论坛问一些问题，不过，其中大多数的问题都是很基础的。例如：为什么我使用一个命令的时候，系统告诉我找不到该目录，我要如何限制使用者的权限等问题，这些问题其实都不是很难的，只要了解了 Linu
  • hibernate dao层应用之HibernateDaoSupport二次封装 wangzhezichuan DAOHibernate
    /** * <p>方法描述:sql语句查询 返回List<Class> </p> * <p>方法备注: Class 只能是自定义类 </p> * @param calzz * @param sql * @return * <p>创建人：王川</p> * <p>创建时间：Jul
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他