- Hashcopy与Hashexport工具的使用
HashData
数据库
01背景作为一款企业级云端数据仓库,每天有大量的新数据需要加载到HashData数据仓库中,与历史数据融合分析处理后又会产生很多新数据。在数仓产生的新数据中,相当一部分是需要从数仓卸载出来,供其它业务系统使用的。每一款成熟的商业数据仓库产品,都会有根据其自身产品特点而设计实现的高效数据加载和卸载工具,例如Teradata的fastload和fastexport,Snowflake的Snowpipe
- 数据仓库的架构
nafrul
数据仓库
根据作者在teradata和大街网的数据仓库etl实习经验,来理解一下两者在架构设计上的联系和区别。teradata一般是对企业级数据仓库而言,在Teradata的数据仓库架构,一般是缓冲层,模型层,集市层。如下图所示:源系统为oracle数据库,一般有多个。通过fastload或tpump或者mutilload等工具加载到数据仓库缓冲层中,设计缓冲层主要是从技术实现的角度考虑。基础层根据业务划分
- 数据仓库的层级架构
AcceptedLin
海量数据数据库
数据仓库的层级架构teradata一般是对企业级数据仓库而言,在Teradata的数据仓库架构,一般是缓冲层,模型层,集市层。如下图所示:ods:贴源层,保存源系统细节数据。源系统为oracle数据库,一般有多个。通过fastload或tpump或者mutilload等工具加载到数据仓库缓冲层中,设计缓冲层主要是从技术实现的角度考虑。基础层根据业务划分主题,通过三范式建模得来。集市层作者遇到的情况
- 使用tdload工具将本地数据导入到Teradata数据库中
dengnai9214
想把本地的数据文件(比如txt、csv)中的数据导入到Teradata虚拟机中的表中。既可以使用TeradataAssistant中的import功能,也可以使用fastload导入,前者的缺点是一次至多导入1000行记录,后者的缺点是需要写一定的代码。这里介绍一种使用TDload工具(TeradataLoad)来导入大量数据的方法。命令介绍:tdload-f路径/文件名.后缀-u用户名-p密码-
- 如何使用Teradata的数据加载工具
leo19870625
SQL
1.简介:Teradata作为数据仓库行业的老大,其对数据并行处理能力令人钦佩,而Fastload工具填充数据的速度绝对可以让任何人惊讶。本文就Fastload工具的使用作一介绍,希望能帮助读者快速掌握这个工具的使用。Fastload支持批处理的脚本编写方式,也支持交互式的方式。其功能就是从数据文件中把大批数据快速插入Teradata数据库。在数据仓库建设阶段对ETL是非常重要的手段,平均比其他第
- 滴滴海量离线数据的在线化 — FastLoad
滴滴技术
桔妹导读:滴滴自成立以来,有海量的数据存储在离线平台,离线数据虽然存储便宜,压缩比高,但不适用于线上使用。为此,我们提供了一键式DTS平台——FastLoad,帮助业务往在线存储系统搬运离线数据,目前主要针对滴滴自研分布式存储Fusion,Fusion以RocksDB为存储引擎,服务线上集群500+,承载业务数据1600TB+,总QPS峰值1200W+,是一个成熟稳定的分布式NoSQL/NewSQ
- teradata学习笔记(一)
最佳替补
数据仓库
本文主要介绍teradatasql的在工作中用到的一些基础知识,用于数据仓库或者数据集市中的ETL开发。ETL过程中我们主要用到三个Teradata工具:FastLoad/MultiLoad(较少):将源数据文件导入到数据库Stage区BTEQ:调用SQL执行转换过程DWAutomation:在整个过程中起到调度、控制和监视的作用,当相应控制文件到达后,它根据配臵负责调用相应的作业。ETL总体处理
- TD fastload
haorennet
fastload
fastload是TD的数据加载脚本,具体文件内容如下:.LOGONip/user,pwd;DATABASEm4dw;DROPTABLEm4dw.pan_txt_load_E1;DROPTABLEm4dw.pan_txt_load_E2;BEGINLOADINGm4dw.pan_txt_loadERRORFILESm4dw.pan_txt_load_E1,m4dw.pan_txt_load_E2;
- FastLoad错误 — SELECT Failed. 2652
select
SELECT *
FROM teradata_education . emp_fl
;
在做查询时碰到2652错误。 SELECT Failed. 2652: Operation not allowed: Teradata_Education.emp_fl
- FastLoad错误 — RDBMS error 2634
error
我们来看一下下面这条语句: BEGIN LOADING stu_fl
ERRORFILES error_1, error_2; 如果此时已经存在error_1或error_2表,那么将会报错,信息如下:
0008 BEGIN LOADING stu_fl
ERRORFILES error_1, error_2;
**** 07:41:
- Teradata中fastload使用
load
Teradata Fastload Utility 是teradata数据库中一个基于命令行的快速load大量数据到一个空表的工具。 数据可以从以下途径被load: 1) Disk 或 tape; 2) 网络服务器上的文件; Teradata Fastload使用多个session来load data,但是每一个job只能load到一个表中。如果要load到多个表
- Informatica作业问题:日志一直显示为Running
子安
Informaticafastload双节点ETL
Informatica作业日志一直显示为Running,首先drop掉目标表重建排除锁表情况然后排除数据情况定位为fastload问题查看loader问题,最开始以为是fastload服务问题,后来检查out文件,我偶然间看到一个很特别的文件名,查看该文件,如下图所示查询到networkdown的情况,重新查询fastload发现了A1服务器不能访问,而fastload配置正好为A1服务器(使用i
- TD Oleload导excel数据
exterminator
看见同事为了导excel数据到数据库中,都是写个fastload脚本或者tpump脚本,这样在整数据格式的时候是很费时费力的操作,殊不知,teradata提供的oleload工具可以直接导excel数据到teradata库当中,操作简单:1、selectsouce选项卡里面选择:Microsoft.Jet.OLEDB.4.0,会弹出对话框:a、“连接”选项卡:“选择或数据数据库名称”里面选择将要导
- apf防火墙配置conf.apf
白衬衫
APF
使用apf防火墙的可以以此为模板,稍加修改就可以拿来使用.DEVEL_MODE="0"INSTALL_PATH="/etc/apf"IFACE_IN="eth0"IFACE_OUT="eth0"IFACE_TRUSTED="eth1"SET_VERBOSE="1"SET_FASTLOAD="0"SET_VNET="0"SET_ADDIFACE="0"SET_MONOKERN="1"SET_REFR
- apf防火墙配置conf.apf
白衬衫
apfiptables
使用apf防火墙的可以以此为模板,稍加修改就可以拿来使用.DEVEL_MODE="0"INSTALL_PATH="/etc/apf"IFACE_IN="eth0"IFACE_OUT="eth0"IFACE_TRUSTED="eth1"SET_VERBOSE="1"SET_FASTLOAD="0"SET_VNET="0"SET_ADDIFACE="0"SET_MONOKERN="1"SET_REFR
- Fastload (二) 转
hbuxzy
DatecommandtableIntegerinsertnewline
FASTLOAD的特性:1)FASTLOAD脚本包含三个主要模块:建表模块、Define模块、Insert模块。2)FASTLOAD分为两个阶段:第1阶段-从数据文本中读取记录,只需放到目标AMP上即可第2阶段-在AMP内部按Rowhash进行排序3)FASTLOAD的目标表初始的时候只能是个空表。4)FASTLOAD的目标表不能定义次索引,但可以定义分区字段。5)FASTLOAD一次只能对一张表
- Flastload (一) 转
hbuxzy
数据库Datesession脚本tableTeradata
1.简介:Teradata作为数据仓库行业的老大,其对数据并行处理能力令人钦佩,而Fastload工具填充数据的速度绝对可以让任何人惊讶。本文就Fastload工具的使用作一介绍,希望能帮助读者快速掌握这个工具的使用。Fastload支持批处理的脚本编写方式,也支持交互式的方式。其功能就是从数据文件中把大批数据快速插入Teradata数据库。在数据仓库建设阶段对ETL是非常重要的手段,平均比其他第
- 通过SAS fastload Mysql table 到 Teradata
gjwang1983
sqlmysqltableIntegerdatabaseTeradata
/*clearfastloadtables*/%letgdw_dir=(user="XXXXX"password="XXXXX"database="XXXXX"tdpid="XXXXX");procsql;connecttoteradataasTD&gdw_dir;execute(droptableSTG_MYSQL_lkp_verticals)byTD;execute(commit)byTD;d
- 项目中 枚举与注解的结合使用
飞翔的马甲
javaenumannotation
前言:版本兼容,一直是迭代开发头疼的事,最近新版本加上了支持新题型,如果新创建一份问卷包含了新题型,那旧版本客户端就不支持,如果新创建的问卷不包含新题型,那么新旧客户端都支持。这里面我们通过给问卷类型枚举增加自定义注解的方式完成。顺便巩固下枚举与注解。
一、枚举
1.在创建枚举类的时候,该类已继承java.lang.Enum类,所以自定义枚举类无法继承别的类,但可以实现接口。
- 【Scala十七】Scala核心十一:下划线_的用法
bit1129
scala
下划线_在Scala中广泛应用,_的基本含义是作为占位符使用。_在使用时是出问题非常多的地方,本文将不断完善_的使用场景以及所表达的含义
1. 在高阶函数中使用
scala> val list = List(-3,8,7,9)
list: List[Int] = List(-3, 8, 7, 9)
scala> list.filter(_ > 7)
r
- web缓存基础:术语、http报头和缓存策略
dalan_123
Web
对于很多人来说,去访问某一个站点,若是该站点能够提供智能化的内容缓存来提高用户体验,那么最终该站点的访问者将络绎不绝。缓存或者对之前的请求临时存储,是http协议实现中最核心的内容分发策略之一。分发路径中的组件均可以缓存内容来加速后续的请求,这是受控于对该内容所声明的缓存策略。接下来将讨web内容缓存策略的基本概念,具体包括如如何选择缓存策略以保证互联网范围内的缓存能够正确处理的您的内容,并谈论下
- crontab 问题
周凡杨
linuxcrontabunix
一: 0481-079 Reached a symbol that is not expected.
背景:
*/5 * * * * /usr/IBMIHS/rsync.sh
- 让tomcat支持2级域名共享session
g21121
session
tomcat默认情况下是不支持2级域名共享session的,所有有些情况下登陆后从主域名跳转到子域名会发生链接session不相同的情况,但是只需修改几处配置就可以了。
打开tomcat下conf下context.xml文件
找到Context标签,修改为如下内容
如果你的域名是www.test.com
<Context sessionCookiePath="/path&q
- web报表工具FineReport常用函数的用法总结(数学和三角函数)
老A不折腾
Webfinereport总结
ABS
ABS(number):返回指定数字的绝对值。绝对值是指没有正负符号的数值。
Number:需要求出绝对值的任意实数。
示例:
ABS(-1.5)等于1.5。
ABS(0)等于0。
ABS(2.5)等于2.5。
ACOS
ACOS(number):返回指定数值的反余弦值。反余弦值为一个角度,返回角度以弧度形式表示。
Number:需要返回角
- linux 启动java进程 sh文件
墙头上一根草
linuxshelljar
#!/bin/bash
#初始化服务器的进程PId变量
user_pid=0;
robot_pid=0;
loadlort_pid=0;
gateway_pid=0;
#########
#检查相关服务器是否启动成功
#说明:
#使用JDK自带的JPS命令及grep命令组合,准确查找pid
#jps 加 l 参数,表示显示java的完整包路径
#使用awk,分割出pid
- 我的spring学习笔记5-如何使用ApplicationContext替换BeanFactory
aijuans
Spring 3 系列
如何使用ApplicationContext替换BeanFactory?
package onlyfun.caterpillar.device;
import org.springframework.beans.factory.BeanFactory;
import org.springframework.beans.factory.xml.XmlBeanFactory;
import
- Linux 内存使用方法详细解析
annan211
linux内存Linux内存解析
来源 http://blog.jobbole.com/45748/
我是一名程序员,那么我在这里以一个程序员的角度来讲解Linux内存的使用。
一提到内存管理,我们头脑中闪出的两个概念,就是虚拟内存,与物理内存。这两个概念主要来自于linux内核的支持。
Linux在内存管理上份为两级,一级是线性区,类似于00c73000-00c88000,对应于虚拟内存,它实际上不占用
- 数据库的单表查询常用命令及使用方法(-)
百合不是茶
oracle函数单表查询
创建数据库;
--建表
create table bloguser(username varchar2(20),userage number(10),usersex char(2));
创建bloguser表,里面有三个字段
&nbs
- 多线程基础知识
bijian1013
java多线程threadjava多线程
一.进程和线程
进程就是一个在内存中独立运行的程序,有自己的地址空间。如正在运行的写字板程序就是一个进程。
“多任务”:指操作系统能同时运行多个进程(程序)。如WINDOWS系统可以同时运行写字板程序、画图程序、WORD、Eclipse等。
线程:是进程内部单一的一个顺序控制流。
线程和进程
a. 每个进程都有独立的
- fastjson简单使用实例
bijian1013
fastjson
一.简介
阿里巴巴fastjson是一个Java语言编写的高性能功能完善的JSON库。它采用一种“假定有序快速匹配”的算法,把JSON Parse的性能提升到极致,是目前Java语言中最快的JSON库;包括“序列化”和“反序列化”两部分,它具备如下特征:  
- 【RPC框架Burlap】Spring集成Burlap
bit1129
spring
Burlap和Hessian同属于codehaus的RPC调用框架,但是Burlap已经几年不更新,所以Spring在4.0里已经将Burlap的支持置为Deprecated,所以在选择RPC框架时,不应该考虑Burlap了。
这篇文章还是记录下Burlap的用法吧,主要是复制粘贴了Hessian与Spring集成一文,【RPC框架Hessian四】Hessian与Spring集成
 
- 【Mahout一】基于Mahout 命令参数含义
bit1129
Mahout
1. mahout seqdirectory
$ mahout seqdirectory
--input (-i) input Path to job input directory(原始文本文件).
--output (-o) output The directory pathna
- linux使用flock文件锁解决脚本重复执行问题
ronin47
linux lock 重复执行
linux的crontab命令,可以定时执行操作,最小周期是每分钟执行一次。关于crontab实现每秒执行可参考我之前的文章《linux crontab 实现每秒执行》现在有个问题,如果设定了任务每分钟执行一次,但有可能一分钟内任务并没有执行完成,这时系统会再执行任务。导致两个相同的任务在执行。
例如:
<?
//
test
.php
- java-74-数组中有一个数字出现的次数超过了数组长度的一半,找出这个数字
bylijinnan
java
public class OcuppyMoreThanHalf {
/**
* Q74 数组中有一个数字出现的次数超过了数组长度的一半,找出这个数字
* two solutions:
* 1.O(n)
* see <beauty of coding>--每次删除两个不同的数字,不改变数组的特性
* 2.O(nlogn)
* 排序。中间
- linux 系统相关命令
candiio
linux
系统参数
cat /proc/cpuinfo cpu相关参数
cat /proc/meminfo 内存相关参数
cat /proc/loadavg 负载情况
性能参数
1)top
M:按内存使用排序
P:按CPU占用排序
1:显示各CPU的使用情况
k:kill进程
o:更多排序规则
回车:刷新数据
2)ulimit
ulimit -a:显示本用户的系统限制参
- [经营与资产]保持独立性和稳定性对于软件开发的重要意义
comsci
软件开发
一个软件的架构从诞生到成熟,中间要经过很多次的修正和改造
如果在这个过程中,外界的其它行业的资本不断的介入这种软件架构的升级过程中
那么软件开发者原有的设计思想和开发路线
- 在CentOS5.5上编译OpenJDK6
Cwind
linuxOpenJDK
几番周折终于在自己的CentOS5.5上编译成功了OpenJDK6,将编译过程和遇到的问题作一简要记录,备查。
0. OpenJDK介绍
OpenJDK是Sun(现Oracle)公司发布的基于GPL许可的Java平台的实现。其优点:
1、它的核心代码与同时期Sun(-> Oracle)的产品版基本上是一样的,血统纯正,不用担心性能问题,也基本上没什么兼容性问题;(代码上最主要的差异是
- java乱码问题
dashuaifu
java乱码问题js中文乱码
swfupload上传文件参数值为中文传递到后台接收中文乱码 在js中用setPostParams({"tag" : encodeURI( document.getElementByIdx_x("filetag").value,"utf-8")});
然后在servlet中String t
- cygwin很多命令显示command not found的解决办法
dcj3sjt126com
cygwin
cygwin很多命令显示command not found的解决办法
修改cygwin.BAT文件如下
@echo off
D:
set CYGWIN=tty notitle glob
set PATH=%PATH%;d:\cygwin\bin;d:\cygwin\sbin;d:\cygwin\usr\bin;d:\cygwin\usr\sbin;d:\cygwin\us
- [介绍]从 Yii 1.1 升级
dcj3sjt126com
PHPyii2
2.0 版框架是完全重写的,在 1.1 和 2.0 两个版本之间存在相当多差异。因此从 1.1 版升级并不像小版本间的跨越那么简单,通过本指南你将会了解两个版本间主要的不同之处。
如果你之前没有用过 Yii 1.1,可以跳过本章,直接从"入门篇"开始读起。
请注意,Yii 2.0 引入了很多本章并没有涉及到的新功能。强烈建议你通读整部权威指南来了解所有新特性。这样有可能会发
- Linux SSH免登录配置总结
eksliang
ssh-keygenLinux SSH免登录认证Linux SSH互信
转载请出自出处:http://eksliang.iteye.com/blog/2187265 一、原理
我们使用ssh-keygen在ServerA上生成私钥跟公钥,将生成的公钥拷贝到远程机器ServerB上后,就可以使用ssh命令无需密码登录到另外一台机器ServerB上。
生成公钥与私钥有两种加密方式,第一种是
- 手势滑动销毁Activity
gundumw100
android
老是效仿ios,做android的真悲催!
有需求:需要手势滑动销毁一个Activity
怎么办尼?自己写?
不用~,网上先问一下百度。
结果:
http://blog.csdn.net/xiaanming/article/details/20934541
首先将你需要的Activity继承SwipeBackActivity,它会在你的布局根目录新增一层SwipeBackLay
- JavaScript变换表格边框颜色
ini
JavaScripthtmlWebhtml5css
效果查看:http://hovertree.com/texiao/js/2.htm代码如下,保存到HTML文件也可以查看效果:
<html>
<head>
<meta charset="utf-8">
<title>表格边框变换颜色代码-何问起</title>
</head>
<body&
- Kafka Rest : Confluent
kane_xie
kafkaRESTconfluent
最近拿到一个kafka rest的需求,但kafka暂时还没有提供rest api(应该是有在开发中,毕竟rest这么火),上网搜了一下,找到一个Confluent Platform,本文简单介绍一下安装。
这里插一句,给大家推荐一个九尾搜索,原名叫谷粉SOSO,不想fanqiang谷歌的可以用这个。以前在外企用谷歌用习惯了,出来之后用度娘搜技术问题,那匹配度简直感人。
环境声明:Ubu
- Calender不是单例
men4661273
单例Calender
在我们使用Calender的时候,使用过Calendar.getInstance()来获取一个日期类的对象,这种方式跟单例的获取方式一样,那么它到底是不是单例呢,如果是单例的话,一个对象修改内容之后,另外一个线程中的数据不久乱套了吗?从试验以及源码中可以得出,Calendar不是单例。
测试:
Calendar c1 =
- 线程内存和主内存之间联系
qifeifei
java thread
1, java多线程共享主内存中变量的时候,一共会经过几个阶段,
lock:将主内存中的变量锁定,为一个线程所独占。
unclock:将lock加的锁定解除,此时其它的线程可以有机会访问此变量。
read:将主内存中的变量值读到工作内存当中。
load:将read读取的值保存到工作内存中的变量副本中。
- schedule和scheduleAtFixedRate
tangqi609567707
javatimerschedule
原文地址:http://blog.csdn.net/weidan1121/article/details/527307
import java.util.Timer;import java.util.TimerTask;import java.util.Date;
/** * @author vincent */public class TimerTest {
 
- erlang 部署
wudixiaotie
erlang
1.如果在启动节点的时候报这个错 :
{"init terminating in do_boot",{'cannot load',elf_format,get_files}}
则需要在reltool.config中加入
{app, hipe, [{incl_cond, exclude}]},
2.当generate时,遇到:
ERROR