Datax

hadoop源码解析之hdfs读取数据全流程分析

阅读更多概述DataXceiverServer介绍了解DataXceiverServer初始化工作工作原理DataXceiver介绍Op类介绍处理逻辑BlockSender读取数据传统方式实现数据传输零拷贝实现数据传输原理具体操作客户端读数据流程分析
zhangjun5965·2017-05-20 20:00

hadoop源码解析之hdfs读取数据全流程分析

阅读更多概述DataXceiverServer介绍了解DataXceiverServer初始化工作工作原理DataXceiver介绍Op类介绍处理逻辑BlockSender读取数据传统方式实现数据传输零拷贝实现数据传输原理具体操作客户端读数据流程分析
zhangjun5965·2017-05-20 20:00

hadoop?????hdfs?????????

概述DataXceiverServer介绍了解DataXceiverServer初始化工作工作原理DataXceiver介绍Op类介绍处理逻辑BlockSender读取数据传统方式实现数据传输零拷贝实现数据传输原理具体操作客户端读数据流程分析
zhangjun5965·2017-05-20 20:00

【工具】Datax同步数据配置

1.dataX说明DataX是阿里巴巴集团内被广泛使用的离线数据同步工具/平台，实现包括MySQL、Oracle、SqlServer、Postgre、HDFS、Hive、ADS、HBase、OTS、ODPS
Carson·2017-05-12 00:00

批量导出存储在msdb库的SSIS包

ISNOTNULLDROPPROCEDUREdbo.usp_ExportSSISPkgs;goCREATEPROCEDUREdbo.usp_ExportSSISPkgs@exportPathNVARCHAR(2000)='D:\temp\'ASBEGINDECLARE@pkgDataXML
UltraSQL·2017-05-11 14:51

Matplotlib画图基础

importnumpyasnpimportmatplotlib.pyplotasplt%matplotlibinlinedata=np.loadtxt('/home/robot_lcl/lcl_file/train_log/train.log.test')#printdatax
卧龙_·2017-04-30 17:27

caffe非图像数据转换为lmdb

importnumpyasnpimportlmdbimportcaffeN=1000#Let'spretendthisisinterestingdataX=np.zeros((N,3,32,32),dtype
抱石头冲天·2017-04-07 17:25

《海量日志数据分析与应用》之数据采集

原文链接：http://click.aliyun.com/m/13988/文章中提到的链接如下：1、更多数据集成方案，详见：https://data.aliyun.com/solution/cdp2、DataX
云栖技术·2017-03-15 09:10

阿里云开源离线同步工具DataX3.0介绍

阿里云开源离线同步工具DataX3.0介绍一.DataX3.0概览DataX是一个异构数据源离线同步工具，致力于实现包括关系型数据库(MySQL、Oracle等)、HDFS、Hive、ODPS、HBase
云栖技术·2017-03-14 18:34

ETL工具--DataX3.0实战

ETL工具--DataX3.0实战DataX是一个在异构的数据库/文件系统之间高速交换数据的工具，实现了在任意的数据处理系统(RDBMS/Hdfs/Localfilesystem）之间的数据交换，由淘宝数据平台部门完成
yikayi·2017-03-03 18:49

SAS 判别分析

分三个数据集:1.DATAXDT;INPUTcx1-x5@@;CARDS;18.11251.0113.235.467.3119.36185.399.025.665.9919.85249.5815.616.066.1112.55137.139.216.114.3516.01231.3414.275.218.7919.64231.3813.034.868.5314.11260.2514.725.361
Tiaaaaa·2017-02-28 18:36

顺序队列

特性先进先出(FIFO,FirstInFirstOut)队列的主要操作ADTQueue{//对象:由数据类型为QueueData的元素构成intEnQueue(Queue*Q,QueueDatax);/
aixiaoql·2017-02-23 20:58

keras 保存模型和加载模型

forreproducibilityfromkeras.modelsimportSequentialfromkeras.layersimportDensefromkeras.modelsimportload_model#createsomedataX
BYR_jiandong·2017-02-19 18:14

DataX介绍

一.DataX3.0概览DataX是一个异构数据源离线同步工具，致力于实现包括关系型数据库(MySQL、Oracle等)、HDFS、Hive、ODPS、HBase、FTP等各种异构数据源之间稳定高效的数据同步功能
burpee·2016-12-19 09:35

iOS之数据解析之XML解析详解

文档并构建一个驻留内存的树结构(节点树),通过遍历数结构可以检索任意XML节点,读取它的属性和值,而且通常情况下,可以借助XPath,直接查询XML节点.进行DOM方式解析数据需要使用一个第三方的类GDataXMLNodeGDataXMLNode
无忧smile·2016-12-02 11:40

DataX的部署与安装

刚来公司的第二天做的事就是把cd的数据导到bj来，因为不能按照原来一模一样的去导所以就用到了datax，而datax帮我搞定了这个难题，有道是花时间想办法解决，不如找工具研究。
浪老猫·2016-11-29 13:40

FusionCharts图表构建二

使用dataXML加载数据前面所讲的xml数据文件都是一个单独的xml文件，这个文件可能会被一个或者多个程序使用，同时这个文件也是静态的。
Aurevoir1993·2016-11-28 09:11

基于DataX3.0将MySQL中的数据同步到Oracle

{"job":{"content":[{"reader":{"name":"mysqlreader","parameter":{"username":"****","password":"****","column":["rank","payment"],"connection":[{"table":["salary"],"jdbcUrl":["jdbc:mysql://127.0.0.1:330
gjf281·2016-11-26 15:18

数据库迁移工具DataX-Migration

DataX-MigrationDataX-MigrationisYxt(Yunxuetang)FullDatabaseMigrationToolbasedonAlibabaDataX3.0.SupportDatabaseMigrationamongMysql
Jawf·2016-11-16 12:43

iOS 解析Excel

目录1.应用场景,资料搜索以及思路确认2.DHxlsReader(解读XLS)3.利用GDataXML解读XML的方式来解读(xlsx)4.相关资源链接一.应用场景在开发过程中遇到这样的需求,要求把APP
碎月Coder·2016-11-03 17:10

linux多个分区合并为一个分区

备份#rsync-avP-essh/dataxxx卸载#umount/data/data?
冷暖己知·2016-11-03 10:52

阿里开源项目dataX简介

htmlhttp://yangyoupeng-cn-fujitsu-com.iteye.com/blog/1832143二、应用程序入口在Engine.java类中/***Programentry>NOTE:TheDataXProcessexistscodeexitwith
licongdong·2016-08-26 15:29

提升Xcode编译性能，RAM磁盘编译

阅读更多DerivedDataXcode会在文件系统中集中的缓存临时信息。
梣梓cenzi·2016-08-08 17:00

JS中使用FormData上传文件、图片的方法

关于FormDataXMLHttpRequestLevel2添加了一个新的接口----FormData利用FormData对象，可以通过js用一些键值对来模拟一系列表单控件，可以使用XMLHttpRequest
谟风·2016-08-07 13:28

XML解析GDataXML

GDataXML基于libxml2库，需要做以下配置：1.导入libxml2库12-导入libxml2.tbd库.jpg导入后的结果:13-导入libxml2.tbd库.jpg2.设置libxml2库的头文件搜索路径
solozyx·2016-08-07 00:40

数据交换工具DataX使用

1，下载svncohttp://code.taobao.org/p/datax2，安装根据服务器安装软件情况可能需要安装下面软件yuminstallantyuminstallgcc-c++yuminstall
liuzhoulong·2016-07-22 19:00

ETL数据导入/导出工具 HData

HData在设计上同时参考了开源的Sqoop、DataX，却与之有不同的实现。HData采用“框架+插件”的结构，具有较好的扩展性，框架相当于数据缓冲区，插件则为访问不同的数据源提供实现。
ejinxian·2016-07-11 09:37

XML数据解析

解析来自服务器返回的XML数据,介绍两种方式:1,NSXMLParser解析器:SAX方式解析(从根元素开始,按顺序一个一个的解析,适合解析大文件);2,GDataXML:DOM方式解析(一次性将整个XML
CoderJyq·2016-06-04 21:23

【总结】Datax按record限速

{"job":{"content":[{"reader":{"name":"mysqlreader","parameter":{"connection":[{"querySql":["SELECTid,UserID,Ip,CreatTimeFROMBWSimpleAdmin_Login_Log"],"jdbcUrl":["jdbc:mysql://10.10.10.10:3306/bw_simpl
巧克力黒·2016-05-26 16:20

iOS之数据解析之XML解析

文档并构建一个驻留内存的树结构(节点树),通过遍历数结构可以检索任意XML节点,读取它的属性和值,而且通常情况下,可以借助XPath,直接查询XML节点.进行DOM方式解析数据需要使用一个第三方的类GDataXMLNodeGDataXMLNode
u010390827·2016-05-06 21:00

UICountingLabel - 数字变化的 Label

https://github.com/dataxpress/UICountingLabel//正常初始化label=[[UICountingLabelalloc]initWithFrame:CGRectMake
说了是村长·2016-05-04 23:17

FusionCharts简单教程(二)-----使用js加载图像和setDataXML()加载数据

 前面一篇对FusionCharts进行了一个简单的介绍，而且建立了我们第一个图形，但是那个是在HTML中使用和标记来加载图形的，但是这样做是非常不“理智”的。这样做除了代码量比较大外，还有并不是所有的人能够看懂上面的代码。但是使用JS后就可以避免上面几个问题了。    一、使用JS加载FusionCharts图形                                         下
u013310119·2016-04-14 21:00

Exadata x2-2 （2节点rac+3 台存储服务器)问题

From网友Exadatax2-2（2节点rac+3台存储服务器)问题db+grid11.2.0.3 以下问题请帮忙查看。
xuzhenxiang·2016-04-13 23:00

XML解析方案

在iOS中，解析XML的手段有很多苹果原生NSXMLParser:SAX方式解析，使用简单 第三方框架libxml2:纯C语言，默认包含在iOSSDK中，同时支持DOM和SAX方式解析GDataXML:
blue-fly·2016-04-05 15:00

PHP如何将XML转成数组

如果你使用curl获取的xmldataxml=simplexmlloadstring(data);data[′tk′]=jsondecode(jsonencode(xml),TRUE);如果是直接获取URL
飞鸿影~·2016-04-04 19:19

OC---xml解析实例

1.导入第三方库GData;//Gdata是基于系统的libzml2库去实现xml的解析；libxml2//默认没有被导入工程中，需要手动导入//具体步骤参见上一条博客#import#import"GDataXMLNode.h
鹿微微鹿·2016-04-01 20:00

VMware SDS之七: 谁在用VSAN ?

VSAN在国内外各个行业的案例;SAPHANAonVSAN跑出优异的性能;VSAN性能是OracleExadataX5-2(四分之一配置最大容量)的两倍多！是原有生产环境中AIX小机的五倍多！
mooncarp·2016-03-30 11:00

iOS-GDataXML导入工程报错解决方法

错误屏幕快照2016-03-25下午7.49.49.png解决方法第一步将/usr/include/libxml2拷贝屏幕快照2016-03-25下午7.46.12.png粘贴在headersearchpaths的第二个框中屏幕快照2016-03-25下午7.53.50.png将第一张图中-lxm12复制拷贝到otherlinkerflags屏幕快照2016-03-25下午7.54.19.png最
zhangyunjiang·2016-03-25 20:18

iOS xml文件的解析方式 XMLDictionary，GDataXMLNode，NSXMLParser

iOS9之后，默认网络请求是https，所有我们要设置一下网络安全，具体设置如下1.第三方类库 XMLDictionary下载地址：https://github.com/nicklockwood/XMLDictionary 所用到的xml文件http://www.meituan.com/api/v1/divisions?mtt=1.help%2Fapi.0.0.im7eandj效果如下：代码实现：
徒步天涯·2016-03-25 18:00

iOS xml文件的解析方式 XMLDictionary，GDataXMLNode，NSXMLParser

iOS9之后，默认网络请求是https，所有我们要设置一下网络安全，具体设置如下1.第三方类库 XMLDictionary下载地址：https://github.com/nicklockwood/XMLDictionary 所用到的xml文件http://www.meituan.com/api/v1/divisions?mtt=1.help%2Fapi.0.0.im7eandj效果如下：代码实现：
徒步天涯·2016-03-25 18:00

iOS开发 - GDataXML&KissXML解析

GData解析NSString*url=@"http://10.0.8.8/sns/my/user_list.php?format=xml"; AFHTTPSessionManager*manager=[AFHTTPSessionManagermanager]; manager.responseSerializer=[AFHTTPResponseSerializerserializer]; [ma
crystal_9527·2016-03-25 11:00

数据交换平台的双内存设计

參考了淘宝开源的DataX、大众点评的Wormhole。等，受到的启示非常大。项目由小到大，逐步形成平台化发展，差点儿汇总了公司后台db之间的全部数据同步，任务个数有近500个。每天数据量达3亿。
phlsheji·2016-03-22 21:00

GDataXMLNode应用

一.GDataXMLNode的安装配置过程1.将GDataXMLNode文件加入至工程中2.向Frameworks文件中添加libxml2.dylib库3.在Croups&Files侧边栏中双击工程图标
Mr～Lin·2016-03-15 11:00

SQL Server XML变量转为Json文本

[fnXmlToJson](@XmlDataxml)3returnsnvarchar(max)4as5begin6return7(selectstuff(8(select9*10from11(select12
微笑点燃希望·2016-03-14 15:00

HDFS源码分析DataXceiver之读数据块

     在《HDFS源码分析DataXceiver之整体流程》一文中我们知道，无论来自客户端还是其他数据节点的请求达到DataNode时，DataNode上的后台线程DataXceiverServer
lipeng_bigdata·2016-03-12 16:00

HDFS源码分析之DataXceiverServer

     DataXceiverServer是Hadoop分布式文件系统HDFS的从节点--数据节点DataNode上的一个后台工作线程，它类似于一个小型的服务器，被用来接收数据读写请求，并为每个请求创建一个工作线程以进行请求的响应
lipeng_bigdata·2016-03-08 16:00

GDataXMLNode 的环境配置（纯C）

事实上，GDataXMLNode解析是最简单的！不用代理，方法少！
光明程辉·2016-03-07 23:39

SQL SERVER 将XML变量转为JSON文本

[fnXmlToJson](@XmlDataxml)returnsnvarchar(max)asbeginreturn(selectstuff((select*from(select',{'+stuff
和尚洗头用飘柔·2016-03-06 16:22

[推荐]DataX、DbSync和Timetunnel学习贴

[推荐]DataX、DbSync和Timetunnel学习贴一DataX   二DbSync 三 TimetunnelTimeTunnel:http://code.taobao.org/p/TimeTunnel
卖烧烤的鱼·2016-02-29 13:00

从DFSOutputStream的pipeline写机制到Streamer线程泄漏问题

前言之前一段时间写了篇文章DataNode数据处理中心DataXceiver从大的方向了解了下datanode读写操作的过程.但是并没有具体细粒度的去关注读写操作中的细节以及可能存在的问题,本篇文章算是对这方面的一个补充吧
Android路上的人·2016-02-18 20:16
上一页 27 28 29 30 31 32 33 34 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他