E-COM-NET
首页
在线工具
Layui镜像站
SUI文档
联系我们
推荐频道
Java
PHP
C++
C
C#
Python
Ruby
go语言
Scala
Servlet
Vue
MySQL
NoSQL
Redis
CSS
Oracle
SQL Server
DB2
HBase
Http
HTML5
Spring
Ajax
Jquery
JavaScript
Json
XML
NodeJs
mybatis
Hibernate
算法
设计模式
shell
数据结构
大数据
JS
消息中间件
正则表达式
Tomcat
SQL
Nginx
Shiro
Maven
Linux
TDW
TDW
千台Spark千亿节点对相似度计算
TDW
千台Spark千亿节点对相似度计算2014-11-16分类:
TDW
相似度计算在信息检索、数据挖掘等领域有着广泛的应用,是目前推荐引擎中的重要组成部分。
javastart
·
2015-10-03 11:00
揭秘腾讯大数据平台与推荐应用架构
腾讯大数据平台有如下核心模块:
TDW
、TRC、TDBank、TPR和Gaia。
袁军峰
·
2015-09-17 17:00
腾讯大数据之新一代资源管理与调度平台
数据平台部的
TDW
,是腾讯自主研发,支持百PB级的数据存储和计算,提供海量、高效、稳定的大数据平台支撑和决策支持,成为腾讯大数据处理的核心平台。
Daemon_1994
·
2015-09-05 23:57
server
design
腾讯大数据之
TDW
计算引擎解析——Shuffle
腾讯分布式数据仓库(TencentdistributedDataWarehouse,简称
TDW
)基于开源软件Hadoop和Hive进行构建,并且根据公司数据量大、计算复杂等特定情况进行了大量优化和改造,
Daemon_1994
·
2015-09-05 22:51
server
design
Shuffle过程介绍
摘要:腾讯分布式数据仓库基于开源软件Hadoop和Hive进行构建,
TDW
计算引擎包括两部分:MapReduce和Spark,两者内部都包含了一个重要的过程—Shuffle。
pengweid
·
2015-05-03 12:32
mapreduce
Shuffle
mapreduce
Hadoop参考资料
腾讯
TDW
:大型Hadoop集群应用http://www.aboutyun.com/thread-11898-1-1.html1.腾讯为什么建设单个大规模集群?2.腾讯建设单个大规模集群是如何优化的?
wangtf6
·
2015-03-12 09:00
hadoop
字符串函数split、array_contains
1、split(stringstr,stringregex)函数:
TDW
官方文档上的解释:函数说明:Splitsstraroundoccurancesthatmatch用法示例:SELECTsplit(
李卓如
·
2015-02-28 15:31
腾讯大规模Hadoop集群实践
TDW
(Tencent distributed Data Warehouse,腾讯分布式数据仓库)基于开源软件Hadoop和Hive进行构建,打破了传统数据仓库不能线性扩展、可控性差的局限,并且根据腾讯数据量大
xqtesting
·
2015-01-15 13:11
腾讯
开源软件
数据采集
Tencent
调度系统
腾讯大规模Hadoop集群实践
TDW
(Tencent distributed Data Warehouse,腾讯分布式数据仓库)基于开源软件Hadoop和Hive进行构建,打破了传统数据仓库不能线性扩展、可控性差的局限,并且根据腾讯数据量大
xqtesting
·
2015-01-15 13:11
腾讯
开源软件
数据采集
Tencent
调度系统
2014年postgres中国用户大会记录
Day1议题1:腾讯大数据平台赵伟(腾讯)腾讯把postgres引入大数据平台,主要是用来处理在线计算(TRC)与离线计算(
TDW
)的结果,目前腾讯共有大概90多台左右的pg集群。
廖君
·
2014-12-14 22:00
PostgreSQL
postgres
腾讯实时检索分析平台hermes介绍
阅读更多腾讯大数据最近做了几件事,上线了一个官方网站http://data.qq.com/,将
TDW
(腾讯大数据库仓库)开源了,封闭的企鹅难得开放了一回。
jiezhu2007
·
2014-12-13 16:00
lucene
hermes
搜索引擎
实时分析
腾讯实时检索分析平台hermes介绍
阅读更多腾讯大数据最近做了几件事,上线了一个官方网站http://data.qq.com/,将
TDW
(腾讯大数据库仓库)开源了,封闭的企鹅难得开放了一回。
jiezhu2007
·
2014-12-13 16:00
lucene
hermes
搜索引擎
实时分析
腾讯实时检索分析平台hermes介绍
阅读更多腾讯大数据最近做了几件事,上线了一个官方网站http://data.qq.com/,将
TDW
(腾讯大数据库仓库)开源了,封闭的企鹅难得开放了一回。
jiezhu2007
·
2014-12-13 16:00
lucene
hermes
搜索引擎
实时分析
腾讯实时检索分析平台hermes介绍
腾讯大数据最近做了几件事,上线了一个官方网站http://data.qq.com/,将
TDW
(腾讯大数据库仓库)开源了,封闭的企鹅难得开放了一回。
jiezhu2007
·
2014-12-13 16:00
搜索引擎
Lucene
hermes
实时分析
腾讯实时检索分析平台hermes介绍
腾讯大数据最近做了几件事,上线了一个官方网站http://data.qq.com/,将
TDW
(腾讯大数据库仓库)开源了,封闭的企鹅难得开放了一回。
jiezhu2007
·
2014-12-13 16:00
搜索引擎
Lucene
hermes
实时分析
腾讯实时检索分析平台hermes介绍
腾讯大数据最近做了几件事,上线了一个官方网站http://data.qq.com/,将
TDW
(腾讯大数据库仓库)开源了,封闭的企鹅难得开放了一回。
jiezhu2007
·
2014-12-13 16:00
搜索引擎
Lucene
hermes
实时分析
腾讯数据仓库
TDW
元数据重构方案
TDWHIVE使用现状大规模应用场景下HIVE暴露出的问题HIVE进程内存占用高,GC频繁元数据接口性能下降(秒级->分钟级)元数据库压力大,不堪重负HIVE进程间各个session容易相互影响HIVE出现session卡死现象其他原因分析:元数据库单点问题性能瓶颈无法扩展ORM层带来的各种问题算法复杂度较高数据结构占用内存大高并发下容易发生死锁和死循环映射产生的表结构复杂有序数据结构HQLTra
标点符
·
2014-11-16 14:00
技术
数据仓库
Protobuf在腾讯数据仓库
TDW
的使用
protobuf是google提供的一个开源序列化框架,类似于XML、JSON这样的数据表示语言,其最大的特点是基于二进制,因此比传统的XML表示高效短小得多。虽然是二进制数据格式,但并没有因此变得复杂,开发人员通过按照一定的语法定义结构化的消息格式,然后送给命令行工具,工具将自动生成相关的类,可以支持java、c++、python等语言环境。通过将这些类包含在项目中,可以很轻松的调用相关方法来完
标点符
·
2014-11-13 14:00
技术
数据仓库
大规模Hadoop集群在腾讯数据仓库
TDW
的实践
随着业务的快速增长,
TDW
的节点数也在增加,对单个大规模Hadoop集群的需求也越来越强烈。
TDW
需要做单个大规模集群,主要是从数据共享、计算资源共享、减轻运营负担和成本等三个方面考虑。数据共享。
标点符
·
2014-11-13 12:00
hadoop
技术
腾讯
TDW
千台Spark千亿节点对相似度计算
本文将介绍腾讯
TDW
使用千台规模的Spark集群来对千亿量级的节点对进行相似度计算这个案例,通过实验对比,我们优化后的性能是MapReduce的6倍以上,是GraphX的2倍以上。
Johnny_Lee
·
2014-11-10 09:00
spark
大数据
ORA-00600 [kfioTranslateIO03] ORA-00600 [17090]
报错信息如下:alterdatabasemount TueNov0418:55:242014 Errorsinfile/paic/stg/oracle/11g/app/oracle/diag/rdbms/r0
tdw
xionglang7
·
2014-11-04 19:00
腾讯大数据之
TDW
计算引擎解析——Shuffle
腾讯分布式数据仓库(TencentdistributedDataWarehouse,简称
TDW
)基于开源软件Hadoop和Hive进行构建,并且根据公司数据量大、计算复杂等特定情况进行了大量优化和改造,
腾讯
·
2014-09-18 00:00
腾讯大数据平台纵览
从上图可以看出,腾讯大数据平台有如下核心模块:
TDW
刘煜宏
·
2014-08-21 00:00
腾讯大数据平台纵览
从上图可以看出,腾讯大数据平台有如下核心模块:
TDW
刘煜宏
·
2014-08-21 00:00
腾讯
TDW
:大型Hadoop集群应用
PS:
TDW
是腾讯最大的离线数据处理平台。本文主要从需求、挑战、方案和未来计划等方面,介绍了
TDW
在建设单个大规模集群中采取的JobTracker分散化和NameNode高可用两个优化方案。
谋万世全局者
·
2014-08-04 08:00
hadoop
linux
大数据应用
TDW
大型
操作系统课程设计消费者和生产者问题源码解析
这个函数的定义原形如下:HANDLECreateThread( LPSECURITY_ATTRIBUTESlpThreadAttributes,//SD SIZE_
Tdw
u010092734
·
2014-06-13 21:00
揭秘腾讯大数据之平台综述篇
从上图可以看出,腾讯大数据平台有如下核心模块:
TDW
iloveyin
·
2014-06-11 15:00
腾讯大数据之
TDW
计算引擎解析——Shuffle
腾讯分布式数据仓库(TencentdistributedDataWarehouse,简称
TDW
)基于开源软件Hadoop和Hive进行构建,并且根据公司数据量大、计算复杂等特定情况进行了大量优化和改造,
xrzs
·
2014-05-24 03:00
TDW
开源:腾讯的分布式数据仓库
腾讯分布式数据仓库(TencentdistributedDataWarehouse,简称
TDW
)是腾讯基于开源软件研发的大数据处理平台,它基于Hadoop、Hive、PostgreSQL之上进行研发,历经
亚信联创大数据平台li
·
2014-05-23 10:11
大数据
hadoop
hive
TDW
开源:腾讯的分布式数据仓库
腾讯分布式数据仓库(TencentdistributedDataWarehouse,简称
TDW
)是腾讯基于开源软件研发的大数据处理平台,它基于Hadoop、Hive、PostgreSQL之上进行研发,
Johnny_Lee
·
2014-05-23 10:00
hive
腾讯
TDW
通过腾讯shuffle部署对shuffle过程进行详解
原文链接:https://my.oschina.net/mkh/blog/267495摘要:腾讯分布式数据仓库基于开源软件Hadoop和Hive进行构建,
TDW
计算引擎包括两部分:MapReduce和Spark
chuanjiaoye5017
·
2014-05-21 18:00
通过腾讯shuffle部署对shuffle过程进行详解
摘要:腾讯分布式数据仓库基于开源软件Hadoop和Hive进行构建,
TDW
计算引擎包括两部分:MapReduce和Spark,两者内部都包含了一个重要的过程—Shuffle。
闵开慧
·
2014-05-21 18:00
MPP DB 是 大数据实时分析系统 未来的选择吗?
互联网公司用得比较多是HIVE/HBASE,如腾讯基于HIVE深度定制改造,改名为
TDW
,小米等公司选用HBASE等。关于HIVE/HBASE/IMPALA介绍等可以看我前面的文章。
jiezhu2007
·
2014-05-10 11:00
Greenplum
MPP
DB
hbase
hadoop
MPP DB 是 大数据实时分析系统 未来的选择吗?
互联网公司用得比较多是HIVE/HBASE,如腾讯基于HIVE深度定制改造,改名为
TDW
,小米等公司选用HBASE等。关于HIVE/HBASE/IMPALA介绍等可以看我前面的文章。
jiezhu2007
·
2014-05-10 11:00
hadoop
DB
hbase
GreenPlum
MPP
MPP DB 是 大数据实时分析系统 未来的选择吗?
互联网公司用得比较多是HIVE/HBASE,如腾讯基于HIVE深度定制改造,改名为
TDW
,小米等公司选用HBASE等。关于HIVE/HBASE/IMPALA介绍等可以看我前面的文章。
jiezhu2007
·
2014-05-10 11:00
Greenplum
MPP
DB
hbase
hadoop
MPP DB 是 大数据实时分析系统 未来的选择吗?
互联网公司用得比较多是HIVE/HBASE,如腾讯基于HIVE深度定制改造,改名为
TDW
,小米等公司选用HBASE等。关于HIVE/HBASE/IMPALA介绍等可以看我前面的文章。
jiezhu2007
·
2014-05-10 11:00
hadoop
DB
hbase
GreenPlum
MPP
MPP DB 是 大数据实时分析系统 未来的选择吗?
互联网公司用得比较多是HIVE/HBASE,如腾讯基于HIVE深度定制改造,改名为
TDW
,小米等公司选用HBASE等。关于HIVE/HBASE/IMPALA介绍等可以看我前面的文章。
jiezhu2007
·
2014-05-10 11:00
hadoop
DB
hbase
GreenPlum
MPP
MPP DB 是 大数据实时分析系统 未来的选择吗?
互联网公司用得比较多是HIVE/HBASE,如腾讯基于HIVE深度定制改造,改名为
TDW
,小米等公司选用HBASE等。关于HIVE/HBASE/IMPALA介绍等可以看我前面的文章。
jiezhu2007
·
2014-05-10 11:00
Greenplum
MPP
DB
hbase
hadoop
TDW
VS 飞天5K
离线数据平台
TDW
(TencentdistributedDataWarehouse)是腾讯最大的离线数据处理平台 ODPS(OpenDataProcessingService)是阿里巴巴研发离线数据处理平台
cuidiwhere
·
2014-02-20 23:00
windows 核心编程之18 堆
对组件进行保护2 更有效的内存管理3 局部访问4避免线程同步开销5快速释放3如果创建额外的堆HANDLEHeapCreate(DWORDflOptions,SIZE_TdwInitialSize,SIZE_
Tdw
woleiwei
·
2013-08-23 18:00
windows
核心编程
linux ssh 多台机器无密码相互登陆方法二
cat/root/.ssh/id_rsa.pub 吧各个机器的这个文件都拷出来,当一个模板用echo"ssh-rsaAAAAB3NzaC1yc2EAAAABIwAAAQEA07DhqapHjfGP6Q1
TDW
1cageTXXwJixSKEGlwdeAu
wgq_mysql
·
2013-07-12 15:24
linux
ssh
无密码
3G时代催生家居必备之新贵
然而这种情况或许会随着诸如
TDW
810无线座机的出现,而改变。无线座机以其完全特异于固话和手机的特质,有望成为家居必备之新贵。 之所以这么说,是因为
张书乐
·
2010-03-10 11:50
it
手机
电信
3G
无线座机
3G时代催生家居必备之新贵
然而这种情况或许会随着诸如
TDW
810无线座机的出现,而改变。无线座机以其完全特异于固话和手机的特质,有望成为家居必备之新贵。 之所以这么说,是因为
张书乐
·
2010-03-10 11:50
it
手机
电信
3G
无线座机
B2B 网站集锦
B2B网站集锦http://www.
tdw
888.cn/ comp主页参考http://www.chinaec.com**1.广州勤加缘网:http://www.qjy168.com
jeffy
·
2007-03-27 23:00
上一页
1
2
下一页
按字母分类:
A
B
C
D
E
F
G
H
I
J
K
L
M
N
O
P
Q
R
S
T
U
V
W
X
Y
Z
其他