Tungsten

Tungsten Replicator 4 同步数据从mysql同步到mongo

192.168.20.146#mysql主机(事先安装好，mysql5.7)192.168.20.140#mongodb主机（事先安装好，mongodb3.4.10)二前置条件：（147和140）1创建tungsten
负二贷·2024-09-03 01:37

olap/spark-tungsten：codegen

因为clickhouse没有codegen，这节课就拿我比较熟悉的spark的tungsten来当例子，tungsten会g
SakamataZ·2024-01-08 07:28

spark广播变量，累加器和SparkShuffle

Sparkshufflesparkshuffle演进的历史1、未经优化的HashShuffleManager2、优化后的HashShuffleManager3、SortShuffle4、sortshuffle的bypass运行机制5、Tungsten-SortBasedShuffle
落幕7·2023-12-22 07:16

Tungsten Fabric数据量过大问题处理初探

开源SDN系统TungstenFabric面临数据产生过多问题。经排查，产生数据多出自analytics组件的Cassandra数据库()。很多分析数据会存储至Cassandra库，并持久化处理。没有特殊调整的话，目录在/var/lib/docker/volumes/analytics_database_analytics_cassandra/_data/ContrailAnalyticsCql两
9命怪猫·2023-09-25 22:28

Tungsten Fabric Rabbitmq故障处理

开源SDN软件TungstenFabric（以下简称TF）有时莫名其妙出现服务宕机情况。使用TF自带工具contrail-status排查，多数时候是rabbitmq出现宕机，或者某个组件连接rabbitmq出错。本次仅排查、处理rabbitmq问题。1.查rabbitmq日志发现连接vhost“/”错误2.初步处理：查网上的攻略，直接给用户赋vhost权限（命令如下），无效。rabbitmqct
9命怪猫·2023-09-24 22:11

Spark UnsafeShuffleWriter写流程分析

Spark的UnsafeShuffleWriter是Tungsten-Project（内存管理）引入的新的ShuffleWriter。
WestC·2023-09-24 02:25

Spark vs Flink

对比项目SparkFlink抽象流式RDD的抽象，DStream独立的DataSet(批处理)和DataStream对象内存管理1.5版本开始用tungsten，精确控制内存，不再直接用Java的内存管理一直是自己管理内存语言
RocWay·2023-08-20 11:30

Shuffle

若在map端选择Tungsten的排序方式，则采用ShuffleExterna
d9610fcd3279·2023-03-18 19:34

command on test

1、##00**调出隐藏菜单，*号下是停止auto测试脚本2、跳过OOBE：pmdisablecom.google.android.tungsten.setupwraith/.MainActivity3
沉默地羔羊·2023-02-07 02:37

Spark Tungsten Shuffle Write

ShuffleMapTask的runTask()方法overridedefrunTask(context:TaskContext):MapStatus={//DeserializetheRDDusingthebroadcastvariable.valdeserializeStartTime=System.currentTimeMillis()valser=SparkEnv.get.closureS
imarch1·2023-02-03 23:04

Spark之RDD与DataFrame的区别与理解

不带数据模式或者说是泛型的2.RDDAPI的执行引擎是SparkCore，其SparkCore的本质是负责任务的调度、计算、及存储;DFAPI优化引擎是SparkSQL，包括Catalyst执行过程优化和Tungsten
莫叫石榴姐·2023-02-03 12:39

Spark TaskMemoryManager如何为task分配执行内存？

TMM是tungsten内存管理机制的核心实现类（tungsten内存管理只作用于执行内存），它的功能包括：1.建立类似于操作系统内存页管理的机制，对ON_HEAP和OFF_HEAP内存统一编址和管理。
旺旺鸽不鸽·2023-02-02 09:16

如何设置TF SDN网关，并与Tungsten Fabric协同工作

TungstenFabric并不是“vanilla”（意为完美的）Openstack与OVS。在Neutron/OVS中，虚拟机通过所谓的供应商网络（ProviderNetworks）离开数据中心。它们是在数据中心交换结构上移动的VLAN网络，以便连接到网络的其它部分。这意味着要在交换结构上配置和管理所有这些VLAN。TungstenFabric的方法是不同的，它有一个单一的VLAN：TF控制+数
TungstenFabric·2022-08-13 08:31

Tungsten Fabric SDN — 与 Kubernetes 的资源映射

目录文章目录目录KubernetestoContrailObjectMappingK8sNamespacemappingtoTFSharedorsingleproject（multi-tenancy，多租户增强）K8sNamespacemappingtoTFSharedProjectK8sNamespacemappingtoTFSingleProjectK8sPodmappingtoTFVRFVi
范桂飓·2022-08-13 08:59

[SPARK][CORE] 面试问题之UnsafeShuffleWriter流程解析（下）

欢迎关注微信公众号“Tim在路上”UnsafeShuffle的实现在一定程度上是Tungsten内存管理优化的的主要应用场景。
Tim在路上·2022-06-04 11:17

mysql主从复制

1、MYSQL主从复制(单活)2、双主(单活)，failover比单主简单3、双主配san存储(单活)4、DRBD双主配DRBD(单活)5、NDBCLUSTER6、第三方的Tungsten7、网易的INNOSQL
词穷又词贫·2022-02-18 04:51

Spark - Task的执行过程（二）- UnsafeShuffleWriter

UnsafeShuffleWriter也是不具备聚合功能的，但是他使用Tungsten的内存作为缓存，这
·2021-08-12 18:30

Spark核心API发展史：RDD、DataFrame、DataSet

QQ图片20160602195119.png二、Spark第二代API：DataFrameDataFrame核心特征：*包含了已ROW为单位的每行数据的列的信息，此时DataFrame就是Table；*Tungsten
ALTHE·2021-05-08 00:48

专利陶瓷纽扣

DAISHI-黛石®，TUNGSTEN-汤斯敦®我们倾力打造的双子星纽扣品牌。是造钮扣中的高档品牌。
Qroy·2021-04-21 22:16

TF功能开发路线图：盘点2021年Tungsten Fabric聚焦领域

在Linux基金会主办的“LFN技术会议”上，TungstenFabric社区进行了一系列演讲，介绍最新的功能和未来发展方向。今天带来第一篇演讲，看看TungstenFabric在2021年将聚焦哪些亮点功能和项目，以及计划涵盖的主要创新领域。大家好！我是NickDavey，现在是早上8点，我刚喝过咖啡，会尽量保持清醒，非常感谢你们这么早参与进来，感谢有这个机会与社区进行探讨。我是瞻博网络的产品经
TungstenFabric·2020-12-29 17:28

Spark性能优化第七季之Spark Tungsten 钨丝计划

原文：http://blog.csdn.net/sundujing/article/details/51424491一：“钨丝计划”产生的本质原因1，Spark作为一个一体化多元化的（大）数据处理通用平台，性能一直是其根本性的追求之一，Spark基于内存迭代（部分基于磁盘迭代）的模型极大的满足了人们对分布式系统处理性能的渴望，但是有Spark事采用Scala+Java语言编写的所以运行在JVM平台
u013063153·2020-09-17 03:25

tungsten-replication实现mysql-mongo数据同步

1、停止从库的主从同步，导出从库中的所有数据，清空从库；2、配置从库和第二从库的同步3、搭建tungsten-relicator同步（mysql-mongo）4、将从库导出的数据从新导入从库5、重启启动主从同步
长裙小矮子·2020-09-11 05:59

在linux下面手动编译Mongodb cpp驱动

之前做了一些关于mongodbreplication的一些调研，主要集中在开源软件Tungsten上。这个开源软件是用java写的，和mongo的交互也就用的java。
lq19880488·2020-09-10 14:26

Apache Spark作为编译器：深入介绍新的Tungsten执行引擎　

原文链接：ApacheSparkasaCompiler:JoiningaBillionRowsperSecondonaLaptopDeepdiveintothenewTungstenexecutionengine作者：SameerAgarwal、DaviesLiu、ReynoldXin译者：@过往记忆，极客头条主编，目前主要工作方向是Spark、Flink以及Kafka等，并使用Spark搭建数据
仲浩·2020-08-24 05:32

Tungsten Replicator学习总结

之前基于TungstenReplicator实现了内部使用的分布式数据库的数据迁移工具，此文为当时调研TungstenReplicator时的学习心得，创建于2015.7.22。1概述1.1介绍TungstenReplicator是数据库集群和复制供应商Continuent推出的高性能、开源的数据复制引擎，是Continuent最先进的集群解决方案的核心组件之一，特别适合作为异构数据库之间数据迁移
Leo_Dominic_Xu·2020-08-23 08:46

tungsten-replicator 实现mysql 与mysql同步

１，centos5.3安装tungsten需要ruby,java[root@localhost~]#java-versionjavaversion"1.6.0_25"Java(TM)SERuntimeEnvironment
Leo_Dominic_Xu·2020-08-23 08:15

spark Tungsten-将硬件性能彻底压榨

Tungsten项目将是Spark自诞生以来内核级别的最大改动，以大幅度提升Spark应用程序的内存和CPU利用率为目标，旨在最大程度上压榨新时代硬件性能。
snwz5588668·2020-08-22 18:21

Tungsten Fabric作为基于Akraino网络边缘的SDN

作者：SagarNangareSDN是动态和智能网络路线图中的关键技术，无论是企业级连接本地的多个设备，还是跨广域（SD-WAN）的分支机构。凭借SDN技术的强大功能，电信运营商正在利用它实现对网络和计算节点的集中控制。随着5G成为电信和技术业务参与者的主流中断，越来越需要实时处理网络中的数据流，同时巧妙地最小化带宽使用和延迟。SDN和NFV技术的出现，为建立一个对最终用户具有预期需求的网络，以及
Donald·2020-08-20 21:47

Tungsten Fabric作为基于Akraino网络边缘的SDN

作者：SagarNangareSDN是动态和智能网络路线图中的关键技术，无论是企业级连接本地的多个设备，还是跨广域（SD-WAN）的分支机构。凭借SDN技术的强大功能，电信运营商正在利用它实现对网络和计算节点的集中控制。随着5G成为电信和技术业务参与者的主流中断，越来越需要实时处理网络中的数据流，同时巧妙地最小化带宽使用和延迟。SDN和NFV技术的出现，为建立一个对最终用户具有预期需求的网络，以及
Donald·2020-08-20 21:47

Tungsten Fabric知识库丨vRouter内部运行探秘

原文链接：https://github.com/tnaganawa/tungstenfabric-docs/blob/master/TungstenFabricKnowledgeBase.md作者：TatsuyaNaganawa译者：TF编译组本系列为“TungstenFabric入门宝典”的姊妹篇，补充介绍有关TungstenFabric部署的各类主题。vhost0设备首次启动vRouter时，
TF中文社区·2020-08-14 15:29

Tungsten Fabric知识库丨vRouter内部运行探秘

原文链接：https://github.com/tnaganawa/tungstenfabric-docs/blob/master/TungstenFabricKnowledgeBase.md作者：TatsuyaNaganawa译者：TF编译组本系列为“TungstenFabric入门宝典”的姊妹篇，补充介绍有关TungstenFabric部署的各类主题。vhost0设备首次启动vRouter时，
TF中文社区·2020-08-14 15:21

Spark Tungsten in-heap / off-heap 内存管理机制

这篇文章具体描述了SparkTungstenproject引入的新的内存管理机制，并且描述了一些使用细节。前言发现目前还没有这方面的文章，而自己也对这块比较好奇，所以就有了这篇内容。分析方式基本是自下而上，也就是我们分析的线路会从最基础内存申请到上层的使用。我们假设你对sun.misc.Unsafe的API有一些最基本的了解。in-heap和off-heap(MemoryAllocator)首先我
祝威廉·2020-07-29 17:06

Spark Tungsten-sort Based Shuffle

想让您的程序使用Tungsten的功能，可以配置：Spark.Shuffle.Manager=tungsten-sortSpark在钨丝计划下要管理两种类型的内存存储方式：堆内和堆外。
scottzcw·2020-07-28 10:14

TF技术会议精要：更新R2003 build，新版本将使用upstream DPDK

更新后R2003版本链接为：https://wiki.tungsten.io/display/TUN/Release
TF中文社区·2020-07-23 16:26

Spark第二代Tungsten引擎测试数据和引擎实现内幕

Spark2.X中的第二代Tungsten性能之所以能够提升10倍左右的原因：1、去掉了虚函数的调用，极大的减少了CPU指令的无用的消耗！2、数据直接放在寄存器中，至少提升了一个数量级的数据读写熟读！
ALTHE·2020-07-11 22:55

tungsten fabirc vgw报文流向分析:1.浮动ip 2.非浮动ip

环境:ctrl---cmp1---cmp2vhost(10.x;eth2(public):20.x)创建vgw:dockerexec-itvrouter_vrouter-agent_1python/opt/contrail/utils/provision_vgw_interface.py--opercreate--interfacevgw1--subnets192.168.20.128/25--r
wellsmith·2020-07-10 11:12

Tungsten Fabric Workshop 演讲人招募令

KubeCon中国大会TungstenFabricWorkshop演讲人招募令招募演讲人长演讲&短演讲&小组座谈2018年11月13日（星期二）2018年11月13日（星期二），Linux基金会网络项目TungstenFabric将举行为期一天的SDNWorkshop，作为官方同场活动与KubeCon中国大会一同举行。活动链接：https://www.lfasiallc.com/events/ku
weixin_37097605·2020-07-10 09:07

tungsten-replicator 实现　mysql 与mysql同步

１，centos5.3安装tungsten需要ruby,java[root@localhost~]#java-versionjavaversion"1.6.0_25"Java(TM)SERuntimeEnvironment
weixin_34414650·2020-07-10 09:09

Tungsten Replicator 多环境复制工具安装方法

编译1.下载代码gitclonehttps://github.com/vmware/tungsten-replicator2.安装依赖yuminstallant;yuminstallruby;3.执行编译
weixin_34357436·2020-07-10 09:54

tungsten

tungsten下载地址:https://code.google.com/p/tungsten-replicator/downloads/list安装后的效果：在MySQL中执行下面的建表和插入数据的SQL
weixin_33747129·2020-07-10 07:39

Tungsten Fabric(6):部署更高版本的TF

之前文章中描述了部署R1902版本的踩坑过程。后续准备升级一下，目标定在了R2003，主要是https://github.com/Juniper/contrail-controller和镜像都有这个版本。很多细节和之前一样，下面就列一些需要关注的点。部署环境系统信息[root@master01~]#cat/etc/redhat-releaseCentOSLinuxrelease7.8.2003(C
ljyfree·2020-07-09 19:38

Tungsten Fabric(7):编译和打包

官方的contrail-dev-env在编译的过程中，需要到Junper内部的repo取包，这个我们是无法访问的。好在有tf-dev-env可以完成同样的工作。目前tf-dev-env只有master这一个分支，但还是可以编译指定的contrail-controller的branch。前期准备因为编译过程中需要访问很多的网络资源，所以你需要保证编译用的主机访问网络不受限制(你懂的)我使用的云主机信
ljyfree·2020-07-09 19:07

Tungsten Fabric(5):对接vMX填坑

TungstenFabric作为Juniper开源的控制器，自然支持对接管控自家的交换机，主要是MX和QFX系列交换机。当然，对于绝大多数人来说，不可能因为要了解对接的机制就去真的购买Juniper的物理交换机，更现实的方法是使用MX的虚拟机版本vMX来做模拟实验。下面做的实验就是基于EVE-NG模拟平台，在CentOS虚拟机上做TF&k8s集成部署，然后启动vMX来做对接。需要注意的是，本文着眼
ljyfree·2020-07-09 19:07

Tungsten Fabri(4):TOR模式对接vMX

参考:http://nakadaisuke.blogspot.com/2018/08/how-to-configure-contrailtungstenfabric.html准备工作基于EVE-NG环境通过deployer部署TF&k8s集成环境(master01/node01/node02)deployer主机作为一台裸金属服务器在每个node和裸金属服务器上都有一台vMX做TORvMX-1的l
ljyfree·2020-07-09 19:07

Tungsten Fabric(3):与vMX建立基本的iBGP邻居

前期准备ESXi主机上创建虚拟机安装EVE-NGEVE-NG上的虚机和连线描述如下：mgmt-net可以让虚机之间互通，并可以访问外网创建多台CentOS7.7的虚机，基于TF&k8s集成部署(deployer/master/node)master(contrail)的eth0的IP为192.168.122.177/24创建vMX虚拟交换机(vmx14.1)，ge-0/0/2的IP为192.168
ljyfree·2020-07-09 19:07

Tungsten Replicator解决异构数据同步的需求

传统的使用Tungsten，是把它作为DBReplication的一部分。但是在互联网架构中，异构数据系统之间如何保持数据的一致性，是架构师面临的普遍挑战。这样的系统
iteye_783·2020-07-09 17:20

tungsten-replicator问题与解决方法

最近使用tungsten-replicator同步mysql的数据到mongodb，期间遇到不少错误，记录一下解决方法。
try-catch-finally·2020-07-09 16:39

---Spark学习-shuffle和RDD

SortShuffle改进Tungsten计划sparkshuffle参数调优SparkRDDRDD机制RDD持久化原理不使用RDD的持久化使用持久化checkpoin
-无妄-·2020-07-09 13:18

Tungsten Fabric解决方案指南-Gateway MX

作者：TonyLiu译者：TF编译组1总览本指南介绍如何使用MX作为网关（gateway），为TungstenFabric（编者按：原文为Contrail，其开源版已更名为TungstenFabric，本文出现Contrail之处均以TungstenFabric替换）管理的overlay层提供external或underlay连接。根据性能要求，网关可以连接到主干（spine）或叶子（leaf）。
TungstenFabric·2020-07-09 12:44

Tungsten Fabric入门宝典丨关于集群更新的那些事

TungstenFabric入门宝典系列文章，来自技术大牛倾囊相授的实践经验，由TF中文社区为您编译呈现，旨在帮助新手深入理解TF的运行、安装、集成、调试等全流程。如果您有相关经验或疑问，欢迎与我们互动，并与社区极客们进一步交流。更多TF技术文章，请点击【TF中文社区】微信公众号底部按钮＞学习＞文章合集。作者：TatsuyaNaganawa译者：TF编译组集群范围内的更新是很重要的功能，可以在保证
TungstenFabric·2020-07-09 12:43
上一页 1 2 3 4 5 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他