数据平台-基础架构第5页

火山引擎ByteHouse：分析型数据库如何设计并发控制？

字节数据平台·2024-01-31 22:38

火山引擎VeDI：新增微信小程序广告A/B实验功能，助力企业降低获客成本

字节数据平台·2024-01-31 22:07

火山引擎ByteHouse：分析型数据库如何设计列式存储

字节数据平台·2024-01-31 22:37

A/B实验在字节跳动推荐系统中的应用与实践

字节数据平台·2024-01-31 22:36

漏洞分析|Apache RocketMQ 远程命令执行漏洞（CVE-2023-33246）

1.漏洞描述RocketMQ是一个分布式消息和流数据平台，具有低延迟、高性能、高可靠性、万亿级容量和灵活的可扩展性。ApacheRocketMQ此漏洞是一个远程命令执行漏洞。

AttackSatelliteLab·2024-01-31 16:26

MySQL基础架构

这道题应该从MySQL架构来理解，我们可以把MySQL拆解成几个零件，如下图所示大致上来说，MySQL可以分为Server层和存储引擎层。Server层包括连接器、查询缓存、分析器、优化器、执行器，包括大多数MySQL中的核心功能，所有跨存储引擎的功能也在这一层实现，包括存储过程、触发器、视图等。存储引擎层包括MySQL常见的存储引擎，包括MyISAM、InnoDB和Memory等，最常用的是In

JusticeCAO·2024-01-31 11:00

Redis热Key问题解决方案汇总

目录方法1:使用Memcached,常见使用在公司基础架构中方法2:拆分key,分摊读请求方法3:多级缓存,代理层面增加本地缓存+Redis+JVM缓存(Guava的LoadingCache,Caffeine

Cat凯94·2024-01-31 11:33

MySQL之系列

01基础架构：一条SQL查询语句是如何执行的。02日志系统一条SQL更新语句是如何执行的？。03事务隔离：为什么你改了我还看不见？。04MySQL索引原理分析-1。05mysql的锁分析。

一户董·2024-01-31 11:44

DDoS攻击方式和原理

分布式拒绝服务（DDoS）攻击是一种恶意企图，通过大量互联网流量压倒目标或其周围的基础架构来破坏目标服务器，服务或网络的正常流量。DDoS攻击通过利用多个受损计算机系统作为攻击流量来源来实现有效性。

13049047c237·2024-01-31 10:18

【大数据安全】大数据安全的挑战与对策&基础设施安全

目录一、大数据安全的挑战与对策（一）数据加密技术（二）大数据安全与隐私（三）大数据安全保障体系（四）华为大数据安全解决方案二、基础设施安全（一）认证技术（二）访问控制（三）公钥基础设施（四）华为大数据平台大数据安全是指在大数据环境下

Francek Chen·2024-01-31 10:49

基于JAVA的免费天气预报接口查询

今天主要分享一下篇如何基于JAVA对聚合数据平台的天气接口，进行查询：1、开通接口天气预报接口服务使用的聚合数据提供的免费接口，免费会员每天可以100次免费调用。

Q_Jamie·2024-01-31 07:58

精选案例｜首创证券 NoETL 敏捷数据分析创新实践

【方案亮点】基于AloudataAIR逻辑数据平台、AloudataCAN自动化指标平台，轻松实现企业全域数据的集成整合、指标定义及业务自助分析：逻辑化集成整合，零数据搬运实现10+个不同数据源的快速、

Aloudata·2024-01-31 06:03

什么叫超融合基础架构？

超融合基础架构是一种软件定义的IT基础架构，包括虚拟化计算，虚拟化存储（一般为分布式存储）、虚拟化

greatrooster·2024-01-31 04:17

深信服超融合

SDS（软件定义存储）是超融合基础架构（HCI）的重要一环，一般来说超融合基础架构（HCI）由三大模块组成，分别是计算虚拟化、网络虚拟化以及存储虚拟化，在超融合基础架构（HCI）之深信服信服云aCloud

轻云望月笑容常挂·2024-01-31 04:47

超融合基础架构

以软件为中心，替代传统架构超融合基础架构是一种融合的、统一的IT基础架构，它包含了传统数据中心常见的元素:计算、存储、网络以及管理工具。

shanyuncs·2024-01-31 04:47

从 Greenplum 到 Databend，万全网络数据库平台架构演进

作者：代城万全网络高级工程师，负责万全网络数据平台整体架构研发工作，拥有超过7年的大数据相关技术研发经验，一直关注着开源和云技术的发展。万全网络科技有限公司是一家专注于B端电商物流供应链的公司。

Databend·2024-01-31 04:29

VM 虚拟机构建 Prometheus + Thanos 环境 (1) - 基础架构 && Prometheus 安装

构建Prometheus+Thanos环境时，考虑到Prometheus原生开源版并未提供高可用性的支持，特别是在面对更大规模和高可用性要求的监控场景时。因此，引入Thanos成为一种选择。Prometheus通常以单实例运行，适用于小到中等规模的监控需求，但在更大规模和高可用性要求下，Thanos提供了解决方案，通过集中、查询汇聚多个Prometheus实例的数据，并支持长期数据存储，从而提高了

炸鸡物料库·2024-01-31 01:54

Spark 读取、写入时序数据库TDengine以及TDengine概述

除核心的时序数据库功能外，TDengine还提供缓存、数据订阅、流式计算等大数据平台所需要的系列功能，最大程度减少研发和运维的复杂度。1.TDengine总结出了物联网

Alex_81D·2024-01-30 18:10

我是职场小白，如何能够平稳度过试用期？

本节课针对于试用期该如何卷赢其他人，拿到好的试用期评价提出一些方法（当然也存在个人做的很好，但业务线亏损裁员，这不能怪个人能力差，被裁后立马写简历找下家）部门组织架构数据中台数据中台是单独的部门，包含数据平台

语兴数据·2024-01-30 15:32

深入浅出数据产品与指标体系

tob则是对内支持（公司内部数据平台支持）

语兴数据·2024-01-30 15:01

数仓建设学习路线（四）-指标体系建设

（风控/bi）达成合作，保障指标建设时口径的统一，完成指标覆盖，提升复用性，通过可视化方式提升查询效率指标中心图指标体系建设难点能否与下游达成共识（沟通）指标能否做到数仓收口需要与其他部门配合（数据平台

语兴数据·2024-01-30 15:00

基础支撑平台（企业集成平台）建设方案-word

基于以上分析对基础支撑平台，提出了以下要求：基于平台的基础架构，对于多源异构系统，提供统一的数据接口，实现一张屏显示所有接入数据；作为基础支撑平台，其在扩展性方面主要表现为提供对多种异构系统应用的集成，

软件项目资料查询库·2024-01-30 12:10

奇富科技：大数据任务从诊断到自愈的实践之路

整个大数据平台有1000+机器、70P数据量，每日新增200T数据。每天在毓数工作流上运

DolphinScheduler社区·2024-01-30 11:08

您的云采用路线图

企业意识到要保持领先地位，他们需要能够支持不断增长的数据负载以及更快的工作速度的基础架构。只有云才能使他们协作，集思广益，并在几个小时内推出这些想法。云已经发展到支持现代企业的雄心和日常运营。

田鑫科技·2024-01-30 11:43

为什么Kubernetes在边缘计算中如此关键？

边缘计算是云计算的一种变体，在边缘计算的设计中是将用于计算、存储和联网的基础架构服务在物理上更靠近生成数据的现场设备。可以说，这消除了数据到数据中心之间的“往返路程”，提高了服务的可用性。

k3s中文社区·2024-01-30 06:26

别问我SolarWinds Orion API怎么用，自己进来看看，看完还不会来骂我

前言SolarWindsOrion平台是一个统一的网络和系统管理产品套件，可用于监控IT基础架构。

H_00c8·2024-01-30 03:53

hadoop必记知识点（1）

Hadoop是一个由Apache基金会所开发的分布式系统基础架构。它可以让使用者在普通的硬件上搭建起一个强大的计算集群。Hadoop的特点包括：高可靠性、高扩展性、高容错性、支持大数据和高并发等。

运维仙人·2024-01-30 02:40

2020java面试总结

或者至少让同学们知道现在企业都问些啥，以及一些面试的注意事项，希望对你有参考作用本次面试情况：2020年7月中开始，持续3周多时间，面了13家，2家没过，1家意外，10家通过，如下：1)拍拍贷，业务岗资深技术专家+基础架构部资深

暮晓引流软件·2024-01-29 13:33

基于大数据平台的kylin安装部署手册

目录一.单例Kylin部署1.环境准备1.1软件要求1.2硬件要求1.3Hadoop环境1.4安装前环境检查1.4.1开启时钟同步1.4.2安装net-tools1.4.3检查hbase是否可用1.4.4检查hive是否可用（etl用户,控制台输入）1.4.5检查Hive配置文件2.Kylin安装2.1配置环境变量2.2修改tomcat的配置文件2.3检查tomcat依赖包4.4检查Kylin权限

猿来孺词·2024-01-29 10:26

高性能分布式对象存储——MinIO（环境部署）

使用MinIO为机器学习、分析和应用程序数据工作负载构建高性能基础架构。

seaskyccl·2024-01-29 10:39

做直播都需要准备什么？新手直播没经验?抖音直播前准备工作有哪些?

因为抖音是数据平台，第一次很重要，一定要借助亲友团的力量，大大提高留存率，当新人进来时不至于看到直播间没人而秒进秒退。

高省_飞智666600·2024-01-29 10:06

产业需求大数据平台

产业需求大数据平台，依托大数据、NLP等技术，全面采集区域产业人才需求数据，从宏观、中观、微观三个层面对产业需求进行分析，并匹配学校自身的办学定位、专业布局、人才培养目标、培养规格和课程设置，进行专业设置匹配度

单眼皮的老虎·2024-01-29 09:24

kafka替代者：Redpanda的架构及部署

介绍Redpanda使用C++编写，是一个与Kafka兼容的流数据平台，事实证明它的速度提高了10倍。它还不含JVM、不含ZooKeeper、经过Jepsen测试且源代码可用。

Linux资源站·2024-01-29 01:47

快速了解 Kafka 基础架构

今天来聊下大数据场景下比较流行的消息队列组件kafka。本篇文章将主要从理论角度来介绍。kafka是一款开源、追求高吞吐、实时性，可持久化的流式消息队列，可同时处理在线（消息）与离线应用(业务数据和日志)。在如今火热的大数据时代，得到了广泛的应用。整体架构kafka的消息以Topic进行归类，支持分布式distribution、可分区partition和可复制replicated的特性。下面为本人

波罗学·2024-01-28 21:47

文华说天赋～kin57:信仼内在导航促进生命进化

从磁性的红天行者至自我存在的黄战士，我们完成了自我探索的基础架构，接下来就该发挥我们的力量采取具体的行动了，在这里，我替

文华_7431·2024-01-28 12:22

Spark——Spark读写Greenplum/Greenplum-Spark Connector高速写Greenplum

文章目录问题背景解决方式代码实现Spark写GreenplumSpark读Greenplum参考问题背景通过数据平台上的DataX把Hive表数据同步至Greenplum（因为DataX原生不支持GreenplumWriter

Southwest-·2024-01-28 08:42

如何写第一个属于自己的Web页面（Django）

上期（超实用搭建个人开发Web网页的软件及配置基础）已经详细的介绍了基于Django+MySQL+PyCharm组合配置的Web开发的基础架构。

龙star180·2024-01-28 08:26

Kafka入门

文章目录基础架构工作流程文件存储生产者producer消息发送分区策略producer发送消息流程RecordAccumulator（记录累加器）生产者高级设计之自定义数据结构生产者高级设计之内存池设计

FREE_GIFT_白给怪·2024-01-28 07:08

如何检查Post body并作出响应？

AkamaiEdgeWorkers是一个规模庞大的分布式无服务器网络，可以帮助客户在边缘处编写和部署自定义代码，而无需考虑基础架构或编程语言等繁琐事项。

Akamai中国·2024-01-27 23:38

我们的大数据平台项目之所以很实惠是因为有套路可循

我们的大数据平台项目之所以很实惠是因为有套路可循大数据已经成为企业决策的关键因素。然而，许多企业在实施大数据项目时，常常面临成本高昂、技术复杂等挑战。

UI设计前端开发一线员工·2024-01-27 19:00

【华为云-云驻共创】数据高速公路—数仓集群通信技术详解

数据仓库服务GaussDB（DWS）是一种基于华为云基础架构和平台的在线数据分析处理数据库，提供即开即用、可扩展且完全托管的分析型数据库服务。GaussDB（DWS）是基于华为融合数据仓库Gaus

IT民工金鱼哥·2024-01-27 18:29

SSH、SSM、前端开发技术体系

使用Struts作为系统的整体基础架构，负责MVC的分离，在Struts框架的模型部分，控制业务跳转，利用Hibernate框架对持久层提供支持，Spring做管理，管理struts和hibernate

ZHENGJHUI12·2024-01-27 14:32

搭建大数据平台常用的端口号

50070：HDFSwebUI的端口号8485:journalnode默认的端口号9000：非高可用访问数rpc端口8020：高可用访问数据rpc8088：yarn的webUI的端口号8080：master的webUI，Tomcat的端口号7077：spark基于standalone的提交任务的端口号8081：worker的webUI的端口号18080：historyServer的webUI的端口

修勾勾L·2024-01-27 13:51

第一章：DMP数据平台基本概念与架构

1.背景介绍1.背景介绍DMP(DataManagementPlatform)数据平台是一种集成数据收集、存储、分析和管理的解决方案，主要用于帮助企业更好地理解和利用自身的数据资源。

OpenChat·2024-01-27 12:34

使用.minio实现元对象的存储学习笔记