数据平台-基础架构第18页

【日志系统】redo log 和 binlog 详解

1、前言首先了解一下MySQL基础架构：一条SQL语句的执行过程一般是经过连接器、分析器、优化器、执行器等功能模块，最后到达存储引擎，如果一个表上有更新的时候，跟这个表有关的查询缓存会失效，所以一条更新语句就会把表上所有缓

徐志斌.·2023-11-26 20:44

【web前端期末大作业】html网上在线书城大学生静态网页大学生html当当书城仿站网上书城购物网页作业HTML

IT芷君·2023-11-26 20:06

云建站架构师rain·2023-11-26 19:45

【基础架构】part-2 可扩展性

文章目录可扩展性（Scalability）2.1水平扩展2.2垂直扩展2.3弹性扩展三、可靠性（Reliability）3.1容错机制3.2错误处理和恢复策略3.3监控和自动化运维四、安全性（Security）4.1身份验证和授权4.2加密和数据保护4.3安全审计和监控五、可维护性（Maintainability）5.1模块化设计5.2清晰的代码结构5.3文档化5.4自动化测试和部署六、性能（Pe

我の唯一·2023-11-26 18:28

我の唯一·2023-11-26 18:52

Serverless架构开发与SCF部署实践

Serverless现状与未来：剑入佳境，无招胜有招\\在金庸的笔下，独孤求败是一个从未正式出场的奇人，他功力大成之后，草木竹石可为剑，无剑胜有剑；而在互联网世界里，开发者也一样有着不同的境界，先是从基础架构做起

weixin_34102807·2023-11-26 17:50

2023年全国职业院校技能大赛-赛题第01套-GZ033 大数据应用开发

目录任务A：大数据平台搭建（容器环境）（15分）子任务一：Hadoop完全分布式安装配置子任务二：SparkonYarn安装配置子任务三：HBase分布式安装配置任务B：离线数据处理（25分）子任务一：

你可知这世上再难遇我·2023-11-26 13:48

【硬核干货】Node.js 底层原理

作者介绍：陈跃标，ByteDanceWebInfra团队成员，目前主要负责Node.js基础架构方向的工作大厂技术高级前端Node进阶点击上方程序员成长指北，关注公众号回复1，加入高级Node交流群本文内容主要分为两大部分

傲娇的koala·2023-11-26 08:46

HBase详细部署流程

大数据平台XSailboat简介_OkGogooXSailboat的博客-CSDN博客1、部署环境在安装HBase之前，首先应确保以下基础设施构建成功：JDK8版本安装设置成功：jdk8.0_161以上版本

yujianbujianqwe·2023-11-26 04:50

Python如何取小数点位数

简单介绍在写一个数据平台的时候，发现需要进行通过率的统计，所以不可避免的出现小数的情况。至此，会出现无限小数，那么如何进行取舍呢？

M_派森·2023-11-26 02:54

第2章信息系统集成及服务管理

资质管理办法3.资质等级条件资质条件2.3IT服务管理及信息系统审计☆1.ITIL与IT服务管理1.ITIL(InformationTechnologyInfrastructureLibrary)信息技术基础架构库

珺joy·2023-11-25 21:00

SQL on Hadoop在快手大数据平台的实践与优化 | 分享实录

快手大数据架构工程师钟靓本文是根据快手大数据架构工程师钟靓于5月18-19日在A2M人工智能与机器学习创新峰会《SQLonHadoop在快手大数据平台的实践与优化》演讲中的分享内容整理而成。

weixin_34292959·2023-11-25 19:46

CentOS7安装Docker运行环境

Docker使您能够将应用程序与基础架构分开，从而可以快速交付软件。借助Docker，您可以与管理应用程序相同的方式来管理基础架构。

一朝风月S·2023-11-25 14:09

cdh亲测2022/11/12

一、Hadoop大数据平台1、Hadoop发行版(1)完全开源的原生的ApacheHadoop(2)Cloudera与Hortonworks公司的CDH和HDP：在Cloudera和Hortonworks

Tian.Mrs·2023-11-25 14:18

CDH6安装教程(亲自测试越坑版)

一、Hadoop大数据平台1、Hadoop发行版(1)完全开源的原生的ApacheHadoop(2)Cloudera与Hortonworks公司的CDH和HDP：在Cloudera和Hortonworks

inrgihc·2023-11-25 14:14

RabbitMQ

二、RabbitMQ的基础架构Server（服务器）：RabbitMQ服务器是核心组件，它负责处理客户端的连接、处理消息队列和路

望南364·2023-11-25 13:31

大数据质量管理工具-Apache Griffin

概述数据质量模块是大数据平台中必不可少的一个功能组件，ApacheGriffin（以下简称Griffin）是一个开源的大数据数据质量解决方案，它支持批处理和流模式两种数据质量检测方式，可以从不同维度（比如离线任务执行完毕后检查源端和目标端的数据数量是否一致

reco171·2023-11-25 13:07

同程数科基于 Apache Doris 构建统一实时数仓，查询提速数十倍！

为帮助业务人员提升数据开发的效率与质量，同程数科历经三代架构演进，最终引入ApacheDoris搭建统一实时数仓，在后续的实际应用中，将实时数仓平台化，进一步构建了一站式数据平台Ark，为业务人

SelectDB技术团队·2023-11-25 13:29

关于大数据的一些拙见

大数据是一个概念也是一个技术，是在以Hadoop为代表的大数据平台框架上进行各种数

weixin_30384217·2023-11-25 13:52

如何构建一个安全，稳定，高效的互联网平台体系架构

要想提供给客户比较满意的互联网产品服务，首先需要我们从对互联网平台的基础架构开始有规划，有前瞻性地设计并实施。

h254532699·2023-11-25 11:57

MySQL-01-MySQL基础架构

1-MySQL逻辑结构如果能在头脑中构建一幅MySQL各组件之间如何协同工作的架构图，有助于深入理解MySQL服务器。下图展示了MySQL的逻辑架构图。MySQL逻辑架构整体分为三层，最上层为客户端层，并非MySQL所独有，诸如：连接处理、授权认证、安全等功能均在这一层处理。MySQL大多数核心服务均在中间这一层，包括查询解析、分析、优化、缓存、内置函数(比如：时间、数学、加密等函数)。所有的跨存

ycmy2017·2023-11-25 10:58

ChatGPT 上新，效果炸裂，知识平台才是大模型的最佳狩猎场

公司自主研发的DataCyber云数据智能操作系统，主要包括数据平台CyberData、人工智能平台CyberAI、数据智能引擎CyberEngine、数据安全平台CyberSecurity。

数新网络·2023-11-25 09:22

Presto+Alluxio数据平台实战

数新网络，让每个人享受数据的价值https://xie.infoq.cn/link?target=https%3A%2F%2Fwww.datacyber.com%2F一、Presto&Alluxio简介PrestoPresto是由Facebook开发的开源大数据分布式高性能SQL查询引擎。起初，Facebook使用Hive来进行交互式查询分析，但Hive是基于MapReduce为批处理而设计的，延

数新网络·2023-11-25 09:22

青云科技容器平台与星辰天合存储产品完成兼容性互认证

近日，北京青云科技股份有限公司（以下简称：青云科技）的KubeSphere企业版容器平台成功完成了与XSKY星辰天合的企业级分布式统一数据平台V6（简称：XEDP）以及天合翔宇分布式存储系统

XSKY星辰天合·2023-11-25 06:25

大数据-计算框架选型与对比

计算框架选型与对比一、大数据平台二、计算框架分类1.批处理架构2.实时流处理架构3.流批一体处理架构三、计算框架关键指标1.处理模式2.可伸缩性3.消息传递3.1至少一次（atleastonce）3.2

临江蓑笠翁·2023-11-25 06:54

实战pyspark基于yarn模式提交任务成功踩坑

2.平台大数据平台：某国产厂商的成熟大数据产品，基于容器的架构，四个节点，每个节点100-200G不等。

euler1983·2023-11-25 01:16

linux大型游戏_Linux如何进入大型机

linux大型游戏尽管我在Linux基础架构领域有15年的经验，但是如果您在一年前曾问过我什么是大型机，那么很难给我一个令人满意的技术答案。

cumo3681·2023-11-24 23:28

网工内推 | 美的、得力集团，包吃包住，IE认证优先，14薪

、IT网络规划，项目实施以及日常运维；4.负责网络技术文档的编写、更新以及呈现；5.监控网络的健康状况和容量，并进行主动的系统维护，以确保网络业务可靠24x7运转；6.持续改进日常操作以及优化公司网络基础架构

HCIE考证研究所·2023-11-24 22:48

Spring系列（一）、Spring入门及七大模块

Spring负责基础架构，因此Java开发者可以专注于应用程序的开发。Spring

一宿君·2023-11-24 21:26

三大流行BI分析平台推荐，企业数据化选择工具

BI是构建现代大数据平台不可或缺的工具。大数据和BI工具两者密切相关，相辅相成。大数据是基础。没有大数据，BI就失去了存在的基础，没有办法快速、实时、高效地处理数据，支持应用。

明月说数据·2023-11-24 21:06

基于5G+物联网+SaaS+AI的农业大数据综合解决方案：PPT全文44页，附下载

关键词：智慧农业大数据，5G智慧农业，物联网智慧农业，SaaS智慧农业，AI智慧农业，智慧农业大数据平台一、智慧农业大数据建设背景1、应对全球人口快速增长带来的粮食生产压力，未来的粮食生产力必须提高60%

方案365·2023-11-24 18:51

COS 数据湖最佳实践：基于 Serverless 架构的入湖方案

数据湖（DataLake）概念自2011年被推出后，其概念定位、架构设计和相关技术都得到了飞速发展和众多实践，数据湖也从单一数据存储池概念演进为包括ETL分析、数据转换及数据处理的下一代基础数据平台。

Serverless·2023-11-24 17:19

中国信息通信研究院闫树：城市大数据平台白皮书

统一的城市大数据平台从理念变为现实，并且在加速资源整合、提供丰富应用；创新城市治理模式、改革政府管理方式等方面发挥重要作用。

yuxinqingge·2023-11-24 16:30

Centos 安装Datax及Datax-web

异构数据的采集，方案还是比较多样，除了基于大数据平台的一些集成；简单的数据源，可以直接使用阿里开源的datax来实现；datax-web则是datax界面化操作的开源框架，集成了datax异构数据采集和任务调度的功能

江山如此多坑·2023-11-24 16:55

这家提供数据闭环完整链路的企业，已拿下多家头部主机厂定点

因此，包括主机厂、Tier1、数据平台企业等自动驾驶产业链上下游各玩家都将目光投向了自动驾驶数据闭环的打造。但由于数

高工智能汽车·2023-11-24 15:18

ELK数据平台环境搭建

2017年底花了一个月搭建ELK（Elasticsearch+Logstash+Kibana），2018年10月又做了一次服务器从阿里云到google的切换，因此搭建了两次ELK系统，现在数据量超过30亿，今天有时间把搭建过程和关键点整理出来：数据生命周期图1.环境准备1.1.安装JDKgoogle服务器一台，需要安装JDK1.8最新版本，可以参考之前的文章安装JDK，并配置profile最新JD

如果仲有听日·2023-11-24 14:18

神策数据高烨程：消费者数据平台助力企业私域营销

本文根据神策数据咨询专家高烨程关于《CDP：消费者数据平台助力企业私域营销》的分享整理而成，聚焦于神策数据对品牌零售行业数字化转型的认知和洞察，主要内容包括：品牌零售行业数字化转型趋势详解全域消费者数据平台

神策数据·2023-11-24 10:53

谷歌云计算技术基础架构,谷歌人工智能算法框架

1、如何选择深度学习框架TensorFlow/Torch/Mxnet/Theano深度学习目前的应用领域很多，主要是计算机视觉和自然语言处理，以及各种预测等。对于计算机视觉，可以做图像分类、目标检测、视频中的目标检测等，对于自然语言处理，可以做语音识别、语音合成、对话系统、机器翻译、文章摘要、情感分析等。对于刚入行深度学习，想从事人工智能工业应用和研发的小白来说，选择一个适合自己的深度学习框架显得

aifans_bert·2023-11-24 09:26

外贸人如何利用领英LinkedIn开拓海外市场？这七大妙招你要知道

巨大的活跃用户体现了LinkedIn的影响力，也预示着庞大的市场，庞大的数据平台，越来越多的国内企业也选择通过这个平台“出海”发展海外业务。那么，如何高效开发这个“外贸客户”的巨大金-矿

领英工具技巧·2023-11-24 06:20

python仿真智能驾驶_自动驾驶仿真工程师

有些公司是直接把它纳入到基础架构组里，有些是单独招聘这个岗位，还有些是把它纳到测试组里。仿真工程师。从某种程度上说，像是产品+系统工程师+数据处理工程师。

weixin_39656513·2023-11-24 04:52

kubeedge源码分析系列之整体架构

kubeedge是一个基于kubernetes构建的开放平台，使能边缘计算，将容器化应用编排功能扩展到边缘的节点和设备，并为云和边缘之间的网络，应用部署和元数据同步提供基础架构支持。

之江数字孪生与数据智能·2023-11-24 03:06

OceanBase基础架构

OceanBase基础架构简介基础架构OceanBase特点OceanBase与Oracle的差异其他：Oracle数据迁移至OceanBase常用迁移工具OMS迁移应用举例OBCloud连接OceanBase

Lin-CT·2023-11-24 00:09

耗时10小时编撰带你系统认识组播基础架构及IGMP的概念

有小伙伴留言，表达了对于组播知识的渴求，那今天小老虎就再次化身知识传播的使者给大家讲一讲组播的基础架构以及IGMP的概念。

太阁闫辉·2023-11-23 14:49

发挥云计算潜力：Amazon Lightsail 与 Amazon EC2 的综述

在当今的数字时代，企业可能会发现管理基础架构和扩展应用程序具有挑战性。传统的本地解决方案需要大量的硬件、软件和维护前期投资。要满足不断增长的需求，扩展应用程序通常是一个困难且耗时的过程。

亚马逊云开发者·2023-11-23 14:13

mysql核心1004mysql核心_MySQL核心知识学习之路（）

作为一个后端工程师，想必没有人没用过数据库，跟我一起复习一下MySQL吧，本文是我学习《MySQL实战45讲》的总结笔记的第一篇，总结了MySQL的基础架构、一个查询语句的执行过程以及一条更新语句的执行过程

汉周读书·2023-11-23 11:56

1.8w 字详解 SQL 优化

本文涉及三部分：SQL介绍SQL优化方法SQL优化实例1、MySQL的基本架构1）MySQL的基础架构图左边的client可以看成是客户端，客户端有很多，像我们经常你使用的CMD黑窗口

LuckyTHP·2023-11-23 03:49

米哈游大数据云原生实践

背景简介为了解决原有架构缺乏弹性、运维复杂、资源利用率低等问题，2022年下半年，我们着手调研将大数据基础架构云原生化，并最终落地了Spark

云布道师·2023-11-23 02:26

K8S的边缘端扩展应用--KubeEdge

简介这些年Kubernetes在数据中心和各种私有云中的应用呈现爆发式增长，Kubernetes已成为企业扩展其IT基础架构以实现云原生功能的既定标准。

深圳清华大学研究院下一代互联网研发中心·2023-11-23 00:31

MySQL 如何保证强一致性（InnoDB引擎解析）

1.MySQL基础架构前面写过几篇MySQL的文章，大多是对一些基础概念的讲解，当我想去了解存储引擎的时候发现不知从何下手，或者说不知道如何开头，回头想想好像对MySQL的基础架构还不是特别熟悉，所以本文尽管是介绍

柒柒Java·2023-11-22 23:36

Jtti：私有云有必要上虚拟机功能吗

在私有云环境中引入虚拟机(VirtualMachines，VMs)功能通常是有必要的，并且实际上已成为私有云基础架构的核心组成部分。

Jtti·2023-11-22 20:04

推荐频道

数据平台-基础架构