数据平台-基础架构第10页

高密数据中心卓越运维，更灵活助力企业 AI 就绪

AIGC的高速发展将企业对基础架构的需求推上了新的层次，根据中国通服数字基建产业研究院发布的《中国数据中心产业发展白皮书（2023）》报告，互联网行业客户对单机柜功率密度的要求较高，一般在6-8kW，金融行业处于中间

sunnywell111·2024-01-23 22:13

【大数据精讲】HBase基本概念与读写流程

目录基本概念概念数据模型NameSpace命名空间TableRowColumnTimeStampCell逻辑结构json物理存储结构基础架构Meta表架构RegionServer架构⭐️写流程⭐️读流程基本概念

话数Science·2024-01-23 20:15

在线帮助中心对视频加载，过程优化，降低视频对服务端的负载

1.背景在大数据平台XSailboat中包含帮助中心模块，提供在线的帮助文档和平台使用教程。在帮助中心，不仅支持普通的文字，图片，还希望支持视频。

OkGogooXSailboat·2024-01-23 19:16

钉钉企业机器人单聊消息发送实践-大数据平台(XSailboat)消息中心消息推送

1.背景在笔者开发的大数据平台XSailboat中有消息中心模块，用来全平台的消息收集，整理分拆、订阅发送等功能。消息推送方式支持钉钉群聊、钉钉单聊、短信通知。

OkGogooXSailboat·2024-01-23 19:45

基础篇-项目架构

基础架构沿用spring架构模式，同时增加infrastructure-extension，对Quarkus的扩展和补充Domain领域模型和仓储接口，仅依赖于CDI接口和基本类库，逻辑不变，功能不变RepositoryDomain

jimmyz81·2024-01-23 18:21

ITSS、ITIL、ISO20000：哪个更适合你？

ITIL(信息技术基础架构库)：起源于英国，I

IT课程顾问·2024-01-23 17:16

5118优惠码vip、svip、专业版和旗舰版使用yhm666

5118大数据平台会员优惠码【yhm666】，结算时勾选“使用优惠码”，然后在优惠码窗口中输入yhm666，然后点确定即可享受特价会员价格。

暴富程序员·2024-01-23 11:34

大厂大数据面试题收录（1）

7.那你能谈一下yarn的基础架构及调度流程吗？8.Hivesql到MapReduce转化的流程清楚吗？

后季暖·2024-01-23 11:49

如何本地搭建Splunk Enterprise数据平台并实现任意浏览器公网访问

文章目录前言1.搭建SplunkEnterprise2.windows安装cpolar3.创建SplunkEnterprise公网访问地址4.远程访问SplunkEnterprise服务5.固定远程地址前言本文主要介绍如何简单几步，结合cpolar内网穿透工具实现随时随地在任意浏览器，远程访问在本地Windows系统部署的SplunkEnterprise数据管理平台，提高工作效率。SplunkEn

日刷百题·2024-01-23 09:48

cdh6.3.2的hive配udf

背景大数据平台的租户要使用udf，他们用beeline连接，意味着要通过hs2，但如果有多个hs2，各个hs2之间不能共享，需要先把文件传到hdfs，然后手动在各hs2上createfunction。

zdkdchao·2024-01-23 07:02

2022-05-08

OneNet平台环境监测系统项目报告一、项目背景能实时检测当前环境中的温湿度参数能够方便地在数据平台实时显示温湿度值二、实训目标注册OneNET平台账号并完成学生认证在OneNET平台上添加自己的产品与设备设备在线数据正常上报

晊恦_dc80·2024-01-23 06:44

【漏洞复现】CloudPanel makefile接口远程命令执行漏洞(CVE-2023-35885)

它提供了一个集中式平台，用于管理云基础架构的各个方面，包括（VM）、存储、网络和应用程序。

李火火安全阁·2024-01-23 02:20

【AI】深度学习在编码中的应用（4）

目录一、基于自编码器的架构二、基于可逆网络的架构三、基于GAN模型的架构四、多层结构图像压缩框架今天学习和梳理基础架构设计的4种模式：一、基于自编码器的架构在人工智能应用中，自编码器（Autoencoder

giszz·2024-01-23 00:34

设计一个基于flask的高并发高可用的查询ip的http服务

结构设计基础架构为flask+gunicorn+负载均衡，负载均衡分为阿里云硬件负载均衡服务和软负载nginx。gunicorn使用supervisor进行管理。

职场亮哥·2024-01-22 21:21

基础架构即代码 | 亚马逊如何在现实生活中实践 DevOps

当我在2005年作为开发人员加入亚马逊时（那时AmazonWebServices还不存在），我从公司领了一个传呼机（如图1所示）。在亚马逊，开发人员不仅要设计实现一个具体的服务，还要负责这个服务的部署和管理。为了完成运营任务，开发人员需要轮流“值班”，随时准备故障诊断和处理。传呼机就是值班用的。图1:亚马逊发给员工值班用的传呼机这一切表明，亚马逊在“DevOps”这个术语出现之前就已经在实现Dev

亚马逊云开发者·2024-01-22 20:32

关于云计算你必须知道的一些事（一）

1、超融合基础架构（Hyper-ConvergedInfrastructure，或简称“HCI”）也被称为超融合架构，是指在同一套单元设备（x86服务器）中不仅仅具备计算、网络、存储和服务器虚拟化等资源和技术

money666·2024-01-22 19:17

大数据平台的硬件规划、网络调优、架构设计、节点规划

1.大数据平台硬件选型要对Hadoop大数据平台进行硬件选型，首先需要了解Hadoop的运行架构以及每个角色的功能。

小枫@码·2024-01-22 17:18

大数据平台软硬件规划

一.大数据集群节点规划1.HDFS集群节点规划假如业务系统数据量每天增量50T，保留周期30天，那么HDFS存储容量为50T*30天*3副本*2倍（数据源+清洗加工）=9000T=8.79P假如每个机器的磁盘是4T*10=40T，每台机器的可用存储容量为40T*0.75=30T，节点预估数量=9000T/30=300节点，所以datanode的节点最小数量为300个。2.YARN集群节点规划根据任

小枫@码·2024-01-22 17:17

基于云原生存储的容器持久化存储方案

该方案可以整合当前IT基础架构中的存储系统，支持的基础架构包括公有云、私有云和裸金属，大大提高企业在多云或混合云架构中存储资源的

宋罗世家技术屋·2024-01-22 14:48

【AI】深度学习在编码中的应用（6）

目录一、熵模型和自适应熵编码1.1区别1.2联系二、关于自适应熵模型前面我们讨论了基础架构设计、分析合成变换，本文来梳理和学习编码的第三步，自适应熵模型。

giszz·2024-01-22 13:02

如何拆解同行的抖音直播间

数据来源部分是看第三方数据平台，一部分是自己一直跟同行直播的实时记录。如果对方账号，能从巨量百应上面看的，就从巨量百应看，因为数据偏差不会特别大！找账号的时候倾向于找粉丝量在10万

原味的运营成长笔记·2024-01-22 11:49

一张图轻松掌握 Flink on YARN 基础架构与启动流程

杨弢（搏远），阿里巴巴计算平台事业部技术专家，ApacheHadoopCommitter，目前专注于YARN、Flink、YuniKorn等开源项目的资源调度方向。Flink支持Standalone独立部署和YARN、Kubernetes、Mesos等集群部署模式，其中YARN集群部署模式在国内的应用越来越广泛。Flink社区将推出FlinkonYARN应用解读系列文章，分为上、下两篇。本文基于F

zhisheng_blog·2024-01-22 08:02

现如今大数据交易的主要类型

从行业发展格局来看，2015年各地加速建立大数据交易平台，在目前大数据价值日益凸显的环境中，2016年或许仍会有不同类型的地方性大数据平台加入进来;而随着地方性大数据交易机构的增多，不同大数据交易机构的数据交易可能会出现

发源地大数据交易平台·2024-01-21 11:59

橙信通宁都县果品加工企业入网入云工作动员部署会召开！

宁都县果茶局局长宋小保、宁都县果茶局副局长赖树群、宁都县果茶局市场营销股股长张志春、橙信通赣南脐橙大数据平台供应链总监管永基、宁都县全部果品加工企业负责人，共计20余人出席会议。

橙信通大数据平台·2024-01-21 08:54

【AI】深度学习在编码中的应用（3）

giszz·2024-01-21 07:49

Docker安装rancher并搭建k8s集群

它可以帮助组织在生产环境中轻松快捷的部署和管理容器,rancher可以轻松地管理各种环境的kubernetes,满足IT需求并为devops团队提供支持Kubernetes不仅已经成为的容器编排标准，它也正在迅速成为各类云和虚拟化厂商提供的标准基础架构

kirk15951859811·2024-01-21 06:28

InnoDB 存储引擎介绍

1.MySQL基础架构前面写过几篇MySQL的文章，大多是对一些基础概念的讲解，当我想去了解存储引擎的时候发现不知从何下手，或者说不知道如何开头，回头想想好像对MySQL的基础架构还不是特别熟悉，所以本文尽管是介绍

汪了个王·2024-01-21 06:20

ElasticSearch 亿级数据检索深度优化！

一、前言数据平台已迭代三个版本，从头开始遇到很多常见的难题，终于有片段时间整理一些已完善的文档，在此分享以供所需朋友的实现参考，少走些弯路，在此篇幅中偏重于ES的优化，关于HBase，Hadoop的设计优化估计有很多文章可以参考

夜空_2cd3·2024-01-21 03:53

Spider爬虫简介

display=0&retcode=6102数据平台购买数据：数据堂http://www.datatang.com/about/a

錦魚·2024-01-21 01:18

客户案例｜知名证券机构核心大数据平台升级之路

1项目背景在金融领域中，数据处理一直是IT系统中非常重要的一部分，证券发行、登记、托管、交易、结算的各个环节都有大量的数据产生。Hadoop作为海量数据处理的关键技术框架，自诞生以来就改变了企业对数据的存储、处理和分析的过程，因具备开源低成本、高可靠等特性，在证券行业得到了广泛的应用。某综合类证券机构，早年以Hadoop平台为基础，结合多种大数据处理技术，构建了大数据专用存储与处理系统。但随着实际

云掣YUNCHE·2024-01-21 01:17

Hologres V2.1版本发布，新增计算组实例构建高可用实时数仓

Highlight产品介绍Hologres是阿里云自研一站式实时数仓，统一数据平台架构，将OLAP查询、即席分析、在线服务、向量计算多个数据应用构建在统一存储之上，实现一份数据，多种计算场景。

阿里云大数据AI技术·2024-01-20 21:07

大数据导论（3）---大数据技术

文章目录1.大数据技术概述2.数据采集与预处理2.1数据采集2.2预处理3.数据存储和管理3.1分布式基础架构Hadoop3.2分布式文件系统HDFS3.3分布式数据库HBase3.4非关系型数据库NoSQL4

冒冒菜菜·2024-01-20 21:28

区块链，下一代互联网？

都说区块链技术很有可能成为下一代互联网的基础架构。那么仍然是那句老话，历史不会重演，但总是都说押着相同的韵脚。

日落西四·2024-01-20 20:51

Linux下使用speedtest测速

它基于Speedtest.net的基础架构来测量网络的上/下行速率。安装speedtest很简单——只需要下载其Python脚本文件。

蚊子爱喝水·2024-01-20 18:02

虚拟服务器的监控和管理

虚拟服务器在现代IT基础架构中越来越普遍，是在物理服务器上运行的软件定义服务器，虚拟服务器监控现在是现代IT基础架构管理的一个关键方面。

ManageEngine卓豪·2024-01-20 17:42

阿里云 E-MapReduce 全面开启 Serverless 时代

EMR2.0平台阿里云正式发布云原生开源大数据平台EMR2.0已历经一年时间，如今EMR2.0全新平台在生产上已经全面落地，资源占比超过60%。

Apache Spark中国社区·2024-01-20 12:22

CommunityOverCode Asia 精彩回顾｜阿里云开源大数据 EMR 技术实践分享

阿里云研究员、开源大数据平台负责人王峰，分享了”阿里

Apache Spark中国社区·2024-01-20 12:51

程序员必备的面试技巧——大数据工程师面试必备技能

目录前言一、不同工程师的职责和技能要求1、数仓开发工程师2、算法挖掘工程师3、大数据平台开发工程师4、大数据前端开发工程师二、大数据技术架构图三、大数据相关的技术内容四、大数据面试经验1、大数据开发岗位

Francek Chen·2024-01-20 11:22

大数据开发之Hadoop（完整版+练习）

第1章：Hadoop概述1.1Hadoop是什么1、Hadoop是一个由Apache基金会所开发的分布式系统基础架构。2、主要解决，海量数据的存储和海量数据的分析计算问题。

Key-Key·2024-01-20 10:36

CloudPanel RCE漏洞复现（CVE-2023-35885）

它提供了一个集中式平台，用于管理云基础架构的各个方面，包括虚拟机（VM）、存储、网络和应用程序。0x02漏洞概述由于2.3.1之前的CloudPanel具有不安全的文件管理器cookie身份验证。

OidBoy_G·2024-01-20 07:41

docker -v 覆盖了容器中的文件_「安定坊」安全卫士-容器漏洞评估

因此，今天我们要来展示的是“如何在任何基础架构中进行容器审计以

weixin_39595271·2024-01-20 02:53

Docker Swarm：大规模简化容器的编排

在容器化和云计算的环境中，在分布式基础架构上管理和编排容器相对比较困难。

胖头鱼不吃鱼-·2024-01-19 19:01

智慧校园大数据云存储和云灾备

云存储基于NCS分布式海量存储系统随着虚拟化成为基础架构主要的工作机制，数据中心的存储设计面临前所未有的挑战：第一个挑战是管理复杂、不灵活。存储一直是虚拟化架构设计中最关键的环节之一。

shawn_song1212·2024-01-19 16:20

数据中台到底是什么？

跟大数据平台是什么关系？在架构层面是怎么体现的？数据中台跟产品又有什么关系？

治理之路·2024-01-19 11:23

一个十年IT老兵-如何看待IT基础架构的

现在企业对基础设施架构也越来越重视，并且随着新时代的变革，云服务，大数据，人工智能这几年快速发展和落地，没有任何企业不会不重视这部分新技术给自身业务带来的挑战，所以也没有必要质疑IT基础架构的重要性。

知息学术_IT之路·2024-01-19 09:03

智算让大模型触手可及

本文整理自2023年12月20日举办的「2023百度云智大会·智算大会」主论坛，百度智能云AI与大数据平台总经理忻舟的主题演讲《智算让大模型触手可及》。

百度Geek说·2024-01-19 07:27

一站式大数据平台XSailboat简介--Hadoop、Hive、Flink、DataStudio、数据服务、API网关、认证中心、数据可视化、离线分析、实时计算、应用引擎等

1.引言从2021年年底开始，笔者带领一个微型团队开始开发我们的大数据平台XSailboat，目前已经初步具备实用化条件，产品将持续性地开发、完善、迭代升级。

OkGogooXSailboat·2024-01-19 06:26

Jackson标签的高阶使用样例--多继承/子类、对象id、JsonIdentityInfo、JsonTypeInfo、JsonSubTypes

1.背景最近笔者在开发大数据平台XSailboat的数据资产目录模块。它的其中一个功能是能定义并查看资产数据。我们支持的资产类型不仅有关系数据库表，也支持Kafka主题，hdfs上的文件等。

OkGogooXSailboat·2024-01-19 06:19

大数据开发之Hadoop（Yarn）

1.1Yarn基础架构YARN主要由ResourceManager、NodeManager、ApplicationMaster和Container等组件构成

Key-Key·2024-01-19 06:09

EMQX ECP 2.0 工业互联数据平台产品发布会

当下，依托软件定义制造、数据互通、人工智能驱动以及云边协同等前沿关键技术构建的工业互联数据平台能系统性地解决工业企业所面临的数据挑战。

EMQX·2024-01-19 04:25

推荐频道

数据平台-基础架构