大数据平台-架构基础第15页

Hadoop大数据平台入门——HDFS和MapReduce

随着硬件水平的不断提高，需要处理数据的大小也越来越大。大家都知道，现在大数据有多火爆，都认为21世纪是大数据的世纪。当然我也想打上时代的便车。所以今天来学习一下大数据存储和处理。随着数据的不断变大，数据的处理就出现了瓶颈：存储容量，读写速率，计算效率等等。google不愧是走在世界前列的大公司，为了处理大数据，google提出了大数据技术，MapReduce，BigTable和GFS。这个技术给大

yoku酱·2023-07-23 14:39

人工智能时代职教教师能力提升的路径

政府及企业要发挥主导作用，建立大数据平台，对教师职业能力进行监测，提供对职业教育教师职业能力评估的数据支撑；组织人工智能专家，对职业

英腾云课堂·2023-07-23 09:12

微服务架构基础

微服务架构基础1.摘要2.书本导读3.认识微服务架构3.1架构的演进3.1.1单体应用3.1.2水平扩展3.1.3SOA架构3.2微服务架构概述3.3微服务架构的组件和技术选型4.SpringCloud4.1

小琳猫·2023-07-23 08:53

hadoop 3.1.3单机版安装教程

引言公司有搭建大数据平台，为了让java能访问大数据平台，本人先在测试环境上自行搭建了一个单机版的hadoop，研究java和hbase之间的jdbc连接。

YukunWen·2023-07-22 20:23

大数据之就业岗位

数据部门的组织架构运维组1.负责分析大数据平台各个组件运行状态，负责大数据平台运行故障的分析，定位和解决，并根据业务场景进行定制优化2.负责业务集群日常问题的解答、汇总整理、跟踪解决等；3.参与大数据集群自动化运维工具的设计与实施

（YSY_YSY）·2023-07-22 06:20

字节跳动云原生大数据平台运维管理实践

云原生大数据是大数据平台新一代架构和运行形态。

字节跳动云原生计算·2023-07-22 04:11

腾讯数据中台项目集管理实战分享︱腾讯高级项目经理张嵎桐

腾讯PCG大数据平台部高级项目经理张嵎桐先生受邀为由PMO评论主办的2023第十二届中国PMO大会演讲嘉宾，演讲议题：腾讯数据中台项目集管理实战分享。大会将于8月12-13日在北京举办，敬请关注！

中国pmo大会·2023-07-21 23:44

Spring Cloud构建分布式微服务云架构基础

使用LoadBalancerClient在SpringCloudCommons中提供了大量的与服务治理相关的抽象接口，包括DiscoveryClient、这里我们即将介绍的LoadBalancerClient等。对于这些接口的定义我们在上一篇介绍服务注册与发现时已经说过，SpringCloud做这一层抽象，很好的解耦了服务治理体系，使得我们可以轻易的替换不同的服务治理设施。从LoadBalance

嘻嘻哈哈1155·2023-07-21 21:24

搭建本地YUM源服务

2、一个集群中，只需要一个节点部署yum源服务，其他节点作为客户端，使用该服务即可；3、此文分为两部分，先是搭建yum源服务（一台节点执行），然后配置yum服务（其他节点执行）4、安装HDP大数据平台，

玄慈·2023-07-21 14:38

移动通信网络规划：面、线、点覆盖规划

1、城区城区的5G覆盖规划主要考虑以下三个方面：①综合大数据平台分析、测试、投诉数据等，精准覆盖补点，进一步加强市区、县城的深度覆盖，对高价

知识世界·2023-07-21 09:46

linux相关面试问题

目前常见的大数据平台都是基于Linux系统的，比如Hadoo

婷子1921·2023-07-19 17:17

大数据平台测试-白盒测试静态方法解析（我奶奶都能看懂）

软件测试从某种维度上分为黑盒测试和白盒测试，黑盒测试更多的是增啥改查，也就是功能测试，关于功能测试参考这里：增删改查测试场景（菜市场的大妈都能看懂）关于白盒测试的资料参考这里：白盒测试案例设计（我爷爷都能看懂）注意并不是说白盒测试一定就是要写代码的，因为有些白盒测试是不需要写代码的。比如本篇文章说的静态测试方法。白盒测试方法分为静态方法和动态方法静态设计方法桌面检查代码审查代码走查代码扫描工具下面

软件测试李同学·2023-07-18 10:47

大数据平台测试-某 SDK 缓存存储支持COS

遇到过这个测试需求没，一起了解下吧。一、客户端存储方式COSCOS（CloudObjectStorage）是腾讯云提供的一种对象存储服务，类似于其他云服务商的对象存储服务（如AWSS3、阿里云OSS等），用于存储和管理大规模的非结构化数据。在客户端中使用COS存储方式，可以通过以下步骤进行操作：注册腾讯云账号并创建COS存储桶：首先，需要注册一个腾讯云账号，并在腾讯云控制台中创建一个COS存储桶。

软件测试李同学·2023-07-18 10:46

大数据平台测试-git常用操作（白盒测试基础）

一、前言学习Git是非常有价值和重要的，无论是一个个人开发者还是在团队中进行协作开发。以下是一些学习Git的原因：版本控制：Git是目前最流行的分布式版本控制系统，可以帮助你跟踪、管理和控制代码的版本。你可以轻松地回退到先前的版本、比较不同版本之间的差异、解决代码冲突等。版本控制使你能够更安全地进行代码更改和实验，同时提供了一种备份机制，以防止代码丢失。团队协作：在多人协作开发的项目中，Git提供

软件测试李同学·2023-07-18 10:13

大数据调度平台oozie、azkaban、dolphinscheduler对比

DolphinSchedulerAzkabanOozie定位解决数据处理流程中错综复杂的依赖关系为了解决Hadoop的任务依赖关系问题管理Hdoop作业（job）的工作流程调度管理系统任务类型支持支持传统的shell任务，同时支持大数据平台任务调度

老姜的数据江湖·2023-07-18 07:41

又卡了，大数据平台容器化运维走起

文章目录一、背景二、方案总结三、方案实施3.0转移数据修改docker默认存储位置3.1手动清理3.2定时容器日志清理3.3限制Docker容器日志大小大家好，我是脚丫先生(o^^o)大数据基础平台的搭建，我采用的是全容器化Apache的大数据组件。之前还很美滋滋的肝着。某一天，我部署新服务的时候，突然提示我**「无法安装新的容器，提示磁盘占满！」**一、背景Centos7的云服务器，内存16G，

大数据指北·2023-07-17 22:12

一篇运维老司机的大数据平台监控宝典（1）

下文中，联通大数据平台维护团队将对几种常见监控组合进行介绍，并基于丰富的实战经验，对集群主机及其接口机监控进行系统性总结。一、科

yoku酱·2023-07-17 05:26

【vue-element-admin】登录流程代码解析备忘

-1背景新工作内容是运维与开发公司自研的大数据平台，自研的平台是基于datax-web改造而来。

mizuhokaga·2023-07-16 20:22

HTAP系统架构实践总结

如对于广告计算，用户画像，分控，物流，地理信息等商业场景下，原有的处理方式为在海量的历史数据中通过AP（分析型处理）数据库或者自建的大数据平台，完成对于历史数据的计算，然后将AP计算的结果作为TP（事务型处理

gjggw123·2023-07-16 18:16

2023美赛思路 | A题时间序列预测任务的模型选择总结

美赛思路|A题时间序列预测任务的模型选择总结基本介绍数据描述任务介绍时序模型基本介绍这道题分析植被就行，主要涉及不同植被间的相互作用，有竞争有相互促进，我查了下“植物科学数据中心”和“中国迁地保护植物大数据平台

前程算法屋·2023-07-16 13:07

AutoSAR软件架构基础（一）

文章目录AutoSAR简介与展望基本概念历史进程AutoSAR构成背景软件系统架构图AutoSAR软件架构分层简介实时运行环境层（RTE）微控制器抽象层(MicrocontrollerAbstractionLayer)ECU抽象层（ECUAbstractionLayer）复杂的驱动程序（ComplexDrivers）服务层（ServiceLayer）AutoSAR软件开发AutoSAR基本实现方式

榛子威化·2023-07-16 01:22

Hive表统计信息采集及应用

背景在大数据平台建设过程中，数据治理是不可或缺的一环，优秀的数据治理可以保证数据质量，数据安全等，并能够更有效的利用资源。

邢为栋·2023-07-14 07:58

聊聊微服务架构思想

在此期间，遇到的大小项目，基本都是用微服务架构开发的，其中有数字化工厂项目、教辅系列平台、政府行政审批系列、商城门户SASS平台、大数据平台等待。

虚无火星车·2023-07-14 06:07

用户案例 | Apache DolphinScheduler 离线调度在自如多业务场景下的应用与实践

如何满足这些日渐凸显的需求对自如大数据平台的开发团队来说，无疑是巨大的挑战。团队经过深入的研究和对比，发现ApacheDolphinScheduler是一个能够满足自如当前所有核心需求的项目。

DolphinScheduler社区·2023-07-14 02:46

数据中台与传统大数据平台有什么区别？_光点科技

一、数据中台数据中台是聚合和治理跨域数据，将数据抽象封装成服务，提供给前台以业务价值的逻辑概念。数据中台是在平台概念上的升级，不再单纯的将功能进行大杂烩。理念上，中台有几个特点。第一，更强调数据集中存储、统一管理、提供标准化的服务。第二，数据中台几乎囊括了所有相关的系统，包括数据采集、同步，数据开发，数据质量管理、数据标准、元数据、数据建模和开发，数据服务(API)，数据安全管理，运维管理等等。中

光点数据治理·2023-06-22 09:38

在线教育大数据营销平台实战（一）：大数据平台构建实战

作者介绍Tigerhu在线教育公司大数据营销产品线负责人。本人目前在一家在线教育公司担任大数据营销产品负责人，由于一些机缘巧合，我同时负责了数据产品线和营销CRM产品线，因此给了我更多的机会去思考和实践如何把数据与营销业务深入融合，将大数据的势能赋予营销平台，从而实现业务的精细化运营和数据驱动。针对在线教育业务场景下的大数据营销平台实战，我会用一个系列的文章进行系统化阐述。文章可能会涉及：大数据平

数据掘金者·2023-06-22 03:41

HTML5期末考核大作业，个人网站—— 程序员个人简历模板下载HTML+CSS+JavaScript

程序员-html网页设计·2023-06-21 16:50

贝壳找房 x StarRocks：全新统一的极速OLAP平台实践

贝壳大数据平台部构建和支撑了全集团多个场景应用，覆盖的业务线多，业务复杂度高，因此对数据分析平台的要求也非常高。

·2023-06-21 14:42

企业级大数据平台建设参考淘宝滴滴美团360快手京东

大数据平台是为了计算，现今社会所产生的越来越大的数据量，以存储、运算、展现作为目的的平台。大数据技术是指从各种各样类型的数据中，快速获得有价值信息的能力。

jane9872·2023-06-21 09:45

智慧城市建设电气火灾智慧消防措施安科瑞许敏

日前，南通消防救援支队大数据平台DCS化工火源预警系统发出警报，大屏幕显示辖区企业南通王子造纸企业出现险情。

Xuminmin123123·2023-06-21 07:19

unity--前端架构基础版

目录1.MVC（Model-View-Controller）模式1.1示例一：1.2示例2:2.ECS(Entity-Component-System）模式2.1示例1:2.2示例二：3.MVVM（Model-View-ViewModel）模式：1.MVC（Model-View-Controller）模式1.1示例一：//Model(数据模型)publicclassPlayerModel{publ

格拉格拉·2023-06-20 19:42

大数据平台测试-后端代码扫描工具

一、后端代码扫描工具后端代码扫描工具是用于静态代码分析和检测代码质量问题的工具。它可以帮助开发人员和团队发现潜在的编码错误、安全漏洞和性能问题等，并提供修复建议和最佳实践。以下是一些常用的后端代码扫描工具：SonarQube：SonarQube是一个开源的代码质量管理平台，提供了广泛的代码检查规则和指标，可以检测代码质量、安全漏洞、重复代码等问题，并生成详细的代码质量报告。Checkstyle：C

软件测试李同学·2023-06-20 14:34

大数据平台测试-后端代码覆盖率工具

一、后端覆盖率工具在后端开发中，常用的覆盖率工具包括：JaCoCo（JavaCodeCoverage）：JaCoCo是一个流行的Java代码覆盖率工具。它可以在编译期间插入字节码，收集覆盖率信息，并生成报告。JaCoCo支持行覆盖率、分支覆盖率、方法覆盖率和类覆盖率等多种指标，并且可以与各种构建工具和测试框架集成。Cobertura：Cobertura是另一个广泛使用的Java代码覆盖率工具。它通

软件测试李同学·2023-06-20 05:59

大数据平台测试-前端代码覆盖率工具

一、前端覆盖率工具在前端开发中，有一些工具可以用于测量和分析代码的覆盖率，以评估测试的质量和代码的可靠性。以下是几个常用的前端覆盖率工具：Istanbul（nyc）：是一个广泛使用的前端覆盖率工具，适用于JavaScript和TypeScript。它可以集成到构建工具（如Webpack、Babel）中，生成代码覆盖率报告并显示详细的覆盖率数据，包括行覆盖率、函数覆盖率和分支覆盖率等。Jest：是一

软件测试李同学·2023-06-20 05:26

里程碑 | WeDataSphere 一站式开源大数据平台套件全面升级

yuanwen:里程碑|WeDataSphere一站式开源大数据平台套件全面升级-知乎源码：GitHub-apache/linkis:ApacheLinkisbuildsacomputationmiddlewarelayertofacilitateconnection

javastart·2023-06-20 01:10

如何管控数据？

01数据管控背景数据管控是在做大数据平台包括传统BI都需要做的工作，数据从各个数据源过来，我们都要进行数据质量的管理，也就是我们常说的数据治理。那么在数据仓库建设的时候如何进行数据管控呢？

jane9872·2023-06-19 20:44

新闻速递 | KaiwuDB 亮相 DTCC 2022 线上大会并发表系列主题演讲

本届大会以“数据智能价值创新”为主题，邀请超百位行业专家，重点围绕时序数据库、图数据技术、实时数仓技术与应用实践、云原生数据库、大数据平台与数据安全等内容展开分享和探讨。

·2023-06-19 19:01

2023-04-17移动云苏州研究所java开发面试

1、怎么搭建一个大数据平台根据我的工作经验以及我平时对大数据平台技术的了解，我讲了一些我对大数据平台的认识。

志起计算机编程·2023-06-19 03:42

大数据入门-大数据技术概述(一)

大数据入门系列文章大数据入门-大数据是什么一、概念大数据技术是指在构架大数据平台的时候需要的技术。包含存储系统，数据库，数据仓库，资源调度，查询引擎，实时框架等。

猫腻余腥·2023-06-18 21:41

《阿里大数据之路》读书笔记：第一章总述

一、数据采集层阿里巴巴建立了一套标准的数据采集体系方案，致力全面、高性能、规范地完成海量数据的采集，并将其传输到大数据平台。

蓦然_·2023-06-18 14:38

信息安全导论——等级保护、关键信息基础设施和态势感知

（1）由“信息系统安全等级保护”改为“网络安全等级保护”，由信息系统层面上升到网络安全层面（2）等保1.0的对象是信息系统，等保2.0包含信息系统、基础信息网络，云计算平台、大数据平台、物联网。

辣个骑士·2023-06-18 06:15

猿辅导基于 EMR StarRocks 的 OLAP 演进之路

摘要：猿辅导大数据平台团队负责人申阳分享了猿辅导基于StarRocks的OLAP演进之路。

Apache Spark中国社区·2023-06-18 05:42

阿里云EMR自定义日志投递与使用实践分享

1►引言：开源大数据平台E-MapReduce（简称“EMR”）是云原生开源大数据平台，向客户提供简单易集成的Hadoop、Hive、Spark、Flink、Presto、ClickHouse、StarRocks

Apache Spark中国社区·2023-06-18 05:42

互联网数据分析入门：流量分析

当今时代信息化产业飞速发展，各类底层大数据平台百花齐放，亿级数据、秒级响应已经不再是当年的遥不可及的神话。

帆软·2023-06-17 20:44

从源码层面分析Kafka Broker 网络模型、副本机制

业界也很多公司都使用了kafka，当初我在BAT的内部后端serve有些场景也是通过Kafka解耦和实现一次性语义，我们公司目前kafka使用的场景也比较多例如tracking收集数据，前端能效组采集接口数据，埋点、大数据平台实时流计算

享知·2023-06-17 19:03

配置Kettle连接大数据HDFS

需求：配置Kettle连接大数据HDFSKettle对接大数据平台的配置一．软件环境1.Hadoop集群,版本：Hadoop3.3.02.ETL工具Kettle，版本：pdi-ce-7.0.0.0-25

墨染盛夏呀·2023-06-17 17:27

互联网摸鱼日报(2023-06-16)

互联网摸鱼日报(2023-06-16)InfoQ热门话题云器科技CTO关涛确认出席QCon北京站，探讨从BI到BI+AI，新计算范式下的大数据平台走向QCon全球软件开发大会广州站优秀出品人与明星讲师名单公布

每日摸鱼大王·2023-06-17 15:56

Hive归档操作命令

一、如何创建归档作业直接使用大数据平台的离线计算创建作业即可；二、归档命名2.1命令ALTERTABLEtable_nameARCHIVEPARTITION(partition_col=partition_col_value

脸ル粉嘟嘟·2023-06-17 12:40

微服务与 DevOps实践：技术架构与组织架构

王东，曾任融数数据北京研发中心CTO，负责微服务、DevOps以及大数据平台的研发和管理工作。曾供职于IBM、普元、Amazon、OneAPM等国内外知名公司。

大家叫我导演·2023-06-17 10:44

金融大数据平台是怎么构建的？

大数据对银行业的价值不言而喻。在业务上,如何去挖掘客户的内在需求,为客户提供更有价值的服务是目前金融机构的战略转型和业务创新的关键。大数据技术正是金融机构深挖数据资产、实现差异化竞争、推动业务创新的重要工具。在运营上,通过大数据应用和分析,金融机构能够定位内部管理短板、制订有效改进措施、优化管理思路,从而降低管理运营成本。在风险上,大数据技术有助于降低信息不对称程度,增强风控能力。目前大数据风控管

辰哥爱学习·2023-06-17 02:13

推荐频道

大数据平台-架构基础