大数据平台-日常运维

阿里经济体大数据平台的建设与思考

本文内容根据演讲视频以及PPT整理而成。双十一！=11.11首先从双11说起，双11已经成为阿里巴巴最大的单日促销活动。双11活动可能对于消费者而言只是一天而已，但是对于阿里巴巴和数百万商家而言，却是一个非常长线的工作。站在阿里巴巴的角度来看双11，其实无论是从业务线还是技术线，背后都存在着很多的思考。从“人、货、场”的角度看待双11。首先，对于“人”而言，双11需要回答什么样的消费者会看什么样的
zhaowei121·2023-10-23 12:25

sqoop命令简记

长时间没有使用sqoop命令忘记了很多，这里简单记一下，方便以后查找import上传大数据平台数据–username用户名称–password密码–table表名–hive-databasehive上的数据库名
select_where·2023-10-22 22:04

故障分析 | 奇怪！内存明明够用，MySQL 却出现了 OOM

作者：刘开洋爱可生交付服务部团队北京DBA，主要负责处理MySQL的troubleshooting和我司自研数据库自动化管理平台DMP的日常运维问题，对数据库及周边技术有浓厚的学习兴趣，喜欢看书，追求技术
爱可生开源社区·2023-10-22 20:44

智慧河湖方案：AI赋能水利水务，构建河湖智能可视化监管大数据平台

一、方案背景我国江河湖泊众多，水系发达。伴随着经济社会快速发展，水生态水环境问题成为群众最关注的民生议题之一。一些河流开发利用已接近甚至超出水环境承载能力，一些地区废污水排放量居高不下，一些地方侵占河道、围垦湖泊等现象时有发生。二、方案概述旭帆科技依托智能高清摄像头、5G无人船、5G无人机等前端设备的数据与信息采集技术、视频监控与流媒体处理技术、人工智能识别技术、云计算、大数据、网络传输与通信等技
Black蜡笔小新·2023-10-21 19:01

大数据测试

一.大数据平台测试简述大数据平台测试包括2部分：基础能力测试和性能测试Ⅰ).基础能力测试大数据平台的基本功能和数据的导入导出对SQL任务、NoSQL任务、机器学习、批处理任务的支持大数据平台是否能够通过界面的形式方便用户进行非运行维护
是酱酱呀·2023-10-21 10:19

一.大数据平台：记账系统测试用例bug的软工测试

在软工测试方面，我们会设计多条测试用例，同时也会有许多bug产生，同时还有回归测试中修复的bug，但是怎么给设计人员清晰的展示测试用例的分布情况和修改案例呢，这里我们用finebi对软工测试结果最后评估实现数据分析。以下是测试的思路和流程。1.测试思路收到测试任务后：•第一步是去找测试的有关方法，之前学习到测试分为黑盒测试和白盒测试。实验里面也实现过白盒测试，但是白盒测试是对代码的测试，面对一个工
玻璃水的客观性·2023-10-21 10:11

认识大数据

大数据开发需要了解的几种语言HadoopSparkStorm大数据平台应用六大知识点一、大数据中的数据仓库和Mpp数据库如何选型?
三思而后行，慎承诺·2023-10-21 07:42

大数据平台开发经验

如果我是一个有着10年大数据平台开发经验的开发者，面试时可能需要准备以下知识大数据生态系统：**熟悉大数据技术栈，如Hadoop、Spark、Flink等，了解它们的原理、用途和优劣势。
三思而后行，慎承诺·2023-10-21 07:04

与领航者共话湖仓， StarRocks Summit 2023 技术专场分论坛剧透来了！

过去一年里，越来越多的企业开始为自有大数据平台引入湖仓一体数据架构方案，来解决实际的业务问题：微信实现多个平台数据需求统一，将平均数据查询速度提升3倍。
StarRocks_labs·2023-10-20 22:25

腾讯大数据平台质量保障之道

引言大数据时代，业界各巨头都在投入重兵打造自己的大数据平台，分析挖掘蕴藏在数据金矿中的价值。在腾讯，数平承建了公司级大数据平台，我们的测试团队也有幸一起搭上了大数据的航母。这是一种机遇，更是一种挑战。
test_soy·2023-10-20 20:42

游戏网页制作 仿英雄联盟网页设计作业 HTML CSS游戏官网网页模板 大学生游戏介绍网站毕业设计 DW游戏主题网页模板下载 游戏娱乐网页成品代码 英雄联盟网页作品下载

获取更多优质源码】web前端期末大作业：【毕设项目精品实战案例(1000套)】程序员有趣的告白方式：【HTML七夕情人节表白网页制作(110套)】超炫酷的Echarts大屏可视化源码：【echarts大屏展示大数据平台可视化
STU网页优选·2023-10-20 18:33

智慧水务大数据平台建设介绍

平升电子智慧水务/智慧水务大数据平台，综合水务公司对管网地理信息在线、供水调度SCADA、各环节数据互联互通、工单执行过程监督、运营情况分析等管理需求，建立了一套面向基层执行者、中层管理者、高层决策者等各层级管理人员的全面科学的解决方案
平升电子DATA86·2023-10-20 16:57

盘点哪些我拥有的课程（一）【文末分享

服务端+MVP架构+封装思想+主流框架3.Typescript+React高仿Antd从零到一打造自己的组件库设计，开发，测试，发布再到CI/CD，从0到1造轮子4.玩转热门框架用企业级思维开发通用够硬的大数据平台一次大厂开发流
weixin_51361104·2023-10-20 09:48

PostgreSQL日常运维：在PostgreSQL中启用、禁用和验证外键约束

在PostgreSQL中启用、禁用和验证外键约束近期在做数据迁移的过程中，遇到有外键约束的表由于表之间数据的依赖关系和数据的导入顺序导致数据加载失败，因此记录了一下关于这类问题的解决思路。--建表createtablet1(aserialprimarykey,btext,cdate);createtablet2(aserialprimarykey,bintreferencest1(a),ctext
qq_863444233·2023-10-20 03:48

网工内推 | 上市公司IT工程师，IA认证及以上

安全设备等）的运行维护；2、负责公司基础环境（操作系统、数据库、中间件等）的安装、配置、管理及标准规范建设；3、负责公司基础设施/系统运维，处理服务请求和解决事件，为企业用户提供高质量的基础服务；执行日常运维
HCIE考证研究所·2023-10-20 00:14

网工内推 | IT主管、高级网工，上市公司，必须持有HCIE认证

负责集团公司IT基础技术架构的规划设计、实施及维护、性能优化，包括数据中心机房、网络架构、虚拟化平台、信息安全设备及灾备系统等；2.负责集团内网、服务器安全运行及数据备份，对网络进行监控、巡检、变更、检视等日常运维
HCIE考证研究所·2023-10-20 00:42

数仓系列 | Flink 窗口的应用与实现

整理|祝尚（Flink社区志愿者）校对|邹志业（Flink社区志愿者）摘要：本文根据ApacheFlink系列直播整理而成，由ApacheFlinkContributor、OPPO大数据平台研发负责人张俊老师分享
Apache Flink·2023-10-20 00:33

电子计算机机房折旧提几年,IDC设备资产运营中四种“折旧率计算”的常见方法...

价值的这一部分被逐渐消耗并转移到数据中心日常运维的服务产品成本中，这构成了产品成本的生产成本，在会计
隅隅隅·2023-10-20 00:06

OceanBase Oracle 模式下系统视图权限导致的故障一例

作者：赵黎明，爱可生MySQLDBA团队成员，熟悉Oracle、MySQL等数据库，擅长数据库性能问题诊断、事务与锁问题的分析等，负责处理客户MySQL及我司自研DMP平台日常运维中的问题，对开源数据库相关技术非常感兴趣
爱可生开源社区·2023-10-19 11:23

聊聊企业大数据平台在企业运营中的作用

伴随着大数据时代的悄然来临，数据的价值得到人们的广泛认同，对数据的重视提到了前所未有的高度。移动互联网、社交媒体和其他来源的数据爆炸式增长，产生了海量的数据，企业会仔细收集这些数据，并将其存储起来，以便重复使用。数据已经作为企业重要资产被广泛应用于盈利分析与预测、客户关系管理、合规性监管、运营风险关理等业务当中。那么大数据在企业经营中有什么作用，下面我们对大数据在企业经营中的作用进行简要介绍。1.
garyond·2023-10-19 09:04

大数据平台的优势与基本能力

大数据平台的独特优势和核心能力随着信息技术的迅猛发展，大数据平台在各行各业中扮演着至关重要的角色。大数据平台是一种集成了多种技术和工具的系统，用于收集、处理、存储和分析海量的结构化和非结构化数据。
抱紧大佬大腿不松开·2023-10-19 02:57

大数据架构和模式，第 2 部分

如何知道一个大数据解决方案是否适合您的组织简介在确定投资大数据解决方案之前，评估可用于分析的数据；通过分析这些数据而获得的洞察；以及可用于定义、设计、创建和部署大数据平台的资源。
断水流大湿兄·2023-10-18 13:54

用户之声 | 初探国产数据库之光——南大通用GBase

文|邢书恒「参加认证培训的原因」山东移动经营分析系统和大数据专题分析平台，从2012年开始引入国产数据库逐步替换原有数据库，分阶段建设、升级扩容大数据平台，采用GBase集群作为底层数据支撑。
GBASE数据库·2023-10-18 08:54

数仓建设（一）

想了想，我们的数仓的建设是基于大数据平台进行的，中间也经历了比较曲折的过程。每个行业都有自身的业务区别，不过很多还是比较相通的。
未来在这儿·2023-10-18 06:39

网工内推 | 南天软件，base北京，需持有CCIE认证，最高25k

01北京南天软件有限公司招聘岗位：IPT运维工程师职责描述：负责客户Cisco语音网络IPT,CUCM的日常运维，扩容和项目支持，支持路由交换，无线等项目，实施工作以及相关实施文档。
HCIE考证研究所·2023-10-17 23:12

【kafka】Kafka 可视化工具Kafka Eagle安装和使用

因此，大数据平台上需要一套Kafka的管理监控系统，Kafka-Eagle。KafkaEagle是一个用于监控和管理kafka的开源组件，可以同时监控多个kafka集群。
Bogon·2023-10-17 11:56

大数据入门：Hadoop Yarn组件基础解析

在Hadoop框架当中，Yarn组件是在Hadoop2.0之后的版本开始引入，主要是为了解决资源管理和调度的相关问题，是在大数据平台的实际运用当中，根据实际需求而引入的解决方案。
成都加米谷大数据·2023-10-16 19:10

web课程设计——健身俱乐部健身器材网站模板(24页)HTML+CSS+JavaScript

获取更多优质源码】web前端期末大作业：【毕设项目精品实战案例(1000套)】程序员有趣的告白方式：【HTML七夕情人节表白网页制作(110套)】超炫酷的Echarts大屏可视化源码：【echarts大屏展示大数据平台可视化
IT黑马程序员·2023-10-16 11:38

web前端期末大作业：基于HTML+CSS+JavaScript制作鲜花礼品在线购物网站设计(19页)

获取更多优质源码】web前端期末大作业：【毕设项目精品实战案例(1000套)】程序员有趣的告白方式：【HTML七夕情人节表白网页制作(110套)】超炫酷的Echarts大屏可视化源码：【Echarts大屏展示大数据平台可视化
STU网页优选·2023-10-16 11:08

Redis 日常运维脚本更新（增加单节点相关功能）

需求背景此脚本最初编写是为了方便Redis集群日常维护，没有考虑Redis单节点情况。PS:最近刚好碰到，继续维护兼容下-。单节点指定库$redis-cli-c-h127.0.0.1-p8001-adaodaotest-n10知识点：单节点默认16个数据库（db0~db15），集群版仅db0库。变更记录Version0.0.32022/05/28增加支持Redis单节点key查询、key删除等功能
叨叨软件测试·2023-10-16 00:26

大数据产品深度与广度并举，腾讯云为数据价值释放带来最优解

云原生正在重新定义大数据平台？目前看的确如此。
大数据在线·2023-10-15 08:41

百度智能云千帆大模型平台 2.0 产品技术解析

本文整理自2023年9月5日百度云智大会-智能计算&大模型技术分论坛，百度智能云AI&大数据平台总经理忻舟的主题演讲《百度智能云千帆大模型平台2.0产品技术解析》。
百度Geek说·2023-10-15 02:27

大数据入门：Hadoop Yarn组件基础解析

在Hadoop框架当中，Yarn组件是在Hadoop2.0之后的版本开始引入，主要是为了解决资源管理和调度的相关问题，是在大数据平台的实际运用当中，根据实际需求而引入的解决方案。
加米谷大数据张老师·2023-10-14 16:26

hive on spark僵死问题分析

背景：最近大数据平台为租户经分系统提供运算及存储能力，经分的资源需求如下Memory:6TCPU:1600c存储：600T文件系统：HDFS运算组件:hiveonspark权限管理：sentry问题描述
baker_dai·2023-10-14 14:59

识时务

空降因为某个项目需要搭建一个大数据平台，我们都比较没有经验，老总就决定从外面招一个比较有经验的人，然后从部门中选出一两个和他做大数据。
西城丶·2023-10-14 09:22

docker的启动脚本也许是个坑

最近项目需要为大数据平台配备监控告警系统，虽说之前折腾过很长时间的nagios，对其中的原理比较了解，但是最终还是决定选择zabbix，原因有两点：1、nagios的开源的UI实在是惨不忍睹，而客户特别是不懂技术的门外汉对产品的要求往往都集中在
蚂蚁都督·2023-10-14 04:39

Apache Doris系列：大数据平台安装与部署详细步骤

ApacheDoris系列：大数据平台安装与部署详细步骤ApacheDoris（前身为Palo）是一个适用于大数据分析的开源列式存储数据库。
我的小星星·2023-10-14 04:15

网工内推 | bsae深圳，网络运维专场，HCIE/CCIE认证优先

01叶子科技招聘岗位：网络运维工程师职责描述：1、参与国内办公网和数据中心网络设计和规划；2、负责国内分支网络的建设实施和日常运维，同时推广落地网络标准化改造，提升网络稳定性；3、保障稳定的办公和数据中心网络环境
HCIE考证研究所·2023-10-14 03:19

网工内推 | 运维专场，厂商、软考证书优先，五险一金，节日福利

01中安网脉招聘岗位：运维工程师职责描述：1、负责驻场单位内网日常运维工作；2、负责驻场单位网络设备、安全设备、服务器、存储设备、主机等的日常运维工作，按照运维流程要求进行日常运维、巡检、故障处理等运维服务工作
HCIE考证研究所·2023-10-14 03:15

Mysql sql 拼接Sqoop和Phoenix语句

需求描述：需要从myslq导入数据到大数据平台hbase，但是由于有100多张表，如果一个表一个表导入的话，工作量大。如果写代码的话，需要的时间也比较多。
suolemen·2023-10-13 17:31

调研了10家公司的技术架构，我总结出了一套大数据平台的套路

近年来，随着IT技术与大数据、机器学习、算法方向的不断发展，越来越多的企业都意识到了数据存在的价值，将数据作为自身宝贵的资产进行管理，利用大数据和机器学习能力去挖掘、识别、利用数据资产。近年来，随着IT技术与大数据、机器学习、算法方向的不断发展，越来越多的企业都意识到了数据存在的价值，将数据作为自身宝贵的资产进行管理，利用大数据和机器学习能力去挖掘、识别、利用数据资产。如果缺乏有效的数据整体架构设
即将秃头的Java程序员·2023-10-13 06:11

Spark大数据平台

  ApacheSpark是专为大规模数据处理而设计的快速通用的计算引擎。Spark是UCBerkeleyAMPlab(加州大学伯克利分校的AMP实验室)所开源的类HadoopMapReduce的通用并行框架，Spark，拥有HadoopMapReduce所具有的优点；但不同于MapReduce的是——Job中间输出结果可以保存在内存中，从而不再需要读写HDFS，因此Spark能更好地适用于数据挖
Hi~晴天大圣·2023-10-13 05:16

运维大数据平台的建设与实践探索

随着企业数字化转型的推进，运维管理面临着前所未有的挑战和机遇。为应对日益复杂且严峻的挑战，数字免疫系统和智能运维等概念应运而生。数字免疫系统和智能运维作为新兴技术，正引领着运维管理的新趋势。数字免疫系统和智能运维都借助大数据运维平台，实现数据驱动的运维策略，实时监控分析系统状态，自动识别异常行为、威胁和攻击，提供智能决策和预防性维护建议，实现自我保护和自我修复等，从根本上提高了系统安全性、稳定性和
H3C-Navigator·2023-10-12 22:40

Flink日志采集、集中存储、可视化查询实践

1.背景笔者的开发大数据平台XSailboat中包含基于Flink的可视化计算管道开发和运维功能。状态存储器中数据的查看和节点的日志查看功能是其重要的辅助支撑功能。
OkGogooXSailboat·2023-10-12 19:50

大一学生作品《前端框架开发技术》 期末网页制作 HTML+CSS+JavaScript 个人主页网页设计实例

获取更多优质源码】web前端期末大作业：【毕设项目精品实战案例(1000套)】程序员有趣的告白方式：【HTML七夕情人节表白网页制作(110套)】超炫酷的Echarts大屏可视化源码：【echarts大屏展示大数据平台可视化
STU学生网页设计·2023-10-12 14:17

可以提供写作素材的大数据平台

做市场调研，一般对于行业趋势、热点、权重等问题最为关注。关键词的热度及指数的反映便是对市场最好的反馈，这里推荐大家几个平台。1.微指数（http://data.weibo.com/index）微指数是新浪微博的数据分析工具，是基于微博的热点内容搜索生成的关键词指数及实时数据。这款工具通过关键词的热议度，以及行业、类别的平均影响力，来反映微博舆情的发展走势。微指数分为影响力指数和热词指数两个模块，另
徐徐思卿·2023-10-12 11:33

数据要素流通视角下数据安全保障研究报告

DATA001：大数据平台安
互联互通社区·2023-10-12 11:54

MySQL 迁移 Oracle 场景中自增主键的实践

作者：赵黎明，爱可生MySQLDBA团队成员，熟悉Oracle、MySQL等数据库，擅长数据库性能问题诊断、事务与锁问题的分析等，负责处理客户MySQL及我司自研DMP平台日常运维中的问题，对开源数据库相关技术非常感兴趣
爱可生开源社区·2023-10-12 11:51

阿里巴巴大数据-Java微服务技术专家-平台架构

长期招聘，简历投递：[email protected]阿里巴巴大数据-Java微服务技术专家-平台架构岗位职责：•参与阿里巴巴大数据平台和数据中台建设，承担大数据智能研发平台整体架构工作
扶至钦·2023-10-12 10:21

轻量应用服务器怎么样？云耀云服务器L实例值得入手吗？

此外，传统云服务器运维复杂，专业性强，且面对复杂的用户场景，日常运维问题等耗心耗力，一旦出现宕机、安全问题，运维不能及时跟上，对业务影响很大。并且，用
电商EMBA·2023-10-12 07:51
上一页 6 7 8 9 10 11 12 13 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他