大数据平台-日常运维

面霜最好用的品牌排行榜，口碑最好的面霜品牌

通过大数据平台，我们得到了真正好用的面霜排行榜10强，都是来自群众真实使用以后的评分，效果可是真正的好买面霜上高省，佣金真的高，我们真的省！
高省张导师·2024-02-10 19:21

数据中台 pdf_数据中台到底怎么建设，有人把他说清楚了

本人断断续续从事数据仓库约有五六年经验，在移动公司前三年是负责数据仓库项目实施，后四年开发搞大数据平台，见证了从传统数据仓库转型到大数据平台的全历程，见证了大数据平台从0到1的全部过程，包括第一个MPP
weixin_39699121·2024-02-09 18:59

某企业多Scrum团队解决方案题文章

●背景●业务快速发展，开发下一代云原生大数据平台●产研测-多Scrum团队多sprint并行开发●公司需要，建立PMO体系，结合实际建立流程体系●问题描述●关键字：跨团队、多scrum、沟通、大版本、技术能力
叶建波_8de4·2024-02-09 16:57

普通用户(非root)使用nginx

由于生产安全要求，日常运维用户不能拥有管理员权限，需使用普通用户更改nginx配置、重新加载配置、查看日志等操作适用于使用rpm安装的nginx，目前在centos7上使用正常rpm或yum安装nginx
skywin88·2024-02-09 07:06

大数据用户画像系统架构设计

文章目录一、用户画像数据仓库搭建、数据抽取部分二、大数据平台、用户画像集市分层设计、处理三、离线计算部分四、实时计算部分五、Solr/ES搜索引擎部分六、JavaWeb毫秒级实时用户画像接口服务七、用户画像实时展示异步触发获取
充电了么·2024-02-07 19:37

阿里首次披露自研飞天大数据平台技术架构

9月26日，阿里云飞天大数据平台在云栖大会第二天主论坛上正式对外发布，这也是阿里首次对外披露飞天大数据平台的整体架构。
DP29syM41zyGndVF·2024-02-07 11:13

【Flink】FlinkSQL实现数据从Kafka到MySQL

简介未来Flink通用化，代码可能就会转换为sql进行执行，大数据开发工程师研发Flink会基于各个公司的大数据平台或者通用的大数据平台，去提交FlinkSQL实现任务，学习Flinksql势在必行。
一杯咖啡半杯糖·2024-02-07 06:39

spark sql上线前的调试工作实现

背景每个公司应该都有大数据的平台的吧，平台的作用就是可以在上面执行各种sparksql以及定时任务，不过一般来说，由于这些sparksql的上线不经过测试，所以可能会影响到生产的数据，这种情况下大数据平台提供一个上线前的调试功能也就非常好了
lixia0417mul2·2024-02-07 05:22

Spark Chapter 8 Spark SQL

【参考以慕课网日志分析为例进入大数据Sparksql】0导读SQL：MySQL，Oracle，DB2，SQLServer在大数据平台上实现大数据计算：Hive/SparkSQL/SparkCore直接使用
深海suke·2024-02-07 01:34

Flink 动态表 (Dynamic Table) 解读

博主历时三年精心创作的《大数据平台架构与原型实现：数据中台建设实战》一书现已由知名IT图书品牌电子工业出版社博文视点出版发行，点击《重磅推荐：建大数据平台太难了！给我发个工程原型吧！》
　Laurence·2024-02-06 11:26

Liunx运维批量启动、停止服务

在日常运维过程中，经常会碰到需要批量启动若干个应用服务，若果手动一个一个启动，非常耗时效率很低，这时候可以考虑脚本批量启动。
fengchengwu2012·2024-02-06 05:34

企业级大数据平台应用场景介绍

从业务的角度看，企业级大数据平台功能可细分为查询检索、数据挖掘、统计分析、深度分析，其中深度分析分为机器学习和神经网络。
明月说数据·2024-02-05 16:10

大数据平台_大数据应用场景有哪些

大数据时代的出现，简单的讲是海量数据同完美计算能力结合的结果，确切的说是移动互联网、物联网产生了海量的数据，大数据计算技术完美地解决了海量数据的收集、存储、计算、分析的问题。一些公司也成立了大数据部门，大数据得到了企业的高度重视，但是很多企业和厂商主要的困难在于大数据的场景应用，既如何利用数据分析和外部数据来提升业务。其实大数据的场景应用可以从横向和纵向来说，可以从数据源、数据应用、数据分析方法和
思迈特Smartbi·2024-02-05 16:06

安装Ubuntu遇到的问题和一些优化ubuntu使用的总结

序言安装缘由：安装了ubuntu后，需要把这个系统当做我日常运维和运维开发测试的基础系统，所以很多东西都需要安装和优化。仅此记录下来。
全糖去冰吃不了苦·2024-02-05 11:43

2020实体书店销售统计数据

据中金易云大数据平台实时监控的数据，今年上半年，实体书店图书销售码洋同比去年上半年下降了31.47%，为40.39亿，动销品种同比下
爆江·2024-02-05 10:27

降本增效利器！趣头条Spark Remote Shuffle Service最佳实践

多个业务线依赖于大数据平台展开业务，大数据系统的高效和稳定成了公司业务发展的基石，在大数据的架构上我们使用了业界成熟的方案，存储构建在HDFS上、计算资源调度依赖Yarn、表元数据使用Hiv
阿里云技术·2024-02-05 09:29

大数据平台-可视化面板介绍-Echarts

应对现在数据可视化的趋势，越来越多企业需要在很多场景(营销数据，生产数据，用户数据)下使用，可视化图表来展示体现数据，让数据更加直观，数据特点更加突出。目录01-使用技术02-案例适配方案03-基础设置04-header布局05-mainbox主体模块06-公共面板模块panel07-柱形图bar模块(布局)08-中间布局09-Echarts-介绍10-Echarts-体验11-Echarts-基
py爱好者~·2024-02-04 19:08

探秘海洋生物，来看看海洋生物公开基因组数据集吧！

近日，由青岛华大基因研究院规划的海洋生物公开基因组数据集（PublicMarineGenomeResources,PMGR）系列在国家基因库生命大数据平台（CNGBdb）正式上线。
尐尐呅·2024-02-04 18:57

智慧水务（水厂）大数据平台，打造水务运营管理驾驶舱

智慧水务运营管理平台全天候把握水源、水厂、管网、泵站等生产调度全过程数据。各环节数据联动，形成设备自动运行的预设逻辑，简化人工操作，实现无人值守。并对取水总能耗、吨水电耗、运行经济性成本加以分析，辅助水务系统节能降耗，降低运营成本。以物联感知技术、大数据、智能控制、云计算、人工智能、数字孪生、AI算法、虚拟现实技术为核心，以监测仪表、通讯网络、数据库系统、数据中台、模型软件、前台展示、智慧运维等产
郭靖守襄阳【软芯民用】·2024-02-04 09:52

转载-58同城离线计算平台设计与实践

本次分享将聚焦大数据平台离线计算和大家一起系统的探讨58在离线计算平台建设实践的思路、方案和问题解决之道。
无色的叶·2024-02-04 09:14

某种中型企业网络问题整改方案

2.无网络架构图，管理制度缺失，无日常运维。3.运维人员专业度不高。4.网络日志数据不全，无日志审计系统。5.所有系统都在一张网内，无区域隔离。6.服务器端口映射，服务器内网可随意访问互联网。
feifly329·2024-02-04 06:56

日调用量超千万，超低查询延迟！跨越速运基于Flink + OceanBase的实时分析解决方案与实践

跨越速运内部有超过100位BI分析师，日常工作需要借助大数据平台中的服务项目进行数据研发。跨越速运的数据服务场景中有一万余数据接口，日调用量超过1000万次，并保持99%查
OceanBase数据库官方博客·2024-02-03 23:48

2019-10-08 大数据开发进阶之路

HBase/Flume等掌握Spark生态核心技术，如Spark架构/RDD转换算子/行动算子/持久化算子/任务调度/SparkStreaming等能够对崭新的问题进行建模分析，使用一直只是进行解决掌握大数据平台调优技能
红瓦李·2024-02-03 20:39

Flink实时数仓同步：拉链表实战详解

然而，为满足日常分析和报表等需求，大数据平台采用多种同步方式，以适应这些业务数据的不同存储需求。这些同步存储方式包括离线仓库和实时仓库等，选择取决于业务需求和数据特性。
Light Gao·2024-02-03 10:15

Flink实时数仓同步：流水表实战详解

然而，为满足日常分析和报表等需求，大数据平台采用多种同步方式，以适应这些业务数据的不同存储需求。这些同步存储方式包括离线仓库和实时仓库等，选择取决于业务需求和数据特性。
Light Gao·2024-02-03 10:15

深入数仓离线数据同步：问题分析与优化措施

二、场景在大数据平台中，业
Light Gao·2024-02-03 10:14

Flink实时数仓同步：快照表实战详解

然而，为满足日常分析和报表等需求，大数据平台采用多种同步方式，以适应这些业务数据的不同存储需求。这些同步存储方式包括离线仓库和实时仓库等，选择取决于业务需求和数据特性。
Light Gao·2024-02-03 10:38

第十一章 金融大数据解决方案

金融信息化1.全球金融信息化发展历程2.我国金融信息化发展趋势金融大数据综述1.金融大数据特征2.金融大数据的机遇和挑战金融大数据平台总体架构数据应用-数据计算-数据管理-数据源1.建设原则和目标2.金融大数据业务架构数据才基层
etheon·2024-02-03 00:36

linux文件权限备份、恢复-linux文件权限如何备份、恢复-getfacl/setfacl备份恢复文件权限

在日常运维流水线上，我们可用于备份文件权限的工具很多，每个团队，每个队员所喜好的工具也各有不同，但目标是一致的。下面简单介绍使用getfacl和setf
老覃头·2024-02-02 14:33

精益开发——税务大数据平台建设效能提升的倍增器

2020年阿里巴巴的研发效能峰会上，阿里资深技术专家何勉做了“ALPD——阿里创新能力背后的精益产品开发体系”的分享，它是阿里正在实践和持续打造的产品开发方法，目的是帮助组织提升精益的交付和创新能力，实现十倍效能提升（包括：响应速度、过程质量、有效价值交付等）。或许大家会有怀疑，采用精益开发真有这么大的提升吗？答案是肯定的。这种巨大的提升来自于精益软件开发的理念和方法，它更精准地把握了软件开发过程
悬臂星云·2024-02-02 10:36

珠宝的新模式分析

最新的一轮融资将用来建设珠宝首饰全行业大数据平台，应该是要更好地对珠宝行业的发展把脉。“每月花100元上下成为会员，用户会收到一个‘小蓝盒’，盒子里面有三件总价值在200
三锦囊的猫·2024-02-02 08:15

基于PLC远程网关的智慧农业远程监控系统解决方案

政府大力推动农业科技创新，并通过政策扶持和社会资本投入促进智能农机设备、农业大数据平台、无人农场等新型模式广泛应用。
蓝蜂物联网·2024-02-02 03:48

大数据信用报告应该去哪里查询比较好呢?

本文将为您详细介绍征信和大数据的区别，并推荐一个可靠的大数据平台。
2401_82630523·2024-02-02 01:03

Flink 读取 Kafka 消息写入 Hudi 表无报错但没有写入任何记录的解决方法

博主历时三年精心创作的《大数据平台架构与原型实现：数据中台建设实战》一书现已由知名IT图书品牌电子工业出版社博文视点出版发行，点击《重磅推荐：建大数据平台太难了！给我发个工程原型吧！》
　Laurence·2024-02-01 15:24

【大数据安全】数据管理安全&安全分析&隐私保护

大数据安全分析架构（二）大数据防DDoS攻击（三）攻击可视化与安全业务定制三、隐私保护（一）隐私保护面临的挑战（二）内容关联密钥（三）华为大数据隐私保护方案一、数据管理安全（一）数据溯源数据溯源技术对大数据平台中的明细数据
Francek Chen·2024-02-01 13:48

【大数据安全】大数据安全的挑战与对策&基础设施安全

目录一、大数据安全的挑战与对策（一）数据加密技术（二）大数据安全与隐私（三）大数据安全保障体系（四）华为大数据安全解决方案二、基础设施安全（一）认证技术（二）访问控制（三）公钥基础设施（四）华为大数据平台大数据安全是指在大数据环境下
Francek Chen·2024-01-31 10:49

【网站搭建】30分钟轻松搭建网站应用

使用免费开源个人博客建站工具WordPress部署博客网站，最终实现：管理员-部署网站并进行日常运维、访客-通过互联网访问博客、浏览文章等。
舒意从生·2024-01-31 00:39

Spark 读取、写入时序数据库TDengine以及TDengine概述

除核心的时序数据库功能外，TDengine还提供缓存、数据订阅、流式计算等大数据平台所需要的系列功能，最大程度减少研发和运维的复杂度。1.TDengine总结出了物联网
Alex_81D·2024-01-30 18:10

奇富科技：大数据任务从诊断到自愈的实践之路

整个大数据平台有1000+机器、70P数据量，每日新增200T数据。每天在毓数工作流上运
DolphinScheduler社区·2024-01-30 11:08

基于大数据平台的kylin安装部署手册

目录一.单例Kylin部署1.环境准备1.1软件要求1.2硬件要求1.3Hadoop环境1.4安装前环境检查1.4.1开启时钟同步1.4.2安装net-tools1.4.3检查hbase是否可用1.4.4检查hive是否可用（etl用户,控制台输入）1.4.5检查Hive配置文件2.Kylin安装2.1配置环境变量2.2修改tomcat的配置文件2.3检查tomcat依赖包4.4检查Kylin权限
猿来孺词·2024-01-29 10:26

产业需求大数据平台

产业需求大数据平台，依托大数据、NLP等技术，全面采集区域产业人才需求数据，从宏观、中观、微观三个层面对产业需求进行分析，并匹配学校自身的办学定位、专业布局、人才培养目标、培养规格和课程设置，进行专业设置匹配度
单眼皮的老虎·2024-01-29 09:24

我们的大数据平台项目之所以很实惠是因为有套路可循

我们的大数据平台项目之所以很实惠是因为有套路可循大数据已经成为企业决策的关键因素。然而，许多企业在实施大数据项目时，常常面临成本高昂、技术复杂等挑战。
UI设计前端开发一线员工·2024-01-27 19:00

搭建大数据平台常用的端口号

50070：HDFSwebUI的端口号8485:journalnode默认的端口号9000：非高可用访问数rpc端口8020：高可用访问数据rpc8088：yarn的webUI的端口号8080：master的webUI，Tomcat的端口号7077：spark基于standalone的提交任务的端口号8081：worker的webUI的端口号18080：historyServer的webUI的端口
修勾勾L·2024-01-27 13:51

大数据平台红蓝对抗 - 磨利刃，淬精兵！

随着平台业务越来越复杂，红蓝对抗的作用愈来愈明显，下面将详细介绍大数据平台在大促备战工作中是如何开展红蓝对抗的。首先我们先了解一下什么是红蓝对抗，它都有哪些好处？
京东云技术团队·2024-01-27 07:02

Flink 集成 Debezium Confluent Avro ( format=debezium-avro-confluent )

博主历时三年精心创作的《大数据平台架构与原型实现：数据中台建设实战》一书现已由知名IT图书品牌电子工业出版社博文视点出版发行，点击《重磅推荐：建大数据平台太难了！给我发个工程原型吧！》
　Laurence·2024-01-27 06:54

怎么在手机上怎么查大数据信用报告?大数据信用平台哪个好？

无论你是在手机浏览器搜索还是电脑上搜索，搜索结果排在最前面的几个一定是其他平台投放的广告，我们拿几个关键词搜索举例子：搜索“大数据报告查询”“小易大数据平台”“大数据信用怎么查”搜索
2401_82630523·2024-01-27 00:57

用户画像项目背景

1,用户画像项目介绍大数据平台简介数据仓库+用户画像+推荐系统（1）数据仓库：加快数据的分析和查询数据仓库分层：ODS层(映射HDFS的数据)—DW(数据仓库层)–APP(层)—BI(层)DW:DWD明细数据层
祈愿lucky·2024-01-26 13:20

数字化转型当中数据治理的意义

政府部门通过大数据平台采集防疫信息，各类企业开始将目光投向更多的线上业务处理。据统计，全世界在2020年创建、捕获、复制和消耗执行的数据总量为59泽字节（ZB）。
qingyunliushuiyu·2024-01-26 09:32

SpringBoot，TDengine时序数据库，实现物联网，车联网大批量数据更新最佳实践。

简介TDengine是一款专为物联网、工业互联网等场景设计并优化的大数据平台，它能安全高效地将大量设备、数据采集器每天产生的高达TB甚至PB级的数据进行汇聚、存储、分析和分发，对业务运行状态进行实时监测
可乐cc呀·2024-01-25 17:26

大数据平台组件日常运维操作说明（Hadoop/Zookeeper/Kafa/ES/Mysql/Spark/Flume/Logstash/Tomcat）

Hadoop日常运维操作说明hdfs生产环境hadoop为30台服务器组成的集群，统一安装配置，版本号为2.7.7部署路径：/opt/hadoop启动用户：hadoop配置文件：/opt/hadoop/
love6a6·2024-01-25 07:12
上一页 1 2 3 4 5 6 7 8 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他