大数据平台-日常运维第13页

个性化搜索引擎系统架构设计

文章目录前言一、搜索数据仓库搭建、数据抽取部分二、大数据平台、搜索数据集市分层设计、处理三、离线算法部分四、在线Web搜索接口服务总结前言个性化搜索目前发展阶段不是要替换掉传统搜索，而是对传统搜索的一个补充

充电了么·2023-09-07 11:55

大数据平台之元数据

表、字段的元数据信息是大数据平台建设的基础，随着业务发展，会发现，若一开始对这一块基础没设计好，会遇到很多问题（原以为元数

9随遇而安·2023-09-06 12:12

流批一体在京东的探索与实践

01整体思考提到流批一体，不得不提传统的大数据平台——Lambda架构。它能够有效地支撑离线和实时的数据开发需求，但它流和批两条数据链路割裂所导致的高开发维护成本以及数据口径不一致是无法忽视的缺陷。

浪尖聊大数据-浪尖·2023-09-06 02:14

【zookeeper】zookeeper日常运维

本文将分享一些zookeeper在日常使用中一些维护经验。zookeeper清理快照脚本或者命令清理zookeeper长时间运行，快照逐渐增多可能造成服务器磁盘被占满的情况，但我们不能贸然用rm命令删除快照文件，如果直接删完会导致丢失好多数据，所以我们需要设置相关参数，并使用一些优雅的命令来删除文件，zookeeper自带的脚本zkCleanup.sh。[root@k8s-m1bin]#./zkC

margu_168·2023-09-05 09:29

智慧导览|智能导游系统|AR景区导览系统|景区电子导览

为满足不同年龄段游客的游览需要，提升旅游服务体验，越来越多的旅游景区、博物馆、展览馆开始规划建设景区手绘地图、景区元宇宙平台、智慧景区导览系统平台、AR景区导览系统、景区可视化大数据平台等。

道可云·2023-09-05 06:57

一文简单了解商业化广告平台

互联网广告是流量进行商业化模式变现的重要途径，广告系统涉及多个功能包含广告投放平台、大数据平台、商业化智能运营平台、算法策略平台、工具平台等多个平台互相协作。

PM言语·2023-09-05 06:06

南京星瑞斯携手安联保险，车联网技术助力车辆保险业务开拓

安联保险通过了解车辆的行驶状况，司机的驾驶行为以及车况分析,结合大数据平台为车主提供基于使用状况的车险，不但可以为保险公司控制风险，还能为车主提供价格更低的车险，从而让保险公司可以获得更高的市场份额。

罗小黑和猫·2023-09-05 03:54

mariadb 日常运维命令

servicemariadbstartservicemariadbrestartservicemariadbstopservicemariadbstatus

flyjar·2023-09-04 18:15

使用DBeaver访问Kerberos环境下的Hive

应用背景有时想看看大数据平台上Hive表的结构和数据字典，或者对数据进行简单查询、核验，可以装一个SQL开发工具访问CDH集群中的Hive。

padluo·2023-09-03 07:50

7万字省级智慧农业大数据平台项目规划建设方案

部分资料内容：1.1 建设原则结合本项目的实际应用和发展要求，在进行农业大数据平台方案设计过程中，应始终坚持以下原则：1) 可扩展性原则为了保证不断增长的农业大数据需求，系统必须具有灵活的结构并留有合理的扩充余地

2023小目标·2023-09-03 02:12

省级智慧农业大数据平台项目规划建设方案[195页Word]

导读：原文《省级智慧农业大数据平台项目规划建设方案[195页Word]》（获取来源见文尾），本文精选其中精华及架构部分，逻辑清晰、内容完整，为快速形成售前方案提供参考。

2023小目标·2023-09-03 02:39

ELK告警插件-elastalert2 实践，支持elk8.0版本，企微机器人告警实现

最近刚把生产的ELK搭建完成，前面文章也有介绍，然后就在思考把日志监控告警也做起来，因为人力问题，既要处理生产问题，又要做一些日常运维工作，所以日志监控的调研和完成就放在周末来做了。

大侠之运维·2023-09-03 01:19

网工内推 | 上市公司，IT工程师、服务器工程师，IP以上优先

烟台睿创微纳技术股份有限公司招聘岗位：IT工程师职责描述：1、负责网络及安全架构的规划、设计、性能优化；2、负责网络设备的安装、配置、管理、排错、维护，提供网络设备维护方案；3、负责防火墙、上网行为管理、负载均衡等安全设备调试配置及日常运维

HCIE考证研究所·2023-09-03 00:48

大数据专业毕业能从事什么工作

大数据开发工程师主要负责公司大数据平台的开发和维护、相关工具平台的架构设计与产品开发、网络日志大数据分析、实时计算和流式计算以及数据可视化等技术的研发和

我想去吃ya·2023-09-02 16:36

高级DBA带你处理Mysql数据库漏洞修复方法以及升级版本方法指南最详细全网唯一

一、问题痛点描述日常运维实际工作中，经常碰到密评风险漏洞生产环境扫描出很多数据库漏洞，要求整改MYSQL数据库整改方法就是升级版本，升更高版本就自动修复了上图的漏洞，能确保正常过风险评估。

技术很渣·2023-09-02 04:28

520页（17万字）集团大数据平台整体解决方案word

通过数据集成及ETL平台，采集集团现有业务系统（CRM、ERP、寄递平台、金融大数据平台等）数据，经清洗、转换、加工后将数据批量加载到数据

2023小目标·2023-09-02 01:40

【大数据】数据湖：下一代大数据的发展趋势

数据湖：下一代大数据的发展趋势1.数据湖技术产生的背景1.1离线大数据平台（第一代）1.2Lambda架构1.3Lambda架构的痛点1.4Kappa架构1.5Kappa架构的痛点1.6大数据架构痛点总结

G皮T·2023-09-01 16:24

京东发布区块链实践技术白皮书

京东集团副总裁，大数据平台与产品研发部负责人裴健表示，京东

中走向湮灭·2023-09-01 16:43

大数据平台的SQL查询引擎有哪些？

前言大数据平台中Hadoop的分布式文件系统（HDFS）之上形成了一种极具特色的技术群体，那就是SQL查询引擎。

守护石技术研究·2023-09-01 13:19

juniepr SRX 系列防火墙数据包处理流程

防火墙数据包处理流程对于防火墙日常运维来说，最重要的就是了解防火墙的数据包处理流程,以及针对数据包处理流程的排查。

灵气小王子·2023-09-01 00:00

大数据平台数据脱敏是什么意思？有哪些方案？

大数据平台包含了海量多样化数据，所以保障大数据平台数据安全非常重要，数据脱敏就是手段之一。今天我们就来简单聊聊大数据平台数据脱敏是什么意思？有哪些方案？大数据平台数据脱敏是什么意思？

行云管家·2023-08-31 22:00

数据挖掘与学习在企业大数据平台应用中面临的技术挑战

企业大数据的实施过程中，仍然面临很多技术挑战，涉及数据采集与获取、数据存储与查询、数据处理与计算、数据挖掘与学习、数据理解与应用、数据管理与扩展等方面。在数据挖掘与学习应用中，存在以下几个方面的技术挑战：技术挑战

皮皮杂谈·2023-08-31 18:55

性能提升3-4倍！贝壳基于Flink + OceanBase的实时维表服务

作者介绍：肖赞，贝壳找房（北京）科技有限公司OLAP平台负责人，基础研发线大数据平台部架构师。贝壳找房是中国最大的居住服务平台。

OceanBase数据库官方博客·2023-08-31 15:10

社科人必不可少的数据平台

必不可少的数据平台:企研·社科大数据平台企研·社科大数据平台（https://r.qiyamdata.com)是企研数据为中国社科领域教学和科研工作精心打造的全新社科类大数据下载平台。

企研数据·2023-08-31 14:59

数据资源 | 八大板块！数据公开下载渠道（下）

本文综合整理自网站企研·中国学术大数据平台（https://r.qiyandata.com）来源：企研·中国学术大数据平台|公共数据资源前文回顾：数据资源|八大板块！

企研数据·2023-08-31 14:58

数据资源 | 八大板块！数据公开下载渠道

本文综合整理自网站企研·社科大数据平台（https://r.qiyandata.com）来源：企研·中国学术大数据平台|公共数据资源目录三农地理信息生态环境碳中和调查数据省级统计局省级政府数据开放平台市级政府数据开放平台查看原文

企研数据·2023-08-31 14:28

数据资源 | 八大板块！数据公开下载渠道（中）

本文综合整理自网站企研·中国学术大数据平台（https://r.qiyandata.com）来源：企研·中国学术大数据平台|公共数据资源前文回顾：数据资源|八大板块！

企研数据·2023-08-31 14:28

途牛科技与火山引擎数智平台合作打造企业大数据系统“降本”新范式

·2023-08-31 11:05

大数据平台与数据仓库的五大区别

随着大数据的快速发展，很多人难以区分大数据平台与数据仓库的区别，两者傻傻分不清楚。今天我们小编就给大家汇总了大数据平台与数据仓库的五大区别，希望有用哦！仅供参考！

行云管家·2023-08-31 10:47

雪亮工程2.0：雪亮工程二期智能化综合管理AI大数据平台建设方案设计

一、方案背景雪亮工程主要是针对农村地区治安防控的监控项目，在乡村的主干道、路口、人群聚集地部署高清摄像头，通过三级综治中心和指挥平台，将视频图像信息系统纵向下延至县、乡、村，通过建设各类视频监控点，实现视频图像信息交换共享平台按需联通、视频资源有效整合，基本实现“全域覆盖、全网共享、全时可用、全程可控”的公共安全视频监控建设联网应用，达到农村地区社会治安防控"全覆盖、无死角"的目标。雪亮工程在20

TSINGSEE·2023-08-30 05:40

17万字集团大数据平台整体方案word

导读：原文《17万字集团大数据平台整体方案word》（获取来源见文尾），本文精选其中精华及架构部分，逻辑清晰、内容完整，为快速形成售前方案提供参考。

2023小目标·2023-08-29 23:56

ECharts图表动态修改series显示隐藏

文章目录1、前言2、思路3、实现1、前言最近做的大数据平台，里面很多部分用到了ECharts，其中有个功能，要求将图表分组，根据用户选择的组，来确定ECharts要显示那些线条和柱子，也就是动态的显示option.series

鹏多多.·2023-08-29 21:49

数据同步问题与解决方案：增量全量、数据漂移，数据更新、

传统数据整合方案：merge方式（update+insert）；当前大数据平台不支持update操作，而采用：全外连接（fullouterjoin）+数据全覆盖重新加载（in

四月天03·2023-08-29 19:26

技术实践｜Hive数据迁移干货分享

近几年，随着行业内数据体量的不断增大，再加上国产化的趋势下，很多企业都开始着手对自己已有的大数据平台进行扩容、

中电金信·2023-08-29 07:56

SRE方法论之减少琐事

·2023-08-28 18:21

大数据平台开发规范示例

大数据平台开发规范示例一、前要二、环境信息三、需求流程3.1主流程3.2需求发起3.2.1需求发起人3.2.2需求类型3.2.3需求渠道3.2.4需求对接人3.3需求处理3.3.1内部评估3.3.2计划排期

乙真仙人·2023-08-28 13:57

10万字智慧政务大数据平台项目建设方案222页[Word]

导读：原文《10万字智慧政务大数据平台项目建设方案222页[Word]》（获取来源见文尾），本文精选其中精华及架构部分，逻辑清晰、内容完整，为快速形成售前方案提供参考。

2023小目标·2023-08-28 05:59

在云原生环境中构建可扩展的大数据平台：方法和策略

文章目录1.**选择适当的云提供商：**2.**采用容器化和微服务架构：**3.**分层架构设计：**4.**弹性计算资源：**5.**使用分布式计算框架：**6.**数据分区和分片：**7.**使用列式存储：**8.**缓存和数据预取：**9.**监控和优化：**10.**数据压缩和压缩：**11.**考虑数据分片和复制：**12.**安全性和权限管理：**13.**预测性扩展：**14.**持

程序员小侯·2023-08-28 01:26

大数据日常运维命令

1、HDFSNameNode/usr/local/fqlhadoop/hadoop/sbin/hadoop-daemon.shstartnamenode/usr/local/fqlhadoop/hadoop/sbin/hadoop-daemon.shstopnamenodebin/hdfshaadmin-DFSHAAdmin-getServiceStaten12、HDFSDataNode/usr/

bigdata-余建新·2023-08-27 19:20

Hive原理剖析

一、简介Hive是建立在Hadoop上的数据仓库框架，提供大数据平台批处理计算能力，能够对结构化/半结构化数据进行批量分析汇总完成数据计算。

Hello.Reader·2023-08-27 18:33

赤露水·2023-08-27 14:30

腾讯网络干货分享：大数据在服务器运营中的应用

到2013年，建立网平的大数据平台，把所有的基础架构运

丨程序之道丨·2023-08-27 11:01

大数据时代未来生活什么样苏宁全产业融合告诉你

打破平台壁垒苏宁大数据画像构建“虚拟人格”普通的大数据平台大多布局于垂直领域，如高德地图所共享的

大数据05·2023-08-27 09:25

饿了么大数据计算引擎实践与应用

饿了么BDI-大数据平台研发团队目前共有20人左右，主要负责离线&实时Infra和平台工具开发。

Alukar·2023-08-27 08:39

手把手教你，Selenium 遇见伪元素该如何处理？

问题发生在很多前端页面中，大家会见到很多：:before、::after元素，比如【百度流量研究院】：比如【百度疫情大数据平台】：以【百度疫情大数据平台】为例，“累计确诊”文本并没有显示在HTML源代码中

软件测试潇潇·2023-08-26 21:16

大数据领域都有什么发展方向

大数据开发工程师主要负责公司大数据平台的开发和维护、

我想去吃ya·2023-08-26 12:36

构建高性能云原生大数据处理平台：融合人工智能优化数据分析流程

文章目录架构要点优势与应用案例研究：基于云原生大数据平台的智能营销分析未来展望：大数据与人工智能的融合结论个人主页：程序员小侯CSDN新晋作者欢迎点赞✍评论⭐收藏✨收录专栏：大数据系列✨文章内容：云原生大数据希望作者的文章能对你有所帮助

程序员小侯·2023-08-26 11:15

大数据平台安全主要是指什么安全？如何保障？

随着数据的多样性以及复杂性以及大量性，大数据平台诞生了。但对于大数据平台大家都不是很了解，有人问大数据平台安全主要是指什么安全？如何保障？大数据平台安全主要是指什么安全？

行云管家·2023-08-26 08:41

IT运维：使用数据分析平台监控DELL服务器

概述在企业日常运维中，我们有着大量的服务器设备，设备故障一般可以通过常用的监控软件实现自动告警，但如果在管理运维中我们要做的不仅仅是发现故障，处理硬件故障，我们还需要进一步的了解，今年一共出现了多少次硬件故障

炎凰数据·2023-08-26 02:53

Hive/Spark 整库导出/导入脚本

博主历时三年精心创作的《大数据平台架构与原型实现：数据中台建设实战》一书现已由知名IT图书品牌电子工业出版社博文视点出版发行，点击《重磅推荐：建大数据平台太难了！给我发个工程原型吧！》

　Laurence·2023-08-25 19:05

推荐频道

大数据平台-日常运维