大数据平台-日常运维

统一系统脆弱性管理平台：漏洞分析和修补的“绝佳工具”

国联统一系统脆弱性管理平台是由国联易安研究团队自主研发的新一代漏洞扫描管理系统，涵盖了网络空间资产探测、系统漏洞扫描、虚拟机漏洞扫描、WEB漏洞扫描、网站安全监测、数据库安全扫描、安全基线核查、工控漏洞扫描、WIFI安全检测、APP安全扫描、大数据平台漏洞扫描
焦点快讯·2023-12-15 00:44

空气污染大屏，UI可视化大屏设计（PSD源文件）

现分享科技空气污染大数据、空气污染大数据平台、大气环境信息资源中心、大气检测大数据中心、环境信息资源中心界面的大屏Photoshop源文件，开箱即用！
77探索AI·2023-12-14 13:07

Flume+Kafka双剑合璧玩转大数据平台日志采集

概述大数据平台每天会产生大量的日志，处理这些日志需要特定的日志系统。
java菜·2023-12-07 00:17

七牛云照片上传

围绕富媒体场景推出了对象存储、融合CDN加速、容器云、大数据平台、深度学习平台等产品、并提供一站式智能视频云解决方案。
月哥说了算·2023-12-06 20:27

python爬虫混肴DES案例：某影视大数据平台

声明：该文章为学习使用，严禁用于商业用途和非法用途，违者后果自负，由此产生的一切后果均与作者无关一、找出需要加密的参数js运行atob(‘aHR0cHM6Ly93d3cuZW5kYXRhLmNvbS5jbi9Cb3hPZmZpY2UvQk8vTW9udGgvb25lTW9udGguaHRtbA==’)拿到网址，F12打开调试工具，点击票房日期下拉筛选，找到API/GetData.ashx请求分别切
局外人LZ·2023-12-06 18:12

ambari 安装及使用ambari安装hadoop记录

大数据平台XSailboat简介_OkGogooXSailboat的博客-CSDN博客1、ambari简介ApacheAmbari是一种基于Web的工具，支持ApacheHadoop集群的供应、管理和监控
yujianbujianqwe·2023-12-06 17:24

大数据平台Ambari2.7.4+HDP3.1.4详细安装教程

Ambari已支持大多数Hadoop组件，包括HDFS、MapReduce、Hive、Pig、Hbase、Zookeeper、Sqoop和Hcatalog等。Ambari是一个基于web的工具，用于配置、管理和监视Hadoop集群，同样还提供了集群状况仪表盘，通过界面方便用户查看问题及管理组件。根据网上了解到Ambari2.7.4+HDP3.1.4安装Ambari2.7.4+HDP3.1.4是最后
csdnuser267·2023-12-06 17:20

云轴科技ZStack助力彬长矿业建设智能矿山

ZStack智能矿山云解决方案不仅支撑了彬长矿业矿山大数据平台、智能集中控制平台、产供销平台等数据服务层和智能决策支持系统，还保障了煤矿井下车辆监
ZStack云计算·2023-12-06 08:43

日常运维之JVM学习

背景：项目运行过程中出现OOM异常或者应用无故卡死不动情况，分析原因是程序编写不规范。所以深入了解JVM，并且进行调优排查问题。由于时间比较仓促，简单记录一下学习笔记供大家参考，如果不对的地方请指出。名词解释：JDK：JavaDevelopmentKit //Java开发工具包JRE：Javaruntimeenvironment//Java运行环境JVM：JavaVirtualMachine//J
Xu-小安安·2023-12-06 05:22

【Jpom】一款简而轻的低侵入式在线构建、自动部署、日常运维、项目监控软件

一款简而轻的低侵入式在线构建、自动部署、日常运维、项目监控软件https://jpom.io/|https://jpom-site.keepbx.cn/|https://jpom.keepbx.cn/您为什么需要
不忘初心_jzy·2023-12-06 04:52

java项目日常运维需要的文档资料

一、前言java项目开发完成，部署上线，进入项目运维阶段，日常工作需要准备哪些资料和文档?当项目上线后，运行一段时间，或多或少会遇到一些运维上的问题，比如服务器磁盘饱满，服务器CPU，内存使用率过高，应用存在安全漏洞，应用报错，临时需求编个变更等等。诸多问题。那么若想快速响应，平时就需要准备好与项目运维相关的文档和资料。我总结了以下一些内容。二、运维需要的资料和文档1、测试环境和生产环境部署说明文
奋力向前123·2023-12-06 04:51

比赛调研资料

视觉文旅现有的模型数据功能精准营销基于地理推荐能力乡村圈分析能力都市圈分析能力产品体系三大数据平台携程问道旅游服务框架：前置（推荐种草），途中（客服），售后（？）
银晗·2023-12-05 10:50

Flume+Kafka双剑合璧玩转大数据平台日志采集

大数据平台每天会产生大量的日志，处理这些日志需要特定的日志系统。
浪尖聊大数据-浪尖·2023-12-05 02:12

大数据开发：Kafka消息存储到Broker的流程

Kafka作为分布式消息系统，在大数据平台架构层面，承担着消息流转和存储支持的重要任务。消息经kafka引入到大数据系统平台，存储是一道重要的关卡。
成都加米谷大数据·2023-12-04 23:34

茄子科技张韶全：跨多云大数据平台DataCake在OceanBase的实践

其中，在“数字化转型升级实践专场”，我们有幸邀请到了茄子科技大数据技术总监张韶全进行《跨多云大数据平台DataCake在OceanBase的实践》主题演讲，以下为演讲全文：大家下午好！
OceanBase数据库官方博客·2023-12-04 21:49

大数据权限与安全

权限的管控，历来是大数据平台中最让人头疼的问题之一。管得严了，业务不流畅，用户不开心，放得宽了，安全没有底，你能放心？
专职掏大粪·2023-12-04 20:53

某资产管理机构: IAST提升安全水平，保障资产管理水平稳健增长

某资产管理机构是国内首批成立的资产管理公司之一，坚持“科技金融”、“数字金融”战略，以客户为中心，聚焦用户体验与业务协同，着力推进营销数字化进程和大数据平台建设，助力资产管理高质量发展。
开源网安·2023-12-04 15:42

T3 出行 Apache Kyuubi Flink SQL Engine 设计和相关实践

在日前的ApacheSeaTunnel&Kyuubi联合Meetup上，T3出行大数据平台负责人、ApacheKyuubicommitter杨华和T3出行高级大数据工程师李心恺共同分享了ApacheKyuubi
网易杭研·2023-12-03 23:41

车联网大数据框架_车联网大数据平台架构设计-系统总体架构

恒润科技针对车联网大数据平台(后称‘大数据平台’)的架构规划请见下图。数据源大数据平台的数据源包括两类数据：•车载终端
weixin_39941262·2023-12-03 18:36

昨日黄花Hadoop 方兴未艾云原生——传统大数据平台的云原生化改造

本文6539字，阅读时间约20分钟以Hadoop为中心的大数据生态系统从2006年开源以来，一直是大部分公司构建大数据平台的选择，但这种传统选择随着人们深入地使用，出现越来越多的问题，比如：数据开发迭代速度不够快
LinkTime_Cloud·2023-12-03 14:28

docker踩坑记录：docker容器创建doris容器间无法通讯问题

背景：开发大数据平台，使用doris作为数据仓储，使用docker做集群部署，先进行开发环境搭建，环境为BE1;FE1，原来使用官方例子，但是官方例子是创建了一个bridge使用172.20.80.0/
Alaia.·2023-12-02 14:47

如何管理施工现场？一招轻松搞定

客户案例建筑公司山东某建筑公司通过引入泛地缘科技推出的智慧工地大数据平台，不仅提高了安全性，还有效管理了人员和设备的使用。成功完成了项目，并在工期内实现了质量和安全标准。
泛泛科技谈·2023-12-01 20:10

一文读懂：制造业头部企业如何构建经营分析数字化体系

用BI数据分析手段，通过SAPBW/4HANA、SAPSACPlanning、数据中台、Hadoop等构建大数据平台，实现企业经营分析的数字化在近年逐步被认可和推崇，尤其是数字化场景的经营分析会成为数字化转型的亮点应用之一
智扬信达·2023-12-01 09:11

Linux内存清理常用方法

在日常运维中经常遇到机器内存占用过高的现象，以下针对这个问题梳理了两种常用的清理方法。
SuperPurse·2023-11-30 19:22

在centos7上搭建hadoop大数据平台

目录一、安装搭建java环境1、安装方法2、查看是否已安装3、卸载4、安装4.1检查yum中有没有java1.8包4.2开始安装5、验证二、Hadoop安装1、下载2、准备启动Hadoop集群2.1配置Hadoop守护进程的环境2.2配置系统环境变量2.3配置etc/hadoop/core-site.xml文件2.4配置etc/hadoop/hdfs-site.xml文件2.5配置etc/hado
船长灬普朗克·2023-11-30 13:03

00Hadoop数据仓库平台

在这里是学习大数据的第一站什么是数据仓库常见大数据平台组件及介绍什么是数据仓库在计算领域，数据仓库（DW或DWH）也称为企业数据仓库（EDW），是一种用于报告和数据分析的系统，被认为是商业智能的核心组件
kk_io·2023-11-30 13:29

论分布式存储系统架构设计

摘要2019年6月，我所在的公司中标某集团全国保险大数据平台搭建项目，该项目周期为2年，总投资为5000万人民币，通过该项目，搭建该集团大数据建设项目，实现该集团所有业务以及用户行为数据入库并解析，为集团提供精准营销
mischen520·2023-11-30 08:36

信创大数据平台容灾项目

一、项目方案齐鲁银行自2017年开始建设大数据平台，为全行提供的各类数据服务与全行业务深度融合，大数据服务已成为推动业务发展不可或缺的环节。
四月天03·2023-11-30 02:39

Redis 最佳实践指南：7个维度+43条使用规范

日常运维Redis需要注意什么？部署Redis时，如何做好资源规划？Redis监控重点要关注哪些指标？尤其是当你的项目越来越依赖Redis时，这些问题就变得尤
Python中文社区·2023-11-29 18:31

Java jmx学习---Hive metric

监控这里，目前已知的大数据平台组件比如FusionInsight、CDH对服务的监控做的就很好，无奈，我司的产品属于小本经营，自己从apache里面拿来hive源码，然后直接改点配置文件，就准备上线。
小可0306·2023-11-29 17:01

大数据平台/大数据技术与原理-实验报告--部署ZooKeeper集群和实战ZooKeeper

实验名称部署ZooKeeper集群和实战ZooKeeper实验性质（必修、选修）必修实验类型（验证、设计、创新、综合）综合实验课时2实验日期2023.11.04-2023.11.05实验仪器设备以及实验软硬件要求专业实验室（配有centos7.5系统的linux虚拟机三台）实验目的1.理解ZooKeeper的系统模型，包括数据模型、版本机制、Watcher监听机制、ACL权限控制机制。2.理解Zo
jakeonil·2023-11-29 15:31

大数据平台/大数据技术与原理-实验报告--部署全分布模式HBase集群和实战HBase

实验名称部署全分布模式HBase集群和实战HBase实验性质（必修、选修）必修实验类型（验证、设计、创新、综合）综合实验课时2实验日期2023.11.07-2023.11.10实验仪器设备以及实验软硬件要求专业实验室（配有centos7.5系统的linux虚拟机三台）实验目的1.理解HBase数据模型。2.理解HBase体系架构。3.熟练掌握HBase集群的部署。4.了解HBaseWebUI的使用
jakeonil·2023-11-29 15:28

线上异步任务突然不能回写100%

sql需要是在大数据平台，通过yarn调度，异步执行。kafka监听每个sql的执行状态，所有sql执行完成，更新作业进度和状态。系统运行一段时间之后，突然频繁出现作业进度不能更新到100%。
爱晒太阳的小老鼠·2023-11-29 12:23

web前端期末大作业——HTML+CSS+JavaScript仿王者荣耀游戏网站设计与制作

获取更多优质源码】web前端期末大作业：【毕设项目精品实战案例(1000套)】程序员有趣的告白方式：【HTML七夕情人节表白网页制作(110套)】超炫酷的Echarts大屏可视化源码：【echarts大屏展示大数据平台可视化
STU网页优选·2023-11-29 11:57

Nginx详细讲解

前言：nginx的特点本节主要对NginxWeb服务软件进行介绍，涉及Nginx的基础，特性，配置部署，优化，以及企业中的日常运维管理和应用。
ao362008·2023-11-28 20:38

解决Spark SQL读数据库时不支持某些数据类型的问题

在大数据平台中，经常需要做数据的ETL，从传统关系型数据库RDBMS中抽取数据到HDFS中。
alexlee666·2023-11-28 20:49

关于大数据平台的软件的总列

查询引擎一、Phoenix简介：这是一个Java中间层，可以让开发者在ApacheHBase上执行SQL查询。Phoenix完全使用Java编写，代码位于GitHub上，并且提供了一个客户端可嵌入的JDBC驱动。Phoenix查询引擎会将SQL查询转换为一个或多个HBasescan，并编排执行以生成标准的JDBC结果集。直接使用HBaseAPI、协同处理器与自定义过滤器，对于简单查询来说，其性能量
sofeld·2023-11-28 16:44

大数据平台测试-优秀员工申请模板

在企业里，优秀员工是需要申请的，下面分享一些模板：1、申请个人优秀奖-测试质量奖申报优秀员工-测试质量奖参考模板：推动XXX质量共建的优秀实践者，通过验证的产研流程把控，过程问题的据理力争，推动整体质量的大幅提升。在其强有力的执行和严格的把关下，XXX的质量管理工作取得了突出的质量建设成绩，过程质量需求BUG率从原来的127%左右下降到30%左右，生产问题数从原来的单月最多10个，到现在每月维持在
软件测试李同学·2023-11-28 16:40

大数据平台的软件有哪些？

查询引擎一、Phoenix简介：这是一个Java中间层，可以让开发者在ApacheHBase上执行SQL查询。Phoenix完全使用Java编写，代码位于GitHub上，并且提供了一个客户端可嵌入的JDBC驱动。Phoenix查询引擎会将SQL查询转换为一个或多个HBasescan，并编排执行以生成标准的JDBC结果集。直接使用HBaseAPI、协同处理器与自定义过滤器，对于简单查询来说，其性能量
别盲目追风·2023-11-28 16:37

大数据平台/大数据技术与原理-实验报告--部署全分布模式Hadoop集群

实验名称部署全分布模式Hadoop集群实验性质（必修、选修）必修实验类型（验证、设计、创新、综合）综合实验课时2实验日期2023.10.16-2023.10.20实验仪器设备以及实验软硬件要求专业实验室（配有centos7.5系统的linux虚拟机三台）实验目的1.熟练掌握Linux基本命令。2.掌握静态IP地址的配置、主机名和域名映射的修改。3.掌握Linux环境下Java的安装、环境变量的配置
jakeonil·2023-11-28 16:30

大数据平台测试-一次生产P2故障记录

项目介绍：某鉴权项目。公司为了数据安全，去年评审通过了一个基于中间件kafka的鉴权项目，大概的意思，消费topic的应用需要对接鉴权项目，订阅应用，启动端口9093消费（默认是9092端口），当时大家（开发）都觉得风险太大了，不适合接入公司核心kafka集群。万一出错影响太大。但是领导，技术委员会通过了，大家也没啥办法，谁叫大家都是执行者。。。先看出现生产事故的java代码：@Overridep
软件测试李同学·2023-11-28 16:27

大数据平台/大数据技术与原理-实验报告--MapReduce编程

实验名称MapReduce编程实验性质（必修、选修）必修实验类型（验证、设计、创新、综合）综合实验课时2实验日期2023.10.30-2023.11.03实验仪器设备以及实验软硬件要求专业实验室（配有centos7.5系统的linux虚拟机三台）实验目的1.理解MapReduce编程思想。2.理解MapReduce作业执行流程。3.理解MR-App编写步骤，掌握使用MapReduceJavaAPI
jakeonil·2023-11-28 16:26

大数据平台/大数据技术与原理-实验报告--实战HDFS

实验名称实战HDFS实验性质（必修、选修）必修实验类型（验证、设计、创新、综合）综合实验课时2实验日期2023.10.23-2023.10.27实验仪器设备以及实验软硬件要求专业实验室（配有centos7.5系统的linux虚拟机三台）实验目的1.理解HDFS体系架构。2.理解HDFS文件存储原理和数据读写过程。3.熟练掌握HDFSWebUI界面的使用。4.熟练掌握HDFSShell常用命令的使用
jakeonil·2023-11-28 16:25

滩涂植物的线上“档案馆”来啦！CNGBdb发布滩涂植物资源库

2020年10月13日，由国家基因库与中国农业科学院青岛特种作物研究中心共同开发的滩涂植物资源库在国家基因库生命大数据平台（CNGBdb）正式上线。
尐尐呅·2023-11-27 23:52

助力企业实现更简单的数据库管理，ATOMDB 与 TDengine 完成兼容性互认

近日，涛思数据旗下高性能、分布式的物联网、工业大数据平台TDengineV3.0版本与秦派软件旗下ATOMDB全平
涛思数据（TDengine）·2023-11-27 19:29

大数据下的密码技术挑战

大数据系统通常由大数据平台、大数据应用以及处理的数据集合构成，下图给出了大数据系统的模型。大数据系统构成大数据系统的特征是数据体量大、种类多、聚
yoku酱·2023-11-27 17:57

深度学习大数据物流平台 python 计算机竞赛

文章目录0前言1课题背景2物流大数据平台的架构与设计3智能车货匹配推荐算法的实现**1\.问题陈述****2\.算法模型**3\.模型构建总览**4司机标签体系的搭建及算法****1\.冷启动**2\.
Mr.D学长·2023-11-27 14:39

车联网安全漏洞管理深度解读

2021-09-1719:38:20来源:中国大数据平台今日（2021年9月16日），工信部发布《关于加强车联网网络安全和数据安全工作的通知》（下称“《通知》”），强调加强智能网联汽车、车联网网络、车联网服务平台以及数据等多方面的安全防护
风禾万里·2023-11-27 12:52

【2023 云栖】阿里云刘一鸣：Data+AI 时代大数据平台建设的思考与发布

云布道师本文根据2023云栖大会演讲实录整理而成，演讲信息如下：演讲人：刘一鸣|阿里云自研大数据产品负责人演讲主题：Data+AI时代大数据平台应该如何建设今天分享的主题是Data+AI时代大数据平台应该如何建设
云布道师·2023-11-27 12:05

利用SparkSQL Logical Plan Parse 打造大数据平台SQL诊断利器

前言对一个开源项目来说，虽然各种卷，动不动去深入研究源码啥的，但是没有真正去参与开发的话，了解里头的原理又少那么点感觉。实际情况来说很少机会去参与源码的改造吧，这里我提供一些思路，就是基于源码倒腾一些小工具，这样子有作用而且加深那些原理的理解！利用我们的源码，打造一款SQL的扫描工具~~原理篇Spark被大家津津乐道的经典SQL解析流程Sql语句经过Antlr4解析，生成UnresolvedLog
敏叔V587·2023-11-27 03:34
上一页 3 4 5 6 7 8 9 10 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他