大数据平台

Linux集群组件启停查脚本

大数据平台中涉及很多集群，如果你使用的不是CDH、Ambari等集成版工具，而是自己去部署的源生组件集群，那可能需要简单的脚本去启动、停止、查看状态。这里以zookeeper为例，起一个简单的。
碼小白·2024-01-03 13:31

2021-12-29

据国家邮政局快递大数据平台实时监测数据显示，今年12月12日
190348b28eff·2024-01-02 19:22

Spark内容分享(二十四)：Apache Spark 在爱奇艺的应用实践

目录ApacheSpark在爱奇艺的现状Spark计算框架应用优化SparkSQL服务的落地与优化总结与展望ApacheSpark在爱奇艺的现状ApacheSpark是爱奇艺大数据平台主要使用的离线计算框架
之乎者也··2024-01-02 18:56

sqoop（DataX）-MySQL导入HIVE时间格问题

这里写自定义目录标题问题1：测试MySQL数据信息HIVE数据信息hive中用parquet（orc）列式文件格式存储解决方法问题2：解决方法问题1：用公司的大数据平台（DataX）导数，已经开发上线一个多月的一批报表
浊酒南街·2024-01-02 15:02

大数据平台与架构笔记

快捷键CTRL+alt+T==打开终端ctrl+shift+esc==打开任务后台~==/home/用户名Linux简单命令clear清屏ls查看cd..cd./当前目录cd/根目录mkdir创建目录mkdir目录名mkdir-p目录名//创建多级目录rm删除文件目录rm-r目录名//删除目录及目录下的内容rm文件名//删除文件rmg*rm*cat把文件内容回显到终端cat./文件名cp复制文件t
Area_J·2024-01-02 14:25

SDG大数据平台简介

（摘自百度）SDG大数据平台，围绕零饥饿、清洁饮水和卫生设施、可持续城市和社区、气候行动、水下生物、陆地生物等6个目标，面向公众、科研人员、决策者三类典型场景，提供“一站式”数
角砾岩队长·2024-01-02 08:20

最In干货大赏，SDCC 2017·深圳站完整版日程大放送

拥有互联网应用架构实战峰会、大数据技术实战峰会两大峰会，秉承干货实料的内容原则，邀请业内顶尖的架构师和数据技术专家，共话高可用/高并发/高性能的系统架构设计、分布式缓存服务、WebApp前端架构、消息引擎架构、弹性计算、大数据平台构建
仲培艺·2024-01-02 07:00

【hcie-cloud】【15】华为云Stack应急预案

文章目录前言应急预案介绍应急预案诉求用户挑战业务上云阻碍大应急保障缺乏规范应急时效性难以保障运维体系存在盲点应急预案的必要性应急预案故障场景总览基础云服务应用平台数据库大数据平台AI服务应急预案故障场景介绍故障场景案例
҉人间无事人·2024-01-01 11:57

HBase 例行灾备方案：快照备份与还原演练

博主历时三年精心创作的《大数据平台架构与原型实现：数据中台建设实战》一书现已由知名IT图书品牌电子工业出版社博文视点出版发行，点击《重磅推荐：建大数据平台太难了！给我发个工程原型吧！》
　Laurence·2023-12-31 12:28

支撑EB级规模的大数据平台深度揭秘

他分享的议题主要围绕阿里云数加平台，这一发布不久的大数据平台对很多人来说还比较陌生，但是这个平台的历史和其上所服务的众多业务，却是耳熟能详的，几个数字，瞬间抓住眼球：双十一狂欢节，水立方实时直播，万亿级数据计算
weixin_33915554·2023-12-31 11:51

rsyslog对接kafka

对于日志收集统计分析方案现在主流的有ELKrediskafkaflume+大数据平台，ELK我们以后再介绍，这里先简单介绍下rsyslog对接kafkakafka中的术语BrokerKafka集群包含一个或多个服务器
weixin_33690963·2023-12-30 05:37

一文了解艾思亿德是一家什么样的企业

艾思专注于实践大数据技术赋能产业数字化，拥有业内领先的企业数据库和数据治理能力，依托丰富的数据沉淀和领先的模型算法，打造“1+N”产业大数据平台，包含“1个企业数据中心”一一涵盖全国2.4亿多个工商主体
Elseide艾思·2023-12-29 02:53

满足企业数据需求的大数据平台系统

大数据平台系统的开发可以给我们提供强大的储存能力、技术能力，在符合大数据时代下的发展轨迹，实现了现代化数据挖掘，满足了诸多企业及平台对数据方面的需求。一、大数据平台系统开发具有什么好处呢？
泰迪智能科技·2023-12-28 18:51

Flink Has Become the De-facto Standard of Streaming Compute

摘要：本文整理自ApacheFlink中文社区发起人、阿里巴巴开源大数据平台负责人王峰（莫问），在FlinkForwardAsia2023主会场的分享。
Apache Flink·2023-12-27 16:20

DataFunSummit：2023年数据湖架构峰会-核心PPT资料下载

一、峰会简介现今，很多企业每天都有PB级的数据注入到大数据平台，经过离线或实时的ETL建模后，提供给下游的分析、推荐及预测等场景使用。
百家峰会·2023-12-27 16:03

矩阵起源携手深智城入选中国信通院“星河”案例

经过形式审查和专家评审，矩阵起源与深圳智慧城市大数据中心有限公司联合申报的《基于超融合数据库的一站式交通大数据平台》在706份申报案例中成功入选数据库优秀案例。案例介绍1.案例
MatrixOrigin·2023-12-27 12:47

手把手入门MO | 如何通过永洪 BI 实现 MatrixOne 的可视化报表

1.概述永洪BI是一款全面的大数据平台，它整合了自服务数据准备、探索性自助分析、深度分析、企业级管理和高性能计算功能，提供了一站式的大数据解决方案。
MatrixOrigin·2023-12-27 12:47

智能充电桩管理系统主要核心功能有哪些？

智能充电桩管理系统是一种结合物联网、互联网、大数据平台等技术，实现全程实时监控充电终端电流、电压、功率配电设备、温度、火灾自动报警、设备异常等各种状态信息的管理系统。
虎克技术hukejishu·2023-12-26 16:35

HBase 超大表迁移、备份、还原、同步演练手册：全量快照 + 实时同步（Snapshot + Replication）不停机迁移方案

博主历时三年精心创作的《大数据平台架构与原型实现：数据中台建设实战》一书现已由知名IT图书品牌电子工业出版社博文视点出版发行，点击《重磅推荐：建大数据平台太难了！给我发个工程原型吧！》
　Laurence·2023-12-26 10:34

小区物业大数据监控服务平台（PSD文件资料）

现分享简约物业大数据平台页面、小区物业大数据监控服务平台模版的UI源文件，供设计师们快速获取PS源文件完成工作。
77探索AI·2023-12-26 07:31

09-为Java开疆拓土的ZGC深度剖析

文章目录引言ZGC出现背景STW带来的问题手机系统(Android)显示卡顿证券交易系统实时性要求大数据平台(Hadoop集群性能)垃圾回收器的发展ZGC介绍ZGC中JVM内存布局和设计为什么这么设计？
月球程序猿·2023-12-26 04:15

企业级大数据平台应具备的基本能力

近年来，很多企业建设内部统一的大数据平台，利用集群架构去整合资源与服务，从而发挥企业诸如资源共享、数据共享和服务共享等优势。那么，企业级大数据平台应具备什么样的基本能
皮皮杂谈·2023-12-25 09:45

什么是大数据平台？

大数据开发培训大数据开发专业需要学习的内容包括三大部分，分别是大数据基础知识、大数据平台知识、大数据场景知识。大数据基础知识：有三个主要部分，分别是数学、统计学和计算机等学科。
金光闪闪耶·2023-12-24 14:49

IP数据在大数据行业的创新应用

第一部分：IP数据在用户行为分析中的应用1.1案例一：电商平台用户行为分析一家电商巨头通过大数据平台收集了大量的用户行为数据，其中包括用户的IP地址、浏览历史、购物车操作等信息。
IP数据云ip定位查询·2023-12-24 11:27

2023大数据应用开发赛题02套

目录2023年全国职业院校技能大赛赛题第02套任务A：大数据平台搭建（容器环境）（15分）子任务一：Hadoop完全分布式安装配置子任务二：Flume安装配置子任务三：FlinkonYarn安装配置任务
长风有续X·2023-12-21 17:54

2023大数据应用开发赛题03套

目录任务A：大数据平台搭建（容器环境）（15分）子任务一：HadoopHA安装配置子任务二：Hive安装配置子任务三：Kafka安装配置任务B：离线数据处理（25分）子任务一：数据抽取子任务二：数据清洗子任务三
长风有续X·2023-12-21 17:52

Elasticsearch集群腾讯云迁移到线下机房（无感迁移）

背景要求：公司原有大数据平台基于公有云构建，由于种种原因，现在需要迁移到自建机房，Elasticsearch集群承担了大数据平台主要的对外查询需求，也有部分实时计算需求基于Elasticsearch实现
小孟多·2023-12-21 09:58

实时化与 Serverless 是开源大数据 3.0 时代的必然选择

核心组件全面Serverless化在大会上，阿里云开源大数据平台负责人王峰，回顾了阿里
阿里云大数据AI技术·2023-12-21 08:00

Cloudera Manager大数据平台|Cloudera Manager视频教程

网盘地址：https://pan.baidu.com/s/1GHMEiOVolk2ZFefuX5SExA提取码:ax5d备用地址（腾讯微云）：https://share.weiyun.com/5izjs5M密码：kfpixg课程目标对已经从事相关大数据工作的学员可以精通ClouderaManager适用人群零基础学员，大数据爱好者课程特色：1、阐述了ClouderaManager的产生背景和应用场
爱笑小哥·2023-12-19 15:29

助力 Shopee 重构系统发布 ETL 功能，SeaTunnel 在电商巨头的实践经验

Shopee一直致力于构建大数据平台，为业务提供数据支持。我们提供了涵盖数据开发整个生命周期的多种工具。
大数据技术架构·2023-12-19 14:55

我对大数据的理解

在这种大环境下，部分企业或政府建立的大数据平台，并且在此之上建立了数据湖、数据仓库、数据中台。相关概念或定义如下：大数据平台是一个以处
王永翔·2023-12-19 07:54

大数据平台架构（Lambda、Kappa、SMACK）

大数据平台的架构和企业级应用的架构是很不一样的，使用的技术也不同。经过多年的发展，业界已孕育出了一些较为成熟的架构模式，如Lambda架构、Kappa架构及Smack架构。
高国才·2023-12-18 22:35

物业、消防大数据平台页面，小区物业大数据监控服务平台（PS资料）

现分享消防可视化大数据大屏网页界面、简约物业大数据平台页面、小区物业大数据监控服务平台模版的UI源文件，供UI设计师们快速获取PSD源文件完成工作。
77探索AI·2023-12-18 22:50

DKhadoop大数据平台基础框架方案概述

大数据作为当下最为热门的事件之一，其实已经不算是很新鲜的事情了。如果是三五年前在讨论大数据，那可能会给人一种很新鲜的感觉。大数据作为当下最为重要的一项战略资源，已经是越来越得到国家和企业的高度重视，我们从大数据被上升到国家战略层面就可窥见一二！现在关于大数据的知识分享可以说已经是铺天盖地了，作为新手入门想查询的信息基本都可以通过网络查询到一些。我对的大数据的了解其实也不是特别丰富，毕竟学习的时间也
yoku酱·2023-12-18 14:57

2w字详解数据湖：概念、特征、架构与案例

数据湖和大数据平台有什么不同？带着这些问题，我们尝试写了这样一篇文章，希望能抛砖引玉，引起大家一些思考和共鸣。
公众号:肉眼品世界·2023-12-17 15:33

大规模数据可视化（纯文字干货科普）

目录大规模数据可视化的挑战数据量问题性能考量实时数据数据可视化的关键技术数据预处理高效的数据结构前端技术工具和框架商业工具开源工具大数据平台集成案例研究和实际应用行业案例分析教训和见解未来趋势和发展方向人工智能在数据可视化中的应用交互式和沉浸式体验声明
昊昊该干饭了·2023-12-17 07:34

基于Hadoop的铁路货运大数据平台设计与应用

完整下载：基于Hadoop的铁路货运大数据平台设计与应用基于Hadoop的铁路货运大数据平台设计与应用DesignandApplicationofRailwayFreightBigDataPlatformbasedonHadoop
wusp1994·2023-12-17 06:24

企业大数据平台技术体系架构

如何利用大数据技术构建企业大数据平台，以充分体现大数据的价值，是各行
皮皮杂谈·2023-12-17 05:50

“橙信通”赣南脐橙果品加工企业“入网入云”工作启动会圆满召开！

赣州市果业局市场科副科长黄传龙、安远县政府副县长陈建伟、安远县农业农村局相关领导、安远县电商办负责人、橙信通大数据平台执行总裁闫行、江西顺丰速运有限公司代表、赣州万吉物流有限公司代表，信丰县、会昌县、崇义县
橙信通大数据平台·2023-12-16 18:38

金融大模型再进化，奇富科技大数据平台全面升级

在长达数十年的时间里，金融机构都将数据视为待挖的金矿，希望通过打造数据平台来赋能业务。然而，为何业内人士却一直认为这是一项艰巨的任务呢？答案在于，虽然金融机构渴望将数据平台转化为业务的真正价值和生产力，但却缺乏关键的生产工具。这导致很多数据相关的工作仍然依赖繁琐的人工操作，例如制作繁杂的报表、构建指标、建立决策体系等，整体效率低下。正是在这个看似沉重的任务背后，隐藏着无限的潜力和创新。奇富科技的毓
CSDN云计算·2023-12-16 00:15

统一系统脆弱性管理平台：漏洞分析和修补的“绝佳工具”

国联统一系统脆弱性管理平台是由国联易安研究团队自主研发的新一代漏洞扫描管理系统，涵盖了网络空间资产探测、系统漏洞扫描、虚拟机漏洞扫描、WEB漏洞扫描、网站安全监测、数据库安全扫描、安全基线核查、工控漏洞扫描、WIFI安全检测、APP安全扫描、大数据平台漏洞扫描
焦点快讯·2023-12-15 00:44

空气污染大屏，UI可视化大屏设计（PSD源文件）

现分享科技空气污染大数据、空气污染大数据平台、大气环境信息资源中心、大气检测大数据中心、环境信息资源中心界面的大屏Photoshop源文件，开箱即用！
77探索AI·2023-12-14 13:07

Flume+Kafka双剑合璧玩转大数据平台日志采集

概述大数据平台每天会产生大量的日志，处理这些日志需要特定的日志系统。
java菜·2023-12-07 00:17

七牛云照片上传

围绕富媒体场景推出了对象存储、融合CDN加速、容器云、大数据平台、深度学习平台等产品、并提供一站式智能视频云解决方案。
月哥说了算·2023-12-06 20:27

python爬虫混肴DES案例：某影视大数据平台

声明：该文章为学习使用，严禁用于商业用途和非法用途，违者后果自负，由此产生的一切后果均与作者无关一、找出需要加密的参数js运行atob(‘aHR0cHM6Ly93d3cuZW5kYXRhLmNvbS5jbi9Cb3hPZmZpY2UvQk8vTW9udGgvb25lTW9udGguaHRtbA==’)拿到网址，F12打开调试工具，点击票房日期下拉筛选，找到API/GetData.ashx请求分别切
局外人LZ·2023-12-06 18:12

ambari 安装及使用ambari安装hadoop记录

大数据平台XSailboat简介_OkGogooXSailboat的博客-CSDN博客1、ambari简介ApacheAmbari是一种基于Web的工具，支持ApacheHadoop集群的供应、管理和监控
yujianbujianqwe·2023-12-06 17:24

大数据平台Ambari2.7.4+HDP3.1.4详细安装教程

Ambari已支持大多数Hadoop组件，包括HDFS、MapReduce、Hive、Pig、Hbase、Zookeeper、Sqoop和Hcatalog等。Ambari是一个基于web的工具，用于配置、管理和监视Hadoop集群，同样还提供了集群状况仪表盘，通过界面方便用户查看问题及管理组件。根据网上了解到Ambari2.7.4+HDP3.1.4安装Ambari2.7.4+HDP3.1.4是最后
csdnuser267·2023-12-06 17:20

云轴科技ZStack助力彬长矿业建设智能矿山

ZStack智能矿山云解决方案不仅支撑了彬长矿业矿山大数据平台、智能集中控制平台、产供销平台等数据服务层和智能决策支持系统，还保障了煤矿井下车辆监
ZStack云计算·2023-12-06 08:43

比赛调研资料

视觉文旅现有的模型数据功能精准营销基于地理推荐能力乡村圈分析能力都市圈分析能力产品体系三大数据平台携程问道旅游服务框架：前置（推荐种草），途中（客服），售后（？）
银晗·2023-12-05 10:50

Flume+Kafka双剑合璧玩转大数据平台日志采集

大数据平台每天会产生大量的日志，处理这些日志需要特定的日志系统。
浪尖聊大数据-浪尖·2023-12-05 02:12
上一页 1 2 3 4 5 6 7 8 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他