大数据平台-日常运维

基于大数据平台的kylin安装部署手册

目录一.单例Kylin部署1.环境准备1.1软件要求1.2硬件要求1.3Hadoop环境1.4安装前环境检查1.4.1开启时钟同步1.4.2安装net-tools1.4.3检查hbase是否可用1.4.4检查hive是否可用（etl用户,控制台输入）1.4.5检查Hive配置文件2.Kylin安装2.1配置环境变量2.2修改tomcat的配置文件2.3检查tomcat依赖包4.4检查Kylin权限
猿来孺词·2024-01-29 10:26

产业需求大数据平台

产业需求大数据平台，依托大数据、NLP等技术，全面采集区域产业人才需求数据，从宏观、中观、微观三个层面对产业需求进行分析，并匹配学校自身的办学定位、专业布局、人才培养目标、培养规格和课程设置，进行专业设置匹配度
单眼皮的老虎·2024-01-29 09:24

我们的大数据平台项目之所以很实惠是因为有套路可循

我们的大数据平台项目之所以很实惠是因为有套路可循大数据已经成为企业决策的关键因素。然而，许多企业在实施大数据项目时，常常面临成本高昂、技术复杂等挑战。
UI设计前端开发一线员工·2024-01-27 19:00

搭建大数据平台常用的端口号

50070：HDFSwebUI的端口号8485:journalnode默认的端口号9000：非高可用访问数rpc端口8020：高可用访问数据rpc8088：yarn的webUI的端口号8080：master的webUI，Tomcat的端口号7077：spark基于standalone的提交任务的端口号8081：worker的webUI的端口号18080：historyServer的webUI的端口
修勾勾L·2024-01-27 13:51

大数据平台红蓝对抗 - 磨利刃，淬精兵！

随着平台业务越来越复杂，红蓝对抗的作用愈来愈明显，下面将详细介绍大数据平台在大促备战工作中是如何开展红蓝对抗的。首先我们先了解一下什么是红蓝对抗，它都有哪些好处？
京东云技术团队·2024-01-27 07:02

Flink 集成 Debezium Confluent Avro ( format=debezium-avro-confluent )

博主历时三年精心创作的《大数据平台架构与原型实现：数据中台建设实战》一书现已由知名IT图书品牌电子工业出版社博文视点出版发行，点击《重磅推荐：建大数据平台太难了！给我发个工程原型吧！》
　Laurence·2024-01-27 06:54

怎么在手机上怎么查大数据信用报告?大数据信用平台哪个好？

无论你是在手机浏览器搜索还是电脑上搜索，搜索结果排在最前面的几个一定是其他平台投放的广告，我们拿几个关键词搜索举例子：搜索“大数据报告查询”“小易大数据平台”“大数据信用怎么查”搜索
2401_82630523·2024-01-27 00:57

用户画像项目背景

1,用户画像项目介绍大数据平台简介数据仓库+用户画像+推荐系统（1）数据仓库：加快数据的分析和查询数据仓库分层：ODS层(映射HDFS的数据)—DW(数据仓库层)–APP(层)—BI(层)DW:DWD明细数据层
祈愿lucky·2024-01-26 13:20

数字化转型当中数据治理的意义

政府部门通过大数据平台采集防疫信息，各类企业开始将目光投向更多的线上业务处理。据统计，全世界在2020年创建、捕获、复制和消耗执行的数据总量为59泽字节（ZB）。
qingyunliushuiyu·2024-01-26 09:32

SpringBoot，TDengine时序数据库，实现物联网，车联网大批量数据更新最佳实践。

简介TDengine是一款专为物联网、工业互联网等场景设计并优化的大数据平台，它能安全高效地将大量设备、数据采集器每天产生的高达TB甚至PB级的数据进行汇聚、存储、分析和分发，对业务运行状态进行实时监测
可乐cc呀·2024-01-25 17:26

大数据平台组件日常运维操作说明（Hadoop/Zookeeper/Kafa/ES/Mysql/Spark/Flume/Logstash/Tomcat）

Hadoop日常运维操作说明hdfs生产环境hadoop为30台服务器组成的集群，统一安装配置，版本号为2.7.7部署路径：/opt/hadoop启动用户：hadoop配置文件：/opt/hadoop/
love6a6·2024-01-25 07:12

高德地图官方首度揭秘：红绿灯倒计时功能是如何实现的？

还是高德后台接入了各地交管的大数据平台获取了红绿灯实时数据？01高德地图“红绿灯倒计时”原来早在2022年，高德地图就上线了“红绿灯倒计时”功能，将道路上的红
AIoT科技物语·2024-01-24 06:23

网工内推 | 上市公司同程、科达，五险一金，年终奖，最高12k*15薪

2.负责网络安全及访问控制、上网行为管理和VPN设备的日常运维；3.负责内部相关网络自动化和系统化建设；4.优化与提升网络运行质量，制定应急预案，人员培训。
HCIE考证研究所·2024-01-23 23:57

在线帮助中心对视频加载，过程优化，降低视频对服务端的负载

1.背景在大数据平台XSailboat中包含帮助中心模块，提供在线的帮助文档和平台使用教程。在帮助中心，不仅支持普通的文字，图片，还希望支持视频。
OkGogooXSailboat·2024-01-23 19:16

钉钉企业机器人单聊消息发送实践-大数据平台(XSailboat)消息中心消息推送

1.背景在笔者开发的大数据平台XSailboat中有消息中心模块，用来全平台的消息收集，整理分拆、订阅发送等功能。消息推送方式支持钉钉群聊、钉钉单聊、短信通知。
OkGogooXSailboat·2024-01-23 19:45

5118优惠码vip、svip、专业版和旗舰版使用yhm666

5118大数据平台会员优惠码【yhm666】，结算时勾选“使用优惠码”，然后在优惠码窗口中输入yhm666，然后点确定即可享受特价会员价格。
暴富程序员·2024-01-23 11:34

cdh6.3.2的hive配udf

背景大数据平台的租户要使用udf，他们用beeline连接，意味着要通过hs2，但如果有多个hs2，各个hs2之间不能共享，需要先把文件传到hdfs，然后手动在各hs2上createfunction。
zdkdchao·2024-01-23 07:02

大数据平台的硬件规划、网络调优、架构设计、节点规划

1.大数据平台硬件选型要对Hadoop大数据平台进行硬件选型，首先需要了解Hadoop的运行架构以及每个角色的功能。
小枫@码·2024-01-22 17:18

大数据平台软硬件规划

一.大数据集群节点规划1.HDFS集群节点规划假如业务系统数据量每天增量50T，保留周期30天，那么HDFS存储容量为50T*30天*3副本*2倍（数据源+清洗加工）=9000T=8.79P假如每个机器的磁盘是4T*10=40T，每台机器的可用存储容量为40T*0.75=30T，节点预估数量=9000T/30=300节点，所以datanode的节点最小数量为300个。2.YARN集群节点规划根据任
小枫@码·2024-01-22 17:17

kubectl与 jq的用法

一、背景在日常运维工作中，我们需要管理和操作大量的配置文件，这在使用Kubernetes集群管理应用时尤为常见。
睡不醒的猪儿·2024-01-22 07:01

PG DBA培训26：PostgreSQL运维诊断与监控分析

本课程由风哥发布的基于PostgreSQL数据库的系列课程，本课程属于PostgreSQLDiagnosisandmonitoringanalysis，学完本课程可以掌握PostgreSQL日常运维检查
风哥2号·2024-01-22 07:34

现如今大数据交易的主要类型

从行业发展格局来看，2015年各地加速建立大数据交易平台，在目前大数据价值日益凸显的环境中，2016年或许仍会有不同类型的地方性大数据平台加入进来;而随着地方性大数据交易机构的增多，不同大数据交易机构的数据交易可能会出现
发源地大数据交易平台·2024-01-21 11:59

橙信通宁都县果品加工企业入网入云工作动员部署会召开！

宁都县果茶局局长宋小保、宁都县果茶局副局长赖树群、宁都县果茶局市场营销股股长张志春、橙信通赣南脐橙大数据平台供应链总监管永基、宁都县全部果品加工企业负责人，共计20余人出席会议。
橙信通大数据平台·2024-01-21 08:54

客户案例｜知名证券机构核心大数据平台升级之路

1项目背景在金融领域中，数据处理一直是IT系统中非常重要的一部分，证券发行、登记、托管、交易、结算的各个环节都有大量的数据产生。Hadoop作为海量数据处理的关键技术框架，自诞生以来就改变了企业对数据的存储、处理和分析的过程，因具备开源低成本、高可靠等特性，在证券行业得到了广泛的应用。某综合类证券机构，早年以Hadoop平台为基础，结合多种大数据处理技术，构建了大数据专用存储与处理系统。但随着实际
云掣YUNCHE·2024-01-21 01:17

阿里云 E-MapReduce 全面开启 Serverless 时代

EMR2.0平台阿里云正式发布云原生开源大数据平台EMR2.0已历经一年时间，如今EMR2.0全新平台在生产上已经全面落地，资源占比超过60%。
Apache Spark中国社区·2024-01-20 12:22

CommunityOverCode Asia 精彩回顾｜阿里云开源大数据 EMR 技术实践分享

阿里云研究员、开源大数据平台负责人王峰，分享了”阿里
Apache Spark中国社区·2024-01-20 12:51

程序员必备的面试技巧——大数据工程师面试必备技能

目录前言一、不同工程师的职责和技能要求1、数仓开发工程师2、算法挖掘工程师3、大数据平台开发工程师4、大数据前端开发工程师二、大数据技术架构图三、大数据相关的技术内容四、大数据面试经验1、大数据开发岗位
Francek Chen·2024-01-20 11:22

linux运维工程师日常工作

2.操作系统故障处理根据检查与监控的情况，对发现的系统故障进行处理，对己知故障进行预防方案部署，在日常运维中，还会有许多其他部分提出的问题返遗，比如客户经验会反应某某地区用户访问网站速度慢，像这种情况要结合南北线路
weixin_34419321·2024-01-19 23:05

数据中台到底是什么？

跟大数据平台是什么关系？在架构层面是怎么体现的？数据中台跟产品又有什么关系？
治理之路·2024-01-19 11:23

牧云主机管理助手 —— 一款免费且便捷的服务器运维工具

牧云主机管理助手——一款免费且便捷的服务器运维工具在日常运维工作中，服务器管理是一项至关重要的任务。对于许多企业和个人而言，这往往意味着需要投入大量的时间和精力。
云宝的黑客对抗日记·2024-01-19 10:08

智算让大模型触手可及

本文整理自2023年12月20日举办的「2023百度云智大会·智算大会」主论坛，百度智能云AI与大数据平台总经理忻舟的主题演讲《智算让大模型触手可及》。
百度Geek说·2024-01-19 07:27

一站式大数据平台XSailboat简介--Hadoop、Hive、Flink、DataStudio、数据服务、API网关、认证中心、数据可视化、离线分析、实时计算、应用引擎等

1.引言从2021年年底开始，笔者带领一个微型团队开始开发我们的大数据平台XSailboat，目前已经初步具备实用化条件，产品将持续性地开发、完善、迭代升级。
OkGogooXSailboat·2024-01-19 06:26

Jackson标签的高阶使用样例--多继承/子类、对象id、JsonIdentityInfo、JsonTypeInfo、JsonSubTypes

1.背景最近笔者在开发大数据平台XSailboat的数据资产目录模块。它的其中一个功能是能定义并查看资产数据。我们支持的资产类型不仅有关系数据库表，也支持Kafka主题，hdfs上的文件等。
OkGogooXSailboat·2024-01-19 06:19

【总结】Linux命令中文帮助手册

2.中文帮助手册特点结合日常运维经验进行了总结。中文描述，无翻译误差，阅读方便。可自定义手册内容（添加、修改、删除）
Zhao.Mr·2024-01-18 19:25

构建高效数据生态：数据库、数据仓库、数据湖、大数据平台与数据中台解析_光点科技

本文将深入探讨数据库、数据仓库、数据湖、大数据平台以及数据中台的功能和价值，帮助您构建一个符合自身业务需求的高效数据生态系统。
光点数据治理·2024-01-18 12:24

情报研判分析系统开发，可视化大数据研判平台建设

情报研判分析系统功能：1、大数据多维度预测分析：通过大数据平台和算法对历史数据
d13823153201·2024-01-18 12:08

公安情报大数据分析研判平台建设解决方案，情报信息平台建设

公安情报大数据分析研判平台建设解决方案，情报信息平台建设公安情报大数据分析研判平台建设解决方案，通过构建汇聚公安内部各警种部门和公安外部单位各类社会数据的大数据平台，以公安数据业务为基础、情报需求为主导
d13823153201·2024-01-18 12:37

Linux双因素身份认证大全：ssh + console + 图形界面

对于咱们日常运维人员来讲，Linux应该是经常打交道的吧（如果不是，可能不是运维，是维修...开个玩笑），Linux在机房里面的地位就像Windows在办公空间里的地位牢不可破，各类软件的部署首选就是Linux
中科恒伦·2024-01-17 21:30

Flink的ListState在小规模场景下的缓存提速和接口优化丰富的实践

1.背景笔者的大数据平台XSailboat中包含以DAG方式可视化的离线分析和实时计算的开发、运维功能。
OkGogooXSailboat·2024-01-17 18:36

Aviator表达式扩展--数组、列表负向序号索引以及自己的JSON库支持方括号([])赋值

1.背景笔者开发的大数据大数据平台XSailboat中的DataStudio模块包含基于DAG图的实时计算可视化开发功能，实现了Flink计算任务的可视化开发（想要了解更多，可以查看《Flink的DAG
OkGogooXSailboat·2024-01-17 18:36

关于Flink在一条计算管道中配置流和数据流通过广播方式合流的情形下，无保存点和检查点重跑时，让配置流先行，数据流等延迟几秒再进入合流节点的思考

1.背景笔者带领的团队在自研的大数据平台XSailboat上进行专家策略规则的计算管道开发时，遇到这样一种情形：计算管道中存在一条配置流和数据流通过广播方式合流的情形。
OkGogooXSailboat·2024-01-17 18:36

本地运行Flink退出时java.nio.file.DirectoryNotEmptyException、目录没有正常删除解决方法

1.背景在开发大数据平台XSailboat中的查看Flink任务的状态数据工具时，用StateProcessAPI解析保存点数据，将其从HDFS上读取出来再将其解析过后下沉到HDFS以CSV格式保存，然后由其它接口提供对这个文件的分页加载功能
OkGogooXSailboat·2024-01-17 18:05

Flink的Reduce算子，Name-Position形式的Row数据在使用保存点/检查点重新启动的时候，变成了Position-Based形式的Row解决

1.背景大数据平台XSailboat提供了基于ApacheFlink的实时计算管道开发功能。DataStudio的实时计算管道开发功能中提供了分区规约节点(keyBy+reduce)。
OkGogooXSailboat·2024-01-17 18:05

数据标签设计 -- 大数据平台(XSailboat)的数据标签模块

原先就有在大数据平台XSailboat中增加“数据标签”模块的设想，现在有这样的需求，正好趁此机会将其实现。
OkGogooXSailboat·2024-01-17 18:35

基于大数据平台(XSailboat)的计算管道实现MySQL数据源的CDC同步--flink CDC

1.背景笔者在先前的一篇文档《数据标签设计–大数据平台(XSailboat)的数据标签模块》提到了关于数据标签的模块，现已实现并应用于项目中。
OkGogooXSailboat·2024-01-17 18:05

StreamX流批一体一站式大数据平台：大数据Flink可视化工具的革命性突破，让你的数据更高效、更直观！

介绍：StreamX，开源的流批一体一站式大数据平台，致力于让Flink开发更简单。它极大地降低了学习成本和开发门槛，使开发者可以专注于最核心的业务。
知识分享小能手·2024-01-17 12:15

智慧校园大数据平台业务系统介绍

常见业务系统以下是智慧校园常见的业务系统。这是某个智慧校园业务系统的数据流情况，我们可以发现业务系统和数据中心并未完全数据交互共享，因此我们在规划建设智慧校园大数据时需要协调各个职能部门的资源确认业务系统的数据接口。同时由于各个业务系统之间数据不统一，我们在采集数据过程中还需进行数据转换，转换成我们所需的数据格式，这些都带来大量的工作量。学校业务系统的数据类型和属性很多，有数百种。我们进行数据的归
shawn_song1212·2024-01-17 11:02

智慧校园大数据平台功能模块

学校概况模块智慧校园大数据平台的“学校概况”模块，主要给学校和院系领导使用，能够从宏观、全局把控学校教学、管理、科研、资产等各个方面的整体情况，可以预测学校的发展趋势并且给出决策建议。
shawn_song1212·2024-01-17 11:02

智慧校园大数据平台概述

背景2015年是中国的智慧校园大数据元年，政府、企业、学校、研究者、管理者、教师、社会公众等都开始关注智慧校园大数据，相关政策文件、研究机构、学术活动、市场产品等开始纷纷出现。然而，我国的智慧校园大数据研究与实践领域整体还处于起步探索阶段，是在“摸着石头过河”，涉及一系列关键问题亟待解决（如教育数据的自然采集、教育数据的安全管理与隐私保护、教育数据的无缝流转与开放共享、教育数据的深度挖掘以及学习分
shawn_song1212·2024-01-17 11:01

智慧校园大数据平台架构

数据计算与分析挖掘大数据平台涵盖了
shawn_song1212·2024-01-17 11:56
上一页 1 2 3 4 5 6 7 8 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他