大数据平台-架构基础

大二学生《Web编程基础》期末网页制作 HTML+CSS个人网页设计实例

获取更多优质源码】web前端期末大作业：【毕设项目精品实战案例(1000套)】程序员有趣的告白方式：【HTML七夕情人节表白网页制作(110套)】超炫酷的Echarts大屏可视化源码：【echarts大屏展示大数据平台可视化
STU学生网页设计·2022-10-30 13:47

python3spark文本分类_用Spark-NLP建立文本分类模型

随着数据的不断增长，大多数组织已经转移到大数据平台，如apachehadoop和AWS、Azure和GCP等云产品。这些平台不仅能够处理大数据，使组织能够对非结构化数据(如文本分
weixin_39639049·2022-10-30 07:48

InfoSphere Streams——实时大数据分析平台

了解InfoSphereStreams，它是IBM大数据平台的一部分。InfoSphereStreams解决了针对能够实时处理生成的海量流数据的平台和架构的一种迫切需求。
数控小J·2022-10-24 10:41

开源 SPL 重新定义 OLAP Server

OLAPServer现状当前主流OLAPServer几乎都是基于RDB或封装成RDB的大数据平台，有点类似早期的ROL
Bug 终结者·2022-10-24 10:40

Hive调优 | HiveServer2 性能优化与GC优化

jdbc连接到hive，因此，后面都统一称为利用jdbc连接hiveserver2），执行简单查询、复杂分析、超复杂分析等不同的sql任务，session并发量还很高（五六百甚至上千的并发），本质上要求大数据平台同时具备
大数据技术架构·2022-10-18 10:05

37手游云平台基于Flink+Hologres大数据建设实践

本文整理自37手游大数据平台资深开发工程师史飞翔在实时数仓Workshop·广州站的演讲。
·2022-10-17 17:20

众多数据库方案被弃用, IoT 物联网如何应对海量设备数据的存储和分析？

截至目前，涛思数据推出的TDengine物联网大数据平台已经发布了多个来自智慧城市各个领域的用户案例，覆盖了智慧水务、智慧矿山、智慧排水等领域。
IoT物联网技术·2022-10-15 01:31

37手游基于云平台的大数据建设实践

本文整理自37手游大数据平台资深开发工程师史飞翔在实时数仓Workshop·广州站的演讲。
·2022-10-13 18:40

Zookeeper分布式协调服务

大数据项目最终需要运行在大数据平台之上，而构建Hadoop集群是构建整个大数据平台的核心。
梯度科技·2022-10-13 15:31

大数据平台 Hadoop面临的三大安全问题及解决方案

Hadoop的初始设计是运行在信任的环境下，它假设所有的集群用户都是可信任的，他们能够正确地表明自己的身份并且不会尝试获取更多的权限。由此实现了简单的安全模式，它是Hadoop中默认的验证系统。在简单安全模式下，Hadoop信任操作系统所提供的用户身份。和大部分关系数据库不同，Hadoop并没有任何集中用户和权限存储机制。在Hadoop中，不存在通过用户名和密码来对用户进行验证的概念。Hadoop
梯度科技·2022-10-13 15:31

大数据工程师应掌握的技能

大数据工程师是以大数据平台构建以及海量数据采集、存储、计算等工作的技术人员，工作中的典型应用包含离线计算、实时计算、即时查询、数仓构建、用户画像、个性化推荐、反欺诈等。
梯度科技·2022-10-13 15:01

大数据平台架构包含哪些功能

为了满足企业对于数据的各种需求，需要基于大数据技术构建大数据平台。结合大数据在企业的实际应用场景，如下图所示的大数据平台架构所示：最上层为应用提供数据服务与可视化，解决企业实际问题。
梯度科技·2022-10-13 15:01

大数据平台是什么？有哪些功能？如何搭建大数据平台？

大数据平台是为了满足企业对于数据的各种要求而产生的。大数据平台：是指以处理海量数据存储、计算及不间断流数据实时计算等场景为主的一套基础设施。
cuijiao7259·2022-10-12 19:15

从 Hadoop 到云原生， 大数据平台如何做存算分离

Hadoop的诞生改变了企业对数据的存储、处理和分析的过程，加速了大数据的发展，受到广泛的应用，给整个行业带来了变革意义的改变；随着云计算时代的到来，存算分离的架构受到青睐，企业开开始对Hadoop的架构进行改造。今天与大家一起简单回顾Hadoop架构以及目前市面上不同的存算分离的架构方案，他们的利弊各有哪些，希望可以给正在存算分离架构改造的企业一些参考和启发。Hadoop存算耦合架构回顾2006
Juicedata·2022-10-11 09:19

重构实时离线一体化数仓，Apache Doris 在思必驰的应用实践

作者：赵伟，思必驰大数据高级研发，10年大数据开发和设计经验，负责大数据平台基础技术和OLAP分析技术开发。社区贡献：Doris-spark-connector的实时读写和优化。
·2022-10-10 16:40

云原生实时数仓首次在2020双11核心数据场景落地

背后作为数据核心支撑的大数据平台更是创下新的世界纪录。刚刚结束的2020天猫双11又创下两项新记录：交易额4982亿，订单创建峰值每秒58.3万笔。
阿里云云栖号·2022-10-10 13:49

软考高级系统架构设计师系列论文二十九：论高可靠性系统中软件容错技术的应用

该项目的主要目的是依托大数据平台从互联网流量中挖掘未知漏洞。本文以漏洞挖掘系统为例，从多个角度对系统的可靠性进行了分析，重点讨论了两种软件容错技术。针对互联网流量的需要
勇敢羊羊在飞奔·2022-10-10 07:27

“数据湖”：概念、特征、架构与案例

数据湖和大数据平台有什么不同？头部的云计算玩家都各自推出了什么样的数据湖解决方案？带着这些问题，我们尝试写了这样一篇文章，希望能抛砖引玉，引起大家一些思考和共鸣。
天秤座的架构师·2022-10-10 07:00

阿里资深架构师答疑：数据湖概相关念、特征、架构与案例

数据湖和大数据平台有什么不同？头部的云计算玩家都各自推出了什么样的数据湖解决方案？带着这些问题，我们尝试写了这样一篇文章，希望能抛砖引玉，引起大家一些思考和共鸣。
天秤座的架构师·2022-10-10 07:30

大数据平台，Hadoop集群架构，概述及原理

目录一，大数据平台架构概述1，大数据概念2，大数据的特征3，大数据的处理流程和相关技术4，大数据平台架构的特点5，大数据平台架构原理二，Hadoop集群概述1，HDFS2，MapReduce3，YARN
无求道贾·2022-10-05 11:53

大数据技术栈

目录大数据相关岗位基础技术语言基础计算机基础技术框架自学流程基础知识大数据框架大数据相关岗位数据仓库工程师大数据平台开发工程师ETL开发工程师(传统数仓)数据分析师数据产品经理数据运营基础技术语言基础精通一门语言
2024进厂·2022-10-04 14:36

为什么大数据平台会回归关系数据模型

接下来说原因，首先来看看大数据平台都在干什么。
是泡泡·2022-10-03 08:51

数据库、数据仓库、大数据平台、数据中台、数据湖大对比

对比分析我们工作中高频出现的几个名词，主要包括以下几个方面：目录数据什么是大数据数据分析与数据挖掘的区别是什么数据库什么是数据库数据库中的分布式事务理论数据仓库什么是数据仓库数据库与数据仓库有什么区别什么是数据集市大数据平台什么是大数据平台什么是大数据开发平台数据中台什
灵境旅行家·2022-10-03 07:31

数据库、数据仓库、大数据平台、数据中台、数据湖对比分析

对比分析我们工作中高频出现的几个名词，主要包括以下几个方面：数据什么是大数据数据分析与数据挖掘的区别是什么数据库什么是数据库数据库中的分布式事务理论数据仓库什么是数据仓库什么是数据集市数据库与数据仓库的区别是什么大数据平台什么是大数据平台什么是大数据开发平台数据
csdn-延·2022-10-03 07:13

数据的世界

大数据、数据库、数据仓库、大数据平台、数据中台、数据湖随着社会的发展，数据的价值越来越被重视，数据的应用也越来越复杂，对于层出不穷的新技术、新概念、新应用往往会对初学者造成很大的困扰，有时候很难理清楚它们之间的区别与联系
小旗·2022-10-03 07:42

xgboost算法_工业大数据：分析算法

实时监测、有效记录设备工况信息，通过大数据平台建模分
weixin_39901203·2022-10-01 07:35

sheng的学习笔记-mysql框架原理

基础架构基础架构示意图大体来说，MySQL可以分为Server层和存储引擎层两部分。
coldstarry·2022-10-01 07:43

CDH/CDP中开启kerberos后如何访问HDFS/YARN/HIVESERVER2 等服务的webui

CDH/CDP中开启kerberos后如何访问HDFS/YARN/HIVESERVER2等服务的webui在CDH/CDP等大数据平台中，当开启kerberos安全后，如何访问HDFS/YARN/HIVESERVER2
·2022-09-29 10:52

大数据开发工程师是做什么的？岗位要求高吗？

熟练掌握数据仓库、hadoop生态体系、计算及二次开发、大数据平台工具的开发：开发平台、调度系统、元数据平台等工具，该岗位对于技术要求较高。
我想去吃ya·2022-09-28 10:33

1+x大数据中级考试机试与实操

文章目录一、1+x大数据中级证书考试1.理论知识（机试）2.实践技能操作（实操）一、1+x大数据中级证书考试大数据平台运维职业技能等级考核分为理论知识与实践技能操作两部分。
风早君·2022-09-26 07:26

计算机大数据的前景方向_大数据专业未来就业前景如何？

首先，从近两年大数据方向研究生的就业情况来看，大数据领域的岗位还是比较多的，尤其是大数据开发岗位，目前正逐渐从大数据平台开发向大数据应用开发领域覆盖，这也是大数据开始全面落地应用的必然结果。
weixin_39808877·2022-09-24 14:20

来电科技：基于Flink+Hologres的实时数仓演进之路

简介：本文将会讲述共享充电宝开创企业来电科技如何基于Flink+Hologres构建统一数据服务加速的实时数仓作者：陈健新，来电科技数据仓库开发工程师，目前专注于负责来电科技大数据平台离线和实时架构的整合
阿里云云栖号·2022-09-24 13:43

来电科技：基于 Flink + Hologres 的实时数仓演进之路

简介：本文将会讲述共享充电宝开创企业来电科技如何基于Flink+Hologres构建统一数据服务加速的实时数仓作者：陈健新，来电科技数据仓库开发工程师，目前专注于负责来电科技大数据平台离线和实时架构的整合
阿里云云栖号·2022-09-24 13:43

来电科技基于Flink+Hologres的实时数仓演进之路

简介：本文将会讲述共享充电宝开创企业来电科技如何基于Flink+Hologres构建统一数据服务加速的实时数仓作者：陈健新，来电科技数据仓库开发工程师，目前专注于负责来电科技大数据平台离线和实时架构的整合
阿里云开发者·2022-09-24 13:35

echarts vue 酷炫图_GitHub - tuboshu18/vueDataV: 基于Vue + Echarts 构建的数据可视化平台，酷炫大屏展示模板和组件库，持续更新各行各业实用模板和炫酷...

前言一个基于Vue前端框架和第三方图表库echarts构建的可视化大数据平台，通过vue项目构建、指令的灵活运用、组件封装、组件之间通信，使内部图表组件库可实现自由替换和组合。
dax eursir·2022-09-23 07:19

echarts vue 酷炫图_GitHub - cxs2018/vueDataV: 基于Vue + Echarts 构建的数据可视化平台，酷炫大屏展示模板和组件库，持续更新各行各业实用模板和炫酷小组...

前言一个基于Vue前端框架和第三方图表库echarts构建的可视化大数据平台，通过vue项目构建、指令的灵活运用、组件封装、组件之间通信，使内部图表组件库可实现自由替换和组合。
weixin_39696197·2022-09-23 07:48

echarts vue 酷炫图_GitHub - play201861/vueDataV: 基于Vue + Echarts 构建的数据可视化平台，酷炫大屏展示模板和组件库，持续更新各行各业实用模板和炫...

前言一个基于Vue前端框架和第三方图表库echarts构建的可视化大数据平台，通过vue项目构建、指令的灵活运用、组件封装、组件之间通信，使内部图表组件库可实现自由替换和组合。
weixin_39549110·2022-09-23 07:18

echarts vue 酷炫图_GitHub - athena-flow/vueDataV: 基于Vue + Echarts 构建的数据可视化平台，酷炫大屏展示模板和组件库，持续更新各行各业实用模板和...

前言一个基于Vue前端框架和第三方图表库echarts构建的可视化大数据平台，通过vue项目构建、指令的灵活运用、组件封装、组件之间通信，使内部图表组件库可实现自由替换和组合。
夏斯乐·2022-09-23 07:17

echarts vue 酷炫图_GitHub - d3lin/vueDataV: 基于Vue + Echarts 构建的数据可视化平台，酷炫大屏展示模板和组件库，持续更新各行各业实用模板和炫酷小组件。...

前言一个基于Vue前端框架和第三方图表库echarts构建的可视化大数据平台，通过vue项目构建、指令的灵活运用、组件封装、组件之间通信，使内部图表组件库可实现自由替换和组合。
叶寒露·2022-09-23 07:17

Flink 在众安保险金融业务的应用

摘要：本文整理自众安保险大数据平台开发高级专家郭育波在FlinkForwardAsia2021行业实践专场的演讲。
Apache Flink·2022-09-22 18:12

大数据平台 CDP 中如何配置 hive 作业的 YARN 队列以确保SLA?

大数据平台CDP中如何配置hive作业的YARN队列以确保SLA?
·2022-09-22 16:40

雅虎研发总监容力：大数据迈向企业级

容力现任雅虎北京全球研发中心研发总监，负责雅虎在线广告精准投放产品的北京研发团队，致力于基于海量数据的用户行为分析和挖掘，以及在大数据平台上优化显示广
cigang4063·2022-09-22 14:22

他来了！袋鼠云大数据基础平台EasyMR正式上线

Spark、Trino、HBase、Kafka等组件，完全兼容Apache开源生态；支持企业级安全管控，一键开启LDAP+Kerberos+Ranger认证权限体系；提供一站式运维管理平台，帮助企业快速构建大数据平台
·2022-09-22 12:22

Hadoop基础学习笔记

告警和日志信息监控目录告警和日志信息监控实验一：查看大数据平台日志信息实验任务一：查看大数据平台主机日志步骤一：查看内核及公共消息日志（/var/log/messages）。
鄙人阿彬·2022-09-21 13:35

数据采集模块——Flume消费Kafka数据写入到HDFS

测试集群为第三方公司基于当前主流开源组件自主研发并搭建的大数据平台，包含常用组件：HDFS,MapReduce,Yarn,Hive,HBase,Phoenix,Zookeeper,Spark,Impala
Diego_zh·2022-09-21 11:16

对话来自韩国 Kakao 的海外贡献者 | 我为什么要为 SeaTunnel 做贡献？

其中，来自韩国最大的互联网企业Kakao集团的大数据平台工程师NamgungChan（南宫灿）最近在「SeaTunnelConnector接入激励计划」中为SeaTunnel贡献了Neo4jSinkC
·2022-09-20 16:54

大数据平台展示可视化效果，echarts图表实战项目(源码50套)

本文重点介绍HTML5图表框架echarts入门Demo及实战项目(含源码)，以此来实现echarts大屏展示大数据平台可视化酷炫效果。
Crazy程序猿2020·2022-09-20 15:01

EMR重磅发布智能运维诊断系统(EMR Doctor)——开源大数据平台运维利器

简介：E-MapReduce推出面向开源大数据集群的智能运维诊断系统E-MapReduceDoctor，有效提升大数据集群运维效率，辅助EMR用户完善集群监控体系。大数据运维的挑战—如何保证集群稳定与运行效率企业级大数据集群通常拥有海量的数据存储、日常运算成干上万的计算任务，需要满足各类上层业务的计算需求。对于这类集群的运维往往充满着挑战：海量的数据、庞杂的组件以及组件之间复杂的依赖关系、对于时效
·2022-09-16 16:43

大数据（三）大数据计算引擎

介绍过大数据平台的搭建、应用和存储，本期分享下大数据计算。分享大数据博客列表大数据计算引擎什么是计算引擎？
羽落风起·2022-09-16 13:07

EMR重磅发布智能运维诊断系统(EMR Doctor)——开源大数据平台运维利器

大数据运维的挑战—如何保证集群稳定与运行效率企业级大数据集群通常拥有海量的数据存储、日常运算成干上万的计算任务，需要满足各类上层业务的计算需求。对于这类集群的运维往往充满着挑战：海量的数据、庞杂的组件以及组件之间复杂的依赖关系、对于时效要求的的运算任务，都会提升运维难度。作为支撑平台，大数据集群的稳定性和运行效率，会直接影响到公司业务的正常运作和发展。集群管理员往往对整体集群做好了监控运维体系，对
·2022-09-15 16:57
上一页 26 27 28 29 30 31 32 33 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他