大数据平台-架构基础

从 Hadoop 到云原生， 大数据平台如何做存算分离

Hadoop的诞生改变了企业对数据的存储、处理和分析的过程，加速了大数据的发展，受到广泛的应用，给整个行业带来了变革意义的改变；随着云计算时代的到来，存算分离的架构受到青睐，企业开开始对Hadoop的架构进行改造。今天与大家一起简单回顾Hadoop架构以及目前市面上不同的存算分离的架构方案，他们的利弊各有哪些，希望可以给正在存算分离架构改造的企业一些参考和启发。Hadoop存算耦合架构回顾2006
·2022-09-14 11:04

开源项目丨ChengYing 1.1版本重磅发布：新增超多功能，全新优化体验！

ChengYing是一站式全自动化全生命周期大数据平台运维管家，提供大数据产品的一站式部署、运维、监控服务，其可实现产品部署、产品升级、版本回滚、扩缩节点、日志诊断、集群监控、实时告警等功能，致力于最大化节省运维成本
·2022-09-13 19:41

如何搭建云原生大数据平台的K8s底座 | InfoQ《公开课》回放

（公开课视频直播回放）关注公众号，回复关键字“底座”获取PPT作者：金津，智领云科技云平台研发经理，华中科技大学计算机系硕士。加入智领云6年多，长期从事云原生、容器化编排领域研发工作，主导了智领云自研的BDOS应用云平台产品开发，并在多个大规模项目中成功实施落地，在大规模容器化编排系统方向有丰富的实践经验。伴随着数字化转型脚步的加快，大数据已成为企业经营管理的主要手段之一，越来越多的行业也选择通过
LinkTime_Cloud·2022-09-10 07:35

开源交流丨一站式大数据平台运维管家ChengYing安装原理剖析

课件获取：关注公众号“数栈研习社”，后台私信“ChengYing”获得直播课件视频回放：点击这里ChengYing开源项目地址：github丨gitee喜欢我们的项目给我们点个__STAR！STAR！！STAR！！！（重要的事情说三遍）__技术交流钉钉qun：30537511本期我们带大家回顾一下漫路同学的直播分享《ChengYing安装原理剖析》。本期内容多为实战演示，欢迎有兴趣的同学去B站配合
·2022-09-09 15:55

重磅发布！阿里云全链路数据湖开发治理解决方案

简介：阿里云重磅发布全链路数据湖解决方案，主要包含开源大数据平台E-MapReduce(EMR)+一站式大数据数据开发治理平台DataWorks+数据湖构建DLF+对象存储OSS等核心产品。
·2022-09-08 11:01

北京 | Fintech | 头部券商招聘 | JAVA 后端、 AI应用开发、AI算法（NLP）

目前华泰证券北京数据科学研发中心在招：JAVA后端、AI应用开发、AI算法（NLP）、AI算法（营销推荐）、大数据平台工程师、AI平台研发要求211985本科5年+，硕士3年+经验，最好有金融科技大公司研发背景
·2022-09-08 11:54

行业案例｜长安汽车质量管理数据分析实践

引入KyligenceEnterprise解决了当前长安大数据平台的不足，在大规模数据场景下，满足高并发亚秒级多维查询的性能要求，避免当前Vertica和Impala多维查询性能不足的问题；其次，基于免编程拖拽式模型开发
Kyligence·2022-09-07 10:12

行业案例｜长安汽车质量管理数据分析实践

引入KyligenceEnterprise解决了当前长安大数据平台的不足，在大规模数据场景下，满足高并发亚秒级多维查询的性能要求，避免当前Vertica和Impala多维查询性能不足的问题；其次，基于免编程拖拽式模型开发
·2022-09-05 12:17

Kubernetes 架构基础 核心控制平面组件

Kubernetes核心架构与传统的高性能计算及虚拟化云平台类似，Kubernetes也遵循主从结构。通常将固定规模的计算节点组成一个集群，在集群中挑选数台计算节点作为管理节点（Master），其余的计算节点作为工作节点（Minion）。针对较大规模的集群，建议将独占节点作为管理节点，而针对较小规模的集群，可以将管理节点和工作节点混用。如图所示，管理节点和非管理节点的区别是，管理节点上运行的是控制
富士康质检员张全蛋·2022-09-05 08:19

Smartbi携手元曜软件迎发展时代变局，筑数字金融“底座”能力

公司简介：广州元曜软件有限公司（以下简称“元曜软件”）成立于2011年，专注为大型企业及机构提供商业智能应用、大数据平台和数据治理服务，以及相关领域的解决方案、系统集成、项目实施和咨询服务。
·2022-09-03 10:01

Apache Kyuubi 在小米大数据平台的应用实践

导读：今天分享的主题是《Kyuubi在小米大数据平台的应用实践》，主要分为四部分内容：Kyuubi在小米的落地过程打造易用和高可用的Kyuubi服务基于kyuubi的改进kyuubi的一些新特性在业务场景的应用
·2022-09-02 16:56

数据、算力强支撑，佳格天地联合华为云打造农业农村大数据解决方案

农业农村大数据应用企业佳格天地联合华为云推出“测亩宝”、“高绘”、“耘境知天农业大数据平台”、“农业金融风险监管平台”等多款产品。
·2022-08-29 20:40

华为云打造农业农村大数据解决方案

农业农村大数据应用企业佳格天地联合华为云推出“测亩宝”、“高绘”、“耘境知天农业大数据平台”、“农业金融风险监管平台”等多款产品。
·2022-08-27 17:55

.NETCore ORM 访问国产达梦数据库

前言武汉达梦数据库有限公司成立于2000年，为中国电子信息产业集团(CEC)旗下基础软件企业，专业从事数据库管理系统的研发、销售与服务，同时可为用户提供大数据平台架构咨询、数据技术方案规划、产品部署与实施等服务
dotnetCore·2022-08-27 08:27

学大数据可以从事什么工作？前景如何？

接下来我们就具体说下学大数据可以从事的岗位：1、大数据开发工程师开发，建设，测试和维护架构，负责公司大数据平台的开发和维护，负责大数
我想去吃ya·2022-08-26 11:44

大数据入门学习？

第一部分：了解大数据平台架构大数据有非常大的价值，不管是从帮助企业创造营收还是从提高效率、节省企业成本角度。大数据要是做好了，将会是一个企业增长的发动机，推动业务突飞猛进的发展。
乐姐·2022-08-26 11:11

【MyBatis】MyBatis的前世今生与环境搭建

前世今生整体架构基础支持层核心处理层接口层环境搭建完结散花参考文献什么是MyBatis？MyBatis是一款优秀的持久层框架，它支持定制化SQL、存储过程以及高级映射。
沈七QWQ·2022-08-25 10:18

kudu-- 分布式数据库

一、前言近两年，KUDU在大数据平台的应用越来越广泛。在阿里、小米、网易等公司的大数据架构中，KUDU都有着不可替代的地位。
四月天03·2022-08-22 23:11

干货 | 网易大数据平台运维实战

本文整理自SACC2021中国系统架构师大会，是网易金川老师视频直播的文字版本，他分享的主题是“网易大数据平台运维实战”各位SACC观众，大家好，感谢各位参加本次智能运维实践会场的最后一场分享会。
大数据技术架构·2022-08-21 15:05

大数据运维 (四) 大数据平台运维总结

大家好，我是脚丫先生(o^^o)目前自己在运维方面，主要管理着CDH平台和HDP平台，同时负责着以docker的形式进行产品的交付。文章目录0、CDH集群配置、日志、jar包以及安装目录和常用命令汇总0.1关键目录（1）开启应用目录：默认可以直接敲命令行（2）日志目录（3）配置文件目录（4）安装各个组件目录（5）jar包目录（6）CDH加载的环境变量1、namenode出现missingblock
大数据指北·2022-08-21 15:34

【300+精选大厂面试题持续分享】大数据运维尖刀面试题专栏（六）

持续分享有用、有价值、精选的优质大数据面试题致力于打造全网最全的大数据面试专题题库51、如何迁移大数据平台中的Zookeeper集群？
大数据研习社·2022-08-21 15:31

大数据运维实战第二十九课 Hadoop 跨集群数据迁移应用实践

我们的Hadoop大数据平台已经运行多年，使用的版本是CDH5.8，平台上的各个组件（HDFS、Yarn、Hive、Spark）也都是基于这个版本的，但随着对Hadoop平台的深入使用，部分组件版本过低
办公模板库 素材蛙·2022-08-21 15:30

大数据平台最常用的30款开源工具

大数据平台是对海量结构化、非结构化、半机构化数据进行采集、存储、计算、统计、分析处理的一系列技术平台。
饮水思源09·2022-08-21 12:09

使用html+css+js实现一个静态页面（含源码）

获取更多优质源码】web前端期末大作业：【毕设项目精品实战案例(1000套)】程序员有趣的告白方式：【HTML七夕情人节表白网页制作(110套)】超炫酷的Echarts大屏可视化源码：【Echarts大屏展示大数据平台可视化
IT芷君·2022-08-19 11:08

DAP数据加工流程梳理

DAP数据分析平台是数通畅联自主研发的一款专为企业大数据平台构建的，能够高效存储、计算、分析并处理海量数据的大数据分析产品，能够准确、清晰、有效的将企业内部及行业外部相关数据进行可视化展现，帮助企业提升行业洞察力
数通畅联·2022-08-18 15:25

重磅发布 ， 阿里云全链路数据湖开发治理解决方案

阿里云重磅更新全链路数据湖解决方案，主要包含开源大数据平台E-MapReduce(EMR)+一站式大数据数据开发治理平台DataWorks+数据湖构建DLF+对象存储OSS等核心产品。
阿里云大数据AI技术·2022-08-18 13:05

数据仓库建设方案详细：系统架构设计

第3章硬件部署按照专家系统安装接口规要求，结合专家管理系统数据量估算值和数据存储特点，本着数据安全、系统稳定可靠的核心设计思路，设计专家系统大数据平台数据节点服务器22台，其中管理节点服务器2台，数据节点服务器
000X000·2022-08-18 01:10

重磅发布！阿里云全链路数据湖开发治理解决方案

阿里云重磅发布全链路数据湖解决方案，主要包含开源大数据平台E-MapReduce(EMR)+一站式大数据数据开发治理平台DataWorks+数据湖构建DLF+对象存储OSS等核心产品。
·2022-08-17 14:27

构建煤矿物联网大数据平台思路(2)-实时数据库与时序数据库

传统工业实时历史数据库与时序数据库的区别？本文介绍了实时数据库和时序数据库，并就其特点、应用场景、相关厂商、联系与区别做介绍。实时历史数据库![实时历史数据库架构.png](https://img-blog.csdnimg.cn/img_convert/ddd8d3b24107ac2ebf328f3fd390c603.png#clientId=ud49e0880-2e25-4&crop=0&cro
星空你好·2022-08-16 10:04

大数据生态圈简介

大数据平台架构大数据平台架构大致可分为五个层级。顶层为应用层，提供数据服务与可视化，解决企业实际问题。第二层是大数据处理核心，包括数据处理、交互式分析以及机器学习与数据挖掘。
JeremyHeria·2022-08-15 09:08

大数据平台进度，它来了

一直以来我负责着大数据平台的工作，但是都是很模块化的，交付的项目大多数都是满足即可。总是无法沉淀一个完善的产品，甚是遗憾。因此，自己想研发属于自己的大数据平台。
大数据指北·2022-08-15 09:37

大数据技术生态，不懂你捶我

大数据的概念、大数据技术、大数据平台，一条龙服务，尽在下文！！！目录一、大数据二、大数据核心技术2.1HDFS分布式文件系统2.2MapReduce计算引擎2.3Hive数据仓
大数据指北·2022-08-15 09:02

遇尚 Spring Cloud Alibaba微服务技术栈 问题总结

遇尚是使用SpringCloudAlibaba微服务技术栈一款陌生人在线交友平台，充分发挥陌生人交友特点，平台提供了附近圈、朋友圈，通过大数据平台智能推荐好友与动态，用户采取了人脸识别技术，还提供在线即时通讯
帅杰IT大神·2022-08-14 07:20

SQL on Hadoop在快手大数据平台的实践与优化 | 分享实录

快手大数据架构工程师钟靓本文是根据快手大数据架构工程师钟靓于5月18-19日在A2M人工智能与机器学习创新峰会《SQLonHadoop在快手大数据平台的实践与优化》演讲中的分享内容整理而成。
msup789·2022-08-13 12:57

SQL on Hadoop在快手大数据平台的实践与优化

点击▲关注“过往记忆大数据”给公众号标星置顶更多精彩第一时间直达本文转自|快手星球作者|钟靓一、SQLonHadoop介绍SQLonHadoop，顾名思义它是基于Hadoop生态的一个SQL引擎架构，我们其实常常听到Hive、SparkSQL、Presto、Impala架构，接下来，我会简单的描述一下常用的架构情况。1、HIVEHIVE，一个数据仓库系统。它将数据结构映射到存储的数据中，通过SQL
Hadoop技术博文·2022-08-13 12:54

开源项目丨一文详解一站式大数据平台运维管家ChengYing如何部署Hadoop集群

课件获取：关注公众号“数栈研习社”，后台私信“ChengYing”获得直播课件视频回放：点击这里ChengYing开源项目地址：github丨gitee喜欢我们的项目给我们点个__STAR！STAR！！STAR！！！（重要的事情说三遍）__技术交流钉钉qun：30537511本期我们带大家回顾一下海洋同学的直播分享《ChengYing部署Hadoop集群实战》一、Hadoop集群部署准备在部署集群
·2022-08-11 11:15

20000字详解数据湖：概念、特征、架构与案例

数据湖和大数据平台有什么不同？带着这些问题，我们尝试写了这样一篇文章，希望能抛砖引玉，引起大家一些思考和共鸣。
zhisheng_blog·2022-08-11 10:11

2w字详解数据湖：概念、特征、架构与案例

数据湖和大数据平台有什么不同？带着这些问题，我们尝试写了这样一篇文章，希望能抛砖引玉，引起大家一些思考和共鸣。
浪尖聊大数据-浪尖·2022-08-11 10:11

浅谈数据仓库架构设计

这个架构是构建在传统的架构基础之上，对传统架构的一种新的发展。数据中台从企业的视角出发，要求企业在构建数据仓库到决策支持系统的过程中构
·2022-08-10 12:12

架构基础

架构设计的关键思维是判断和取舍，程序设计的关键思维是逻辑和实现。架构设计需要考虑的通用问题，性能、可用性、可扩展性、安全性、成本、规模。架构设计的三大原则，合适优于业界领先、简单优于复杂、迭代优于一步到位。基础概念架构指软件系统的顶层结构，它定义了系统由哪些角色组成，角色之间的关系和运作规则。框架是面向编程或配置的半成品，关注的是“规范”，架构关注的是“结构”。组件是从技术维度上的复用。模块是从业
xiaolyuh·2022-08-10 09:56

IDC：阿里云稳居中国大数据平台公有云市场第一位

8月4日消息，日前国际权威研究机构IDC发布了《中国大数据平台公有云服务市场份额概况，2021》，报告显示，阿里云稳居中国大数据平台公有云服务市场第一位，营收达14.9亿元。
·2022-08-04 16:32

炫酷又高效的数据可视化大屏，做起来真的没那么难！丨极客星球

如何有效利用数据，并通过大数据平台的统计、分析、量化、转换、可视化等功能不断挖掘数据规律，使其价值最大化，成为了企业数字化转型的关键，其中数据可视化是最容易被用户感知的功能。
·2022-08-04 11:36

酷开科技 × StarRocks：统一 OLAP 分析引擎，全面打造数字化的 OTT 模式

作者：周桂民，大数据架构师和负责人，主要负责大数据平台基础建设工作酷开科技，全称深圳市酷开网络科技股份有限公司，成立于2006年，自主研发了智能电视操作系统——酷开系统。
·2022-08-03 17:55

【1】笔记 之 大数据平台--通用架构及技术体系

在大数据平台部，有8个月有余。这几个月一直困在具体的需求点中，导致自己只关注了细节，而做不到窥一斑而知全豹。趁现在，好好梳理下大数据平台的通用架构及技术体系。
涅槃Ls·2022-08-02 20:34

大数据开发选择之技术路线 or 业务路线？

如果是做大数据平台开发，那更多是偏向后端，所以是必须要写代码的，不限于java\scala等语言。如果是数仓开发，那么会偏向业务，会涉及维度建模，ETL，报表开发等等。
sheep8521·2022-07-31 10:10

金融大数据这么“火”，你真的知道它“出圈”背后的真相吗？

近年来，数据成为金融业的话题之王，大数据平台已经站在了一个新的节点，金融机构越来越依赖客户服务、创新产品和内部管理“数字”。
·2022-07-29 12:16

CDH/HDP迁移之路

原企业版用户企业版不再更新Cloudera和Hortonworks合并后推出了新一代大数据平台CDP，CDH6和
星环科技·2022-07-29 09:47

一篇文章掌握 CDH/CDP 大数据集群的运维和管理 - 附官方94页PPT《Cloudera集群管理》下载链接...

熟悉大数据业界的小伙伴们都知道，Cloudera在跟HortonWorks合并后，便推出了新一代大数据平台CDP，并正在逐步停止原有的大数据平台CDH和HDP。
明哥的IT随笔·2022-07-29 09:15

CDH/HDP/CDP等大数据平台中如何快速应对LOG4J的JNDI系列漏洞

本文我们就一起来看下，CDH/HDP/CDP等大数据平台中如何快速应对LOG4J的JNDI系列漏洞。
明哥的IT随笔·2022-07-29 09:15

一文看懂 Cloudera 对 CDH/HDP/CDP 的产品支持策略

熟悉大数据业界的小伙伴们都知道，Cloudera在跟HortonWorks合并后，便推出了新一代大数据平台CDP，并正在逐步停止原有的大数据平台CDH和HDP。
明哥的IT随笔·2022-07-29 09:45
上一页 27 28 29 30 31 32 33 34 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他