大数据平台-架构基础

Flink日志采集、集中存储、可视化查询实践

1.背景笔者的开发大数据平台XSailboat中包含基于Flink的可视化计算管道开发和运维功能。状态存储器中数据的查看和节点的日志查看功能是其重要的辅助支撑功能。
OkGogooXSailboat·2023-10-12 19:50

【架构】1.2浅谈架构基础-架构设计的目的

架构设计的目的架构设计的目的软件发展历程如何识别软件的复杂度高性能高可用可扩展成本价值安全因素架构设计的目的谈及架构设计，应该IT从业者都很经常听到，然而对于架构设计的目的，可能每个人都有自己的理解，例如：因为现在的系统大家都会做架构，所以我们也要做架构设计；因为大公司的系统都有架构设计的流程或要求；因为我们有架构师，不然架构师的工作是做什么呢?因为我们要做的系统比较复杂，或者高可用的要求比较高；
风晓枫·2023-10-12 16:06

大一学生作品《前端框架开发技术》 期末网页制作 HTML+CSS+JavaScript 个人主页网页设计实例

获取更多优质源码】web前端期末大作业：【毕设项目精品实战案例(1000套)】程序员有趣的告白方式：【HTML七夕情人节表白网页制作(110套)】超炫酷的Echarts大屏可视化源码：【echarts大屏展示大数据平台可视化
STU学生网页设计·2023-10-12 14:17

可以提供写作素材的大数据平台

做市场调研，一般对于行业趋势、热点、权重等问题最为关注。关键词的热度及指数的反映便是对市场最好的反馈，这里推荐大家几个平台。1.微指数（http://data.weibo.com/index）微指数是新浪微博的数据分析工具，是基于微博的热点内容搜索生成的关键词指数及实时数据。这款工具通过关键词的热议度，以及行业、类别的平均影响力，来反映微博舆情的发展走势。微指数分为影响力指数和热词指数两个模块，另
徐徐思卿·2023-10-12 11:33

数据要素流通视角下数据安全保障研究报告

DATA001：大数据平台安
互联互通社区·2023-10-12 11:54

阿里巴巴大数据-Java微服务技术专家-平台架构

长期招聘，简历投递：[email protected]阿里巴巴大数据-Java微服务技术专家-平台架构岗位职责：•参与阿里巴巴大数据平台和数据中台建设，承担大数据智能研发平台整体架构工作
扶至钦·2023-10-12 10:21

什么是大数据运维？大数据运维的职责

大数据运维的职责包括以下几个方面：确保大数据平台的高可用性和稳定性，包括对硬件、软件和网络设备进行监控和故障排除。进行大数据集群的容量规划和资源管理，保证集群的规模和性能与业务需求相匹配。
蘑菇丁·2023-10-11 21:49

“双11”核武器——全链路压测详解

用有限的成本实现最大化的集群整体吞吐能力，带给用户畅爽的极致购物体验，这依靠阿里多年技术沉淀下来的一套高可用架构基础设施，也就是阿里系统稳定性保障的“核武器”——全链路压测。
weixin_34409741·2023-10-11 19:14

用大数据平台和人工智能打造“副脑”

工业4.0、物联网、人工智能其实是建立在大数据平台的基础之上的，可以说
轻禅漫隐·2023-10-11 08:09

【踩坑】hive脚本笛卡尔积严重降低查询效率问题

前一阵子查看我们公司的大数据平台的离线脚本运行情况,结果发现有一个任务居然跑了一天多,要知道这还只是几千万量级的表,且这个任务是每天需要执行的于是我把hive脚本捞出来看了下,发现无非多join了几个复杂的子查询
zzzgd816·2023-10-11 00:00

电子科大软件系统架构设计——系统架构设计

文章目录系统架构设计系统设计概述系统设计定义系统设计过程系统设计活动系统设计基本方法系统设计原则系统设计方法分类面向对象系统分析与设计建模过程系统架构基础系统架构定义系统架构设计定义系统架构作用系统架构类型系统总体架构系统拓扑架构系统拓扑架构类型系统拓扑架构技术演化阶段系统拓扑架构案例系统数据架构系统数据分层架构设计系统数据治理架构设计系统数据存储架构设计数据架构设计案例
Palp1tate·2023-10-10 14:05

html实训大作业《基于HTML+CSS+JavaScript红色文化传媒网站(20页)》

获取更多优质源码】web前端期末大作业：【毕设项目精品实战案例(1000套)】程序员有趣的告白方式：【HTML七夕情人节表白网页制作(110套)】超炫酷的Echarts大屏可视化源码：【Echarts大屏展示大数据平台可视化
STU学生网页设计·2023-10-10 04:08

大公司都在做的大数据平台，为你精选这一份书单

image/gif;base64,R0lGODlhAQABAPABAP///wAAACH5BAEKAAAALAAAAAABAAEAAAICRAEAOw=="点击并拖拽以移动")现如今每个公司都有自己的大数据平台和大数据团队
程序员黄小斜·2023-10-09 04:40

万字解读｜怎样激活 TDengine 最高性价比？

自2022年下旬发布以来，经过我们不断地打磨优化之后，TDengine3.0在性能、功能、稳定性各个方面均有大幅提升，已经从一款时序数据库蜕变成为高性能、云原生、分布式的物联网、工业大数据平台。
涛思数据（TDengine）·2023-10-08 04:11

善用产业大数据平台，赋能产业数字化转型升级

所谓产业大数据平台是指集产业数据获取、存储、管理、分析为一体，以多源数据为核心，以数字技术为支撑，以产业服务为导向，以产业发展为目标的服务型网络平台。
五度易链-产业大数据服务解决方案提供商·2023-10-07 12:17

大数据平台

大数据平台定义1.大数据平台，顾名思义就是整合网站应用和大数据系统之间的差异，将应用程序产生的数据导入到大数据系统，经过处理计算后再导出给应用程序使用。
Movle·2023-10-06 07:46

智慧校园云平台源码，专门针对中小学校园研发，服务近百所学校，系统运行稳定

“智慧校园电子班牌系统”主要针对中小学校园研发，为校园管理提供智慧管理方案，提供校园智慧管理平台，在大数据平台下，对应用系统进行统一、集中管理，囊括校园管理全方面，实现对校园、班级、教师、学生的管理，让管理更多面
淘源码A·2023-10-05 18:11

构建大数据平台（七）Storm集群搭建

一、前提：（1）storm服务，是基于zookeeper的。（2）storm使用稳定版本：apache-storm-1.2.1.tar.gz；（3）可在master上安装后，scp到其他slave机器上。（4）Storm需要安装依赖库：JDK7+、Python2.6.6（如不需要运行Python程序，可不安装）二、配置storm：首先要注意在生产环境中目录结构要定义好，防止在项目过多的时候找不到所
Mr_ZhaiDK·2023-10-04 19:08

嵌入式软件架构基础设施设计方法

大家好，今天分享一篇嵌入式软件架构设计相关的文章。软件架构这东西，众说纷纭，各有观点。在我看来，软件架构是软件系统的基本结构，包含其组件、组件之间的关系、组件设计与演进的规则，以及体现这些规则的基础设施。软件架构，从来不是一件容易事，它贯穿在产品的整个生命周期，需要所有团队成员遵守并自律，才能将架构思想在软件中体现。新手工程师，由于经历的项目太少，看不到项目全貌，很难从全局理解软件架构。但软件架构
ST小智·2023-10-04 07:17

为什么腾讯监控的大数据平台选择了这款数据库？

导读：本文带你了解一个开源的、高性能的时序型数据库——InfluxDB。作者：韩健来源：大数据DT（ID：hzdashuju）00为什么QQ要选择InfluxDB？从2016年起，笔者在腾讯公司负责QQ后台的海量服务分布式组件的架构设计和研发工作，如微服务开发框架、名字路由、名字服务、配置中心等，做了大量分布式架构、高性能架构、海量服务、过载保护、柔性可用、负载均衡、容灾、水平扩展等方面的工作，以
hzbooks·2023-10-04 05:58

JavaSE及数据结构---初识Java

目录一、工作领域企业级系统Web开发领域android平台应用大数据平台开发二、语言特性1.简单性2.面相对象3.分布式(微服务)4.健壮性5.安全性6.体系结构中立7.可移植性8.解释性9.高性能10
茶虹·2023-10-02 12:18

数据中台实战(00)-大数据的尽头是数据中台吗？

从2018年末开始，原先市场上各种关于大数据平台的招标突然不见了，取而代之的是数据中台项目，建设数据中台俨然成为传统企业数字化转型的首选，甚至不少大数据领域的专家都认为，数据中台是大数据下一站。
JavaEdge.·2023-10-01 03:18

企业发展思考

物联网工具、线上线下管理系统、社交媒体、大数据平台、调研平台工具替代传
探索与践行丰盛的旅程·2023-09-30 07:40

【kafka】Kafka 可视化工具Kafka Eagle安装和使用

因此，大数据平台上需要一套Kafka的管理监控系统，Kafka-Eagle。KafkaEagle是一个用于监控和管理kafka的开源组件，可以同时监控多个kafka集群。
HunterMichaelG·2023-09-29 21:17

如何快速让自己成为一个优秀的架构师，而不是码农

我所从事的工作我目前从事分布式服务架构的设计与开发工作，在阿里的大数据平台上进行应用程序开发。
茵茵Java学习·2023-09-29 12:10

计算机竞赛 深度学习大数据物流平台 python

文章目录0前言1课题背景2物流大数据平台的架构与设计3智能车货匹配推荐算法的实现**1\.问题陈述****2\.算法模型**3\.模型构建总览**4司机标签体系的搭建及算法****1\.冷启动**2\.
Mr.D学长·2023-09-29 02:47

目标检测算法改进系列之Backbone替换为ConvNextV2

ConvNextV2受掩码自编码机制的启发，本文在ConvNeXt的架构基础上延伸出了一个完全卷积掩码自编码器框架——ConvNeXtV2，同时作者设计了一个全新的全局响应归一化(GlobalResponseNormalization
我悟了-·2023-09-28 19:00

实时数仓Hologres：推出计算组实例/支持JSON数据/向量计算+大模型等新能力

DataWorks、Hologres为核心，致力于解决用户多元化数据的计算需求问题，实现存储、调度、元数据管理上的一体化架构融合，支撑交通、金融、科研、等多场景数据的高效处理，是目前国内最早自研、应用最为广泛的一体化大数据平台
阿里云云栖号·2023-09-28 10:34

DataWorks 全新发布：增强分析/数据建模个人版等新能力

DataWorks、Hologres为核心，致力于解决用户多元化数据的计算需求问题，实现存储、调度、元数据管理上的一体化架构融合，支撑交通、金融、科研、等多场景数据的高效处理，是目前国内最早自研、应用最为广泛的一体化大数据平台
阿里云云栖号·2023-09-28 10:32

029-从零搭建微服务-消息队列（一）

源码地址（后端）：mingyue:基于SpringBoot、SpringCloud&Alibaba的分布式微服务架构基础服务中心源码地址（前端）：mingyue-ui:基于Vue3+TS+Vite+Elementplus
Strive_MY·2023-09-28 09:08

030-从零搭建微服务-消息队列（二）

源码地址（后端）：mingyue:基于SpringBoot、SpringCloud&Alibaba的分布式微服务架构基础服务中心源码地址（前端）：mingyue-ui:基于Vue3+TS+Vite+Elementplus
Strive_MY·2023-09-28 09:37

k8s--架构基础--cgroup v2

在Linux上，控制组（controlgroups）限制了分配给进程的资源。kubelet和底层容器运行时需要与控制组（cgroups）进行接口交互，以实施对Pod和容器的资源管理，包括为容器化工作负载设置CPU和内存的请求和限制。Linux中存在两个版本的控制组：cgroupv1和cgroupv2。cgroupv2是cgroupAPI的新一代版本。cgroupv1是最早版本的控制组API，它提供
IT艺术家-rookie·2023-09-27 06:58

相伴六年，Smartbi与荣耀共建数据化运营新生态

——荣耀 大数据平台产品经理 赵黄起随着中国科技企业迅速发展，越来越多科技企业开始意识到自主研发和创新的重要性，为了摆脱
明月说数据·2023-09-27 01:33

[微前端实战]---01导学

开始开发自己的微前端框架全流程:子应用->主应用->服务端->发布平台源码解析:剖析现有微前端框架–qiankun,single-spa,使用成熟框架重构现有项目二.与架构老师学习三.课程目标好厉害的设计四课程设计1.架构基础知识介绍
小李科技·2023-09-26 23:19

今日脑洞-私域分享农业

大数据平台会每天记录农作物的生长情
花老板不吃闸机·2023-09-26 21:59

如何访问TDH中Inceptor 底层的元数据库TxSQL

在星环的大数据平台TDH中，在功能上对应开源HIVE的服务是Inceptor，Inceptor底层是基于开源的HIVE和Spark整合开发而来的，其中：InceptorServer对应HIVE的查询
明哥的IT随笔·2023-09-26 12:42

从容器化到资源池化，数栈云原生技术实践探索之路

导读：近些年随着云计算和云原生应用的兴起，容器技术可以很好地解决许多问题，所以将大数据平台容器化是一种理想的方案。
袋鼠云数栈·2023-09-26 12:20

玩转集群配置中心，一文带你了解Taier控制台

课程视频回顾：Taier基础教程（二）：Taier1.1新功能详解&控制台介绍_哔哩哔哩_bilibili开源项目交流群：30537511（钉钉）开源项目地址：GitHub-DTStack/Taier:大数据平台
袋鼠云数栈·2023-09-26 12:20

论软件的可靠性设计

摘要2021年6月，我所在的公司中标某集团保险大数据平台一体化研发项目，该项目总投资2000万人民币，项目周期为2年，通过该项目，搭建该集团保险大数据平台，一方面将全国所有保险业务全部入库并保存，另一方面将全国使用该集团的网站系统
mischen520·2023-09-26 01:31

实时数仓 Hologres：推出计算组实例/支持JSON数据/向量计算+大模型等新能力

DataWorks、Hologres为核心，致力于解决用户多元化数据的计算需求问题，实现存储、调度、元数据管理上的一体化架构融合，支撑交通、金融、科研、等多场景数据的高效处理，是目前国内最早自研、应用最为广泛的一体化大数据平台
·2023-09-25 15:09

k8s--架构基础--云控制器管理器

具体来说，云控制器管理器允许用户将集群与云服务提供商的API进行连接，以获取与云平台相关的信息和资源。通过这种连接，Kubernetes可以利用云服务提供商的功能和特性，例如虚拟机、负载均衡器、对象存储等。与此同时，云控制器管理器也负责与云平台进行交互，以执行与云资源的管理和操作相关的任务。云控制器管理器的作用是将Kubernetes集群与云服务提供商的API进行链接，并在集群内部负责与云平台进行
IT艺术家-rookie·2023-09-25 13:20

【ODPS 新品发布第 2 期】实时数仓 Hologres：推出计算组实例/支持 JSON 数据/向量计算+大模型等新能力

DataWorks、Hologres为核心，致力于解决用户多元化数据的计算需求问题，实现存储、调度、元数据管理上的一体化架构融合，支撑交通、金融、科研、等多场景数据的高效处理，是目前国内最早自研、应用最为广泛的一体化大数据平台
云布道师·2023-09-23 06:25

物联网、工业大数据平台 TDengine 与苍穹地理信息平台完成兼容互认证

近日，涛思数据与苍穹数码已完成产品兼容互认证工作，经双方共同严格测试，涛思数据旗下物联网、工业大数据平台TDengineV3.0
涛思数据（TDengine）·2023-09-23 06:07

程序启动-大数据平台搭建

1、启动zookeeper集群/home/cluster/zookeeper.shstart/home/cluster/zookeeper.shstop2、启动hadoop和yarn集群/home/cluster/hadoop-3.3.6/sbin/start-dfs.sh/home/cluster/hadoop-3.3.6/sbin/start-yarn.sh/home/cluster/hado
青春不流名·2023-09-23 04:37

物联网、工业大数据平台 TDengine 与苍穹地理信息平台完成兼容互认证

近日，涛思数据与苍穹数码已完成产品兼容互认证工作，经双方共同严格测试，涛思数据旗下物联网、工业大数据平台TDengineV3.0
·2023-09-22 16:58

jeecgboot多表查询_jeecg-boot-multi-maven

当前最新版本：2.1.3(发布日期：20191226)后端技术架构基础框架：SpringBoot2.1.3.RELEASE持久层框架：Mybatis-plus_3.1.2安全框架：ApacheShiro1.4.0
weixin_39717865·2023-09-20 15:55

Hadoop技术生态简介

文章来源：加米谷大数据大数据的发展历史当中，Hadoop技术框架是占据着重要地位的，历经十多年的时间，依然是企业搭建大数据平台基础架构的主流选择，围绕着Hadoop而生的大数据生态组件，也都各自发挥着各自的作用
会飞的鱼go·2023-09-20 11:56

部署大数据平台详细教程以及遇到的问题解答（ubuntu18.04下安装ambari2.7.3+HDP3.1.0）

节点准备：我搭建的是3台，节点可以随意。建议最少是3台hostnameip角色ubuntu-1804-1172.21.73.53从节点ubuntu-1804-2172.21.73.54主节点ubuntu-1804-3172.21.73.55从节点一：关闭所有节点的防火墙sudoufwdisable二：配置时钟同步NTP所有节点安装ntpsudoaptinstallntp以ubuntu-1804-2
@卓越俊逸_角立杰出@·2023-09-20 09:57

大数据开发工程师是做什么的？

熟练掌握数据仓库、hadoop生态体系、计算及二次开发、大数据平台工具的开发：开发平台、调度系统、元数据平台等工具，该岗位对于技术要求较高。
我想去吃ya·2023-09-20 01:05

HIVE控制导出数据的大小和数量

工作中碰到个需求，需要我去SFTP服务器采集HIVE导出的数据，由于这个大数据平台设计问题，很多东西没考虑到，他们的导出方式是用HIVE提供的insertoverwritelocaldirectory这个语句来导出
润土1030·2023-09-19 20:56
上一页 6 7 8 9 10 11 12 13 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他