大数据平台-架构基础

jeecgboot多表查询_jeecg-boot-multi-maven

当前最新版本：2.1.3(发布日期：20191226)后端技术架构基础框架：SpringBoot2.1.3.RELEASE持久层框架：Mybatis-plus_3.1.2安全框架：ApacheShiro1.4.0
weixin_39717865·2023-09-20 15:55

Hadoop技术生态简介

文章来源：加米谷大数据大数据的发展历史当中，Hadoop技术框架是占据着重要地位的，历经十多年的时间，依然是企业搭建大数据平台基础架构的主流选择，围绕着Hadoop而生的大数据生态组件，也都各自发挥着各自的作用
会飞的鱼go·2023-09-20 11:56

部署大数据平台详细教程以及遇到的问题解答（ubuntu18.04下安装ambari2.7.3+HDP3.1.0）

节点准备：我搭建的是3台，节点可以随意。建议最少是3台hostnameip角色ubuntu-1804-1172.21.73.53从节点ubuntu-1804-2172.21.73.54主节点ubuntu-1804-3172.21.73.55从节点一：关闭所有节点的防火墙sudoufwdisable二：配置时钟同步NTP所有节点安装ntpsudoaptinstallntp以ubuntu-1804-2
@卓越俊逸_角立杰出@·2023-09-20 09:57

大数据开发工程师是做什么的？

熟练掌握数据仓库、hadoop生态体系、计算及二次开发、大数据平台工具的开发：开发平台、调度系统、元数据平台等工具，该岗位对于技术要求较高。
我想去吃ya·2023-09-20 01:05

HIVE控制导出数据的大小和数量

工作中碰到个需求，需要我去SFTP服务器采集HIVE导出的数据，由于这个大数据平台设计问题，很多东西没考虑到，他们的导出方式是用HIVE提供的insertoverwritelocaldirectory这个语句来导出
润土1030·2023-09-19 20:56

DataWorks 全新发布：增强分析/数据建模个人版等新能力

DataWorks、Hologres为核心，致力于解决用户多元化数据的计算需求问题，实现存储、调度、元数据管理上的一体化架构融合，支撑交通、金融、科研、等多场景数据的高效处理，是目前国内最早自研、应用最为广泛的一体化大数据平台
·2023-09-19 17:23

相伴六年，Smartbi与荣耀共建数据化运营新生态

——荣耀大数据平台产品经理赵黄起随着中国科技企业迅速发展，越来越多科技企业开始意识到自主研发和创新的重要性，为了摆脱对国外技术的依赖性，他们
·2023-09-19 17:46

HTML学生中秋节日网页设计模板 DIV布局大学生中秋节网页作业制作 八月十五中秋静态网页成品代码下载 中秋节日网页设计作品

获取更多优质源码】web前端期末大作业：【毕设项目精品实战案例(1000套)】程序员有趣的告白方式：【HTML七夕情人节表白网页制作(110套)】超炫酷的Echarts大屏可视化源码：【echarts大屏展示大数据平台可视化
STU网页优选·2023-09-19 15:32

基础架构

一、基础架构图二、基础架构基础架构空间。包括服务治理和各种中间件，以及通用的开发规范。因数据集变大、访问量变高，系统经过一些列演进，逐步向异步化、微服务化发展。
小菜一碟007·2023-09-19 11:52

TDengine 与煤矿智能 AI 视频管理系统实现兼容性互认

近日，涛思数据旗下高性能、分布式的物联网、工业大数据平台TDengineV
涛思数据（TDengine）·2023-09-19 05:46

生成式AI搭台，Data+Analytics唱戏 - Snowflake、Databricks2023年度大会前瞻

编者按：每年仲夏之际，全球两大数据平台巨头Snowflake、Databricks均会召开各自的年度大会，成为数据圈的“超级碗”。
云器科技·2023-09-18 23:07

智慧校园电子班牌系统开发 整套商业源码

“智慧校园电子班牌系统”主要针对中小学校园研发，为校园管理提供智慧管理方案，提供校园智慧管理平台，在大数据平台下，对应用系统进行统一、集中管理，囊括校园管理全方面，实现对校园、班级、教师、学生的管理，让管理更多面
淘源码d·2023-09-18 19:04

智慧校园源码，电子班牌人脸识别系统，智慧校园小程序源码

“智慧校园电子班牌系统”主要针对中小学校园研发，为校园管理提供智慧管理方案，提供校园智慧管理平台，在大数据平台下，对应用系统进行统一、集中管理，囊括校园管理全方面，实现对校园、班级、教师、学生的管理，让管理更多面
淘源码d·2023-09-18 19:04

TDengine 3.1.1.0 来啦！更新如下

写在前面伴随2023年9月官网改版，TDengine正式升级为高性能、分布式的物联网、工业大数据平台，提供TDengineEnterprise、TDengineCloud两大版本，在开源、云
·2023-09-18 16:59

TDengine 与煤矿智能 AI 视频管理系统实现兼容性互认

近日，涛思数据旗下高性能、分布式的物联网、工业大数据平台TDengineV
·2023-09-18 15:27

分析hdfs文件变化及监控小文件

1、文档编写目的目前各个企业都在利用Hadoop大数据平台，每天都会通过ETL产生大量的文件到hdfs上，如何有效的去监测数据的有效性，防止数据的无限增长导致物理资源跟不上节奏，我们必须控制成本，让有限的资源发挥大数据的极致功能
jhonshonjs·2023-09-18 15:48

数据中台基本概念

数据中台依赖于大数据平台完成数据研发全流程，同时增加了数据治理和数据服务化以及数据资
躺着听Jay·2023-09-18 10:19

HDP服务器上spark-sql联通hive元数据库

问题描述：金山云大数据平台(基于HDP)服务器上跑批数据加工脚本时，发现当中通过spark-sql执行的脚本没有执行，提示没有找到数据库；新打session窗口测试，通过spark-sql连接yarn后
NightFall丶·2023-09-17 23:44

IDEA Windows下SPARK连接Hive

文章目录IDEAWindows下SPARK连接Hive一、本地Windows环境配置二、IDEA项目配置1.POM配置2.资源文件配置3.测试验证一、本地Windows环境配置本地构建HADOOP客户端将大数据平台的
NightFall丶·2023-09-17 23:44

Apache Spark 在爱奇艺的应用实践

01ApacheSpark在爱奇艺的现状ApacheSpark是爱奇艺大数据平台主要使用的离线计算框架，并支持部分流计算任务，用于数据处理、数据同步、数据查询分析等场景：数据处理：在数据开发平台中支持开发者提交
爱奇艺技术产品团队·2023-09-17 09:39

Hive参数与性能调优-V2.0

Hive作为大数据平台举足轻重的框架，以其稳定性和简单易用性也成为当前构建企业级数据仓库时使用最多的框架之一。
000X000·2023-09-16 21:54

Java开源框架集

Spring的架构基础是
weixin_34124577·2023-09-16 21:12

大数据安全组件-Kerberos认证+Ranger权限研究

大数据的安全管控权限的管控，历来是大数据平台中最让人头疼的问题之一。管得严了，业务不流畅，用户不开心，放得宽了，安全没有底，你能放心？
振宅的博客·2023-09-16 12:40

【ODPS新品发布第1期】DataWorks全新发布：增强分析/数据建模个人版等新能力

DataWorks、Hologres为核心，致力于解决用户多元化数据的计算需求问题，实现存储、调度、元数据管理上的一体化架构融合，支撑交通、金融、科研、等多场景数据的高效处理，是目前国内最早自研、应用最为广泛的一体化大数据平台
阿里云大数据AI技术·2023-09-16 09:55

企业可以自己建立大数据平台吗？有哪些好处？

因此不少企业在问，企业可以自己建立大数据平台吗？有哪些好处？企业可以自己建立大数据平台吗？有哪些好处？答案肯定是可以的。有条件的企业可以建立属于自己的大数据平台。
行云管家·2023-09-15 17:23

TDengine 3.1.1.0 来啦！更新如下

写在前面伴随2023年9月官网改版，TDengine正式升级为高性能、分布式的物联网、工业大数据平台，提供TDengineEnterprise、TDengineCloud两大版本，在开源、云
涛思数据（TDengine）·2023-09-15 11:14

x86架构基础汇编知识

通用寄存器EAX32位函数返回值AX低16位AH高八位AL低八位EBX32位ECX32位循环次数，this指针EDX32位EBP32位栈底寄存器ESP32位栈顶寄存器ESI源索引寄存器EDI目标索引寄存器EIP无法直接通过汇编操作例子moval，0xffaddal，1产生截断moval，0xffaddax，1产生进位状态寄存器状态寄存器（StatusRegister），也称为标志寄存器（FlagR
左手的月光·2023-09-15 10:04

网页期末作业 基于HTML+CSS中国传统节日【清明节】带论文8000字

获取更多优质源码】web前端期末大作业：【毕设项目精品实战案例(1000套)】程序员有趣的告白方式：【HTML七夕情人节表白网页制作(110套)】超炫酷的Echarts大屏可视化源码：【echarts大屏展示大数据平台可视化
IT芷君·2023-09-14 14:11

【hbase】按时间段批量删除hbase数据

背景是华为大数据平台mrs，这里运用到HDFS、Hive、HBase；数据通过接口接入到hbase，用hive创建hbase外部表。需求是某段时间数据有问题，需要删掉重新补入。
彧覇不能·2023-09-14 10:37

Shell脚本中实现hbase shell命令调用

为了优化性能，大数据平台上的HBase表需要在脚本跑批过程中对创建的索引进行rebuild，因此说明下如何在shell中实现hbase语句调用。
八幡大老师·2023-09-14 08:45

Hive数据仓库实战

Hive作为大数据平台Hadoop之上的主流应用，公司一般都是用它作为公司的数据仓库，分布式机器学习的训练数据和数据处理也经常用它来处理，下面介绍下它的常用功能。
充电了么·2023-09-14 02:28

大数据平台迁移后yarn连接zookeeper 异常分析

大数据平台迁移后yarn连接zookeeper异常分析XX保险HDP大数据平台机房迁移异常分析。
岁月的眸·2023-09-13 00:03

大数据平台环境部署手册(CDH6.0.0)

目录1系统环境-1-2文件下载-1-2.1Centos7-1-2.2ClouderaManager6.0.0-1-2.3CDH6.0.0-1-3环境准备（一）-1-3.1更改hosts-1-3.2关闭防火墙-2-3.3修改Linuxswappiness参数-2-3.4设置透明大页面-2-3.5安装jdk-3-3.6安装httpd-3-3.7所有节点配置NTP服务，保持时间同步-3-3.8禁用Sel
Together_aec7·2023-09-12 20:54

Architechure of a Database System翻译二

1.2范围和预览  在本文的大部分，我们专注的是支持数据库核心功能的架构基础。我们并不尝试去提供一个已经在文献中被详细证明了的综合的数据库算法复习。
以梦为马驾驾驾·2023-09-12 18:21

大数据精准营销大数据平台应用场景有哪些，平台优势有哪些？

精准营销大数据平台应用场景有很多种，比如在银行领域，我通过相应的客户数据，也可以给客户推广一些银行业务。
浪浪的数据侠客·2023-09-12 18:52

领悟MMM

读懂MMMPostedon2017-04-12李庐年PostedinPMI培训教程,PMI推广,PMI讲座,心态运作,模式原理,精华荟萃MMM金融互助社区是陌生人之间互相帮助（捐款）的互联网+大数据平台
a大漠飞沙·2023-09-12 15:24

Docker的运行机制和底层技术简介

（笔记总结自《微服务架构基础》书籍）一、Docker的引擎DockerEngine（Docker引擎）是Docker的核心部分，使用的是客户端-服务器（C/S）架构模式：①DockerCli：Docker
夏娃同学·2023-09-12 11:51

民航数据智能微应用集市

前言倘若有一个国内的全航空领域的大数据平台及集市，或者有国家相关职能部门所领导的建设方向。个人的架构实现建议及技术领域突破方向简要罗列如下。背景理解以一国家行为为驱使的特定行业数据中心及应用集市建设。
67fbeff17243·2023-09-11 00:14

漫谈“智慧税务”

作为一名税收信息化建设战线上的老兵，我参与了全国金税三期推广，参与了我省电子税务局的开发和大数据平台的建设。
风的流星·2023-09-10 20:58

大数据平台之数据治理

目录一、表治理二、文件治理三、任务四、监控本文仅在大数据平台角度对数据存储、cpu、内存角度进行数据治理，不包括业务角度。
9随遇而安·2023-09-10 07:54

年后开工，总是一波三折…

领导们三天一个小计划，五天一个大计划，天天喊口号号召，我们要做大数据平台，要做大运营，听说区块链不行了？那我们就赶上短视频风口，一定要有流量，不然都不行。然后呢？
伪装的柚子·2023-09-10 07:38

Nature Plants：将节节麦基因组导入小麦作为谷物改良的基础

此项研究中4个新参考基因组的组装数据和注释文件已存储于国家基因库生命大数据平台（CNGBdb），项目编号为：CNP0001325。研究背景增加作物产量对于养活世界上不
尐尐呅·2023-09-10 04:01

企业大数据平台面临的技术挑战

企业大数据的实施过程中，仍然面临很多技术挑战，涉及数据采集与获取、数据存储与查询、数据处理与计算、数据挖掘与学习、数据理解与应用、数据管理与扩展等方面。在数据理解与应用方面，存在以下几个方面的技术挑战：丰富的可视化。在数据工作的末端，数据可视化是帮助终端客户理解数据过程和结果的关键手段。传统的可视化主要通过三维以下的图、表等方式展现，并且数据容量较小。在海量数据规模下却很难应对，例如如何展示超过三
皮皮杂谈·2023-09-10 03:44

Web3.0时代，挖掘数据价值的第一步是网络数据采集

任何完整的大数据平台，一般包括以下的几个过程：数据采集–>数据存储–>数据处理–>数据展现(可视化，报表)。
雨与田·2023-09-09 21:48

Spark大数据平台应用实战

对于一个具有相当技术门槛与复杂度的平台，Spark从诞生到正式版本的成熟，经历的时间如此之短，让人惊诧。2009年，Spark诞生于伯克利大学AMPLab，于2010年正式开源，2013年成为了Apache基金项目，2014年成为Apache基金的较高级项目，整个过程不到五年时间。2015年是Spark飞速发展的一年，Spark成为了现在大数据领域最火的开源软件，截止2015年，Spark的Con
yoku酱·2023-09-09 13:07

三层架构基础

三层是什么三层架构(3-tierarchitecture)就是将整个业务应用划分为:界面层(UserInterfaceLayer)❤作用：向用户展现特定业务数据，采集用户的输入信息和操作【PS：设计原则：用户至上，兼顾简洁】业务逻辑层(BusinessLogicLayer)❤作用：主要是负责对数据层的操作，吧一些数据层的操作进行组合。数据访问层(DataAccessLayer)❤作用：和数据源打交
呀呼嘿—yara·2023-09-09 04:10

【转】Java开源项目（备查）

Spring的架构基础是基于使用JavaBean属性的InversionofControl容器。然而，这仅仅是完整图景中的一部分：Sp
shenhua43211234·2023-09-08 17:58

java开源项目大综合

Spring的架构基础是基于使用JavaBean属性的InversionofControl容器。然
lorry2010·2023-09-08 17:55

一点感受

（1）现状我评审的涉及底层技术平台：1、云原生（微服务）与低代码2、大数据平台-可视化报表图表3、BPM/Workflow数字化与集成其实这三个有关联性。
david_lv·2023-09-08 16:53

大型数据平台构建方案

大型数据平台构建方案随着信息技术的快速发展和大数据时代的到来，构建一个高效、可扩展的大数据平台成为许多企业和组织的重要需求。本文将介绍一种详细的大数据平台构建方案，包括架构设计、技术选型和源代码示例。
AlianBlank·2023-09-08 09:47
上一页 7 8 9 10 11 12 13 14 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他