大数据平台-架构基础

详解大数据平台架构

目录：什么是大数据Hadoop介绍-HDFS、MR、Hbase大数据平台应用举例-腾讯公司的大数据平台架构“就像望远镜让我们能够感受宇宙，显微镜让我们能够观测微生物一样，大数据正在改变我们的生活以及理解世界的方式
yoku酱·2023-04-21 17:46

【大数据平台】基于Spark的美国新冠肺炎疫情数据分析及预测

（本实验系中国地质大学（武汉）2022年秋期大数据平台及应用课程设计）一、选题背景新型冠状病毒疫情是由严重急性呼吸系统综合征冠状病毒2（SARS-CoV-2）导致的2019冠状病毒病（COVID-19）
弓长纟隹为·2023-04-21 16:06

spark提交命令中的jars设置方式

此方法是在大数据平台架构与原型实现：数据中台建设实战这本书上看到的之前我们使用的方式是将所有jar的名字加入到配置文件中，提取为jars参数1.脚本目录下创建lib文件夹2.将依赖jar包存放至lib下
春_·2023-04-21 12:15

基于 Flink ML 搭建的智能运维算法服务及应用

本篇内容主要分为五个部分：1.阿里云大数据平台的智能运维2.智能运维算法服务应用场景3.传统算法工程链路的局限性4.使用FlinkML搭建智能运维算法服务5.总结和开源计划一、阿里云大数据平台的智能运维阿里云计算平台提供了多个非常核心的大数据计算和人工智能相关的产品
·2023-04-21 10:27

大数据初识

用户行为分析医疗领域流行病预测,病情分析视屏领域用户标签系统,视频分析,广告分析金融领域风控系统,欺诈分析学习方法自主学习能力,动手能力系统了解大数据生态系统技术框架找到学习切入点,不断拓展知识结构的广度大数据平台开发
BlackChen·2023-04-20 14:44

大数据平台 虚拟机还是物理机_信服云承载恒生O32实测：性能较物理架构高40%以上，响应速度提升100%...

信服云已经为超过10000家用户提供了数字化转型的服务，特别在金融行业，信服云已经为海通期货、邢台银行、上海联合产权交易所、深圳农商行等众多用户提供了提供了丰富的数据中心云化解决方案。为了让用户更加直观的了解信服云在具体金融业务场景中的性能表现，信服云整理了恒生O32近一年的运行实测方案，希望相关的数据和验证结论可以为金融行业的用户提供参考。核心结论1.恒生O32在信服云上运行良好，性能指标较物理
RNC-IsYouz·2023-04-20 13:03

智能营销服务性能提升2倍关键秘诀？就是亚马逊云科技

但企业在获得更精准、更智能营销服务的同时，也不得不面临来自海量数据的搜寻以及数据实时更新等方面的压力，因此选择一个高效的大数据平台，就显得尤其重要。
静观事态·2023-04-20 05:52

2020-04-29

为自己服务；二是玩游戏，游戏对智力以及反应能力的培养是有很大好处的，但是如今游戏的逼真与刺激，非常容易让人沉迷而欲罢不能，这就会影响正常的工作学习；三是网上聊天，QQ、微信、微博等都是非常热门的聊天工具；四是大数据平台购物
飘雪的天堂·2023-04-19 19:18

内蒙农信携手星环科技建设农信大数据平台，激活金融业务创新

2021年该社启动了大数据平台项目，与星环科技合作，经过一年多的努力，在金融云上部署了20个节点的大数据处理集群。
星环科技·2023-04-19 12:19

内蒙农信携手星环科技建设农信大数据平台，激活金融业务创新

2021年该社启动了大数据平台项目，与星环科技合作，经过一年多的努力，在金融云上部署了20个节点的大数据处理集群。
·2023-04-19 11:54

详解数据仓库数据湖及湖仓一体

有人说数据湖是下一代大数据平台，各大云厂商也在纷纷的提出自己的数据湖解决方案，一些云数仓产品也增加了和数据湖联动的特性。但是数据仓库和数据湖的区别到底是什么，是技术路线之争？是数据管理方式之争？
weixin_38754337·2023-04-19 11:42

数据湖VS数据仓库？湖仓一体了解一下

有人说数据湖是下一代大数据平台，各大云厂商也在纷纷的提出自己的数据湖解决方案，一些云数仓产品也增加了和数据湖联动的特性。但是数据仓库和数据湖的区别到底是什么，是技术路线之争？是数据管理方式之争？
浪尖聊大数据-浪尖·2023-04-19 11:12

内蒙农信携手星环科技建设农信大数据平台，激活金融业务创新

2021年该社启动了大数据平台项目，与星环科技合作，经过一年多的努力，在金融云上部署了20个节点的大数据处理集群。
·2023-04-19 11:07

六大主流大数据采集平台架构分析

今天为大家介绍几款数据采集平台：ApacheFlumeFluentdLogstashChukwaScribeSplunkForwarder大数据平台与数据采集任
带着希望活下去·2023-04-19 06:27

大数据高级架构师-王明龙-KYLIN-DAY01-概述

ApacheKylin概述ApacheKylin是Hadoop大数据平台上的一个开源OLAP引擎。它采用多维立方体预计算技术，可以将大数据的SQL查询速度提升到亚秒级别。
IT灵魂摆渡者·2023-04-19 03:11

业务重要？还是技术重要？

有一个粉丝问过这样一个问题：群主，向你请教一个困扰我很久的问题，从毕业到现在，我一直从事大数据平台开发d的工作，主要是搭建CDH周边产品，并在基础上开发一些BI产品和内部的分析系统。
数据社·2023-04-18 10:33

京东大数据，为什么这么牛？

高可用和高性能采用自研YarnFederation技术实现资源按需无限扩展京东大数据平台的离线计算基于Hadoop分布式技术构建。
公众号:肉眼品世界·2023-04-18 06:04

JVM（一）——架构基础

JVMjava虚拟机javagc主要回收的是方法区和堆中的内容，以下架构图是重点：方法区和堆是线程共享，java栈、本机方法栈、程序计数器是线程私有。运行时数据区可以用Runtime.getRuntime()获取字节码执行引擎，修改程序计数器，执行方法区。jvm自带插件反汇编：先进到target,class文件存放区javap-cMath.class>Math.txt，把字节码文件反汇编存入txt
wzq_55552·2023-04-18 04:51

Vue+Echarts构建大数据可视化项目（下）数字滚动，词云，天气，时间

一个基于Vue前端框架和第三方图表库Echarts构建的可视化大数据平台，通过vue项目构建、指令的灵活运用、组件封装、组件之间通信，使内部图表组件库可实现自由替换和组合。
青铜小菜姬·2023-04-17 20:25

大数据知识点记录

Navicat的一个工具kudu（数据库）------>impalaHbase（数据库）------>HiveAzkaban调度------>jobsqoop:importexport-->mysql我们公司的大数据平台
Jack_2085·2023-04-17 13:45

安东尼罗宾

马尔茨所著的《人性的开拓》以及约翰·葛林德和理查德·班德勒共同研究出的《神经语言课程》等二书的理论及模式是安东尼·罗宾斯著作的架构基础，它们的研究重点在于如何逐渐引导
素面千叶猫·2023-04-17 07:20

「曾哥读书」数据驱动：从方法到实践

推荐指数：6.5颗星01整体评价本书介绍了如何建立大数据平台以及如何使用数据驱动决策和策略产品，最后还提供了一些行业的实践案例，当然是基于神策数据了。
frozeng·2023-04-17 06:22

大数据平台前端项目多分支开发说明

分支创建在主干下创建一个分支：image.png如果之前别人创建过了了，你本地没有，直接从远程拉取就行image.png分支代码开发切换到分支上去image.png切换成功的效果就是分支前有这个tab标签，这个标签在哪个分支前，就代表着你现在正在编辑的是哪个分支，切换分支之前一定要提交当前分支上的所有代码，不然切换git区分不出差异到底属于哪个分支会造成自动merge混乱image.png每个人开
SevenChou·2023-04-17 00:37

CDH大数据平台入门篇之搭建与部署

一、CDH介绍1.CDH是一个强大的商业版数据中心管理工具提供了各种能够快速稳定运行的数据计算框架，如Spark；使用ApacheImpala做为对HDFS、HBase的高性能SQL查询引擎；使用Hive数据仓库工具帮助用户分析数据；提供CM安装HBase分布式列式NoSQL数据库；包含原生的Hadoop搜索引擎以及ClouderaNavigatorOptimizer去对Hadoop上的计算任务进
啊 这·2023-04-17 00:39

可视化布局模块开发分享

在历经两年多的迭代后，Odeon大数据平台在底层能力建设上已经相当丰满。
ODEON_BIGDATA·2023-04-16 23:39

【Linux 裸机篇（一）】ARM Cortex-A 架构基础、汇编基础

目录一、ARMCortex-A架构基础1.Cortex-A处理器运行模型2.Cortex-A寄存器组2.1通用寄存器2.1.1未备份寄存器2.1.2备份寄存器2.1.3程序计数器R152.2程序状态寄存器二
Eiker_3169·2023-04-16 02:06

大数据平台HDP-2.6.4 安装与配置

一：关于HDP的介绍二：系统环境介绍三：系统环境初始化四：安装HDP-2.6.4平台五：启用NameNodeHA与YARNHA一：关于HDP的介绍1.1：hdp是什么HDP全称叫做HortonworksDataPlatform。Hortonworks数据平台是一款基于ApacheHadoop的是开源数据平台，提供大数据云存储，大数据处理和分析等服务。该平台是专门用来应对多来源和多格式的数据，并使其
不考虑昵称·2023-04-15 21:04

大数据平台数据和平台工具测试人员需要掌握以下技能

最近求职，整理复习知识。发现一个职业的测试人员需要掌握的知识好多[笑哭]。这些不是了解就可以，还需要把实际的使用与成果和这些理论联系起来才行。不然说起来泛泛而谈。1.数据库和SQL语言：测试人员需要具备熟练的数据库和SQL语言的知识，以便能够对数据进行正确有效的查询和验证。2.大数据技术：测试人员需要了解大数据技术，包括Hadoop、Spark、NoSQL等等，以便能够对数据进行处理和分析。3.脚
不考虑昵称·2023-04-15 21:03

数字孪生智慧路桥怎么实现?

依托物联感知平台，以道路、桥梁等市政基础设施的安全监测、养护管理等场景为目标，通过海纳云大数据平台对多源数据的汇集、处理、分析，利用大数据挖掘分析技术，为桥梁管理提供数字化支撑。建立桥
三维视频融合咖哥·2023-04-15 06:21

数字孪生 应急管理可视化决策系统

产品概述数字冰雹数字孪生应急管理大屏可视化决策系统，以大数据和系统融合为基础，覆盖应急管理各业务领域，支持整合应急管理部门现有信息系统的数据资源，支持与底层业务平台、云平台、大数据平台对接，并可融合5G
数字冰雹·2023-04-15 06:46

【NVIDIA GPU 入门】综述

系列文章目录  文章目录系列文章目录前言一、概述二、GPU架构基础2.1GPU概述2.2GPU的架构2.3自主查询GPU相关信息三、CUDA编程概念3.1CUDA线程模型3.1线程层次结构1.引入库2.
Mr.Idleman·2023-04-15 03:44

Nodejs后端架构基础知识和案例展示

入门笔记，大神请绕路！！！简单的说Node.js就是运行在服务端的JavaScript。Node.js是一个基于ChromeJavaScript运行时建立的一个平台。Node.js是一个事件驱动I/O服务端JavaScript环境，基于Google的V8引擎，V8引擎执行Javascript的速度非常快，性能非常好。NodeJS的优缺点优点：1.高并发（高并发的时候，会出现数据库连接数不够用的情况
IT飞牛·2023-04-14 23:40

基于CM管理的CDH6.3.2集群集成Atlas2.1.0

基于CM管理的CDH6.3.2集群集成Atlas2.1.0大数据平台进行数据治理需要，采用ApacheAtlas进行数据治理。下载Atlas2.1.0版本源码包。
百夜﹍悠ゼ·2023-04-14 17:15

硬核干货 | 基于Impala的网易有数BI查询优化总结

01有数BI+Impala遇上慢查询在网易有数大数据平台架构中，有数商业智能（BI）产品提供了数据大屏、有数报告和自助取数
浪尖聊大数据-浪尖·2023-04-14 15:49

乐刻大数据平台架构实践

乐刻大数据平台架构实践来源：简书乐刻运动大数据是基于hadoop体系搭建的，主要满足运营的日常报表，以及公司核心指标为主。
huangshulang1234·2023-04-14 12:54

智能汽车进入3.0时代，双目立体视觉「打通」智驾与底盘

这被视为智能汽车的1.0时代，典型特征就是在传统汽车电子架构基础上实现功能和用户体验的升级。而从分布式E
高工智能汽车·2023-04-14 12:50

一份详细 redis sentinel 哨兵架构搭建步骤＜写于2023-04-06＞

前言：redis哨兵架构，其实是在主从架构基础上延伸的，sentinel哨兵模式的redis实例，不提供读写操作的。实例相互之间，会感知到。
向前与寻找·2023-04-14 11:34

Lambda架构，Kappa架构和去ETL化的IOTA架构

▌Lambda架构在过去Lambda数据架构成为每一个公司大数据平台必备的架构，它解决了一个公司大数据批量离线处理和实时数据处理的需求。
zxfBdd·2023-04-13 18:45

重磅发布 | 时空组学数据库STOmicsDB，“一站式”赋能时空组学研究！

2022年10月29日，由深圳国家基因库和深圳华大生命科学研究院共同研发的时空组学数据库V1.0版本（STOmicsDB）在国家基因库生命大数据平台（CNGBdb）正式上线，致力于促进时空组学的数据探索和学术研究
尐尐呅·2023-04-13 17:39

教育大数据总体解决方案（2）

后台操作查看大数据平台所有的后台任务内容。数据存储大数据存储平台以数据存储为核心，具有集群特性，具有互联网平台的分布式特性，提供对各类结构化、非结构化数
FRDATA1550333·2023-04-13 16:31

JAVA架构师&八大专题提升

1、软件架构设计：a.软件设计原则及设计模式概述b.创建型模式c.结构型模式d.行为型模式2、分析源码：a.spring源码分析b.Mybitis源码分析3、分布式架构：a.分布式架构基础b.分布式通信框架
JAVA架构唠嗑·2023-04-13 15:37

12、springboot-数据库数据提取及详细处理

疫情大数据平台，后台首要的任务是从各种渠道获得数据及对获取后的数据进行处理，本篇主要是记录各类历史数据从数据库中取出，并进行详细处理的过程主要使用MybatisPlus进行复杂查找MybatisPlus
飞鸡炸弹·2023-04-13 11:07

【最小Demo】Java RMI入门 使用Registry、Naming、Zookeeper（注册中心）实现rmi

参考分布式架构基础:JavaRMI详解GitHub:https://github.com/jayknoxqu/rmi-exampleRMI简介JavaRMI，即远程方法调用(RemoteMethodInvocation
alwarse·2023-04-13 09:33

大数据平台HDP3.1.4(Ambari2.7.4)安装

目录二、环境准备1.关闭防火墙2.修改主机名3.配置域名映射4.配置网络文件5.检查最大文件打开数6.配置免密7.时间同步1.时间服务器配置（root用户）2.其他服务器配置（root用户）8.安装JDK(所有节点)9.安装mysql10.上传安装包11.关闭SELinux12.checkUMASK13.修改YUM源，实现离线安装三、安装ambari-server1.安装ambari-server
q495673918·2023-04-13 05:07

系统架构基础知识入门——架构初探

架构初探-谁动了我的蛋糕内容来自字节跳动后端青训营。一、什么是架构架构抽象定义：是有关软件整体结构与组件的抽象描述用于指导软件系统各个方面的设计听不懂啊！！！简单来说就是架构在实现软件方法选择上有指导作用！架构如果没打好，大厦容易倒！问题提出！蛋糕坊要开业了！需要解决以下的问题：咋做蛋糕？（先亲自做把！）如何卖蛋糕？（客流量不大，边做边卖先！）单体架构Allinone，所有的东西都在一个进程里，部
Zangjiji·2023-04-13 00:56

架构基础认识

系统与子系统一个系统的架构，只包括顶层这一个层级的架构，而不包括下属子系统层级的架构。所以微信架构，就是指微信系统这个层级的架构。当然，微信的子系统，比如支付系统，也有它自己的架构，同样只包括顶层。模块与组件业务--模块技术--组件框架与架构框架关注的是“规范”，架构关注的是“结构”。软件架构指软件系统的顶层（Rank）结构，它定义了系统由哪些角色（Role）组成，角色之间的关系（Relation
林帆003·2023-04-12 19:47

智慧农业认养大数据平台有哪些优势？

一、智慧农业认养大数据平台有哪些优势？1、智能布点：系统能够根据监测对象的不同，设立不同的监测点，从而实现对农产品生产过程的全方位掌握。
万世科技·2023-04-12 16:20

智慧农业认养系统开发模式有哪几种？认养农业小程序开发要多少钱？

智慧农业大数据平台是结合我国农业信息化现状，利用云计算、云渠道、AI智能、大数据等技术，以数据监测为基础，远程控制为核心的软件平台。
万世科技·2023-04-12 16:19

大数据与互联网的结合

大数据与互联网的结合一、互联网产业的需求二、大数据平台架构三、大数据应用--数据分析四、数据分析案例一、互联网产业的需求1、分布式系统执行任务瓶颈：延迟高。
幸福右手牵·2023-04-12 14:17

Nginx架构基础

1.Nginx请求处理流程传输层/HTTP/Mail状态机分别对应着配置中的stream/http/mail块的配置。每个处理完的请求都会记录access日志和error日志。静态资源中，当内存不足以缓存住所有的文件的时候，像sendfile/AIO这些会退化为阻塞调用，所以这边需要一个线程池来处理2.Nginx进程结构nginx为什么要采用多进程结构而不是多线程结构呢？nginx为了实现高可用性
简简单单的robert·2023-04-12 13:48
上一页 13 14 15 16 17 18 19 20 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他