java后端大数据

3.大数据技术之Flink（基础篇）

文章目录1、Flink简介1.1Flink的引入1.2什么是Flink2、Flink架构体系2.1Flink中的重要角⾊JobManager处理器：TaskManager处理器：2.2无界数据流与有界数据流无界数据流：有界数据流：3、Flink集群操作4、DataSetAPI开发4.1案例4.1.1Flink批处理程序的一般流程4.1.2JAVA示例5、DataStreamAPI开发5.1案例5.
数据带你飞·2024-01-22 19:28

大数据计算引擎之Flink简介

原文地址：大数据计算引擎之Flink简介Flink简介1.1Flink的初步认识ApacheFlink是为分布式、高性能、随时可用以即准确的流处理应用程序打造的开源处理框架ApacheFlink是一个框架和分布式处理引擎
开发实习生·2024-01-22 19:58

大数据学习之 Flink

目录一：简介二：为什么选择Flink三：哪些行业需要四：Flink的特点五：与sparkStreaming的区别六：初步开发七：Flink配置说明八：环境九：运行组件一：简介Flink是一个框架和分布式得计算引擎，对于无界和有界数据流进行状态计算二：为什么选择Flink流数据更真实地反应了我们得生活方式传统得数据架构是基于有限数据集的低延迟，高吞吐，结果的准确性和良好的容错性三：哪些行业需要电商和
会编程的海贼王·2024-01-22 19:58

大数据Flink实时大屏统计

目录1需求2数据3编码步骤:4代码实现5效果1需求Flink模拟双十一实时大屏统计在大数据的实时处理中，实时的大屏展示已经成了一个很重要的展示项，比如最有名的双十一大屏实时销售总价展示。
赵广陆·2024-01-22 19:56

大数据之Flink的看了就可入门

Flink介绍介绍原理简单使用初步编程介绍1什么是FlinkApacheFlink是一个框架和分布式处理引擎，用于对无界和有界数据流进行有状态计算。Flink起源于Stratosphere项目,2014年4月Stratosphere的代码被复制并捐赠给了Apache软件基金会,2014年12月，Flink一跃成为Apache软件基金会的顶级项目。2Flink对比SparkSpark是一种基于内存的
大数据的江湖·2024-01-22 19:56

大数据学习之Flink，Flink部署

Flink部署一、了解它的关键组件客户端（Client）作业管理器（JobManager）任务管理器（TaskManager）我们的代码，实际上是由客户端获取并做转换，之后提交给JobManger的。所以JobManager就是Flink集群里的“领导者”，对作业进行中央调度管理；而它获取到要执行的作业后，会进一步处理转换，然后分发任务给众多的TaskManager。这里的TaskManager，
十二点的泡面·2024-01-22 19:55

大数据学习之Flink，10分钟教你快速上手Flink

Java8和Scala2.12集成开发环境（IDE）使用IntelliJIDEA安装的插件——Maven、Git和ScalaMaven用来管理项目依赖；补：详细的Maven介绍在我的另一篇CSDN文章大数据学习之
十二点的泡面·2024-01-22 19:24

大数据学习之Flink，了解Flink的多种部署模式

目录一、部署模式1.部署模式分类：1.1会话模式（SessionMode）：优点：缺点：1.2单作业模式（Per-JobMode）：优点：缺点：1.3应用模式（ApplicationMode）：2.独立部署：2.1概念：2.2部署在会话模式下：2.3部署在单作业模式下：【Pass】2.4部署在应用模式下：2.5部署在高可用模式下：3.YARN部署：3.1概念：3.2部署在会话模式下：3.3部署在单
十二点的泡面·2024-01-22 19:24

大数据之使用Flume监听本地文件采集数据流到HDFS

本文介绍Flume监听本地文件采集数据流到HDFS我还写了一篇文章是Flume监听端口采集数据流到Kafka【点击即可跳转，写的也非常详细】任务一：在Master节点使用Flume采集/data_log目录下实时日志文件中的数据（实时日志文件生成方式为在/data_log目录下执行./make_data_file_v1命令即可生成日志文件，如果没有权限，请执行授权命令chmod777/data_l
十二点的泡面·2024-01-22 19:54

大数据学习之Flink、快速搞懂Flink的容错机制！！！

第一章、Flink的容错机制第二章、Flink核心组件和工作原理第三章、Flink的恢复策略第四章、Flink容错机制的注意事项第五章、Flink的容错机制与其他框架的容错机制相比较目录第一章、Flink的容错机制Ⅰ、Flink的容错机制1.概念：Ⅱ、状态的一致性：1.一致性级别：2.端到端的状态一致性Ⅲ、Flink容错机制的配置参数1.checkpoint.interval：2.checkpoi
十二点的泡面·2024-01-22 19:54

大数据学习之Flink、10分钟了解Flink的核心组件以及它们的工作原理

第一章、Flink的容错机制第二章、Flink核心组件和工作原理第三章、Flink的恢复策略第四章、Flink容错机制的注意事项第五章、Flink的容错机制与其他框架的容错机制相比较目录第二章、Flink核心组件和工作原理Ⅰ、核心组件1.Checkpoint组件：2.Savepoint组件：3.Barrier组件4.StateBackend组件5.RecoveryStrategy组件6.‌Fail
十二点的泡面·2024-01-22 19:54

大数据之使用Flume监听端口采集数据流到Kafka

本文介绍Flume监听端口采集数据流到Kafka我还写了一篇文章是Flume监听本地文件采集数据流到HDFS【点击即可跳转，写的也非常详细】任务一：实时数据采集前摘：Flume是一种分布式、高可靠、高可用的数据收集系统，用于高效地从多个源收集、聚合和传输大量日志数据。Flume的设计目标是用于构建高度可扩展的日志收集解决方案，它能够从多种数据源中捕获数据，并将数据送到指定的目的地，例如HDFS或K
十二点的泡面·2024-01-22 19:53

大数据学习之Flink，10分钟带你初步了解Flink

目录前摘一、认识Flink的Logo编辑二、了解Flink的起源三、了解Flink的发展四、明白Flink的定位五、Flink主要的应用场景六、流式数据处理的发展和演变1.流处理和批处理2.传统事务处理2.1传统事务处理架构编辑3.有状态的流处理4.Lambda架构5.新一代流处理器七、Flink的特性总结1.Flink的核心特性2.分层API八、FlinkVSSpark1.二者区别1.1数据处理
十二点的泡面·2024-01-22 19:23

实现高效人力资源管理的完美搭档，聚道云与薪人薪事合作，助力企业数字化转型

同时，系统运用机器学习、大数据和区块链等高科技手段，科学构建企业、组织、员工三层效率模型，结合
聚道云连接器·2024-01-22 19:46

仙侠手游平台有哪些 仙侠手游平台下载最高的排行榜

现在的手游折扣平台很多，每家几乎都是不一样的折扣水准，所以说选择一个靠谱的平台是玩家最基本的原则，本期小编就根据现在的大数据统计来盘点几个值得推荐的0.1折手游平台，一起来瞧瞧有哪些吧！
会飞的鱼儿·2024-01-22 18:04

＜信息安全＞《2 国内主要企业网络安全公司概览（二）》

4北京天融信科技有限公司(简称天融信)信息内容LOGO成立日期创始于1995年总部北京市海淀区上地东路1号院3号楼北侧301室背景民营企业是否上市天融信[002212]A股市值99亿主要产品网络安全大数据云服务员工规模
Ealser·2024-01-22 17:26

Impala：基于内存的MPP查询引擎

Hive1、Impala概述1.1、Impala简介Impala是Cloudera公司主导研发的高性能、低延迟的交互式SQL查询引擎，它提供SQL语义，能查询存储在Hadoop的HDFS和HBase中的PB级大数据
对许·2024-01-22 17:26

2024年图像处理与大数据信息应用国际会议(ICIPCDIA 2024)

2024年图像处理与大数据信息应用国际会议(ICIPCDIA2024)2024InternationalConferenceonImageProcessingandBigDataInformationApplications
论文发表-征稿咨询·2024-01-22 17:53

大数据平台的硬件规划、网络调优、架构设计、节点规划

1.大数据平台硬件选型要对Hadoop大数据平台进行硬件选型，首先需要了解Hadoop的运行架构以及每个角色的功能。
小枫@码·2024-01-22 17:18

大数据平台软硬件规划

一.大数据集群节点规划1.HDFS集群节点规划假如业务系统数据量每天增量50T，保留周期30天，那么HDFS存储容量为50T*30天*3副本*2倍（数据源+清洗加工）=9000T=8.79P假如每个机器的磁盘是
小枫@码·2024-01-22 17:17

Spark简介

1、什么是SparkSpark是大数据的调度，监控和分配引擎。
shinelord明·2024-01-22 17:17

浅谈大数据智能化技术在多个领域的应用实践

摘要大数据智能化技术在当今信息社会中得到了广泛的应用。从金融、互联网电商、视频行业到垂直短视频领域，从工业互联网到云计算、边缘计算等领域，大数据智能化技术已经成为了企业竞争力的重要组成部分。
shinelord明·2024-01-22 17:45

公众号——常用工具篇

西瓜助手专注公众号数据艾瑞指数查看各种数据二维码篇：草料二维码生成你想要的二维码第九工厂（艺术二维码）颠覆二维码的认知二维工场/art个性二维码制作联图网、模板网图片制作篇：小猪动图SOOGIF创客贴百度图说大数据可视化平台
阿喆很努力·2024-01-22 15:05

【硬刚ClickHouse】ClickHouse 高级（四）优化(4)查询优化

本文是对《【硬刚大数据之学习路线篇】从零到大数据专家的学习指南(全面升级版)》的ClickHouse部分补充。
王知无(import_bigdata)·2024-01-22 14:29

java大数据hadoop2.9.2 Linux安装mariadb和hive

一、安装mariadb版本centos71、检查Linux服务器是否已安装mariadbyumlistinstalledmariadb*2、如果安装了，想要卸载yumremovemariadbrm-rf/etc/my.cnfrm-rf/var/lib/mysql才能完全删除3、安装mariadb在线网络安装yuminstall-ymariadb-server开启服务systemctlstartma
crud-boy·2024-01-22 14:26

2024年华为OD机试真题-精准核酸检测-Python-OD统一考试（C卷）

现在根据传染病流调以及大数据分析，得到了每个人之间在时间、空间上是否存在轨迹的交叉。
2023面试高手·2024-01-22 14:20

如何看待2021年结婚登记平均年龄为33.31岁，初婚平均年龄为男31.89岁，女30.73岁？

在2017年的婚姻大数据中*男性初婚平
橙子有话说·2024-01-22 14:30

淘粉吧返利是真的吗？淘粉吧怎么返利,淘粉吧教你如何赚取返利

首先，淘粉吧作为一个基于大数据分析的平台，通过收集和分析海量的淘宝商品数据，结合达人们的使用经验和评价，为用户提供商品推荐。
高省爱氧惠·2024-01-22 13:42

如今的年轻人在想什么、他们想要什么？

大数据安利纽崔莱雅姿图片发自App图片发自App图片发自App
大炮轻创业·2024-01-22 12:06

冬夜

大数据工程学院19数据本莫玉欧如今已到冬季，凉意多了许多，冬天的夜晚格外的美丽，相比之下，比夏夜宁静了许多，天地一片茫茫，四处寂静无比，没有那烦人的蝈蝈，只有那刺骨凄凉的风和闪亮星月。
Hal_4632·2024-01-22 11:09

刷题第一天

很明显,这题如果死算肯定会超出最大数据类型的范围,n∈[1,202320232023],n越大,其中包含10,2,5,的数字(5,12,25,32......)也变多,这些数字相乘末尾为0,这些数字越多
江鱼鳍·2024-01-22 11:45

2023-05-06

我的碎碎念不知道是不是大数据发现了我的喜好，也可能是因为前段时间对于工作的焦虑，让我一直在网上搜索关于抑郁症的话题，近段时间打开视频就会推送给我有关自杀的视频。
迷茫的虫洞·2024-01-22 11:56

【后端目录贴】

【大数据】kafka8.【JAVA】目录贴9.【linux】目录贴10.【后端】深入浅出Node.js
骑鱼过海的猫123·2024-01-22 11:39

数据挖掘1-走进数据科学

学科知识数据是定量或定性的属性值类型：连续型，离散型，二进制；物理，逻辑结构；问题：数据类型转化；错误与变体corruption大数据的定义为3V,即容量大，速度快，类型多扩展：5VBigdat
九桢·2024-01-22 11:36

实战教程：如何使用Java+SpringBoot+Vue+MySQL构建一个成功的美食网站

专业做Java、Python、微信小程序、安卓、大数据、爬虫、Golang、大屏等实战项目。⛽⛽实战项目：有源码或者技术上的问题欢迎在评论区一起讨论交流！
计算机编程指导师·2024-01-22 10:41

Vue.js在养老院管理系统前端开发中的应用与优化

专业做Java、Python、微信小程序、安卓、大数据、爬虫、Golang、大屏等实战项目。⛽⛽实战项目：有源码或者技术上的问题欢迎在评论区一起讨论交流！
计算机编程指导师·2024-01-22 10:10

java 中的 BigDecimal

##表示：加入千分位，保留2个小数000,000.000表示：加入千分位，保留3个小数，不够时用0表示关于java中的BigDecimal：1、BigDecimal属于大数据，精度极高。
friendsu·2024-01-22 10:58

Ranger概述及安装配置

一、前序希望拥有一个框架，可以管理大多数框架的授权，包括：hdfs的目录读写权限各种大数据框架中的标的权限，列级（字段）权限，甚至行级权限，函数权限（UDF）等相关资源的权限是否能帮忙做书库脱敏Ranger
小枫@码·2024-01-22 09:39

【大数据处理技术实践】期末考查题目：集群搭建、合并文件与数据统计可视化

集群搭建、合并文件与数据统计可视化实验目的任务一：任务二：实验平台实验内容及步骤任务一：搭建具有3个DataNode节点的HDFS集群集群环境配置克隆的方式创建Slave节点修改主机名编辑hosts文件生成密钥免认证登录修改hadoop的配置文件编辑workers文件复制配置后的hadoop目录传到从机上启动集群任务二之实验一：编程实现合并文件MergeFile的功能数据下载与上传至Hadoop打
汐ya~·2024-01-22 09:35

JVM工作原理与实战(二十二)：方法区的垃圾回收

专栏导航JVM工作原理与实战RabbitMQ入门指南从零开始了解大数据目录专栏导航前言一、Java的内存管理和自动垃圾回收二、方法区的垃圾回收1.回收条件2.手动触发垃圾回收3.方法区的垃圾回收案例总结前言
橘子-青衫·2024-01-22 09:06

JVM工作原理与实战(二十三)：堆的垃圾回收-引用计数法和可达性分析法

专栏导航JVM工作原理与实战RabbitMQ入门指南从零开始了解大数据目录专栏导航前言一、判断堆上的对象是否可以回收1.引用计数法2.可达性分析算法二、查看垃圾回收日志总结前言JVM作为Java程序的运行环境
橘子-青衫·2024-01-22 09:34

大数据分析12大就业方向

今天主要给大家说说大数据分析行业的就业方向，大数据分析怎么学，怎么入门。很多同学知道这个很火，但是不清楚这是干啥的。今天就先给大家讲大数据分析工程师。
sissi52·2024-01-22 08:14

(转载)Netty高性能之Reactor线程模型

作为当前最流行的NIO框架，Netty在互联网领域、大数据分布式计算领域、游戏行业、通信行业等获得了广泛的应用，一些业界著名的开源组件也基于Net
树心图物·2024-01-22 08:00

大数据技术原理及应用课实验3 ：熟悉常用的HBase操作

目录实验3熟悉常用的HBase操作一、实验目的二、实验平台三、实验步骤（每个步骤下均需有运行截图）（一）编程实现以下指定功能，并用Hadoop提供的HBaseShell命令完成相同任务：1.列出HBase所有的表的相关信息，例如表名；2.在终端打印出指定的表的所有记录数据；3.向已经创建好的表添加和删除指定的列族或列；4.统计表的行数。（二）HBase数据库操作1.现有以下关系型数据库中的表和数据
Blossom i·2024-01-22 08:08

大数据技术原理及应用课实验4： NoSQL和关系数据库的操作比较

目录实验4NoSQL和关系数据库的操作比较一、实验目的二、实验平台三、实验步骤（每个步骤下均需有运行截图）（一）MySQL数据库操作1.根据上面给出的Student表，在MySQL数据库中完成如下操作：(1)在MySQL中创建Student表，并录入数据；(3)查询zhangsan的Computer成绩；(4)修改lisi的Math成绩，改为95。2.根据上面已经设计出的Student表，使用My
Blossom i·2024-01-22 08:04

Hadoop基本概论

目录一、大数据概论1.大数据的概念2.大数据的特点3.大数据应用场景二、Hadoop概述1.Hadoop定义2.Hadoop发展历史3.Hadoop发行版本4.Hadoop优势5.Hadoop1.x/2
LzYuY·2024-01-22 08:25

【大数据】流处理基础概念（一）：Dataflow 编程基础、并行流处理

流处理基础概念（一）：Dataflow编程基础、并行流处理1.Dataflow编程基础1.1Dataflow图1.2数据并行和任务并行1.3数据交换策略2.并行流处理2.1延迟与吞吐2.1.1延迟2.1.2吞吐2.1.3延迟与吞吐2.2数据流上的操作2.2.1数据接入和数据输出2.2.2转换操作2.2.3滚动聚合2.2.4窗口操作2.2.4.1滚动窗口2.2.4.2滑动窗口2.2.4.3会话窗口2
G皮T·2024-01-22 08:55

大数据关联规则挖掘：Apriori算法的深度探讨

文章目录大数据关联规则挖掘：Apriori算法的深度探讨一、简介什么是关联规则挖掘？什么是频繁项集？什么是支持度与置信度？
星川皆无恙·2024-01-22 08:54

史上最全深度解析Flink内存管理--大数据技术

目前，大数据计算引擎主要使用Java或基于JVM的编程语言实现的，例如ApacheHadoop，ApacheSpark，ApacheDrill，ApacheFlink等。
大数据学习僧·2024-01-22 08:50

数据中心Spine/Leaf+VXLAN的结构

随着业务系统对IT基础设备灵活度要求的不断提升，云计算、大数据以及虚拟化等技术在新型数据中心的建设中发挥着重要作用。如何更好地满足数据中心计算资源灵活调配以及服务扩展，成为网络架构发展的主要目标。
城北楠哥·2024-01-22 08:05
上一页 51 52 53 54 55 56 57 58 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他