大数据系列

大数据系列 | Kafka架构分析及应用

大数据系列|Kafka架构分析及应用1.消息系统介绍2.Kafka原理分析3.Kafka架构分析4.Kafka的安装与配置4.1.Zookeeper集群安装配置4.2.安装Kafka集群4.3.配置kafka

降世神童·2024-09-07 07:42

大数据系列之：OutOfMemoryError: unable to create new native thread

大数据系列之：OutOfMemoryError:unabletocreatenewnativethread问题：环境：原因：解决问题：有时候当Java尝试创建一个新的线程时，操作系统会阻止它。

快乐骑行^_^·2024-09-06 19:55

大数据系列之：查看进程控制组信息、查看systemctl服务信息、查看服务器所有控制组信息、查看服务在控制组内存限制、显示系统上所有正在运行的进程和服务的控制组（cgroup）层次结构

大数据系列之：查看进程控制组信息、查看systemctl服务信息、查看服务器所有控制组信息、查看服务在控制组内存限制、显示系统上所有正在运行的进程和服务的控制组（cgroup）层次结构、控制组和控制组下进程的关系查看进程控制组信息查看

快乐骑行^_^·2024-09-05 00:07

Flink系列-1、流式计算简介

大数据系列文章目录官方网址：https://flink.apache.org/学习资料：https://flink-learning.org.cn/目录数据的时效性流式计算和批量计算流式计算流程和特性分布式计算引擎什么是

技术武器库·2024-02-19 13:10

大数据系列—数据迁移(Sqoop,Flume,DataX)对比学习（stage3）

Boys，Grils，Friends！MynameisJinsuo.Shi.一个不正经的大数据开发工程师，目前从事在公司主要进行CDP平台的数据接入、数据的ETL、数据的融合与事件的展开工作。个人大数据技术栈：DataX,Sqoop,Hadoop,Hive,Spark,Flink,Hbase,Kafka,Kettle,Azkaban,Airflow,Tableau…个人在学习领域：Python，P

道-闇影·2024-02-08 06:07

大数据系列——Redis理论

概述RemoteDictionaryServer(Redis)是一个由SalvatoreSanfilippo写的key-value存储系统，是跨平台的非关系型数据库，也属于一种nosql数据库，通常被称为数据结构服务器。Redis是一个开源的使用ANSIC语言编写、遵守BSD协议、支持网络、可基于内存、分布式、可选持久性的键值对(Key-Value)存储数据库，并提供多种语言的API。Redis与

mql007007·2024-02-01 11:36

大数据系列教程003-hadoop伪分布式环境搭建步骤

声明：大数据系列教程文章由Java潘老师辛苦原创，免费公开供java爱好者学习。

Java潘老师·2024-01-31 07:53

Hadoop系列之-4、MapReduce分布式计算

大数据系列文章目录目录MapReduce计算模型介绍理解MapReduce思想HadoopMapReduce设计构思MapReduce编程规范及示例编写编程规范编程步骤WordCount示例编写MapReduce

技术武器库·2024-01-31 06:10

大数据系列之ELK集群环境部署

solihawk·2024-01-29 10:41

大数据系列——Flink理论

概述Flink是一个对有界和无界数据流进行有状态计算的分布式处理引擎和框架，既可以处理有界的批量数据集，也可以处理无界的实时流数据，为批处理和流处理提供了统一编程模型，其代码主要由Java实现，部分代码由Scala实现。Flink以REST资源的形式和外部进行交互，所以可以集成在所有常见的集群资源管理环境中运行，同时提供计算状态的容错及持久化机制，基于Event（事件）驱动并行化在集群中运行，理论

mql007007·2024-01-23 16:11

大数据系列 | CDH6.3.2（Cloudera Distribution Hadoop）部署、原理和使用介绍

大数据系列|CDH6.3.2（ClouderaDistributionHadoop）部署、原理和使用介绍1.大数据技术生态中Hadoop、Hive、Spark的关系介绍2.CDN（ClouderaDistributionHadoop

降世神童·2024-01-13 10:50

大数据开发学习资料汇总

目录大数据系列HadoopHadoop权威指南Hadoop权威指南修订Hadoop实战Hadoop实战_2Hadoop源码分析大数据处理系统：Hadoop源代码情景分析Hadoop开发者入门专刊Hadoop

比屋大数据·2024-01-05 08:44

大数据系列之：读取parquet文件统计数据量

大数据系列之：读取parquet文件统计数据量一、Spark读取parquet文件统计数据量二、parquet-tools统计parquet文件数据量三、实际应用案例一、Spark读取parquet文件统计数据量首先

最笨的羊羊·2024-01-03 16:49

教材订书季丨马上订新书，开学即迎新教材！

大数据系列/人工智能系列/E

泰迪智能科技·2023-12-27 04:33

静读好书 | 大数据系列之3：“区块链+大数据”破解传统风控难题

2018年《云鹏区块链读书会》已累计学习30余本区块链及投资类书籍，累计读书笔记150余篇。其中包括经典书籍《区块链革命》《区块链技术驱动金融》《区块链将如何重新定义世界》《区块链从数字货币到信用社会》《人工智能时代一本书读懂区块链金融》《巴菲特之道》《社群营销实战手册》《策略为先》等等。每篇文章都经过选文、读文、解文步骤，在自己学习的过程中，力求给大家奉献有价值的内容。选文阶段重点在结合投资，例

94193d0de2aa·2023-12-15 19:04

深入理解Docker容器核心技术

联合文件系统（UnionFS）3.1示例：查看镜像的分层结构4.Docker容器的创建过程4.1示例：使用DockerAPI创建容器5.总结个人主页：程序员小侯CSDN新晋作者欢迎点赞✍评论⭐收藏✨收录专栏：大数据系列

程序员小侯·2023-12-03 09:22

深度解析 Dockerfile：构建可重复、可扩展的Docker镜像

EXPOSE7.ENV8.CMD构建可重复、可扩展的Docker镜像1.指定基础镜像的版本2.合理使用缓存3.精简镜像4.使用多阶段构建总结个人主页：程序员小侯CSDN新晋作者欢迎点赞✍评论⭐收藏✨收录专栏：大数据系列

程序员小侯·2023-12-01 05:10

Spark系列-5、Spark的部署方式之Spark on YARN

大数据系列文章目录官方网址：http://spark.apache.org/、https://databricks.com/spark/about目录前言属性配置设置环境变量历史服务MRHistoryServer

技术武器库·2023-11-30 03:21

Docker与Kubernetes结合的难题与技术解决方案

**多集群管理**技术解决方案结语个人主页：程序员小侯CSDN新晋作者欢迎点赞✍评论⭐收藏✨收录专栏：大数据系列✨文章内容：难题与解决希望作者的文章能对你有所帮助，有不足的地方请在评论

程序员小侯·2023-11-19 02:59

Flink原理与实现：详解Flink中的状态管理

硬刚大数据系列文章链接：2021年从零到大数据专家的学习指南(全面升级版)2021年从零到大数据专家面试篇之Hadoop/HDFS/Yarn篇2021年从零到大数据专家面试篇之SparkSQL篇2021

王知无(import_bigdata)·2023-11-18 19:59

大数据系列-Hadoop集群搭建（2）集群配置

上篇已经把Hadoop安装到各虚拟机（大数据系列-Hadoop集群搭建（1）），本篇通过认识Hadoop，规划虚拟机部署。

zhm6422107·2023-11-17 03:59

python大数据运维工程师_【大数据科普系列之二】大数据运维工程师

大数据系列岗位要求，大数据运维可能是“技术含量最高”的职位之一，这里说的大数据运维主要是指hadoop生态体系方面的运维，在一些小公司或者传统行业的大公司也会使用oracle、db2等技术栈，在互联网行业数据量稍微大点的公司基本都是使用

weixin_39707693·2023-11-10 01:26

python大数据运维常用脚本_大数据岗位要求之大数据运维

继续介绍大数据系列岗位要求，大数据运维可能是“技术含量最高”的职位之一，这里说的大数据运维主要是指hadoop生态体系方面的运维，在一些小公司或者传统行业的大公司也会使用oracle、db2等技术栈，在互联网行业数据量稍微大点的公司基本都是使用

weixin_39968490·2023-11-10 01:26

大数据系列sql基础知识（史上最全，收藏起来）

大数据系列文章，从技术能力、业务基础、分析思维三大板块来呈现，你将收获：1、提升自信心，自如应对面试，顺利拿到实习岗位或offer；2、掌握大数据的基础知识，与其他同事沟通无障碍；3、具备一定的项目实战能力

程序猿陳同学·2023-11-09 23:00

Spark系列-6、Spark的部署模式DeployMode

大数据系列文章目录官方网址：http://spark.apache.org/、https://databricks.com/spark/about目录介绍两种模式区别client模式cluster模式两者比较

技术武器库·2023-11-09 20:44

Centos7系统下搭建Hadoop 3.3.6

################################################################################################此外，大数据系列教程还在持续的更新中

mr-element·2023-11-07 11:41

Java 入门指南：使用 Docker 创建容器化 Spring Boot 应用程序

Docker映像步骤5:运行容器步骤6:链接到本地数据库步骤7:使用DockerCompose运行多个容器步骤8:设置CI/CD管道结论个人主页：程序员小侯CSDN新晋作者欢迎点赞✍评论⭐收藏✨收录专栏：大数据系列

程序员小侯·2023-10-28 18:39

深入探讨Docker生态系统，Docker Compose vs. Docker Swarm vs. Kubernetes：深入比较

DockerComposeDockerSwarmKubernetesDockerCompose适用场景DockerSwarm适用场景Kubernetes适用场景对比和结论个人主页：程序员小侯CSDN新晋作者欢迎点赞✍评论⭐收藏✨收录专栏：大数据系列

程序员小侯·2023-10-28 18:04

大数据系列之Spark集群环境部署

Spark作为一种大数据分布式计算框架，已经构建SparkStreaming、SparkSQL、SparkML等组件，与文件系统HDFS、资源调度YARN一起，构建了Spark生态体系，如下图所示：以下部分将主要介绍Hadoop和Spark两节点集群环境部署，并结合官方示例程序验证Spark作业提交的几种模式。1、环境准备1.1Java环境查看Java版本信息，如找不到JAVA命令，可通过yumi

solihawk·2023-10-26 04:51

Spark Streaming系列-5、应用案例：百度搜索风云榜

传送门：大数据系列文章目录官方网址：http://spark.apache.org/、http://spark.apache.org/sql/目录业务场景初始化环境创建Topic模拟日志数据StreamingContextUtils

技术武器库·2023-10-23 05:57

SparkCore系列-7、SougoQ日志分析

传送门：大数据系列文章目录官方网址：http://spark.apache.org/、https://databricks.com/spark/about目录回顾介绍业务需求准备工作HanLP中文分词样例类

技术武器库·2023-10-23 05:27

Docker是一个流行的容器化平台，用于构建、部署和运行应用程序。

文章目录Web应用程序数据库服务器微服务应用开发环境持续集成和持续部署(CI/CD)应用程序依赖项云原生应用程序研究和教育个人主页：程序员小侯CSDN新晋作者欢迎点赞✍评论⭐收藏✨收录专栏：大数据系列✨

程序员小侯·2023-10-19 05:19

Service Mesh和Kubernetes：加强微服务的通信与安全性

的领军者流量管理安全性可观测性Linkerd：轻量级ServiceMesh流量管理安全性可观测性Istiovs.Linkerd实际应用结论个人主页：程序员小侯CSDN新晋作者欢迎点赞✍评论⭐收藏✨收录专栏：大数据系列

程序员小侯·2023-10-19 05:06

大数据系列（五）NoSQL数据库Hbase之搭建使用

目录首语Hbase简介特点和应用场景和关系型数据库的结构对比Hbase的架构体系Hbase表结构按照关系型数据库来看Hbase的表结构Hbase部署搭建下载相关的软件包Zookeeper的搭建设置时间同步解压重命名,建立相关的目录修改配置文件创建myid启动zk集群（所有节点都需要启动）Hbase搭建解压并建立相关目录修改启动文件hbase-env.sh添加所有的region服务器到regions

codemperor·2023-10-13 23:23

大数据系列（六）之 Spark 分布式计算框架

目录一、Spark是什么？二、为什么要用Spark？三、Spark特点四、基本概念及RDD、checkpoint介绍4.1基本概念4.2Spark核心RDD4.3checkpoint（检查点）五、Spark架构设计及执行流程5.1架构设计5.2执行流程六、Spark运行模式6.1SparkStandalone6.2SparkonYARN6.3SparkonMesos七、Spark核心组件八、小结本

古小龙·2023-10-11 04:46

使用docker搭建hadoop伪分布式

这篇文章应该算是我大数据系列的第一篇文章吧,路漫漫其修远兮，我本来不想这么快就往大数据方向前进的，只是这边项目需要，不得不学。本文章对新手极不友好。

niracler·2023-10-06 14:45

Kubernetes（K8s）：未来云原生应用的引擎

KubernetesKubernetes生态系统：核心组件和附加工具实际应用：企业如何在生产环境中使用K8s未来展望：Kubernetes的演进和趋势个人主页：程序员小侯CSDN新晋作者欢迎点赞✍评论⭐收藏✨收录专栏：大数据系列

程序员小侯·2023-09-27 21:43

软件开发的未来已来：大数据、AI和云原生的终极融合如何引爆市场

文章目录1.智能化应用程序的崛起2.实时数据分析和反馈3.云原生的灵活性和可扩展性4.跨行业的影响5.数据驱动的决策6.新的商业模式和机会个人主页：程序员小侯CSDN新晋作者欢迎点赞✍评论⭐收藏✨收录专栏：大数据系列

程序员小侯·2023-09-08 03:57

大数据系列教程之 Kafka基础

kafka概述一、kafka概述1.1定义1.2消息队列1.2.1传统消息队列的应用场景1.2.2消息队列的两种形式1.3Kafka基础架构二、kafka安装部署2.1安装部署2.1.1.jar包下载2.1.2.解压到指定的文件夹下2.1.3.创建两个文件夹以供后续使用2.1.4.修改配置文件（1）修改zookeeper.properties文件（2）修改server.properties文件2.

Coder_Boy_·2023-09-01 05:45

大数据、AI和云原生：引领未来软件开发的技术演进

实时性和即时性：****5.数据隐私和安全：****6.跨平台和跨设备：****7.自动化和智能编程：****8.可解释性和伦理：**个人主页：程序员小侯CSDN新晋作者欢迎点赞✍评论⭐收藏✨收录专栏：大数据系列

程序员小侯·2023-08-28 23:11

大数据处理平台的架构演进：从批处理到实时流处理

文章目录批处理架构：实时流处理架构：混合架构：个人主页：程序员小侯CSDN新晋作者欢迎点赞✍评论⭐收藏✨收录专栏：大数据系列✨文章内容：大数据框架演进希望作者的文章能对你有所帮助，有不足的地方请在评论区留言指正

程序员小侯·2023-08-28 23:41

从传统软件开发到云原生转型：大数据和AI如何引领软件开发的新趋势

实时处理和决策：****5.自动化和效率提升：****6.持续集成和交付的加速：****7.数据安全和隐私：****8.持续学习和创新：**个人主页：程序员小侯CSDN新晋作者欢迎点赞✍评论⭐收藏✨收录专栏：大数据系列

程序员小侯·2023-08-28 01:29

开发智能应用的新范式：大数据、AI和云原生如何构建智能软件

集成人工智能和机器学习3.云原生架构的弹性和灵活性4.实现实时处理和响应5.数据安全和隐私保护6.可解释性和透明性7.持续创新和迭代8.数据伦理和合规性个人主页：程序员小侯CSDN新晋作者欢迎点赞✍评论⭐收藏✨收录专栏：大数据系列

程序员小侯·2023-08-27 07:39

数据隐私与安全在大数据时代的挑战与应对

文章目录数据隐私的挑战数据安全的挑战应对策略和方法1.合规和监管2.加密技术3.匿名化和脱敏4.安全意识培训5.隐私保护技术结论个人主页：程序员小侯CSDN新晋作者欢迎点赞✍评论⭐收藏✨收录专栏：大数据系列

程序员小侯·2023-08-26 11:50

构建与应用大数据环境：从搭建到开发与组件使用的全面指南

文章目录环境搭建开发与组件使用性能优化与监控安全与隐私总结个人主页：程序员小侯CSDN新晋作者欢迎点赞✍评论⭐收藏✨收录专栏：大数据系列✨文章内容：希望作者的文章能对你有所帮助，有不足的地方请在评论区留言指正

程序员小侯·2023-08-26 11:46

AI驱动的大数据创新：探索软件开发中的机会和挑战

文章目录机会数据驱动的决策自动化和效率提升智能预测和优化个性化体验挑战数据隐私与安全技术复杂性数据质量和清洗伦理和社会问题案例：智能代码生成工具总结个人主页：程序员小侯CSDN新晋作者欢迎点赞✍评论⭐收藏✨收录专栏：大数据系列