大数据博文列表

说明

• 本文列举已有的大数据相关博文清单，方便查看阅读。

分享

• 个人java工具库 项目https://gitee.com/wangzonghui/object-tool
  • 包含json、string、集合、excel、zip压缩、pdf、bytes、http等多种工具，欢迎使用。
• https://gitee.com/wangzonghui/tk-tool Python+tkinter开发gui工具，支持软件一键启动、番剧管理、桌宠猫咪、锁屏休息、文件夹共享、文件md5、剪切板内容二维码、系统常用服务等。
• 开发记录汇总

大数据简述

• 大数据（一）大数据平台和应用简述
• 大数据（二）大数据存储
• 大数据（三）大数据计算引擎
• 大数据（四）大数据采集

搭建hadoop平台

单机版

• hadoop单机版安装
• 23年hadoop单机版+hive

集群版

安装

• hadoop集群安装(一)：创建模型虚拟机
• hadoop集群安装(二)：克隆服务器集群并免密
• hadoop集群安装(三)：创建同步工具并安装jdk
• hadoop集群安装(四)：安装hadoop集群
• hadoop集群安装(五)：编写集群控制脚本

优化

• hadoop集群优化(一)：ntpd时间同步
• hadoop集群优化(二)：开启hdfs回收站
• hadoop集群优化(三)：开启日志汇聚服务
• hadoop集群优化(四)：开启历史任务服务器

组件

hadoop

• hadoop命令

hdfs

• hdfs纠删码

yarn

• yarn rest操作
• yarn任务调取器

flink

• flink运行框架、计算框架、运行模式讲解
• flink（一）：简介和基本功能
• flink（二）：数据接入DataSource和数据输出DataSink
• flink（三）：数据处理Transformation
• flink（四）：1.2版本时间、水位线讲解和代码实例
• flink（五）：窗口
• flink（六）：框架和原理
• flink（七）：窗口函数
• flink（八）：连续窗口和混合窗口
• flink（九）：Table&Sql环境搭建和程序结构
• flink（十）：Table&Sql注册表和视图
• flink（十二）：Table&Sql实现kafka输入输出
• flink（十三）：flink-CheckPoint和SavePoint作用和区别
• flink（十四）：sql版连接器和窗口实例
• flink（十五）：udf自定义函数

Hbase

• hbase介绍和架构
• hbase数据模型与表设计
• hbase2 javaApi接口说明和代码实现、Kerberos认证
• HBase控制台命令

Elasticsearch

• Elasticsearch介绍和安装
• Elasticsearch 接口介绍和java API实例
• Elasticsearch数据类型和mapping
• Elasticsearch请求类型和使用说明
• ElasticSearch 7.17+kibanan安装和使用

kafka

• kafka（一）：介绍和架构、应用场景和同类型比对
• kafka（二）：kafka分区、生产和消费详解
• kafka（三）：win10搭建kafka环境
• kafka（四）：kafka javaAPI入库程序
• kafka（五）：消费组信息提取
• kafka（六）：java API消费数据

spark

• spark MLlib训练原理和使用
• spark（一）：生态机构与运行流程
• spark（二）：本地安装
• spark（三）：相关概念
• spark（四）：RDD介绍
• spark（五）：RDD API接口
• Spark（六）：DataFrame
• spark（七）：DataSet
• spark（八）：SparkSql

hive

• hive-sql+beeline+导入导出
• hive基本数据类型和范围
• hive-udf

oozie

• oozie控制台命令

其他

vmware

• vmware创建虚拟机
• vmware配置静态ip
• vmware虚拟机克隆
• vmware开启ipv6

docker

• docker(一)：centos7安装docker
• docker(二)：docker命令
• docker(三)：基础容器封装步骤
• docker(四)：镜像封装经验整理
• docker(五)：更新容器映射端口