大数据（Hadoop）

Java实现百万级数据从Excel导入到数据库

作者简介：大家好，我是小徐☁️博客首页：CSDN主页小徐很努力每日一句：好学而不勤非真好学者前言在一个后台管理功能中，Exce导入数据是不可缺少的，但是当处理大数据量的Excel文件导入时候就可能带来一些列的问题
小徐很努力·2024-01-21 09:06

hadoop yarn 配置

转自：http://blog.csdn.net/guotong1988/article/details/47130701
晴天哥_王志·2024-01-21 09:03

02-黑马程序员大数据开发：分布式计算和分布式资源调度

分布式计算模式：分散->汇总模式（MapReduce）和中心调度->步骤执行模式（ApacheSpark,Flink;比较复杂，中间会有数据交换的过程）；2.MapReduce概述MapReduce是Hadoop
S1406793·2024-01-21 08:52

03-黑马程序员大数据开发：Apache Hive

一、ApacheHive概述1.目的：了解什么是分布式SQL计算；了解什么是ApacheHive2.使用Hive处理数据的好处操作接口采用类SQL语法，提供快速开发的能力（简单、容易上手)底层执行MapReduce，可以完成分布式海量数据的SQL处理3.什么是分布式SQL计算？以分布式的形式，执行SQL语句，进行数据统计分析。4.ApacheHive是做什么的？很简单，是一款分布式SQL计算
S1406793·2024-01-21 08:21

橙信通宁都县果品加工企业入网入云工作动员部署会召开！

宁都县果茶局局长宋小保、宁都县果茶局副局长赖树群、宁都县果茶局市场营销股股长张志春、橙信通赣南脐橙大数据平台供应链总监管永基、宁都县全部果品加工企业负责人，共计20余人出席会议。
橙信通大数据平台·2024-01-21 08:54

大数据开发之kafka（完整版）

第1章：Kafka概述1.1定义Kafka是一个分布式的基于发布/订阅模式的消息队列，主要应用于大数据实时处理领域。
Key-Key·2024-01-21 07:19

大数据开发之Kafka（broker、消费者、eagle监控、kraft模式）

KafkaBroker4.1KafkaBroker工作流程4.1.1Zookeeper存储的Kafka的信息1、查看zookeeper中的kafka节点所存储的信息启动Zookeeper客户端[atguigu@hadoop104zookeeper
Key-Key·2024-01-21 07:18

MySQL My.cnf参数梳理与延伸 （MYSQL 8 replica 类） 与 技术文章与食色性也

开头还是介绍一下群，如果感兴趣PolarDB,MongoDB,MySQL,PostgreSQL,Redis,Oceanbase,SqlServer等有问题，有需求都可以加群群内有各大数据库行业大咖，CTO
Austindatabases·2024-01-21 07:21

大数据之spark运行模式

ApacheSpark提供了多种运行模式，主要包括以下几种：本地模式(Local)：Spark在本地单机上运行，主要用于开发测试阶段。通过--masterlocal[n]来指定使用n个线程进行并行计算。独立集群模式(StandaloneCluster)：Spark自带了一个简易的资源管理器，可以在多台机器上组成一个Spark集群，通过--masterspark://master-ip:port指定
转身成为了码农·2024-01-21 07:11

大数据之 Spark 常用的端口号

Spark常用的端口号包括：DriverWebUI端口：4040，这是Spark应用程序（Driver）运行时绑定的端口，用于展示任务运行状态、执行进度、任务细节等监控信息。SparkMaster服务端口：7077，这是Spark在Standalone模式下的主节点（Master）与Worker节点通信的服务端口，客户端提交应用时也会连接此端口。SparkMasterWebUI端口：默认为8080
转身成为了码农·2024-01-21 07:11

Hadoop入门概述

Hadoop是一个开源的分布式计算框架，主要用于处理和存储大规模数据集。
转身成为了码农·2024-01-21 07:41

大数据之Spark架构设计与工作流程

驱动器还负责任务的调度，并与集群管理器（如HadoopYARN、ApacheMesos或Standalone模
转身成为了码农·2024-01-21 07:41

大数据技术汇总

HadoopHadoop入门概述Hadoop运行模式介绍HadoopHDFS的运行流程HadoopMapReduce的运行流程Hadoopyarn的运行流程Hadoop内HDFS、MapReduce和YARN
转身成为了码农·2024-01-21 07:41

大数据之Kafka架构的核心组件及其功能

ApacheKafka是一个分布式流处理平台，主要用于构建实时数据管道和流应用。Kafka的架构设计以高吞吐量、持久化存储和水平扩展为目标。以下是Kafka架构的核心组件及其功能：Producer（生产者）：生产者是向Kafka集群发送消息的客户端应用程序。生产者可以选择将消息发布到指定的主题（Topic）。Topic（主题）：主题是Kafka中的消息分类，每个主题可以看作是一个消息队列，多个生产
转身成为了码农·2024-01-21 07:34

Spark：SparkSQL与Hive on Spark（Shark）的比较

简要介绍了SparkSQL与HiveonSpark的区别与联系一、关于Spark简介在Hadoop的整个生态系统中，Spark和MapReduce在同一个层级，即主要解决分布式计算框架的问题。
花和尚也有春天·2024-01-21 06:17

基于kubernetes构建spark-thriftserver集群(Deployment模式)

1、构建镜像这里采用spark-2.4.4-bin-hadoop2.7.tar.gz包部署，先解压文件到/opt/spark目录。（1）将需要第三方扩展包导入/opt/spark/
Moutai码哥·2024-01-21 06:46

大数据安全 | 期末复习（上）| 补档

文章目录概述⭐️大数据的定义、来源、特点大数据安全的含义大数据安全威胁保障大数据安全采集、存储、挖掘环节的安全技术大数据用于安全隐私的定义、属性、分类、保护、面临威胁安全基本概念安全需求及对应的安全事件古典密码学里程碑事件扩散和混淆的概念攻击的分类模运算移位加密仿射加密维吉尼亚密码
啦啦右一·2024-01-21 06:14

蓝桥杯真题（Python）每日练Day1

说明：在CSP认证的基础上（可以看看本人CSP打卡系列的博客）备赛2024蓝桥杯（Python），本人专业：大数据与数据科学因此对python要求熟练掌握，通过练习蓝桥杯既能熟悉语法又能锻炼算法和思维逻辑
尚.西西弗斯·2024-01-21 06:13

机器学习之聚类-2D数据类别划分

方式一：站着或坐着方式二：全身或半身方式三：蓝眼球或不是蓝眼球没有对与错寻找数据的共同点优点：算法不受监督信息（偏见）的约束，可能考虑到新的信息不需要标签数据，极大程度扩大数据样本主要应用：聚类分析、关联规则
小旺不正经·2024-01-21 06:08

ChatGPT时代对大数据应用的展望

对于大数据领域，ChatGPT的出现会对这个行业产生什么影响，这是一个值得讨论和分析的话题。
i7杨·2024-01-21 06:08

Spark面试题

1.sparkcore1.简述hadoop和spark的不同点（为什么spark更快）♥♥♥  shuffle都是需要落盘的，因为在宽依赖中需要将上一个阶段的所有分区数据都准备好，才能进入下一个阶段，那么如果一直将数据放在内存中
韩顺平的小迷弟·2024-01-21 06:53

Ubuntu安装Hbase数据库

Hbase，并修改其名称sudotar-zxfhbase-1.1.2-bin.tar.gz-C/usr/localcd/usr/localsudomvhbase-2.2.2/hbasesudochown-Rhadoophbase
殊迟·2024-01-21 06:51

Ubuntu安装MySQL数据库

MySQLsudoapt-getinstallmysql-server输入Y后回车继续安装设置root用户密码，此处会设置两次三、启动、关闭、测试数据库servicemysqlstart#此处输入2回车选择hadoop
殊迟·2024-01-21 06:51

安装Kafka

Kafkasudotar-zxfkafka_2.11-0.10.2.0.tgz-C/usr/localcd/usr/localsudomvkafka_2.11-0.10.2.0/kafkasudochown-Rhadoopkafka
殊迟·2024-01-21 06:51

汇总阿里云ECS云服务器实例升降配不支持变配的规格列表

，不同ECS实例之间可以通过升降配来变更，目前以下ECS实例规格族是不支持规格族之间以及规格族内部变更的，InstanceTypes分享：阿里云ECS实例不支持变配的规格族列表ECS实例规格族实例规格大数据型
m0_60783610·2024-01-21 06:41

大创项目推荐 疫情数据分析与3D可视化 - python 大数据

文章目录0前言1课题背景2实现效果3设计原理4部分代码5最后0前言优质竞赛项目系列，今天要分享的是大数据全国疫情数据分析与3D可视化该项目较为新颖，适合作为竞赛课题方向，学长非常推荐！
laafeer·2024-01-21 05:30

Hadoop3完全分布式搭建

一、第一台的操作搭建修改主机名使用hostnamectlset-hostname修改当前主机名关闭防火墙和SELlinux1，使用systemctlstopfirewalldsystemctldisablefirewalld关闭防火墙2，使用vim/etc/selinux/config修改为SELINUX=disabled使用NAT模式配置静态IP1，修改网络配置vim/etc/sysconfig
三木一立·2024-01-21 05:54

nginx的安装

微信公众号：菜鸟解说大数据关注可了解更多的教程及技术。
JunMoXiaoPlus·2024-01-21 05:34

Linux 部署Hadoop伪分布式集群教程

首先：我们需要下载一些关于Hadoop伪分布式集群需要的工具与tar包链接：https://pan.baidu.com/s/1oUw1jDCxfghWsnaWauSHKg提取码：6s5a接下来打开虚拟机终端
qq_61247494·2024-01-21 05:15

linux 部署Hadoop完全分布式集群教程

一、准备工作1、本次任务需要三台虚拟机，主机名分别为Master、Slave01、Slave02先在Master上安装好jdk和Hadoop（安装教程可以参考这两篇文章）然后为了简便我们直接克隆两台Master
qq_61247494·2024-01-21 05:15

Linux修改hadoop配置文件及启动hadoop集群详细步骤

目录一、配置Hadoop环境1.查看Hadoop解压位置2.配置环境变量3.编辑环境变量4.重启环境变量5.查看Hadoop版本，查看成功就表示Hadoop安装成功了二、修改配置文件1.检查三台虚拟机：
CatalinaCatherine·2024-01-21 05:45

linux下hadoop集群并且配置安装百分百成功

可以去jdk官网下载8或者11版本，别用18因为hadoop会不兼容，先卸载本机的自带的jdk，下面我给大家带一个我在用的hadoop链接hadoop下载链接假设在你的linux上面有三个虚拟机hadoop102hadoop103hadoop104
新城已无旧少年_·2024-01-21 05:45

Linux-Hadoop集群配置

文章目录一、配置Hadoop集群1、在master虚拟机上配置hadoop（1）编辑Hadoop环境配置文件-hadoop-env.sh（2）编辑Hadoop核心配置文件-core-site.xml（3
人生苦短@我用python·2024-01-21 05:44

hadoop分布式集群配置（linux）

linux配置hadoop分布式集群一、前期准备二、Jdk的安装三、配置hadoop集群安装hadoop分布式集群hadoop-3.3.0及jdk1.8下载链接一、前期准备1.安装hadoop分布式之前先准备好
小-枝-丫·2024-01-21 05:44

linux上面hadoop配置集群

要在Linux上配置Hadoop集群，需要按照以下步骤进行操作：安装JavaDevelopmentKit(JDK)：首先，确保您的Linux系统上已经安装了JDK。
酷爱码·2024-01-21 05:14

数据库设计最佳实践：学院个人信息管理系统中的MySQL优化

专业做Java、Python、微信小程序、安卓、大数据、爬虫、Golang、大屏等实战项目。⛽⛽实战项目：有源码或者技术上的问题欢迎在评论区一起讨论交流！
计算机编程指导师·2024-01-21 05:36

洋州影院购票系统：如何用Java、Spring Boot、Vue和MySQL实现现代化管理

专业做Java、Python、微信小程序、安卓、大数据、爬虫、Golang、大屏等实战项目。⛽⛽实战项目：有源码或者技术上的问题欢迎在评论区一起讨论交流！
计算机编程指导师·2024-01-21 05:36

全面解析：学生宿舍管理系统的数据库设计与实现

专业做Java、Python、微信小程序、安卓、大数据、爬虫、Golang、大屏等实战项目。⛽⛽实战项目：有源码或者技术上的问题欢迎在评论区一起讨论交流！
计算机编程指导师·2024-01-21 05:35

揭秘：Java、Spring Boot、Vue 和 MySQL 在学生信息管理系统中的应用

专业做Java、Python、微信小程序、安卓、大数据、爬虫、Golang、大屏等实战项目。⛽⛽实战项目：有源码或者技术上的问题欢迎在评论区一起讨论交流！
计算机编程指导师·2024-01-21 05:34

教育正悄悄51|走出为大机器时代配套的教育

今天是我参加勇气读书会的第161天阅读本数：第七本阅读书目：《教育正悄悄发生一场革命》第五章5.5走出为大机器时代配套的教育勇气读书会打卡161天如今已然是大数据时代，我们的教育面临改革的分水岭，我们需要更多的具有创新意识和服务精神的人才
拾光散人·2024-01-21 05:57

竞赛保研 机器学习股票大数据量化分析与预测系统 - python 竞赛保研

文章目录0前言1课题背景2实现效果UI界面设计web预测界面RSRS选股界面3软件架构4工具介绍Flask框架MySQL数据库LSTM5最后0前言优质竞赛项目系列，今天要分享的是机器学习股票大数据量化分析与预测系统该项目较为新颖
iuerfee·2024-01-21 04:44

大数据案例分析

摘自https://www.cnblogs.com/ShaYeBlog/p/5872113.html一、大数据分析在商业上的应用1、体育赛事预测世界杯期间，谷歌、百度、微软和高盛等公司都推出了比赛结果预测平台
weixin_30252709·2024-01-21 04:10

大数据分析案例

一、大数据分析在商业上的应用1、体育赛事预测世界杯期间，谷歌、百度、微软和高盛等公司都推出了比赛结果预测平台。百度预测结果最为亮眼，预测全程64场比赛，准确率为67%，进入淘汰赛后准确率为94%。
weixin_34315665·2024-01-21 04:10

大数据分析案列

现在互联网公司取代章鱼保罗试水赛事预测也意味着未来的体育赛事会被大数据预测所掌控。
TRUEtpc·2024-01-21 04:40

淘宝返利机器人是什么原理?返利云机器人的使用方法？

其核心原理在于利用机器学习算法和大数据技术，对电商平
测评君高省·2024-01-21 04:18

“大数据”在基层医保监管中的应用实践

“大数据”在基层医保监管中的应用实践当前医保基金监管形势严峻，各项违规使用医保基金的行为时有发生，单纯依靠传统的监管方法来加强医保管理的难度越来越大。
dggqzy·2024-01-21 04:43

WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-

1.问题来源hadoop启动时控制台一直提示WARNutil.NativeCodeLoader:Unabletoloadnative-hadooplibraryforyourplatform…usingbuiltin-javaclasseswhereapplicableStartingnamenodeson
寂夜了无痕·2024-01-21 04:57

mac-hadoop3.3.6 源码构建以及踩坑记录

1.为什么需要构建源码因为hadoop的可执行文件是在专门的机器上编译的其中native库不一定能适用于每个机器导致在启动hadoop过程中出现烦人的警告WARNutil.NativeCodeLoader
寂夜了无痕·2024-01-21 04:55

HDFS中的Erasure Coding纠删码是个什么样的存在？

在Hadoop3.x之后就引入了纠删码技术（ErasureCoding）纠删码技术（Erasurecoding）简称EC，是一种编码容错技术。最早用于通信行业，数据传输中的数据恢复。它通过对数
小KKKKKKKK·2024-01-21 03:29

ElasticSearch 亿级数据检索深度优化！

一、前言数据平台已迭代三个版本，从头开始遇到很多常见的难题，终于有片段时间整理一些已完善的文档，在此分享以供所需朋友的实现参考，少走些弯路，在此篇幅中偏重于ES的优化，关于HBase，Hadoop的设计优化估计有很多文章可以参考
夜空_2cd3·2024-01-21 03:53
上一页 61 62 63 64 65 66 67 68 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他