ML&DL-大数据学习

Spark Local环境搭建及测试

【大数据学习记录篇】-持续更新中~篇一：Linux系统下配置java环境篇二：hadoop伪分布式搭建（超详细）篇三：hadoop完全分布式集群搭建（超详细）-大数据集群搭建文章目录1.SparkLocal
beixi@·2023-08-27 23:10

Spark on Yarn集群模式搭建及测试

【大数据学习记录篇】-持续更新中~点击传送：大数据学习专栏持续更新中，感谢各位前辈朋友们支持学习~文章目录1.SparkonYarn集群模式介绍2.搭建环境准备3.搭建步骤1.SparkonYarn集群模式介绍
beixi@·2023-08-27 23:10

Spark Standalone环境搭建及测试

【大数据学习记录篇】-持续更新中~篇一：Linux系统下配置java环境篇二：hadoop伪分布式搭建（超详细）篇三：hadoop完全分布式集群搭建（超详细）-大数据集群搭建篇四：SparkLocal环境搭建及测试文章目录
beixi@·2023-08-27 23:08

大数据学习之MapReduce

1.MapReduce定义Mapreduce是一个分布式运算程序的编程框架，是用户开发“基于hadoop的数据分析应用”的核心框架。Mapreduce核心功能是将用户编写的业务逻辑代码和自带默认组件整合成一个完整的分布式运算程序，并发运行在一个hadoop集群上。2.MapReduce优缺点优点MapReduce易于编程。它简单的实现一些接口，就可以完成一个分布式程序，这个分布式程序可以分布到大量
在远方的你等我·2023-08-27 17:45

大数据学习之路

万字长文，纯干货，建议收藏阅读。大纲：一、开篇致辞二、为什么要学大数据三、学习大数据门槛四、学习路线&独家干货（学生、在职、零基础）五、推荐书单六、Q&A一、开篇致辞我今年大四，大二的时候先后在厦门的两家小公司实习Java，大三的时候在ApcheKylin的贡献团队Kyligence实习，现在在一家西班牙集团就职大数据开发。首先感谢我大二的第一份实习，它是我职场上的启蒙之旅，以致我后面的一个技术视
程序员峰哥·2023-08-26 17:28

StreamingWarehouse的一些思考和未来趋势

全网最全大数据学习面试社区等你来！一篇笔记。以Hudi、Iceberg、Paimon这几个框架为例，它们支持高效的数据流/批读写、数据回溯以及数据更新。
王知无(import_bigdata)·2023-08-25 23:11

大数据资深工程师：阿里搜索技术，在AI路还能走了多远？

，我自己是名大数据程序员，建了一个大数据资源共享群593188212每天分享大数据学习资料和学习方法欢迎初学和进阶中的
阿福大数据·2023-08-24 15:48

单机数万QPS！Apache Doris高并发特性解读

全网最全大数据学习面试社区等你来！
王知无(import_bigdata)·2023-08-23 09:02

大数据学习的必备五大核心技术

大数据系统的技术庞大而复杂。基础技术包括数据采集、数据预处理、分布式存储、NoSQL数据库、数据仓库、机器学习、并行计算、可视化等技术类别和不同的技术层次。首先，本文给出了一个通用的大数据处理框架，主要分为以下几个方面：数据采集与预处理、数据存储、数据清洗、数据查询分析和数据可视化。一、数据采集和预处理对于来自不同来源的数据，包括移动互联网数据、社交网络数据等，这些结构化和非结构化的海量数据是分散
AydanLinux·2023-08-23 03:57

0101前期准备-大数据学习

文章目录1前言2配置VMware虚拟机2.1设置主机名和固定IP2.2本地系统与Linux系统配置主机名映射2.3配置虚拟机之间用户的SSH免密互通2.4安装JDK环境2.5关闭防火墙和SELinux2.6更新时区和同步时间2.7保存虚拟机快照结语1前言我们从基础的hadoop开始学起，关于学习环境的搭建，可以基于虚拟机也可以选择云平台，这里我们选择vmware虚拟机。2配置VMware虚拟机关于
gaog2zh·2023-08-20 11:41

大数据Flink学习圣经：一本书实现大数据Flink自由

《尼恩大数据面试宝典》面试题集合，将变成大数据学习和面试的必读书籍。于是，尼恩架构团队趁热打铁，推出《大数据Flink学习圣经》，《大数据HBASE学习圣经》《大数据Flink学习圣经
40岁资深老架构师尼恩·2023-08-19 10:47

大数据学习之Hadoop——06Hadoop序列化

欢迎关注我的CSDN:https://blog.csdn.net/bingque6535一.Hadoop序列化概念1.序列化概述什么是序列化序列化就是把内存中的对象,转换成字节序列(或其他数据传输协议)以便于存储到磁盘(持久化)和网络传输反序列化就是将收到的字节序列(其他数据传输协议)或是磁盘的持久化数据,转换成内存中的对象为什么要序列化一般来说，“活的“对象只生存在内存里，关机断电就没有了。而且
Jiang锋时刻·2023-08-18 15:19

大规模机器学习(Large Scale Machine Learning)

大数据学习的问题：计算问题如果有一亿条训练数
带刺的小花_ea97·2023-08-17 02:08

网易云音乐实时数仓治理优化实践

全网最全大数据学习面试社区等你来！导读今天分享的主题是实时数仓治理的优化实践。
王知无(import_bigdata)·2023-08-16 18:02

大数据面试实际场景类问题怎么准备，实在遭不住了！

全网最全大数据学习面试社区等你来！前几天我发了一个面试总结的文章，实际场景类问题在大数据领域面试的占比越来越多。
王知无(import_bigdata)·2023-08-16 18:02

基于Doris实时数据开发的一些注意事项

全网最全大数据学习面试社区等你来！最近Doris的发展大家是有目共睹的。例如冷热分离等新特性的持续增加。使得Doris在易用和成本上都有大幅提升。
王知无(import_bigdata)·2023-08-16 18:02

Doris2.0时代的一些机遇和挑战！

全网最全大数据学习面试社区等你来！上个周五的时候，Doris官宣了2.0版本，除了在性能上的大幅提升，还有一些特性需要大家特别关注。
王知无(import_bigdata)·2023-08-16 18:31

全网最全、最详细、最全面的 Hadoop大数据学习教程（ 2023最新版 ）

大家好，我是民工哥！前面给大家介绍了：关系型数据库MySQL、NoSQL数据库Redis、MongoDB、搜索引擎ElasticSearch等知识体系学习的文章。在当今这样的就业大背景下，卷是肯定的，强大自己也是必须的。所以，学习不能停，必须一直卷下去。截止今天，又一个知识体系的学习之旅：大数据Hadoop框架卷完了。希望大家能够从中收获多多！如有帮助，请点在看、转发支持一波！！！大数据概述大数据
·2023-08-15 18:50

2021-08-20全网疯传的字节跳动 2021 最新大数据学习路线（最最最完整详细版）建议收藏

今天不说别的，开门见山。我知道，很多人都会在互联网上寻找一些学习的干货，可是质量不高、讲的不够精华让人总不痛快！很多干货资料看着多么的牛，实际上内容真的很水。数字化这一块，干货资料不应该是讲什么虚头巴脑的概念，而是应该直接从场景切入，把是什么、为什么、怎么做讲的明明白白，这才是真正有价值的。我整理了一些，如果是大数据行业的，这些够你学很久很久，大数据全套学习路线+全集教程。大数据是对海量数据进行存
鱼柒7·2023-08-14 22:44

2018-12-01 大数据学习

今天完成这两天完成的不多，主要是调通搭建的那个用于测试的大数据集群，完成了将数据写入hbase的部分。在过程中遇到一个问题，就是hbase的client端可以和zookeeper建立会话，但是会话建立后就一直卡在那里没有继续往下执行。一开始以为是zk集群和hadoop集群的ip地址问题，因为这个集群是部署在阿里云上的，所以会有内部ip和公网ip的转换，以前在旧公司用openstack搭大数据测试集
Bitson·2023-08-13 04:38

学习大数据月薪过万的秘密

大数据学习扣裙：740041381大数据工资高吗？事实上，大
金光闪闪耶·2023-08-12 00:50

大数据学习路线

一、linux基础（基本掌握）二、java多线程、并发包下的队列、JMS、JVM、反射和动态代理学习参考书籍《深入理解Java虚拟机》、《Java高并发实战》三、zookeeper(Zookeeper分布式协调服务介绍、Zookeeper集群的安装部署、Zookeeper数据结构、命令、Zookeeper的原理以及选举机制)四、Hadoop（HDFS：HDFS的概念和特性、HDFS的shell操作
记得_5d12·2023-08-11 10:38

大数据学习之Hadoop——02Hadoop集群安装

欢迎关注我的CSDN:https://blog.csdn.net/bingque6535一.Hadoop伪分布式安装：1.自身免秘钥(前提):$ssh-keygen-trsa-P''-f~/.ssh/id_rsa$cat~/.ssh/id_rsa.pub>>~/.ssh/authorized_keysimage在这里插入图片描述2.安装hadoop：解压hadoop安装包tarxfhadoop-2
Jiang锋时刻·2023-08-11 03:28

学习大数据需要掌握哪些知识？

1、学习大数据首先要学习Java基础怎样进行大数据学习的快速入门？学大数据课程之前要
大数据客栈yi·2023-08-09 18:22

大数据学习笔记：Hadoop之HDFS（上）

HDFS（HadoopDistributedFileSystem）Hadoop分布式文件系统。是根据google发表的论文翻版的。分布式文件系统（DistributedFileSystem）是指文件系统管理的物理存储资源不一定直接连接在本地节点上，而是通过计算机网络与节点相连。分布式文件系统的设计基于客户机/服务器模式。[优点]支持超大文件:超大文件在这里指的是几百M，几百GB，甚至几TB大小的文
值得一看的喵·2023-08-09 08:35

大数据学习-配额管理

配额管理（quota）目录配额目录配额计算的是目录下所有文件的总个数。如果配额是1，则表示空白目录hdfsdfsadmin-setQuota1data//设置data的配额为1，那么data下面就不能有目录，这是一个空的目录image.png空间配额hdfsdfs-mkdir-pdata//创建data目录hdfsdfsadmin-setSpaceQuota3data//设置空间的配额为3Bech
smallgrey·2023-08-09 05:36

大数据学习1-linux

day1用户和用户组管理1、用户配置文件位置-》cat/etc/passwd2、root:x:0:0:root:/root:/bin/bash-》root代表用户名-》x密码标识，代表有密码-》0UIDuserid-》0GIDgroupid-》root别名-》/root家目录-》/bin/bash用户使用的shell3、用户组配置文件位置-》cat/etc/group4、添加用户-》useradd
王小禾·2023-08-09 05:35

黑马大数据学习笔记5-案例

目录需求分析背景介绍目标需求数据内容DBeaver连接到Hive建库建表加载数据ETL数据清洗数据问题需求实现查看结果扩展指标计算需求需求指标统计可视化展示BIFineBI的介绍及安装FineBI配置数据源及数据准备可视化展示P73~77https://www.bilibili.com/video/BV1WY4y197g7?p=73需求分析背景介绍聊天平台每天都会有大量的用户在线，会出现大量的聊天
蓝净云·2023-08-07 10:55

黑马大数据学习笔记4-Hive部署和基本操作

目录思考规划安装MySQL数据库修改root用户密码配置Hadoop下载解压Hive提供MySQLDriver包配置Hive初始化元数据库启动Hive（使用Hadoop用户）Hive体验HiveServer2HiveServer2服务启动Beelinep48、51、52https://www.bilibili.com/video/BV1WY4y197g7/?p=48思考Hive是分布式运行的框架还
蓝净云·2023-08-07 10:52

大数据学习笔记

大数据学习笔记一.概念1.传统数据处理架构2.有状态的流处理二.批处理与流处理1.批处理2.流处理三.大数据软件生态1.Hadoop2.Spark3.Flink一.概念大数据（BigData）指无法在一定时间范围内用常规软件工具进行捕捉
smilinggg·2023-08-07 04:59

大数据学习笔记（一）

一、大数据的概念无法再一定时间范围内用软件工具进行管理与处理的数据集合称之为大数据。大数据技术主要解决存储和分析计算问题.1.4V特征-A.Valume 大量 (KB->MB->GB->TB->PB->EB->ZB)-B.Velocity 高速 分布式技术(N台计算机同时运算.)-C.Variety  多样 (存储结构化数据与非结构化数据和半结构化数据)-D.Value   低价值密度2.结构化、
加油牛牛·2023-08-07 04:29

大数据学习教程：Linux 高级教程（上）

一、Linux用户与权限1.用户和权限的基本概念1.1、基本概念用户是Linux系统工作中重要的一环,用户管理包括用户与组管理在Linux系统中,不论是由本级或是远程登录系统,每个系统都必须拥有一个账号,并且对于不同的系统资源拥有不同的使用权限对文件/目录的权限包括:权限英文缩写数字序号读readr4写writew2执行executex1无权限-0在Linux中,可以指定每一个用户针对不同的文件或
Blue92120·2023-08-06 19:17

大数据学习教程：Linux高级教程（下）

四、大数据集群服务器搭建1.新增Linux服务器1.1、克隆虚拟机学习环境中，一般使用VMware虚拟机克隆Linux系统，用来进行集群服务器的搭建。VMware支持两种类型的克隆：完整克隆、链接克隆完整克隆是和原始虚拟机完全独立的一个复制，它不和原始虚拟机共享任何资源。可以脱离原始虚拟机独立使用。链接克隆需要和原始虚拟机共享同一虚拟磁盘文件，不能脱离原始虚拟机独立运行。但采用共享磁盘文件却大大缩
Blue92120·2023-08-03 12:44

大数据学习之Hadoop——09Partitoner分区和Combiner分区

欢迎关注我的CSDN:https://blog.csdn.net/bingque6535Partitioner分区部分转载的是:https://www.cnblogs.com/qingyunzong/p/8584379.html一.Partitioner分区1.Partitioner的作用:进行MapReduce计算时，有时候需要把最终的输出数据分到不同的文件中，我们知道最终的输出数据是来自于Re
Jiang锋时刻·2023-08-02 18:22

大数据开发：Flink API编程初级入门

作为大数据生态圈越来越活跃的框架，Flink的热度持续走高，自然也成为大数据学习阶段必须攻克的一大重难点。
成都加米谷大数据·2023-08-02 00:49

大数据学习笔记-Yarn（二）

YarnWebUI服务1.1yarnwenUI服务，http://RMHOST:8088打开页面，以列表的形式展示处于各种状态的各种程序以下参数指定UI地址UI页面的参数介绍（图片来源黑马程序员教程）1.2JobHistoryServer服务仅存储已经完成的Mapredyce应用程序的作业历史信息，当启用JHS服务时，建议开启日志聚合功能。配置mapreduce.jobhistory.addres
天码村·2023-07-31 07:35

大数据学习笔记-Yarn（一）

1、yarn产生和发展历史背景：数据、程序、运算资源三者组合在一起，才能完成数据的处理，单机不存在问题，但是分布式环境如何协调是一个问题。Hadoop早期用户使用Hadoop与众多主机上运行的桌面程序类似：在少了几个节点上建立一个集群、将数据载入HDFS、运行mapreduceHadoop演进阶段：Adhoc集群以单用户的方式建立，随着私人集群的使用实现了HDFS集群的共享，不同于HDFS，共享m
天码村·2023-07-31 07:05

黑马大数据学习笔记3-MapReduce配置和YARN部署以及基本命令

目录部署说明MapReduce配置文件YARN配置文件分发配置文件集群启动命令开始启动YARN集群查看YARN的WEBUI页面保存快照YARN集群的启停命令一键启动脚本单进程启停提交MapReduce任务到YARN执行提交wordcount示例程序查看运行日志提交求圆周率示例程序p41~43https://www.bilibili.com/video/BV1WY4y197g7/?p=41部署说明H
蓝净云·2023-07-31 07:04

大数据研究报告：Spark最受欢迎，机器学习库MLib采用率持续上涨

大数据学习QQ群：19942721
大数据05·2023-07-30 13:11

《黑马程序员2023新版黑马程序员大数据入门到实战教程，大数据开发必会的Hadoop、Hive，云平台实战项目》学习笔记总目录

学习视频：黑马程序员新版大数据学习时总结的学习笔记以及思维导图会在后续更新，请敬请期待。
放下华子我只抽RuiKe5·2023-07-30 11:47

详解大数据学习路线

随着国家定义了“新型基础设施建设”（新基建），新科技时代已经来临。如果说新基建的目标是构建起新时代科技中国的躯体的话，那么数据就是这个躯体中无处不在的血液，没有这个血液，所有的一切都将没有正常运行的能量来源。“数据”早已有之，但长久以来，除了科技公司和大型企业外，人们对“数据”应用得并不充分。而随着数据渗透到当今几乎每一个行业和业务职能领域，渗透到几乎任何体量的社会组织中，并成为重要的生产因素，人
科技无忧·2023-07-30 06:04

8个好的科研类学习网站，附链接

1、PPV课PPV课-PPV课机构主页-神州培训网sz.szpxe.com国内领先的大数据学习社区，专注大数据培训，人人都是数据咖倡导者，提供SPSS、SAS、R语言、Hadoop/spark、Python
高质量工具·2023-07-30 05:21

【基于MapReduce实现用户基础数据统计】

CSDN话题挑战赛第2期参赛话题：大数据学习成长记录文章目录使用MapReduce实现用户基础数据统计基础数据业务分析点业务开发流程在Hive中创建hive表基于Java开发MR配置pom.xml文件开发
pblh123·2023-07-28 03:07

大数据学习之路-Hive

Hive1.Hive基本概念1.1什么是Hive1.2Hive的优缺点1.2.1优点1.2.2缺点1.3Hive架构原理1.4Hive和数据库比较1.4.1查询语言1.4.2数据更新1.4.3执行延迟1.4.4数据规模2.Hive安装2.1Hive安装地址2.2MySql安装2.3Hive安装部署2.4Hive元数据配置到MySql2.4.1拷贝驱动2.4.2配置Metastore到MySql2.
Conviction of Star·2023-07-27 23:01

从安卓主管转型大数据开发，我经历了什么？

当然，我也不会让他们白忙活，我支付赞赏2的稿费(50起步)，所以欢迎大家多多赞赏~*人物介绍许则则(化名)，一位五年安卓经验的开发主管，从去年就在我大数据学习群里，看着我和其他群友慢慢转型大数据，所以于
程序员峰哥·2023-07-25 16:10

大数据学习04-Hbase分布式集群部署

系统环境：centos7软件版本：jdk1.8、zookeeper3.4.8、hadoop2.8.5一、下载HBASE官网cd/home/toolswgethttps://archive.apache.org/dist/hbase/2.2.4/hbase-2.2.4-bin.tar.gz二、解压tar-zxvfhbase-2.2.4-bin.tar.gz-C/home/local/移动目录mvhb
小火柴012·2023-07-25 10:59

大数据学习路线

文章目录一，Hadoop二，MapReduce三，HDFS四，Hive一，Hadoop二，MapReduce三，HDFS四，HiveHive学习
Jucway·2023-07-25 09:47

2021-10-18大数据学习日志——数据埋点+网络爬虫——多任务和网络

课程介绍：数据埋点本质上就是进行数据采集。相对于爬虫的数据采集形式，数据埋点是对自身业务数据进行采集。要进行数据埋点就要了解我们的业务程序的开发流程，知道整个数据的传递过程，这样能更加明确数据分析的业务需求，有利于数据埋点的准确性。在这一阶段前半部部分，学习部分前端：HTML、CSS、JS、Jquery知识，后端：多任务、网络编程及Python高级语法。通过对前端和后端开发业务的了解，方便在数据埋
成长的小狮子·2023-07-25 04:46

大数据学习05-Kafka分布式集群部署

系统环境：centos7软件版本：jdk1.8、zookeeper3.4.8、hadoop2.8.5本次实验使用版本kafka_2.12-3.0.0一、安装Kafka官网将安装包上传至linux服务器上解压tar-zxvfkafka_2.12-3.0.0.tgz-C/home/local/移动目录至kafkamvkafka_2.12-3.0.0/kafka二、部署配置Kafka环境vi/etc/p
小火柴012·2023-07-24 15:11

计算机小白大数据学习线路图

人们常说毕业三五年后就可以看出一个人的未来。工作三五年后有人月收入过万，开始在老家买房;有人零存款，继续每天租房的生活。不是后者不拼搏，只是入错了行而已。现在有一个行业“薪”机炸裂，可以迅速帮你“脱贫”，你会抓住这个机会吗?没错，我们说的就是大数据行业。首先，来看看大数据有多火吧。近几年，大数据不仅被纳入谷歌、阿里巴巴等互联网公司的战略规划中，同时也在我国和其他国家的政府报告中多次被提及，大数据无
千锋大数据·2023-07-19 10:54
上一页 2 3 4 5 6 7 8 9 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他