python+大数据学习

网易云音乐实时数仓治理优化实践

全网最全大数据学习面试社区等你来！导读今天分享的主题是实时数仓治理的优化实践。
王知无(import_bigdata)·2023-08-16 18:02

大数据面试实际场景类问题怎么准备，实在遭不住了！

全网最全大数据学习面试社区等你来！前几天我发了一个面试总结的文章，实际场景类问题在大数据领域面试的占比越来越多。
王知无(import_bigdata)·2023-08-16 18:02

基于Doris实时数据开发的一些注意事项

全网最全大数据学习面试社区等你来！最近Doris的发展大家是有目共睹的。例如冷热分离等新特性的持续增加。使得Doris在易用和成本上都有大幅提升。
王知无(import_bigdata)·2023-08-16 18:02

Doris2.0时代的一些机遇和挑战！

全网最全大数据学习面试社区等你来！上个周五的时候，Doris官宣了2.0版本，除了在性能上的大幅提升，还有一些特性需要大家特别关注。
王知无(import_bigdata)·2023-08-16 18:31

全网最全、最详细、最全面的 Hadoop大数据学习教程（ 2023最新版 ）

大家好，我是民工哥！前面给大家介绍了：关系型数据库MySQL、NoSQL数据库Redis、MongoDB、搜索引擎ElasticSearch等知识体系学习的文章。在当今这样的就业大背景下，卷是肯定的，强大自己也是必须的。所以，学习不能停，必须一直卷下去。截止今天，又一个知识体系的学习之旅：大数据Hadoop框架卷完了。希望大家能够从中收获多多！如有帮助，请点在看、转发支持一波！！！大数据概述大数据
·2023-08-15 18:50

2021-08-20全网疯传的字节跳动 2021 最新大数据学习路线（最最最完整详细版）建议收藏

今天不说别的，开门见山。我知道，很多人都会在互联网上寻找一些学习的干货，可是质量不高、讲的不够精华让人总不痛快！很多干货资料看着多么的牛，实际上内容真的很水。数字化这一块，干货资料不应该是讲什么虚头巴脑的概念，而是应该直接从场景切入，把是什么、为什么、怎么做讲的明明白白，这才是真正有价值的。我整理了一些，如果是大数据行业的，这些够你学很久很久，大数据全套学习路线+全集教程。大数据是对海量数据进行存
鱼柒7·2023-08-14 22:44

2018-12-01 大数据学习

今天完成这两天完成的不多，主要是调通搭建的那个用于测试的大数据集群，完成了将数据写入hbase的部分。在过程中遇到一个问题，就是hbase的client端可以和zookeeper建立会话，但是会话建立后就一直卡在那里没有继续往下执行。一开始以为是zk集群和hadoop集群的ip地址问题，因为这个集群是部署在阿里云上的，所以会有内部ip和公网ip的转换，以前在旧公司用openstack搭大数据测试集
Bitson·2023-08-13 04:38

学习大数据月薪过万的秘密

大数据学习扣裙：740041381大数据工资高吗？事实上，大
金光闪闪耶·2023-08-12 00:50

大数据学习路线

一、linux基础（基本掌握）二、java多线程、并发包下的队列、JMS、JVM、反射和动态代理学习参考书籍《深入理解Java虚拟机》、《Java高并发实战》三、zookeeper(Zookeeper分布式协调服务介绍、Zookeeper集群的安装部署、Zookeeper数据结构、命令、Zookeeper的原理以及选举机制)四、Hadoop（HDFS：HDFS的概念和特性、HDFS的shell操作
记得_5d12·2023-08-11 10:38

大数据学习之Hadoop——02Hadoop集群安装

欢迎关注我的CSDN:https://blog.csdn.net/bingque6535一.Hadoop伪分布式安装：1.自身免秘钥(前提):$ssh-keygen-trsa-P''-f~/.ssh/id_rsa$cat~/.ssh/id_rsa.pub>>~/.ssh/authorized_keysimage在这里插入图片描述2.安装hadoop：解压hadoop安装包tarxfhadoop-2
Jiang锋时刻·2023-08-11 03:28

学习大数据需要掌握哪些知识？

1、学习大数据首先要学习Java基础怎样进行大数据学习的快速入门？学大数据课程之前要
大数据客栈yi·2023-08-09 18:22

大学生精通 python+大数据 学习从由浅入深（Python篇）【更新中】

看到这位头发浓密大叔了吗！1989年，为了打发圣诞节假期，龟叔(吉多·范·罗苏姆)开始写Python语言的编译器。1991年，第一个Python编译器诞生Python这个名字，来自龟叔所挚爱的电视剧MontyPython’sFlyingCircus(蒙蒂·蟒蛇的飞行马戏团）我们为什么要学习这一项语言，Python有以下几个优点技术趋势：Python自带明星属性多年稳居编程语言前三简单：Python
ziwu1226·2023-08-09 12:13

大数据学习笔记：Hadoop之HDFS（上）

HDFS（HadoopDistributedFileSystem）Hadoop分布式文件系统。是根据google发表的论文翻版的。分布式文件系统（DistributedFileSystem）是指文件系统管理的物理存储资源不一定直接连接在本地节点上，而是通过计算机网络与节点相连。分布式文件系统的设计基于客户机/服务器模式。[优点]支持超大文件:超大文件在这里指的是几百M，几百GB，甚至几TB大小的文
值得一看的喵·2023-08-09 08:35

大数据学习-配额管理

配额管理（quota）目录配额目录配额计算的是目录下所有文件的总个数。如果配额是1，则表示空白目录hdfsdfsadmin-setQuota1data//设置data的配额为1，那么data下面就不能有目录，这是一个空的目录image.png空间配额hdfsdfs-mkdir-pdata//创建data目录hdfsdfsadmin-setSpaceQuota3data//设置空间的配额为3Bech
smallgrey·2023-08-09 05:36

大数据学习1-linux

day1用户和用户组管理1、用户配置文件位置-》cat/etc/passwd2、root:x:0:0:root:/root:/bin/bash-》root代表用户名-》x密码标识，代表有密码-》0UIDuserid-》0GIDgroupid-》root别名-》/root家目录-》/bin/bash用户使用的shell3、用户组配置文件位置-》cat/etc/group4、添加用户-》useradd
王小禾·2023-08-09 05:35

黑马大数据学习笔记5-案例

目录需求分析背景介绍目标需求数据内容DBeaver连接到Hive建库建表加载数据ETL数据清洗数据问题需求实现查看结果扩展指标计算需求需求指标统计可视化展示BIFineBI的介绍及安装FineBI配置数据源及数据准备可视化展示P73~77https://www.bilibili.com/video/BV1WY4y197g7?p=73需求分析背景介绍聊天平台每天都会有大量的用户在线，会出现大量的聊天
蓝净云·2023-08-07 10:55

黑马大数据学习笔记4-Hive部署和基本操作

目录思考规划安装MySQL数据库修改root用户密码配置Hadoop下载解压Hive提供MySQLDriver包配置Hive初始化元数据库启动Hive（使用Hadoop用户）Hive体验HiveServer2HiveServer2服务启动Beelinep48、51、52https://www.bilibili.com/video/BV1WY4y197g7/?p=48思考Hive是分布式运行的框架还
蓝净云·2023-08-07 10:52

大数据学习笔记

大数据学习笔记一.概念1.传统数据处理架构2.有状态的流处理二.批处理与流处理1.批处理2.流处理三.大数据软件生态1.Hadoop2.Spark3.Flink一.概念大数据（BigData）指无法在一定时间范围内用常规软件工具进行捕捉
smilinggg·2023-08-07 04:59

大数据学习笔记（一）

一、大数据的概念无法再一定时间范围内用软件工具进行管理与处理的数据集合称之为大数据。大数据技术主要解决存储和分析计算问题.1.4V特征-A.Valume 大量 (KB->MB->GB->TB->PB->EB->ZB)-B.Velocity 高速 分布式技术(N台计算机同时运算.)-C.Variety  多样 (存储结构化数据与非结构化数据和半结构化数据)-D.Value   低价值密度2.结构化、
加油牛牛·2023-08-07 04:29

Python高效办公|批量替换错误值

这个系列可能包括的有Python+文件批量处理，Python+office高效办公，Python+ArcGIS专业等。由于自己也在不断学习和探索中，可能有些代码并不是最优化的，也不一定是
罗罗攀·2023-08-07 02:33

大数据学习教程：Linux 高级教程（上）

一、Linux用户与权限1.用户和权限的基本概念1.1、基本概念用户是Linux系统工作中重要的一环,用户管理包括用户与组管理在Linux系统中,不论是由本级或是远程登录系统,每个系统都必须拥有一个账号,并且对于不同的系统资源拥有不同的使用权限对文件/目录的权限包括:权限英文缩写数字序号读readr4写writew2执行executex1无权限-0在Linux中,可以指定每一个用户针对不同的文件或
Blue92120·2023-08-06 19:17

基于Python+百度语音的智能语音ChatGPT聊天机器人（机器学习+深度学习+语义识别）含全部工程源码 适合个人二次开发

目录前言总体设计系统整体结构图系统流程图运行环境Python环境Pycharm环境ChatterBot环境模块实现1.模型构建2.服务器端3.客户端4.语音录入5.接口调用6.模型训练及保存系统测试1.模型效果2.模型应用源代码下载地址其它资料下载前言本项目基于机器学习和语义识别技术，让机器人理解文本并进行合适的答复。伙伴们可以通过该工程源码，进行个人二次开发，比如使用语音与机器人交流，实现智能问
小胡说人工智能·2023-08-06 13:04

【爬虫1】——通用爬虫

.爬取搜狗指定词条的搜索结果(get4.百度翻译(post5.爬取豆瓣6.kfc爬取遇到的编码问题学习视频：Python超强爬虫8天速成（完整版）爬取各种网站数据实战案例_哔哩哔哩_bilibili【Python
珊珊而川·2023-08-03 17:55

大数据学习教程：Linux高级教程（下）

四、大数据集群服务器搭建1.新增Linux服务器1.1、克隆虚拟机学习环境中，一般使用VMware虚拟机克隆Linux系统，用来进行集群服务器的搭建。VMware支持两种类型的克隆：完整克隆、链接克隆完整克隆是和原始虚拟机完全独立的一个复制，它不和原始虚拟机共享任何资源。可以脱离原始虚拟机独立使用。链接克隆需要和原始虚拟机共享同一虚拟磁盘文件，不能脱离原始虚拟机独立运行。但采用共享磁盘文件却大大缩
Blue92120·2023-08-03 12:44

iOS 脚本打测试包

GenericiOSDevice3.command+B编译4.执行脚本文件5.桌面建立两个空文件夹（PayLoadPath和packBagPath）7.注册蒲公英脚本地址替换成蒲公英你的key最后终端执行：python
_VisitorsZsl·2023-08-02 22:21

大数据学习之Hadoop——09Partitoner分区和Combiner分区

欢迎关注我的CSDN:https://blog.csdn.net/bingque6535Partitioner分区部分转载的是:https://www.cnblogs.com/qingyunzong/p/8584379.html一.Partitioner分区1.Partitioner的作用:进行MapReduce计算时，有时候需要把最终的输出数据分到不同的文件中，我们知道最终的输出数据是来自于Re
Jiang锋时刻·2023-08-02 18:22

大数据开发：Flink API编程初级入门

作为大数据生态圈越来越活跃的框架，Flink的热度持续走高，自然也成为大数据学习阶段必须攻克的一大重难点。
成都加米谷大数据·2023-08-02 00:49

Day01-作业（HTML&CSS）

：B.文字素材如下：企业简介传智教育(股票代码003032)，隶属江苏传智播客教育科技股份有限公司，注册资本4亿元，是第一个实现A股IPO的教育企业，公司致力于培养高精尖数字化人才，主要培养人工智能、python
穿城大饼·2023-07-31 18:24

大数据学习笔记-Yarn（二）

YarnWebUI服务1.1yarnwenUI服务，http://RMHOST:8088打开页面，以列表的形式展示处于各种状态的各种程序以下参数指定UI地址UI页面的参数介绍（图片来源黑马程序员教程）1.2JobHistoryServer服务仅存储已经完成的Mapredyce应用程序的作业历史信息，当启用JHS服务时，建议开启日志聚合功能。配置mapreduce.jobhistory.addres
天码村·2023-07-31 07:35

大数据学习笔记-Yarn（一）

1、yarn产生和发展历史背景：数据、程序、运算资源三者组合在一起，才能完成数据的处理，单机不存在问题，但是分布式环境如何协调是一个问题。Hadoop早期用户使用Hadoop与众多主机上运行的桌面程序类似：在少了几个节点上建立一个集群、将数据载入HDFS、运行mapreduceHadoop演进阶段：Adhoc集群以单用户的方式建立，随着私人集群的使用实现了HDFS集群的共享，不同于HDFS，共享m
天码村·2023-07-31 07:05

黑马大数据学习笔记3-MapReduce配置和YARN部署以及基本命令

目录部署说明MapReduce配置文件YARN配置文件分发配置文件集群启动命令开始启动YARN集群查看YARN的WEBUI页面保存快照YARN集群的启停命令一键启动脚本单进程启停提交MapReduce任务到YARN执行提交wordcount示例程序查看运行日志提交求圆周率示例程序p41~43https://www.bilibili.com/video/BV1WY4y197g7/?p=41部署说明H
蓝净云·2023-07-31 07:04

【Python黑科技】用Python 脚本帮你找出微信上删除你好友的人，还不快去试试？

新手步骤Mac上步骤：1.打开Terminal输入：python+空格，然后拖动刚才下载的wdf.py到Te
Python_学长·2023-07-31 06:02

大数据研究报告：Spark最受欢迎，机器学习库MLib采用率持续上涨

大数据学习QQ群：19942721
大数据05·2023-07-30 13:11

《黑马程序员2023新版黑马程序员大数据入门到实战教程，大数据开发必会的Hadoop、Hive，云平台实战项目》学习笔记总目录

学习视频：黑马程序员新版大数据学习时总结的学习笔记以及思维导图会在后续更新，请敬请期待。
放下华子我只抽RuiKe5·2023-07-30 11:47

详解大数据学习路线

随着国家定义了“新型基础设施建设”（新基建），新科技时代已经来临。如果说新基建的目标是构建起新时代科技中国的躯体的话，那么数据就是这个躯体中无处不在的血液，没有这个血液，所有的一切都将没有正常运行的能量来源。“数据”早已有之，但长久以来，除了科技公司和大型企业外，人们对“数据”应用得并不充分。而随着数据渗透到当今几乎每一个行业和业务职能领域，渗透到几乎任何体量的社会组织中，并成为重要的生产因素，人
科技无忧·2023-07-30 06:04

8个好的科研类学习网站，附链接

1、PPV课PPV课-PPV课机构主页-神州培训网sz.szpxe.com国内领先的大数据学习社区，专注大数据培训，人人都是数据咖倡导者，提供SPSS、SAS、R语言、Hadoop/spark、Python
高质量工具·2023-07-30 05:21

大数据毕设 python+深度学习+opencv实现植物识别算法系统

文章目录0前言2相关技术2.1VGG-Net模型2.2VGG-Net在植物识别的优势(1)卷积核，池化核大小固定(2)特征提取更全面(3)网络训练误差收敛速度较快3VGG-Net的搭建3.1Tornado简介(1)优势(2)关键代码4InceptionV3神经网络4.1网络结构5开始训练5.1数据集5.2关键代码5.3模型预测6效果展示6.1主页面展示6.2图片预测6.3三维模型可视化0前言这两年
fawubio_A·2023-07-28 19:51

【基于MapReduce实现用户基础数据统计】

CSDN话题挑战赛第2期参赛话题：大数据学习成长记录文章目录使用MapReduce实现用户基础数据统计基础数据业务分析点业务开发流程在Hive中创建hive表基于Java开发MR配置pom.xml文件开发
pblh123·2023-07-28 03:07

大数据学习之路-Hive

Hive1.Hive基本概念1.1什么是Hive1.2Hive的优缺点1.2.1优点1.2.2缺点1.3Hive架构原理1.4Hive和数据库比较1.4.1查询语言1.4.2数据更新1.4.3执行延迟1.4.4数据规模2.Hive安装2.1Hive安装地址2.2MySql安装2.3Hive安装部署2.4Hive元数据配置到MySql2.4.1拷贝驱动2.4.2配置Metastore到MySql2.
Conviction of Star·2023-07-27 23:01

被大厂抢着要，最终拿到20k的高薪offer

咨询黑马程序员老师后，周同学了解到当下大数据领域发展前景广，就业薪资高，便决定选择这一个具有前景的赛道，来黑马程序员学习Python+大数据开发学
骨灰级收藏家·2023-07-25 20:26

从安卓主管转型大数据开发，我经历了什么？

当然，我也不会让他们白忙活，我支付赞赏2的稿费(50起步)，所以欢迎大家多多赞赏~*人物介绍许则则(化名)，一位五年安卓经验的开发主管，从去年就在我大数据学习群里，看着我和其他群友慢慢转型大数据，所以于
程序员峰哥·2023-07-25 16:10

大数据学习04-Hbase分布式集群部署

系统环境：centos7软件版本：jdk1.8、zookeeper3.4.8、hadoop2.8.5一、下载HBASE官网cd/home/toolswgethttps://archive.apache.org/dist/hbase/2.2.4/hbase-2.2.4-bin.tar.gz二、解压tar-zxvfhbase-2.2.4-bin.tar.gz-C/home/local/移动目录mvhb
小火柴012·2023-07-25 10:59

大数据学习路线

文章目录一，Hadoop二，MapReduce三，HDFS四，Hive一，Hadoop二，MapReduce三，HDFS四，HiveHive学习
Jucway·2023-07-25 09:47

python+基本3D显示

想要将双目照片合成立体图实现三维重建，完全没有头绪。但是对三维理解是必须的。所以将以前在单片机上运行的3D画图程序移植到python上。效果如下：没有用numpy、openGL等，只用了纯math库，这样移植起来很快，只需要将原来的C代码简单修改就可以了，但代价是效率很低，后面加上图片旋转后更为明显，速度急剧下降，功耗急剧上升，台式机带起来速度都不怎么样，更别说运行在JetsonTx2开发板上了。
weixin_30852419·2023-07-25 05:50

2021-10-18大数据学习日志——数据埋点+网络爬虫——多任务和网络

课程介绍：数据埋点本质上就是进行数据采集。相对于爬虫的数据采集形式，数据埋点是对自身业务数据进行采集。要进行数据埋点就要了解我们的业务程序的开发流程，知道整个数据的传递过程，这样能更加明确数据分析的业务需求，有利于数据埋点的准确性。在这一阶段前半部部分，学习部分前端：HTML、CSS、JS、Jquery知识，后端：多任务、网络编程及Python高级语法。通过对前端和后端开发业务的了解，方便在数据埋
成长的小狮子·2023-07-25 04:46

基于Python+多层RNN+Tensorflow藏头诗与歌词智能生成-深度学习算法应用（含全部工程源码）+训练数据集

目录前言总体设计系统整体结构图系统流程图运行环境Python环境Tensorflow环境PyCharm环境模块实现古诗生成1.数据预处理2.模型构建3.模型训练及保存4.使用模型生成古诗5.产生藏头诗6.用词云展示生成的古诗歌词生成1.数据预处理2.模型构建3.模型训练并保存4.生成歌词系统测试1.生成古诗和藏头诗2.生成歌词工程源代码下载其它资料下载前言本项目以循环神经网络为基础，构建了多层RN
小胡说人工智能·2023-07-24 20:04

大数据学习05-Kafka分布式集群部署

系统环境：centos7软件版本：jdk1.8、zookeeper3.4.8、hadoop2.8.5本次实验使用版本kafka_2.12-3.0.0一、安装Kafka官网将安装包上传至linux服务器上解压tar-zxvfkafka_2.12-3.0.0.tgz-C/home/local/移动目录至kafkamvkafka_2.12-3.0.0/kafka二、部署配置Kafka环境vi/etc/p
小火柴012·2023-07-24 15:11

计算机小白大数据学习线路图

人们常说毕业三五年后就可以看出一个人的未来。工作三五年后有人月收入过万，开始在老家买房;有人零存款，继续每天租房的生活。不是后者不拼搏，只是入错了行而已。现在有一个行业“薪”机炸裂，可以迅速帮你“脱贫”，你会抓住这个机会吗?没错，我们说的就是大数据行业。首先，来看看大数据有多火吧。近几年，大数据不仅被纳入谷歌、阿里巴巴等互联网公司的战略规划中，同时也在我国和其他国家的政府报告中多次被提及，大数据无
千锋大数据·2023-07-19 10:54

大数据学习03-Hive分布式集群部部署

系统环境：centos7软件版本：jdk1.8、zookeeper3.4.8、hadoop2.8.5、hive1.1.0一、下载安装下载hive安装包，上传到linux服务器上，解压安装包tar-zxvfapache-hive-1.1.0-bin.tar.gz-C/home/local/重命名文件mvapache-hive-1.1.0-bin/hive二、Hive部署配置Hive环境vi/etc/
小火柴012·2023-07-19 10:03

大数据学习-外部表&内部表详解

外部表和内部表区别和实际运用：前提知识储备：1、hive存储的数据在hdfs上，建表的时候实际上是在hdfs上创建目录而已。2、hive的元数据信息实际上是存在于mysql中（通常的做法）3、访问hive的数据是先访问元数据再根据元数据的地址信息来获取数据外部表和内部表在建表上的区别就是external（代表的外部表），外部表存储的方式是固定的hdfs路径，表是通过映射的方式访问（load数据到表
ZhuangYQ丶·2023-07-18 22:06
上一页 5 6 7 8 9 10 11 12 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他