python+大数据学习

大数据学习之Redis，十大数据类型的具体应用（二）

目录3.5Redis集合（Set）单值多value，且无重复sadd/smembers/sismember/srem/scardsrandmember/spopsmove集合运算应用场景3.6Redis有序集合Zset（sortedset）有序有重复zadd/zrange/zrevrangezrangebyscorezscore/zcard/zremzincrby/zcount/zmpopzran
十二点的泡面·2024-01-31 11:31

Python+大数据-hadoop(四)-Hadoop MapReduce、YARN、HA

Python+大数据-hadoop(四)-HadoopMapReduce、YARN、HA今日课程学习目标理解分布式计算分而治之的思想学会提交MapReduce程序掌握MapReduce执行流程掌握YARN
呆猛的呆呆小哥·2024-01-31 06:16

从术语到Spark，10篇必读大数据学习资源

本文给想进入大数据领域的朋友提供了一系列的资源，由浅入深，比如“需要了解的51条大数据术语”、“学习python的四个理由”、“十一个必须要参加的大数据会议”等有趣的话题。相信各种背景的朋友都会在这篇文章中有所收获。之前，我们已就数据可视化进行了深入探讨。这次，我们将从更基本的概念讲起，以便在涉足更复杂的数据科学和商业智能之前能够真正理解大数据。文中会引领大家阅读介绍大数据的相关文章，研究网络上流
大数据的时代·2024-01-30 20:34

大数据学习之Redis、从零基础到入门（三）

目录三、redis10大数据类型1.哪十个？1.1redis字符串（String）1.2redis列表（List）1.3redis哈希表（Hash）1.4redis集合（Set）1.5redis有序集合（ZSet）1.6redis地理空间（GEO）1.7redis基数统计（HyperLongLog）1.8redis位图（bitmap）编辑1.9redis位域（bitfiled）1.10redis流
十二点的泡面·2024-01-30 10:26

文本分类识别系统Python+卷积神经网络算法+TensorFlow+Django网页界面

一、介绍文本分类系统，使用Python作为主要开发语言，通过选取的中文文本数据集（“体育类”,“财经类”,“房产类”,“家居类”,“教育类”,“科技类”,“时尚类”,“时政类”,“游戏类”,“娱乐类”），基于TensorFlow搭建CNN卷积神经网络算法模型，并进行多轮迭代训练最后得到一个识别精度较高的模型文件。然后使用Django框架开发网页端可视化界面平台。实现用户输入一段文本识别其所属的种类
　子午·2024-01-28 11:12

快速入门Playwright框架：从零到自动化测试的第一步

selenium是由相应的厂商提供相应的驱动，python+驱动执行相当自动化操作，缺点是如果你得浏览器驱动和你得浏览器版本不对应，你得selenium
acmakb·2024-01-27 14:44

4.28成功日记

Officematlabpythoncreoprps复习传感器光电章节阅读了《小狗钱钱2》，并发觉它不值得读下去，转读《穷富爸爸》期望：方法+路径+工具+专业（互为补充，缺一不可）算法（编程）+数据（python
谪仙狂客·2024-01-26 12:10

数据分析项目｜淘宝用户行为分析（Python+可视化）

一、认识数据了解数据的来源、字段等信息1.1数据来源及介绍本数据来源于阿里云天池，是其随机选择约100万用户在2017年11月25日至12月3日之间发生的行为记录，具有包括点击、购买、加购物车和收藏商品的行为。数据集的每一行表示一条用户行为，由用户ID、商品ID、商品类目ID、行为类型和时间戳组成，并以逗号分隔。1.2数据格式二、提出问题针对不同的数据提出问题，总结分析思路了解到所给数据集只有5个
程序员小猴紫·2024-01-26 01:53

大数据学习之Redis、从零基础到入门（一）

目录一、Redis入门概述1.是什么？官方解释：2.能干嘛？2.1主流功能与应用2.1.1分布式缓存2.1.2内存存储和持久化(RDB+AOF)2.1.3高可用架构搭建2.1.4缓存穿透、击穿、雪崩2.1.5分布式锁2.1.6队列2.2总体功能概括2.3优势3.去哪下？官网地址：英文：中文：中文文档：下载安装包：其他文档资料：Redis源码地址：Redis在线测试：Redis命令参考：4.怎么玩？
十二点的泡面·2024-01-25 16:09

大数据学习之Redis、从零基础到入门（二）

二、Redis安装配置1.VMWare本地虚拟机VMWare准备的为64位查看自己的VMWare是32位还是64位getconfLONG_BIT2.Redis的安装2.1系统选择选择Linux系统2.2Linux版安装2.2.1Linux环境安装Redis必须先具备gcc编译环境①什么是gccgcc是linux下的一个编译程序，是C程序的编译工具GCC(GNUCompilerCollection)
十二点的泡面·2024-01-25 16:38

大数据运维到底是什么 又需要做些什么

疫情期间，大数据的广泛应用发挥了巨大的作用，作为新兴的IT领域技术，大数据行业受到越来越多的人关注，于是想要入行的、转行的纷纷选择大数据学习，那么大数据运维到底是什么？又需要做些什么?
科技资讯快报·2024-01-25 05:38

大数据学习之路

一、为什么要学习大数据？在我第一份实习的时候，忘记在什么场景下我leader突然说了一句：「干Java不就是增删改查嘛」，而恰好那时候知乎都是「干了3年Java，还是只会增删改查，迷茫」等问题，我听完leader那句话就心里一颤。因为这句话，我又一次的陷入迷茫，我不清楚自己是不是应该继续的Java，所以那段时间我干过爬虫，也撸了一阵子的西瓜书和统计学什么的。在知乎上所有相关的问题和答案我都看了，也
金光闪闪耶·2024-01-24 00:57

大数据学习之Flink算子、了解（Source）源算子（基础篇二）

Source源算子（基础篇二）目录Source源算子（基础篇二）二、源算子（source）1.准备工作2.从集合中读取数据可以使用代码中的fromCollection()方法直接读取列表也可以使用代码中的fromElements()方法直接列出数据获取3.从文件中读取数据说明：4.从Socket读取数据（1）编写StreamWordCount（2）在Linux环境的主机bigdata1上，执行下列
十二点的泡面·2024-01-23 14:22

大数据学习之Flink算子、了解（Transformation）转换算子（基础篇三）

Transformation转换算子（基础篇三）目录Transformation转换算子（基础篇三）三、转换算子（Transformation）1.基本转换算子1.1映射（Map）1.2过滤（filter）1.3扁平映射（flatmap）1.4基本转换算子的例子2.聚合算子（Aggregation）2.1按键分区（keyBy）2.2简单聚合2.3归约聚合（reduce）3.用户自定义函数（UDF）
十二点的泡面·2024-01-23 14:22

大数据学习之Flink算子、了解DataStream API（基础篇一）

DataStreamAPI（基础篇）注：本文只涉及DataStream原因：随着大数据和流式计算需求的增长，处理实时数据流变得越来越重要。因此，DataStream由于其处理实时数据流的特性和能力，逐渐替代了DataSet成为了主流的数据处理方式。目录DataStreamAPI（基础篇）前摘：一、执行环境1.创建执行环境2.执行模式3.触发程序执行二、源算子（source）三、转换算子（Trans
十二点的泡面·2024-01-23 14:51

大数据学习之Flink、比较不同框架的容错机制

第一章、Flink的容错机制第二章、Flink核心组件和工作原理第三章、Flink的恢复策略第四章、Flink容错机制的注意事项第五章、Flink的容错机制与其他框架的容错机制相比较目录第五章、Flink的容错机制与其他框架的容错机制相比较Ⅰ、Flink的容错机制与其他框架的容错机制相比较相同点：1.容错机制的目的：2.持久化存储：不同点：1.适用场景：2.容错机制的细节：3.数据一致性：综上所述
十二点的泡面·2024-01-23 07:07

大数据学习之Flink、Flink容错机制的注意事项

第一章、Flink的容错机制第二章、Flink核心组件和工作原理第三章、Flink的恢复策略第四章、Flink容错机制的注意事项第五章、Flink的容错机制与其他框架的容错机制相比较目录第四章、Flink容错机制的注意事项Ⅰ、注意事项1.Checkpoint的稳定性：2.状态一致性：3.失败的Checkpoint或Savepoint处理：4.资源管理：5.版本控制：6.监控和日志分析：第四章、Fl
十二点的泡面·2024-01-23 07:06

大数据学习之Flink、搞懂Flink的恢复策略

第一章、Flink的容错机制第二章、Flink核心组件和工作原理第三章、Flink的恢复策略第四章、Flink容错机制的注意事项第五章、Flink的容错机制与其他框架的容错机制相比较目录第三章、Flink的恢复策略Ⅰ、恢复策略1.Checkpoint：2.Savepoint：3.重启策略：4.状态后端：第三章、Flink的恢复策略Ⅰ、恢复策略了解如何从故障中恢复数据流。根据Checkpoint和S
十二点的泡面·2024-01-23 07:36

大数据学习之 Flink

目录一：简介二：为什么选择Flink三：哪些行业需要四：Flink的特点五：与sparkStreaming的区别六：初步开发七：Flink配置说明八：环境九：运行组件一：简介Flink是一个框架和分布式得计算引擎，对于无界和有界数据流进行状态计算二：为什么选择Flink流数据更真实地反应了我们得生活方式传统得数据架构是基于有限数据集的低延迟，高吞吐，结果的准确性和良好的容错性三：哪些行业需要电商和
会编程的海贼王·2024-01-22 19:58

大数据学习之Flink，Flink部署

Flink部署一、了解它的关键组件客户端（Client）作业管理器（JobManager）任务管理器（TaskManager）我们的代码，实际上是由客户端获取并做转换，之后提交给JobManger的。所以JobManager就是Flink集群里的“领导者”，对作业进行中央调度管理；而它获取到要执行的作业后，会进一步处理转换，然后分发任务给众多的TaskManager。这里的TaskManager，
十二点的泡面·2024-01-22 19:55

大数据学习之Flink，10分钟教你快速上手Flink

Java8和Scala2.12集成开发环境（IDE）使用IntelliJIDEA安装的插件——Maven、Git和ScalaMaven用来管理项目依赖；补：详细的Maven介绍在我的另一篇CSDN文章大数据学习之
十二点的泡面·2024-01-22 19:24

大数据学习之Flink，了解Flink的多种部署模式

目录一、部署模式1.部署模式分类：1.1会话模式（SessionMode）：优点：缺点：1.2单作业模式（Per-JobMode）：优点：缺点：1.3应用模式（ApplicationMode）：2.独立部署：2.1概念：2.2部署在会话模式下：2.3部署在单作业模式下：【Pass】2.4部署在应用模式下：2.5部署在高可用模式下：3.YARN部署：3.1概念：3.2部署在会话模式下：3.3部署在单
十二点的泡面·2024-01-22 19:24

大数据学习之Flink、快速搞懂Flink的容错机制！！！

第一章、Flink的容错机制第二章、Flink核心组件和工作原理第三章、Flink的恢复策略第四章、Flink容错机制的注意事项第五章、Flink的容错机制与其他框架的容错机制相比较目录第一章、Flink的容错机制Ⅰ、Flink的容错机制1.概念：Ⅱ、状态的一致性：1.一致性级别：2.端到端的状态一致性Ⅲ、Flink容错机制的配置参数1.checkpoint.interval：2.checkpoi
十二点的泡面·2024-01-22 19:54

大数据学习之Flink、10分钟了解Flink的核心组件以及它们的工作原理

第一章、Flink的容错机制第二章、Flink核心组件和工作原理第三章、Flink的恢复策略第四章、Flink容错机制的注意事项第五章、Flink的容错机制与其他框架的容错机制相比较目录第二章、Flink核心组件和工作原理Ⅰ、核心组件1.Checkpoint组件：2.Savepoint组件：3.Barrier组件4.StateBackend组件5.RecoveryStrategy组件6.‌Fail
十二点的泡面·2024-01-22 19:54

大数据学习之Flink，10分钟带你初步了解Flink

目录前摘一、认识Flink的Logo编辑二、了解Flink的起源三、了解Flink的发展四、明白Flink的定位五、Flink主要的应用场景六、流式数据处理的发展和演变1.流处理和批处理2.传统事务处理2.1传统事务处理架构编辑3.有状态的流处理4.Lambda架构5.新一代流处理器七、Flink的特性总结1.Flink的核心特性2.分层API八、FlinkVSSpark1.二者区别1.1数据处理
十二点的泡面·2024-01-22 19:23

小甲鱼python源码_【分享】小甲鱼零基础入门学习Python+全套源码课件 96讲Python视频教程 | 洋葱兄弟...

下载地链接：https://pan.baidu.com/s/17W8-NlGrjF_MisMUovMFXA提取码：0926链接失效或需要解压密码亲联系站长—————————-课程目录—————————-第000讲愉快的开始(视频+课件)第001讲我和Python的第一次亲密接触(视频+课件)第002讲用Python设计第一个游戏(视频+课件+源代码)第003讲小插曲之变量和字符串(视频+课件)第0
独爱小珂yt·2024-01-22 17:03

爬虫（学习笔记）

python爬虫一、Python基础回顾变量类型其他操作面向对象编程二、爬虫流程HTTP协议HTML爬虫demo01爬虫demo02学习资料Python+爬虫爬虫实战案例AI学堂爬虫教学一、Python
饥饿的半导体·2024-01-20 21:14

在CSDN上找专栏高手

AI（人工智能）+BlockChain（区块链）+Cloud（云）+Data（大数据）游戏云原生阅读量过百万过200篇博文监控DevOps自动化运维低代码平台大数据阅读量近千万自动化python确定了python
fo安方·2024-01-19 21:23

【大数据项目学习】第十章：HBase分布式集群部署与设计

第十章：HBase分布式集群部署与设计一个初学者的大数据学习过程文章目录第十章：HBase分布式集群部署与设计1.HBase安装前须知1.1必备条件1.1.1硬件1.1.2软件1.2运行模式2.HBase
学不会K8S不改ID·2024-01-19 00:23

从术语到Spark，10篇必读大数据学习资源

大数据文摘作品编译：王一丁、王梦泽、夏雅薇本文给想进入大数据领域的朋友提供了一系列的资源，由浅入深，比如“需要了解的51条大数据术语”、“学习python的四个理由”、“十一个必须要参加的大数据会议”等有趣的话题。相信各种背景的朋友都会在这篇文章中有所收获。之前，我们已就数据可视化进行了深入探讨。这次，我们将从更基本的概念讲起，以便在涉足更复杂的数据科学和商业智能之前能够真正理解大数据。文中会引领
金光闪闪耶·2024-01-18 13:45

大数据学习计划【2019经典不断更新】

我为什么要学习大数据：因为我不喜欢现在国企的工作氛围，不看好这个行业，另外我通过多方渠道了解到，其中包括李笑来、凯文凯利、和各种新闻及文章，现在我们正处于大数据时代，我是一个不安于现状、喜欢探索顺应时代发展趋势学习新东西的人，希望通过努力来改变自己生活状态渴望成功的人，我喜欢与朝气蓬勃奋发向上的人一起活在未来。很多初学者，对大数据的概念都是模糊不清的，大数据是什么，能做什么，学的时候，该按照什么线
铁拳虎·2024-01-18 09:41

作为刚入职的小白，怎么才能学好大数据 ？

大数据学习方向一、大数据运维之Linux基础打好Linux基础，以便更好地学习Hadoop，hbase,NoSQL，Spark，Storm，docker,openstack等。
铁拳虎·2024-01-18 09:40

基于深度学习的智能PCB板缺陷检测系统（Python+清新界面+数据集）

摘要：智能PCB板缺陷检测系统用于智能检测工业印刷电路板（PCB）常见缺陷，自动化标注、记录和保存缺陷位置和类型，以辅助电路板的质检。本文详细介绍智能PCB板缺陷检测系统，在介绍算法原理的同时，给出Python的实现代码以及PyQt的UI界面和训练数据集。在界面中可以选择各种图片、视频进行检测识别；可对图像中存在的多种缺陷进行识别分类，检测速度快、识别精度高。博文提供了完整的Python代码和使用
系统免驱动·2024-01-18 07:08

大数据学习二：linux常用命令一

1、文件相关命令cd~回到家目录cd-回到上次的目录tail-F文件被删除或重命名也能被追踪到（AIX里没有）mv-p./a.txt/tmp/tmp0/移动文件或文件夹位置cp./a.txt/tmp/tmp0/a.txt复制文件或文件夹du-sH查看大小ls-a展示文件开头为.的隐藏文件ls-lrt文件按日期排序ls-Sl文件按从大到小排序ls-Slr文件按从小到大排序找出最大的前5个文件du-a
RacyFu·2024-01-16 20:25

大数据学习入门到实战教程，精心整理万字长文入门，老奶奶看了都说学会了

什么是大数据基本概念在互联网技术发展到现今阶段，大量日常、工作等事务产生的数据都已经信息化，人类产生的数据量相比以前有了爆炸式的增长，以前的传统的数据处理技术已经无法胜任，需求催生技术，一套用来处理海量数据的软件工具应运而生，这就是大数据！换个角度说，大数据是：1、有海量的数据2、有对海量数据进行挖掘的需求3、有对海量数据进行挖掘的软件工具（hadoop、spark、storm、flink、tez
悦悦学Python·2024-01-16 18:10

2022-01-03大数据学习日志——Hadoop离线阶段——Hadoop MapReduce、YARN、HA

学习目标理解分布式计算分而治之的思想学会提交MapReduce程序掌握MapReduce执行流程掌握YARN功能与架构组件掌握程序提交YARN交互流程理解YARN调度策略掌握HadoopHA实现原理内容大纲#1、初识MapReduceMapReduce背后的思想先分再合，分而治之MapReduce设计构思官方MapReduce示例MapReducePython接口#2、MapReduce基本原理整
王络不稳定·2024-01-15 14:37

大数据实时抓取软件：Maxwell学习网站的高效框架！

对于大数据学习框架，整个体系的掌握需要投入相
知识分享小能手·2024-01-14 01:32

2022-02-01大数据学习日志——Hadoop离线阶段——数据仓库、Apache Hive

学习目标理解数仓概念、起源由来理解数仓(OLAP)与数据库(OLTP)区别掌握数仓分层架构思想掌握ApacheHive功能与架构组件理解ApacheHive远程模式部署安装内容大纲#数据仓库基础核心知识1、数据仓库是什么为何而来？为了分析数据而来数据分析的平台2、数据仓库的特性3、数据仓库和数据库的区别OLTP系统OLAP系统注意：这里要解决一个核心的误区：数仓绝不是大型数据库。这么理解就凉凉4、
王络不稳定·2024-01-13 09:28

Python+微信一键连接！

作者|阿文责编|伍杏玲有时候需要远程家里的台式机使用，因为我平时都是用MAC多，但是远程唤醒只能针对局域网，比较麻烦，于是我想用微信实现远程唤醒机器。准备工作本程序主要是实现远程管理Windows10操作系统的开机和关机：在Windows机器的相同内网中放一个Linux主机，我这里用树莓派代替，如果你是用OpenWrt之类的路由器也可以。Linux主机需要能够远程访问，我这里是有FRP将树莓派的端
Python大本营·2024-01-12 11:21

(十八)大数据学习之HA

HA专题一.保证服务器时间相同date-s2019-04-21把所有机器时间设置成00:00:00二.HadoopHA1.HDFSHA/usr/local/hadoop-2.8.4/etc/hadoop下是所有hadoop配置文件-------core-site.xml------------------------fs.defaultFShdfs://myclusterha.zookeeper.
Movle·2024-01-11 08:43

大数据学习记录hadoop(2)

四、hadoop之HDFS4.1HDFS的定义HDFS定义：分布式文件系统HDFS使用场景：一次写入，多次读写4.2HDFS的优缺点优点：1）高容错性（1）数据自动保存多个副本（2）某个副本丢失后，可以自动恢复2）适合处理大数据（1）数据规模：能够处理GB、TB甚至PB级别的数据（2）文件规模：能够处理百万规模以上的文件数量3）可构建在廉价机上，通过多副本机制，提高可靠性缺点：1）不适合低延时数据
不吃海带吃海苔·2024-01-10 16:15

Java大数据学习~Hadoop初识三Yarn模式

在上篇文章中我们简单的学习了HDFS简单架构，还有最重要的读写流程。我们都知道在如今的Hadoop中主要有三个重要的执行管理器。一个HDFS,一个MapReduce,还有就是我们今天要看的YARN。2.0以前的Hadoop在2.0以前的hadoop中是没有Yarn这个模式管理的。大部分都是独自作战。Hbase做自己的，Spark也是做自己的,等等。这样的话就会造成资源的浪费，不能充分的把资源给利用
胖琪的升级之路·2024-01-10 05:55

大数据技术原理与应用笔记

参考：课程教学（林子雨老师）程序羊大数据学习路线HDFS入门Hbase入门NoSql入门文章目录一、大数据概述1.1大数据时代1.2大数据的概念和影响1.3大数据的应用1.4大数据的关键技术1.5大数据
Moliay·2024-01-09 22:16

大数据学习6-Sqoop安装与使用

sqoop搭建还是挺简单的,前提是hadoop与hive搭建完成上传解压首先下载sqoop,sqoop的版本是1.4.7,sqoop-1.4.7.bin__hadoop-2.6.0.tar.gz,提取码:jpzn上传到master主机上(随便哪台都可以)[root@master~]#tar-zxvfsqoop-1.4.7.bin__hadoop-2.6.0.tar.gz解压[root@master
asXt·2024-01-09 15:57

鱼类识别Python+深度学习人工智能+TensorFlow+卷积神经网络算法

一、介绍鱼类识别系统。使用Python作为主要编程语言开发，通过收集常见的30种鱼类（‘墨鱼’,‘多宝鱼’,‘带鱼’,‘石斑鱼’,‘秋刀鱼’,‘章鱼’,‘红鱼’,‘罗非鱼’,‘胖头鱼’,‘草鱼’,‘银鱼’,‘青鱼’,‘马头鱼’,‘鱿鱼’,‘鲇鱼’,‘鲈鱼’,‘鲍鱼’,‘鲑鱼’,‘鲢鱼’,‘鲤鱼’,‘鲫鱼’,‘鲳鱼’,‘鲷鱼’,‘鲽鱼’,‘鳊鱼’,‘鳗鱼’,‘黄鱼’,‘黄鳝’,‘黑鱼’,‘龙头鱼’）
　子午·2024-01-07 21:33

大数据全套学习资料 大数据学习视频 大数据电子书 大数据

大数据全套学习资料大数据学习视频大数据电子书大数据据统计，大数据人才缺口预测已超150万，行业产值2020年预测超万亿，大数据人才分布不均匀，导致制造业等产业转型升级缺乏人才，预测缺口达230万人。
刘好看静静·2024-01-07 18:57

大数据学习(31)-Spark非常用及重要特性

&&大数据学习&&系列专栏：哲学语录:承认自己的无知，乃是开启智慧的大门如果觉得博主的文章还不错的话，请点赞+收藏⭐️+留言支持一下博主哦spark中引入过很多不常用的特性。但是非常重要的特性。
viperrrrrrr·2024-01-07 07:44

Python + 大数据-Python 学习(一)

Python+大数据-Python学习(一)1.Python概述Python是一种跨平台的计算机程序设计语⾔。是一个高层次的结合了解释性、编译性、互动性和面向对象的语⾔。
呆猛的呆呆小哥·2024-01-06 21:40

大数据学习方向

一、大数据运维之Linux基础打好Linux基础，以便更好地学习Hadoop，hbase,NoSQL，Spark，Storm，docker,openstack等。因为企业中的项目基本上都是使用Linux环境下搭建或部署的。1）Linux系统概述2）系统安装及相关配置3）Linux网络基础4）OpenSSH实现网络安全连接5）vi文本编辑器6）用户和用户组管理7）磁盘管理8）Linux文件和目录管理
乐姐·2024-01-05 08:18

vscode怎样运行python_用VScode写Python怎么运行？

——>ctrl+~(数字1左边的那个键)——>再次按就是关闭命令行输入命令python+空格+文件名即可运行。注意：文件右键，选择在终
St.Helena·2024-01-03 07:12
上一页 1 2 3 4 5 6 7 8 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他