python+大数据学习

大数据学习之Spark性能优化

文章目录Spark三种任务提交模式宽依赖和窄依赖StageSparkJob的三种提交模式Shuffle机制分析未优化的HashBasedShuffle优化后的HashBasedShuffleSort-BasedShuffleSpark之checkpointcheckpoint概述checkpoint与持久化的区别checkPoint的使用checkpoint源码分析Spark程序性能优化性能优化分
小崔的技术博客·2023-11-08 05:02

大数据毕设项目 python+大数据校园卡数据分析

文章目录0前言1课题介绍2数据预处理2.1数据清洗2.2数据规约3模型建立和分析3.1不同专业、性别的学生与消费能力的关系3.2消费时间的特征分析4Web系统效果展示0前言这两年开始毕业设计和毕业答辩的要求和难度不断提升，传统的毕设题目缺少创新和亮点，往往达不到毕业答辩的要求，这两年不断有学弟学妹告诉学长自己做的项目系统达不到老师的要求。为了大家能够顺利以及最少的精力通过毕设，学长分享优质毕业设计
m0_76217654·2023-11-07 13:54

计算机毕设 python+大数据校园卡数据分析

文章目录0前言1课题介绍2数据预处理2.1数据清洗2.2数据规约3模型建立和分析3.1不同专业、性别的学生与消费能力的关系3.2消费时间的特征分析4Web系统效果展示0前言这两年开始毕业设计和毕业答辩的要求和难度不断提升，传统的毕设题目缺少创新和亮点，往往达不到毕业答辩的要求，这两年不断有学弟学妹告诉学长自己做的项目系统达不到老师的要求。为了大家能够顺利以及最少的精力通过毕设，学长分享优质毕业设计
kooerr·2023-11-07 13:53

大数据毕设 python+大数据校园卡数据分析

文章目录0前言1课题介绍2数据预处理2.1数据清洗2.2数据规约3模型建立和分析3.1不同专业、性别的学生与消费能力的关系3.2消费时间的特征分析4Web系统效果展示0前言这两年开始毕业设计和毕业答辩的要求和难度不断提升，传统的毕设题目缺少创新和亮点，往往达不到毕业答辩的要求，这两年不断有学弟学妹告诉学长自己做的项目系统达不到老师的要求。为了大家能够顺利以及最少的精力通过毕设，学长分享优质毕业设计
fawubio_A·2023-11-07 13:22

【基础篇】大数据学习笔记（4）相关名词解释

RAID：RedundantArraysofIndependentDrives独立冗余磁盘阵列，独立磁盘构成的具有冗余功能的阵列。GFS：GoogleFileSystemGoogle文件系统HDFS：HadoopDsitributedFileSystemHadoop分布式文件系统Zookeeper：分布式应用程序协调服务，是Hadoop和Hbase的重要组件Hadoop：Apache基金会所开发的
风也醉·2023-11-06 02:54

大数据学习方法：高效学习大数据采集、分析与存储！

大数据学习方法：高效学习大数据采集、分析与存储！随着信息时代的到来，大数据已经成为了各个领域中不可或缺的重要资源。对于想要深入学习大数据采集、分析与存储的人来说，掌握有效的学习方法至关重要。
数据科学智慧·2023-11-06 00:07

Python+图解：实现数据结构中单链表的头插法和尾插法

用Python实现数据结构的头插法和尾插法1.链表结构#-*-coding:utf-8-*-importrandomasrdclassNode():def__init__(self,value,next=None):self.value=valueself.next=next2.头插法#头插法defcreatlist_head(n):L=Node(0)#首先申请一个头结点link_list=[]#
猫爱吃鱼the·2023-11-05 10:21

python+企业微信机器人把数据库数据发送到群的方法我悟了

经常有很多的自动化任务，还有用户反馈什么的如果数据入库，想要查看一天的新增数量自动发送到群里，可以用python写一点代码让企业微信机器人从数据库拿到数据后拼接成通知格式发送到群。以下是小菜鸟的简单方法，适用于运营和测试~对了这里使用的python环境是python3.91.第一步先新建机器人，企业微信机器人在群里添加就好了，主要目的是拿到webhook，阅读下使用说明，了解文本格式，这里选用的是
这辈子的error都记在这里·2023-11-02 17:27

入行大数据，需要学习哪些基础知识？

1、学习大数据首先要学习Java基础怎样进行大数据学习的快速入门?学大数据课程之前要先学习一种计算机编程语言。Java是大数据学习需要的编程语言基础，因为大数据的开发基于常用的高级语言。
人工智能爱好者·2023-11-02 15:48

大数据(21)-skew-GroupBy

&&大数据学习&&系列专栏：哲学语录:承认自己的无知，乃是开启智慧的大门如果觉得博主的文章还不错的话，请点赞+收藏⭐️+留言支持一下博主哦Skew-GroupBy优化是一种针对大数据处理的优化技术，它通过将数据分散到不同的
viperrrrrrr·2023-11-02 07:14

基于”Python+”多技术融合在蒸散发与植被总初级生产力估算中的实践应用

查看原文>>>基于”Python+”多技术融合在蒸散发与植被总初级生产力估算中的实践应用熟悉蒸散发ET及其组分（植被蒸腾Ec、土壤蒸发Es、冠层截留Ei）、植被总初级生产力GPP的概念和碳水耦合的基本原理
吹翻书页的风·2023-10-31 18:46

大数据学习——Java项目实战-吃货联盟订餐系统

吃货联盟订餐系统项目需求项目环境准备项目覆盖技能点阶段划分难点分析使用数组对象保存订单信息访问订单信息删除订单信息计算订单的总金额项目实现思路数据初始化实现菜单切换实现查看餐袋实现我要订餐实现签收订单实现删除订单实现我要点赞代码展示项目需求现今已进入网络时代，人们的日常生活已离不开网络，如网上购物、看新闻、交友等。“只要点点手指，就能送餐上门”，网上订餐越来越受到都是年轻人的青睐。先要求开发一个网
蜂蜜柚子加苦茶·2023-10-30 10:57

Python+审计实务与案例分析库 毕业设计-附源码211526

Python审计实务与案例分析库摘要21世纪的今天，随着社会的不断发展与进步，人们对于信息科学化的认识，已由低层次向高层次发展，由原来的感性认识向理性认识提高，管理工作的重要性已逐渐被人们所认识，科学化的管理，使信息存储达到准确、快速、完善，并能提高工作管理效率，促进其发展。论文主要是对审计实务与案例分析库进行了介绍，包括研究意义，还有涉及的开发背景，然后还对系统的设计目标进行了论述，还有系统的需
BYSJ1987·2023-10-30 08:50

大数据学习(18)-任务并行度优化

&&大数据学习&&系列专栏：哲学语录:承认自己的无知，乃是开启智慧的大门如果觉得博主的文章还不错的话，请点赞+收藏⭐️+留言支持一下博主哦对于一个分布式的计算任务而言，设置一个合适的并行度十分重要。
viperrrrrrr·2023-10-30 06:52

下拉框的选择 python+非select

非select标签的下拉框步骤：1）点击展开下拉框2）选择下拉框选项3）在某个空白处点击一下下拉框列表合起来操作非select下拉框选择某个选项1、需要首先定位下拉框这个元素并点击展开WebDriverWait(driver,10,0.2).until(EC.presence_of_element_located((By.CSS_SELECTOR,"select1"))).click()2、选择下
@chameleon·2023-10-29 07:50

Python+大数据-hadoop(五)--数据仓库、Apache 01

Python+大数据-hadoop(五)–数据仓库、Apache01今日课程学习目标理解数仓概念、起源由来理解数仓(OLAP)与数据库(OLTP)区别掌握数仓分层架构思想掌握ApacheHive功能与架构组件理解
呆猛的呆呆小哥·2023-10-28 21:56

python+百度OCR的使用方法（踩坑+测试程序）

目录一、注册百度智能云并在本地安装百度智能云模块二、提示Nomodulenamed'aip'问题三、提示Nomodulenamed'chardet'问题四、测试代码一、注册百度智能云并在本地安装百度智能云模块百度智能云网址，注册好账号后进入百度智能云，点击右上角的管理控制台。进入控制台后，按照下图方式，找到文字识别，点击进入。（若要使用其他api，自行选择即可）进入文字识别部分后，在左侧菜单选择“
归零归零~·2023-10-28 15:11

使用了百度OCR，记录一下

遇到的问题里面下列基本有提到：例如获取ID，KEY；例如安装库；参考帖子：python+百度OCR的使用方法（踩坑+测试程序）_nomodulenamed'aip-CSDN博客遇到的坑1，标准版的ocr
vzhb·2023-10-28 15:37

量分享| 你真的知道什么是“大数据”吗？

在这里相信有许多想要学习大数据的同学，大家可以+下大数据学习裙：
金豆数据工程师·2023-10-28 09:05

基于”Python+”多技术融合在蒸散发与植被总初级生产力估算中的实践应用

原文>>>基于”Python+”多技术融合在蒸散发与植被总初级生产力估算中的实践应用熟悉蒸散发ET及其组分（植被蒸腾Ec、土壤蒸发Es、冠层截留Ei）、植被总初级生产力GPP的概念和碳水耦合的基本原理；
年华往事·2023-10-28 04:12

利用Python与ArcGIS工具进行蒸散发ET、植被总初级生产力GPP估算

查看原文>>>基于”Python+”多技术融合在蒸散发与植被总初级生产力估算中的实践应用熟悉蒸散发ET及其组分（植被蒸腾Ec、土壤蒸发Es、冠层截留Ei）、植被总初级生产力GPP的概念和碳水耦合的基本原理
吹翻书页的风·2023-10-28 04:12

”Python+”多技术融合在蒸散发与植被总初级生产力估算中的实践应用

熟悉蒸散发ET及其组分（植被蒸腾Ec、土壤蒸发Es、冠层截留Ei）、植被总初级生产力GPP的概念和碳水耦合的基本原理；掌握利用Python与ArcGIS工具进行课程相关的操作；熟练掌握国际上流行的Penman-Monteith模型，并能够应用该模型在各种植被类型上进行冠层导度、蒸散发组分的计算；掌握单站和区域结果的可视化方法、制图方法等。点击查看原文https://mp.weixin.qq.com
梦想的初衷~·2023-10-28 04:35

Python+”多技术融合在蒸散发与植被总初级生产力估算

熟悉蒸散发ET及其组分（植被蒸腾Ec、土壤蒸发Es、冠层截留Ei）、植被总初级生产力GPP的概念和碳水耦合的基本原理；掌握利用Python与ArcGIS工具进行课程相关的操作；熟练掌握国际上流行的Penman-Monteith模型，并能够应用该模型在各种植被类型上进行冠层导度、蒸散发组分的计算；掌握单站和区域结果的可视化方法、制图方法等。【内容简介】：熟悉蒸散发ET及其组分（植被蒸腾Ec、土壤蒸发
_遇见jia·2023-10-28 04:04

大数据处理技术如何学习?

关键词：数据分析大数据学习群：716581014首先我们要学习Python语言和Linux操作系统，这两个是学习大数据的基础，学习的顺序不分前后。
大数据05·2023-10-26 18:35

大数据学习-Java Day11

大数据学习-JavaDay11String类的概述和使用1String类的概念（重点）java.lang.String类用于描述字符串，Java程序中所有的字符串字面值都可以使用该类的对象加以描述，如：
靈龗·2023-10-26 06:15

mysql命令（查看连接数，后续补充）

mysql最大错误连接数：2、查看mysql最大连接数：3、查看当前使用的连接数：4、MySqlHostisblockedbecauseofmanyconnectionerrors解决方法5、sql语句6、python
失伟·2023-10-25 16:13

2021-09-24——大数据学习日志——Python基础——容器类型（附练习题）

学习目标：能够说出常用Python容器类型的名字：列表、元组、字典、字符串、集合掌握容器类型的基本操作：定义和使用、增删改查、遍历等01_列表学习目标：知道定义列表的基本格式知道列表的常用操作：增删改查能够使用for循环实现对列表中所有元素的遍历1.1列表的定义list（列表）是Python中使用最频繁的数据类型专门用于存储一组数据，存储的每个数据称为元素列表用[]定义，元素之间使用,分隔列表的索
王络不稳定·2023-10-25 01:15

2021年 全网最细大数据学习笔记（二）：Hadoop 伪分布式安装

文章目录一、Linux操作系统的安装二、在Ubuntu20.04.2.0中进行Hadoop伪分布式安装1、Ubuntu20.04.2.0安装jdk2、配置SSH无密码登录3、Hadoop的下载与安装4、Hadoop环境配置5、启动与关闭Hadoop6、查看Hadoop的基本信息6.1、查看HDFSWeb界面6.2、查看YARNWeb界面三、在Centos7中进行Hadoop伪分布式安装一、Linu
Amo Xiang·2023-10-24 16:17

华为云hadoop伪分布式安装学习笔记（一）

所属专栏：【大数据学习笔记（华为云）】作  者：我是夜阑的狗个人简介：一个正在努力学技术的码仔，专注基础和实战分享，欢迎咨询！
我是夜阑的狗·2023-10-24 16:07

大数据学习04 Scala的学习

大数据学习04Scala的学习在Spark学习之前，先进行对Scala的学习提示：已经有Scala基础的同学可以先跳过这部分文章目录大数据学习04Scala的学习Scala是什么一、Scala入门1.为什么学习
燕大扎克伯格·2023-10-24 01:12

大数据学习-Hadoop

大数据学习-Hadoop1.大数据概念现状分析：实时计算原因分析：离线计算预测分析：机器学习（对未来趋势进行预测）2.分布式与集群分布式：多台机器，不同组件分布式存储，分布式集群，多台机器集群：多台机器
小七fighting·2023-10-24 01:30

在这里，你不会的大数据之Linux系统安装JDK都可以学到！

在这里我还是要推荐下我自己建的大数据学习交流群：53221814
大数据学习01·2023-10-23 10:16

视频教程-大数据硬实战之kafka视频教程-大数据

¥69.00立即订阅扫码下载「CSDN程序员学院APP」，1000+技术好课免费看APP订阅课程，领取优惠，最少立减5元↓↓↓订阅后：请点击此处观看视频课程视频教程-大数据硬实战之kafka视频教程-大数据学习有效期
学院导师-肖滨·2023-10-23 07:23

基于Python+协同过滤算法的小说推荐系统设计与实现

博主介绍：✌全网粉丝30W+,csdn特邀作者、博客专家、CSDN新星计划导师、Java领域优质创作者,博客之星、掘金/华为云/阿里云/InfoQ等平台优质作者、专注于Java技术领域和毕业项目实战✌文末获取源码联系精彩专栏推荐订阅不然下次找不到哟2022-2024年最全的计算机软件毕业设计选题大全：1000个热门选题推荐✅Java项目精品实战案例《100套》Java微信小程序项目实战《100套》
java李杨勇·2023-10-23 07:17

大数据学习(17)-mapreduce task详解

&&大数据学习&&系列专栏：哲学语录:承认自己的无知，乃是开启智慧的大门如果觉得博主的文章还不错的话，请点赞+收藏⭐️+留言支持一下博主哦MapReduceLocalTask和提交到YARN上运行的MapReduce
viperrrrrrr·2023-10-22 00:54

5种必知的大数据处理框架技术

在这里相信有许多想要学习大数据的同学，大家可以+下大数据学习裙：716加上【五8一】最后014，即可免费领取一整套系统的大数据学习教程本文将介绍大
大数据05·2023-10-21 16:05

史上最完整的大数据学习（四） Zookeeper 完结篇 （API操作， shell命令 ，ZooKeeperACL 以及 分布式应用）

Zookeeper的认识以及节点详情ZooKeeper的安装使用六、JavaAPI操作6.1原生API1）Maven依赖org.apache.zookeeperzookeeper3.4.6pom2）相关操作（1）获得客户端对象privateZooKeeperzooKeeper;@BeforepublicvoidgetCline()throwsException{zooKeeper=newZooKe
热忱 ㅤ ㅤ·2023-10-21 13:17

大数据学习15之spark streaming入门

文章目录一、概述二、应用场景三、集成Spark生态系统的使用四、发展史五、从词频统计功能着手入门1.spark-submit执行2.spark-shell执行（测试时使用）六、工作原理一、概述spark官网Documentation->LatestRelease->ProgrammingGuides->SparkStreamingSpark流是核心SparkAPI的扩展，可实现对实时数据流的可缩放
米泽玄師·2023-10-21 11:30

大数据学习hadoop3.1.3——Flume相关数据流监控Ganglia的安装与部署--测试

1、Ganglia的安装与部署1、集群里都需要安装gangliasudoyuminstall-yepel-release2、在101安装web,meta和monitorsudoyum-yinstallganglia-gmetadganglia-webganglia-gmond3、在102、103安装monitorsudoyum-yinstallganglia-gmondGanglia由gmond、
Carson_xcb·2023-10-21 07:40

大数据学习路线+Java转行大数据最新最全的必备第一手资料

系统每天关注上限100人1:为了防止关注人数上限，私信收不到，2:私信发网盘链接失效，)3:为了加人气，需要以下，Python，大数据,架构等资料的朋友！免费送给前100评论留言者。私信小编，小编微信，发给你网盘链接，手慢无！学习路线：（一）Linux理论（Linux基础Linux-shell编程高并发:lvs负载均衡高可用&反向代理）（二）Hadoop理论（hadoop-hdfs理论hadoop
大数据客栈i·2023-10-20 19:16

大数据学习笔记-MapReduce（二） 深度

深度了解MapReduce运行流程，通过案例全面了解MR运行过程、涉及的组件、设计的思想。对MapReducePartition、MapreduceCombiner、MapReduce编程技巧掌握，对自定义对象、序列化、排序、分区、分组的实现熟练掌握，掌握MapReduce并行度机制、工作流程和shuffle的机制。1、MapreducePartition、Combiner输出结果文件只有一个。默
天码村·2023-10-20 18:11

大数据学习(15)-数据倾斜

&&大数据学习&&系列专栏：哲学语录:承认自己的无知，乃是开启智慧的大门如果觉得博主的文章还不错的话，请点赞+收藏⭐️+留言支持一下博>主哦数据倾斜概述数据倾斜问题，通常是指参与计算的数据分布不均，即某个
viperrrrrrr·2023-10-20 18:10

大数据学习（五）Mapreduce详解

一、什么是mapreduce简单明了来讲，Mapreduce就是一个分布式运算程序的编程框架二、mapreduce组成MapReduce包含四个组成部分，分别为Client，JobTracker，TaskTracker，Task：1.Client：每一个Job都会在用户端通过Client类将应用程序以及参数配置Configuration打包成Jar文件存储在HDFS，并把路径提交到JobTrack
阿齐（努力打工版）·2023-10-20 18:40

大数据学习(13)-join优化详解

&&大数据学习&&系列专栏：哲学语录:承认自己的无知，乃是开启智慧的大门如果觉得博主的文章还不错的话，请点赞+收藏⭐️+留言支持一下博>主哦MapJoinMapJoin有两种触发方式，一种是用户在SQL
viperrrrrrr·2023-10-20 18:40

大数据学习(14)-Map Join和Common Join

&&大数据学习&&系列专栏：哲学语录:承认自己的无知，乃是开启智慧的大门如果觉得博主的文章还不错的话，请点赞+收藏⭐️+留言支持一下博>主哦什么是MapJoin和CommonJoin。
viperrrrrrr·2023-10-20 18:40

【大数据学习】hadoop-mapReduce阶段

mapperReduce阶段大概流程图MapReduce编程规范用户编写的程序分成三个部分：Mapper、Reducer和Driver。（代码上传到git）hadoop序列化java的序列化serializable是一个重量级的序列化框架，序列化后会附带很多额外的信息，不利于高效的网络传输。hadoop序列化Writable1紧凑2快速3可扩展4互操作编写bean时，实现Writable接口，重写
重生之我在异世界打工·2023-10-20 18:10

大数据学习——MapReduce

目录1MapReduce概述1.1MapReduce定义1.2MapReduce优缺点1.3MapReduce核心思想1.4WordCount1.4.1计算流程1.4.2环境准备创建maven工程，添加如下依赖配置log4j.properties1.4.3编写程序（1）Mapper类（2）Reducer类（3）Driver1.4.4测试本地测试集群测试2Hadoop序列化2.1自定义bean对象实
daybreak98·2023-10-20 18:39

大数据学习(16)-mapreduce详解

&&大数据学习&&系列专栏：哲学语录:承认自己的无知，乃是开启智慧的大门如果觉得博主的文章还不错的话，请点赞+收藏⭐️+留言支持一下博主哦在MapReduce中，Map阶段和Reduce阶段分别执行以下任务
viperrrrrrr·2023-10-20 18:00

02-初识大数据-我的大数据工程师成长之路：虚拟机环境搭建

首先声明由于学习过程是根据阿里云大学的大数据学习路线学习，所以本系列的文章也会引用来自该路线课程中的一些资料，如侵权请联系我删除，谢谢。
风华是一指流砂·2023-10-20 17:58

01-初识大数据-我的大数据工程师成长之路：Hadoop介绍

首先声明由于学习过程是根据阿里云大学的大数据学习路线学习，所以本系列的文章也会引用来自该路线课程中的一些资料，如侵权请联系我删除，谢谢。
风华是一指流砂·2023-10-20 17:28
上一页 1 2 3 4 5 6 7 8 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他