python+大数据学习

(十八)大数据学习之HA

HA专题一.保证服务器时间相同date-s2019-04-21把所有机器时间设置成00:00:00二.HadoopHA1.HDFSHA/usr/local/hadoop-2.8.4/etc/hadoop下是所有hadoop配置文件-------core-site.xml------------------------fs.defaultFShdfs://myclusterha.zookeeper.
Movle·2024-01-11 08:43

大数据学习记录hadoop(2)

四、hadoop之HDFS4.1HDFS的定义HDFS定义：分布式文件系统HDFS使用场景：一次写入，多次读写4.2HDFS的优缺点优点：1）高容错性（1）数据自动保存多个副本（2）某个副本丢失后，可以自动恢复2）适合处理大数据（1）数据规模：能够处理GB、TB甚至PB级别的数据（2）文件规模：能够处理百万规模以上的文件数量3）可构建在廉价机上，通过多副本机制，提高可靠性缺点：1）不适合低延时数据
不吃海带吃海苔·2024-01-10 16:15

Java大数据学习~Hadoop初识三Yarn模式

在上篇文章中我们简单的学习了HDFS简单架构，还有最重要的读写流程。我们都知道在如今的Hadoop中主要有三个重要的执行管理器。一个HDFS,一个MapReduce,还有就是我们今天要看的YARN。2.0以前的Hadoop在2.0以前的hadoop中是没有Yarn这个模式管理的。大部分都是独自作战。Hbase做自己的，Spark也是做自己的,等等。这样的话就会造成资源的浪费，不能充分的把资源给利用
胖琪的升级之路·2024-01-10 05:55

大数据技术原理与应用笔记

参考：课程教学（林子雨老师）程序羊大数据学习路线HDFS入门Hbase入门NoSql入门文章目录一、大数据概述1.1大数据时代1.2大数据的概念和影响1.3大数据的应用1.4大数据的关键技术1.5大数据
Moliay·2024-01-09 22:16

大数据学习6-Sqoop安装与使用

sqoop搭建还是挺简单的,前提是hadoop与hive搭建完成上传解压首先下载sqoop,sqoop的版本是1.4.7,sqoop-1.4.7.bin__hadoop-2.6.0.tar.gz,提取码:jpzn上传到master主机上(随便哪台都可以)[root@master~]#tar-zxvfsqoop-1.4.7.bin__hadoop-2.6.0.tar.gz解压[root@master
asXt·2024-01-09 15:57

鱼类识别Python+深度学习人工智能+TensorFlow+卷积神经网络算法

一、介绍鱼类识别系统。使用Python作为主要编程语言开发，通过收集常见的30种鱼类（‘墨鱼’,‘多宝鱼’,‘带鱼’,‘石斑鱼’,‘秋刀鱼’,‘章鱼’,‘红鱼’,‘罗非鱼’,‘胖头鱼’,‘草鱼’,‘银鱼’,‘青鱼’,‘马头鱼’,‘鱿鱼’,‘鲇鱼’,‘鲈鱼’,‘鲍鱼’,‘鲑鱼’,‘鲢鱼’,‘鲤鱼’,‘鲫鱼’,‘鲳鱼’,‘鲷鱼’,‘鲽鱼’,‘鳊鱼’,‘鳗鱼’,‘黄鱼’,‘黄鳝’,‘黑鱼’,‘龙头鱼’）
　子午·2024-01-07 21:33

大数据全套学习资料 大数据学习视频 大数据电子书 大数据

大数据全套学习资料大数据学习视频大数据电子书大数据据统计，大数据人才缺口预测已超150万，行业产值2020年预测超万亿，大数据人才分布不均匀，导致制造业等产业转型升级缺乏人才，预测缺口达230万人。
刘好看静静·2024-01-07 18:57

大数据学习(31)-Spark非常用及重要特性

&&大数据学习&&系列专栏：哲学语录:承认自己的无知，乃是开启智慧的大门如果觉得博主的文章还不错的话，请点赞+收藏⭐️+留言支持一下博主哦spark中引入过很多不常用的特性。但是非常重要的特性。
viperrrrrrr·2024-01-07 07:44

Python + 大数据-Python 学习(一)

Python+大数据-Python学习(一)1.Python概述Python是一种跨平台的计算机程序设计语⾔。是一个高层次的结合了解释性、编译性、互动性和面向对象的语⾔。
呆猛的呆呆小哥·2024-01-06 21:40

大数据学习方向

一、大数据运维之Linux基础打好Linux基础，以便更好地学习Hadoop，hbase,NoSQL，Spark，Storm，docker,openstack等。因为企业中的项目基本上都是使用Linux环境下搭建或部署的。1）Linux系统概述2）系统安装及相关配置3）Linux网络基础4）OpenSSH实现网络安全连接5）vi文本编辑器6）用户和用户组管理7）磁盘管理8）Linux文件和目录管理
乐姐·2024-01-05 08:18

vscode怎样运行python_用VScode写Python怎么运行？

——>ctrl+~(数字1左边的那个键)——>再次按就是关闭命令行输入命令python+空格+文件名即可运行。注意：文件右键，选择在终
St.Helena·2024-01-03 07:12

Docker（八）Python+旧版本chrome+selenium+oss2+fastapi镜像制作

目录一、背景二、能力三、核心流程图四、制作镜像1.资源清单2.Dockerfile3.制作镜像五、启动测试一、背景近几年我们线下的创业团队已从零到一开发过好几个小程序项目，都是和体育相关。其中生成海报分享图片好像都是不可或缺的功能。之前的项目老板给的时间都比较有限，这个功能都是在服务器上安装python3.7.0环境然后直接启动脚本。这样做的弊端是每次都的重新部署python+chrome+sel
懒惰虫儿·2024-01-03 06:18

大数据学习的内容有哪些？

今天科多大数据就和你们一起来分享一篇关于大数据学习内容体系介绍的文章。
Java程序员YY·2024-01-03 00:19

Tiamat携手火山引擎，让创作者的想象成为现实

根据前瞻产业研究院报告观点，AI不仅在写作、作曲、绘画等多个领域达到“类人”的表现，更展示出在大数据学习基础上的非凡创意潜能。
火山引擎边缘云·2024-01-02 17:02

大数据学习入门到实战教程，精心整理万字长文入门，老奶奶看了都说学会了

什么是大数据基本概念在互联网技术发展到现今阶段，大量日常、工作等事务产生的数据都已经信息化，人类产生的数据量相比以前有了爆炸式的增长，以前的传统的数据处理技术已经无法胜任，需求催生技术，一套用来处理海量数据的软件工具应运而生，这就是大数据！换个角度说，大数据是：1、有海量的数据2、有对海量数据进行挖掘的需求3、有对海量数据进行挖掘的软件工具（hadoop、spark、storm、flink、tez
悦悦学Python·2024-01-02 08:59

【Python+腾讯地图API】批量获取国内某地经纬度信息（详细步骤）

目录1、背景2、步骤（1）准备（2）代码（3）结果3、分析4、修改（1）修改表格（2）修改代码（3）结果4、总结1、背景我需要批量获取某些地点的经纬度信息，用于绘制相应的地理分布图。一个一个在搜索引擎上查找很麻烦的，于是就希望能够利用Python程序和腾讯地图API批量操作。方便快捷，而且一劳永逸。2、步骤（1）准备把需要查找的地点名称放在一个Excel表格第一列里。（2）代码复制粘贴上去就是你的
还重名就过分了啊·2023-12-30 19:32

大数据学习(29)-Spark Shuffle

&&大数据学习&&系列专栏：哲学语录:承认自己的无知，乃是开启智慧的大门如果觉得博主的文章还不错的话，请点赞+收藏⭐️+留言支持一下博主哦SparkShuffleMap和Reduce在Shuffle过程中
viperrrrrrr·2023-12-30 06:25

大数据框架介绍

大数据学习必备三个框架Hadoop，Spark，Storm大数据的主要特点为数据量大(Volume)，数据类别复杂(Variety)，数据处理速度快(Velocity)和数据真实性高(Veracity)
mikecg·2023-12-29 23:06

python+停车管理系统 毕业设计-附源码271400

Python停车管理系统摘要21世纪时信息化的时代，几乎任何一个行业都离不开计算机，将计算机运用于停车场管理也是十分常见的。过去使用手工的管理方式对停车进行管理，造成了管理繁琐、难以维护等问题，如今使用计算机对停车场停车的各项基本信息进行管理，比起手工管理来说既方便又简单，而且具有易于管理、搜索速度快、存储量大等多个优点。将其使用在停车场管理中，不仅能够提高停车管理中管理员的工作效率，而且可以使停
weixin_BYSJ1987·2023-12-27 16:23

基于python+网络爬虫+django的电影票房爬取与可视化分析系统【附开发文档+代码讲解】

作者：雨晨源码简介：java、微信小程序、安卓；定制开发，远程调试代码讲解，文档指导，ppt制作精彩专栏推荐订阅：在下方专栏Java精彩实战毕设项目案例小程序精彩项目案例Python实战项目案例文末获取源码文章目录电影票房爬取-系统前言简介电影票房爬取-开发技术与环境电影票房爬取-功能介绍电影票房爬取-演示图片电影票房爬取-论文参考电影票房爬取-代码展示电影票房爬取-结语（文末获取源码）本次文章主
雨晨源码·2023-12-27 08:44

毕业设计：python旅游数据分析可视化系统+可视化大屏 python+爬虫（免费源码）✅

毕业设计：2023-2024年计算机专业毕业设计选题汇总（建议收藏）毕业设计：2023-2024年最新最全计算机专业毕设选题推荐汇总感兴趣的可以先收藏起来，点赞、关注不迷路，大家在毕设选题，项目以及论文编写等相关问题都可以给我留言咨询，希望帮助同学们顺利毕业。1、项目介绍技术栈：Python语言、MySQL数据库、Django框架、selenium爬虫框架、携程网旅游数据、HTMLDjango携程
q_3548885153·2023-12-25 23:13

【大数据学习笔记】最全Python连接各种数据库及对应的CRUD操作

本文将详细探讨如何在Python中连接全种类数据库以及实现相应的CRUD（创建，读取，更新，删除）操作。我们将逐一解析连接MySQL，SQLServer，Oracle，PostgreSQL，MongoDB，SQLite，DB2，Redis，Cassandra，MicrosoftAccess，ElasticSearch，Neo4j，InfluxDB，Snowflake，AmazonDynamoDB，
伊达·2023-12-25 14:54

【大数据学习笔记】新手学习路线图

第1阶段-数据仓库基1.MysQL关系型数据库（MySQL介绍、MySQL安装、MySQL基础语法、MySQL高级语法、MySQL系统架构、MySQL存储引擎、MySQL索引、MySQL备份恢复、MySQL主从、主主复制、MySQL存储过程、MySQL分库分表、MySQL综合案例、MySQL性能优化）2.Python编程技术（Python基础语法、Python循环、Python集合、Python函
伊达·2023-12-25 14:54

大数据学习笔记——数据仓库hive重要的总结

1、外部表和内部表Hive表分为两类，即内部表和外部表。所谓内部表，即Hive管理的表，Hive内部表的管理既包含逻辑以及语法上的，也包含实际物理意义上的，即创建Hive内部表时，数据将真实存在于表所在的目录内，删除内部表时，物理数据和文件也一并删除。外部表（externaltable）则不然，其管理仅仅是在逻辑和语法意义上的，即新建表仅仅是指向一个外部目录而已。同样，删除时也并不物理删除外部目录
新宿一次狼·2023-12-24 23:27

大数据从入门到精通(超详细版)之Hive的分区表，带你理解Hive当中的高阶玩法！！！

各位小伙伴，恭喜大家学习到这里，不知道关于大数据前面的知识遗忘程度怎么样了，又或者是对大数据后面的知识是否感兴趣，本文是《大数据从入门到精通（超详细版）》的一部分，小伙伴们如果对此感谢兴趣的话，推荐大家按照大数据学习路径开始学习哦
木 木 水.·2023-12-24 23:52

hadoop大数据学习笔记

一、Hadoop的作用本质来说hadoop的作用是在多计算机集群环境中营造一个统一而稳定的存储和计算环境，并能为其他分布式应用服务提供平台支持。或者说将多台计算机组织成了一台计算机，让他们做同一件事，在这其中HDFS就相当于这台计算机的硬盘，而MapReduce就是这台计算机的CPU控制器。二、Hadoop环境部署按着正常来说我们想要部署Hadoop集群需要把相同的软件部署到众多计算机上，实际学习
驰宇爱吃鱼·2023-12-24 08:53

大数据的四大特点

业务形态则有几百种，感觉不是很好理解，所以我建议还是从字面上来理解大数据，在维克托迈尔-舍恩伯格及肯尼斯库克耶编写的《大数据时代》提到了大数据的4个特征：在这里相信有许多想要学习大数据的同学，大家可以+下大数据学习裙
金光闪闪耶·2023-12-23 20:39

手把手教你用Python+可视化工具制作漂亮地图

如何才能在短时间内制作漂亮的可视化地图呢，我觉得Python+可视化工具是不错的选择。以下动态可视化地图就是J哥亲手绘制，展现了一段时间内广州市企事业单位在网上商城采购商品的分布及随时间的变化。
认真写程序的强哥·2023-12-23 15:09

最新版本——Hadoop3.3.6单机版完全部署指南

本文更强调实践，实践是大数据学习的重要环节，也能在实践中对该技术有更深的理解，所以一些理论知识建议大家多阅读相关的书籍（都在资料包中）。
大数据流动·2023-12-23 01:24

竞赛 python+深度学习+opencv实现植物识别算法系统

0前言优质竞赛项目系列，今天要分享的是基于深度学习的植物识别算法研究与实现学长这里给一个题目综合评分(每项满分5分)难度系数：4分工作量：4分创新点：4分更多资料,项目分享：https://gitee.com/dancheng-senior/postgraduate2相关技术2.1VGG-Net模型GoogleDeepMind公司研究员与牛津大学计算机视觉组在2014年共同研发出了一种全新的卷积神
iuerfee·2023-12-21 21:21

互联网加竞赛 python+深度学习+opencv实现植物识别算法系统

0前言优质竞赛项目系列，今天要分享的是基于深度学习的植物识别算法研究与实现学长这里给一个题目综合评分(每项满分5分)难度系数：4分工作量：4分创新点：4分更多资料,项目分享：https://gitee.com/dancheng-senior/postgraduate2相关技术2.1VGG-Net模型GoogleDeepMind公司研究员与牛津大学计算机视觉组在2014年共同研发出了一种全新的卷积神
Mr.D学长·2023-12-21 21:50

大数据学习(29)-spark on yarn底层原理

&&大数据学习&&系列专栏：哲学语录:承认自己的无知，乃是开启智慧的大门如果觉得博主的文章还不错的话，请点赞+收藏⭐️+留言支持一下博主哦SparkonYarn的底层原理以下几个方面：资源申请与调度：Spark
viperrrrrrr·2023-12-21 11:04

Spring 6（一）【Spring 入门】

Flink按说应该是大数据学习的主线任务，但是长时间学一门技术还是心累的。正好之前对Java注解有了进一步的熟悉，一直想着熟悉巩固。
让线程再跑一会·2023-12-21 07:05

大数据学习(27)-Yarn总结与注意事项

&&大数据学习&&系列专栏：哲学语录:承认自己的无知，乃是开启智慧的大门如果觉得博主的文章还不错的话，请点赞+收藏⭐️+留言支持一下博主哦一、概述YARN（YetAnotherResourceNegotiator
viperrrrrrr·2023-12-20 16:48

互联网加竞赛 python+大数据校园卡数据分析

0前言优质竞赛项目系列，今天要分享的是基于yolov5的深度学习车牌识别系统实现学长这里给一个题目综合评分(每项满分5分)难度系数：4分工作量：4分创新点：3分该项目较为新颖，适合作为竞赛课题方向，学长非常推荐！更多资料,项目分享：https://gitee.com/dancheng-senior/postgraduate1课题介绍近年来，大数据的受关注程度越来越高。如何对大数据流进行抽取转换成有
Mr.D学长·2023-12-20 07:48

大数据生态架构：探索未来科技的无限可能。

目前大数据生态圈中的核心技术总结下来分为以下9类：数据采集技术框架数据存储技术框架数据处理技术框架数据分析技术框架数据可视化技术框架数据安全技术框架数据治理技术框架数据应用技术框架数据服务技术框架2、大数据学习路线大数据生态学习路线图可以大体划分为七个阶段
知识分享小能手·2023-12-19 22:54

大数据学习笔记-MapReduce（一） 入门基础理论

1、HadoopMapReduce介绍mapreduce的思想：分而治之，先分再和，分而治之，把复杂的问题分解，然后逐个解决，分别计算出结果。拆分求解合并拆分求解合并原问题子问题子问题的解结果子问题子问题的解模拟实现分布式计算：分布式计算和集中式计算相对，有些应用需要非常巨大的算力才能完成，如果采用集中式计算，需要耗费比较长的时间，分布式计算应该将该应用分解成许多小的部分，分配给多台计算机进行处理
天码村·2023-12-19 10:36

大数据从入门到精通(超详细版)之Yarn的使用，安装与部署

各位小伙伴，恭喜大家学习到这里，不知道关于大数据前面的知识遗忘程度怎么样了，又或者是对大数据后面的知识是否感兴趣，本文是《大数据从入门到精通（超详细版）》的一部分，小伙伴们如果对此感谢兴趣的话，推荐大家按照大数据学习路径开始学习哦
木 木 水.·2023-12-19 10:35

基于Python+WaveNet+MFCC+Tensorflow智能方言分类—深度学习算法应用（含全部工程源码）（二）

上篇博客可参考：《基于Python+
小胡说人工智能·2023-12-17 01:35

竞赛保研 python+深度学习+opencv实现植物识别算法系统

0前言优质竞赛项目系列，今天要分享的是基于深度学习的植物识别算法研究与实现学长这里给一个题目综合评分(每项满分5分)难度系数：4分工作量：4分创新点：4分更多资料,项目分享：https://gitee.com/dancheng-senior/postgraduate2相关技术2.1VGG-Net模型GoogleDeepMind公司研究员与牛津大学计算机视觉组在2014年共同研发出了一种全新的卷积神
iuerfee·2023-12-16 10:27

大数据学习（一）-------- HDFS

需要精通java开发，有一定linux基础。1、简介大数据就是对海量数据进行数据挖掘。已经有了很多框架方便使用，常用的有hadoop，storm，spark，flink等，辅助框架hive，kafka，es，sqoop，flume等。常见应用推荐系统，用户画像等。2、hadoophadoop有三个核心组件：hdfs：分布式文件系统mapreduce：分布式运算编程框架yarn：分布式资源调度平台3
大数据流动·2023-12-15 21:01

python+基于python的图书馆管理系统-计算机毕业设计源码071718

摘要随着时代的不断更新，社会的不断变换，信息技术的飞速发展，计算机科技技术也逐步走向成熟。图书馆管理系统对于当今社会来说是必不可少的一个信息组成部分，它可以管理大量图书、大量读者、让读者有条不紊的进行借阅图书，大大减小了工作量，并且提高了工作效率。本文研究的图书馆管理系统是采用Python编程语言，MySQL数据库，Ajax异步交互，根据Ajax异步模式等开发工具，完成了系统的主要模块的页面设计和
v_cxsj813·2023-12-07 00:52

适合零基础的大数据学习路线

在中国，大数据也正迅速成为行业和市场的热点。专注与亚太及中国市场的市场调查机构泛亚咨询发布的调研数据显示，目前出现在各类招聘平台上与数据分析相关的招聘需求比去年同期相比，增长率高达67%；大数据相关高级职位的薪酬与其他同类技术职位相比平均高出43%以上。无论是世界范围内还是在中国，大数据浪潮正在深刻改变着各行各业，而各行各业对大数据人才的需求，以及技术从业者希望跻身大数据高级人才的需求也变得越来越
QFdongdong·2023-12-05 04:33

大数据学习笔记

大数据技术之大数据概论第1章大数据概念大数据（BigData）：指无法在一定时间范围内用常规软件工具进行捕捉、管理和处理的数据集合，是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产。按顺序给出数据存储单位：bit、Byte、KB、MB、GB、**TB、PB、EB、**ZB、YB、BB、NB、DB。1Byte=8bit1K=1024Byte1MB=10
Try harder100·2023-12-02 19:19

大数据学习-离线数仓项目实战笔记（上）

1.前置1.1.软件版本产品版本Hadoop2.9.2Hive2.3.7Flume1.9DataX3.0Airflow1.10Atlas1.2.0Griffin0.4.0Impalaimpala-2.3.0-cdh5.5.0MySQL5.71.2.软件安装分布情况服务器linux121linux122linux123Hadoop√namenode√√seconderynamenode,resour
ys4tnaf·2023-11-30 15:24

【大数据学习笔记-1】大数据hadoop平台基本组件

Hadoop是一个由Apache基金会所开发的分布式计算和存储架构。说人话的通俗描述：你在爱奇艺网站看过一次科幻片后，下次再登录爱奇艺，首页会把最新科幻动作片推送给你，目的是要向你多收点会员费。这背后的技术就是叫大数据的技术来自动判断你好什么口味的电影。行业描述：开源的分布式存储和计算框架，广泛用户海量数据的存储和处理，比如淘宝网的商品推送，爱奇艺视频的首页电影推送。Hadoop的主要组件：htt
工匠小能手·2023-11-30 15:19

大数据学习(24)-spark on hive和hive on spark的区别

&&大数据学习&&系列专栏：哲学语录:承认自己的无知，乃是开启智慧的大门如果觉得博主的文章还不错的话，请点赞+收藏⭐️+留言支持一下博主哦1）SparkonHiveSparkonHive是Hive只作为存储角色
viperrrrrrr·2023-11-29 17:30

大数据学习(26)-spark SQL核心总结

&&大数据学习&&系列专栏：哲学语录:承认自己的无知，乃是开启智慧的大门如果觉得博主的文章还不错的话，请点赞+收藏⭐️+留言支持一下博主哦SparkSQL是ApacheSpark的一个模块，它用于处理结构化数据
viperrrrrrr·2023-11-29 17:30

大数据学习(26)-数据倾斜总结

&&大数据学习&&系列专栏：哲学语录:承认自己的无知，乃是开启智慧的大门如果觉得博主的文章还不错的话，请点赞+收藏⭐️+留言支持一下博主哦Hive数据倾斜问题是指在HiveSQL查询过程中，由于数据在表或列上的分布不均衡
viperrrrrrr·2023-11-29 17:30

大数据学习之HiveSQL

一.DDL(数据定义语言)1.DDL概述数据定义语言(DataDefinitionLanguage,DDL)，是SQL语言集中对数据库内部的对象结构进行创建，删除，修改等的操作语言，这些数据库对象包括database（schema）、table、view、index等。核心语法由CREATE、ALTER与DROP三个所组成。DDL并不涉及表内部数据的操作。2.DDL建表2.1完整建表语法树蓝色字体
煜筱子·2023-11-29 17:29
上一页 1 2 3 4 5 6 7 8 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他