python+大数据学习

大数据学习笔记之爬虫系列（3）----selenium库的用法

selenium的安装win+R输入cmd打开命令行：pipinstallseleniumselenium的简介申明浏览器的对象fromseleniumimportwebdriverbrowser=webdriver.Chrome()browser=webdriver.firefox()browser=webdriver.Android()browser=webdriver.Edge()对应的浏览
SofiyaJ·2023-06-18 04:40

python+ pymysql + peewee 关于时区问题

开门见山研究的问题：如果我插入一个datetime的tzinfo北京时区的，peeweeinsert的时候，会帮我转成utc再插入吗？答案：不会研究过程我们通过peewee返回对的sqlpeewee内部的sql以及wireshark抓包获取的sql三者验证判断fromloguruimportloggerimportsettingsfrompeeweeimport*fromdatetimeimpor
·2023-06-17 15:27

大数据学习之Hadoop——07MapReduce相关练习01(wordCount + topN)

欢迎关注我的CSDN:https://blog.csdn.net/bingque65351.编写WordCountDriver端packagecom.hjf.mr.wordcount;importorg.apache.hadoop.conf.Configuration;importorg.apache.hadoop.fs.FileSystem;importorg.apache.hadoop.fs.
Jiang锋时刻·2023-06-17 04:30

大数据学习记录（hadoop hive flume azkaban sqoop）

大数据学习记录（hadoophiveflumeazkabansqoop）1.hadoop对海量数据进行分布式处理2.核心组件：HDFS（分布式文件系统）、YARN（运算资源调度系统）、MAPREDUCE
左上晨·2023-06-16 10:58

真正的人工智能远非大数据学习

图片发自App由于所从事行业的原因，几年来一直关注AI项目的落地和发展。这两年AI项目可谓热到烫手，可是到行业应用中就会发现离理想还太远。除了较为成熟的人脸识别、语音交互外几乎都无法实用。从去年开始就听到许多业内人士在喊AI寒冬即将来临，这或许并非杞人忧天。这是方向问题？技术问题？还是什么更深层的本质问题呢？一、ＡＩ的三次浪潮这一次的ＡＩ浪潮可以说是历史上的第三次。第一次是在五六十年代的时候随着人
道中奶爸·2023-06-15 05:10

使用Python+局域网 实现文件从pc到电脑无线快速传输

首先需要pc安装Python，安装可参考：点击此处win+R，打开cmd窗口可以输入dir查看当前目录下的文件输入Python-mhttp.server，启动服务器查看pcip地址重新打开cmd窗口，输入ipconfig在手机浏览器中输入pcIP地址加端口号，即192.168.3.14:8000即可连接电脑，并进行文件传输
up up day·2023-06-15 03:07

大数据学习归纳

本文初衷是为了学习归纳，若有错误，请指出。修改记录时间内容2020年4月10日第一次发布2020年4月16日添加MaxComputeSQL部分2020年9月14日新增数仓部分笔记大数据架构基础知识题大数据组件概念集群：多个人做同样的事分布式：多个人协作，干不同的事情。Hadoop：Hadoop是一个分布式存储和计算框架，具有高可靠,高扩展,高容错的特点（数据副本和集群）；由底层HDFS分布式文件系
猫腻余腥·2023-06-14 18:52

尚硅谷大数据技术-教程-学习路线-笔记汇总表【课程资料下载】

目录00【前言】01【大数据学习路线（快速版）】02【视频地址&资料下载】03【课程笔记】001-Linux002-Hadoop003-Zookeeper004【Scala】005【Spark】006【
upward337·2023-06-14 14:40

现在学大数据还来得及么

Python+已成利器在大数据领域中大放异彩Python，成为职场人追求效率的利器，因为不管什么工作，数据都会是工作的一部分，有数据的地方，就有Python！
我想去吃ya·2023-06-14 04:40

大数据学习经典线路图，大数据培训课程设置

大数据发展如火如荼，近年来，许多小伙伴都加入了大数据学习的大军，是自学还是参加专业的大数据培训，成了大家谈论的话题，但重点是，不管是自学大数据技术还是参加大数据培训，都要有一个好的学习方法和科学的大数据学习课程
彧11·2023-06-14 04:20

尚硅谷大数据项目【电商数仓5.0】学习笔记

尚硅谷大数据项目【电商数仓5.0】学习笔记大数据学习基础基础shell编程：大数据之基础shell集群快速安装教程：大数据集群快速安装教程注：如果您已经有大数据学习基础，可以通过上面教程快速搭建学习环境
yiluohan0307·2023-06-13 16:40

菜鸟窝大数据课程（免费试听）：Linux基础课程

大数据.png以下是大数据学习的基础入门内容：linux操作系统，免费试听可以联系助教Andy的微信：Ciaoniao168，免费领取本课程视频。
竞速的蜗牛·2023-06-13 16:51

大数据需要学习哪些内容

Python+已成利器在大数据领域中大放异彩Python，成为职场人追求效率的利器，因为不管什么工作，数据都会是工作的一部分，有数据的地方，就有Python！
我想去吃ya·2023-06-12 19:52

大数据学习之双11来了，你的订单可能是机器人在处理

本文转载自科多大数据随着网络平台的普及，越来越多人选择网购，如今双十一，俨然成为“购物节”的代名词。目前距离双十一已不到一周的时间从统计数据来看，2009年是淘宝首届双十一，短短一天创造了5000万元的销售额；2010年的双十一销售额达到9.36亿元，同比增长1772%；2016年和2017年的双十一支付宝的成交额均在1000亿元以上，同比增速均超过30%，平均每秒的成交超过115万元。如果继续保
彧11·2023-06-12 08:07

梅西生涯数据管理系统（Python+数据库）

文章目录前言MySQL部分1.导入数据2.演示说明Python部分1.连接数据库2.登录界面3.注册4.主界面5.查询用户信息6.修改密码7.梅西生涯数据分析8.主函数尾声前言用Python+MySQL实现简单的数据分析系统，一起来看看吧！本篇博客主要分为两大部分，一部分主要是对数据库的操作，另一部分主要是使用Python进行一些程序设计与数据分析。在进行数据分析之前，一定要记得先下载梅西的生涯数
Want595·2023-06-11 11:55

【大数据学习番外篇之爬虫1】 爬虫的介绍与基本使用

目录1.爬虫的介绍2.爬虫基本使用2.1爬取搜狗首页的页面数据2.2网页采集器1.爬虫的介绍前戏：1.你是否在夜深人静的时候，想看一些会让你更睡不着的图片却苦于没有资源...2.你是否在节假日出行高峰的时候，想快速抢购火车票成功...3.你是否在网上购物的时候，想快速且精准的定位到口碑质量最好的商品...什么是爬虫：-通过编写程序，模拟浏览器上网，然后让其去互联网上抓取数据的过程。爬虫的价值：-实
小杰911·2023-06-10 20:58

大数据需要学习哪些内容？

Python+已成利器在大数据领域中大放异彩Python，成为职场人追求效率的利器，因为不管什么工作，数据都会是工作的一部分，有数据的地方，就有Python！
我想去吃ya·2023-06-09 23:15

【大数据学习篇8】 热门品类Top10分析

在HBase命令行工具中执行“list”命令，查看HBase数据库中的所有数据表。学习目标/Target掌握热门品类Top10分析实现思路掌握如何创建Spark连接并读取数据集掌握利用Spark获取业务数据掌握利用Spark统计品类的行为类型掌握利用Spark过滤品类的行为类型掌握利用Spark合并相同品类的行为类型掌握利用Spark根据品类的行为类型进行排序掌握将数据持久化到HBase数据库熟悉
小杰911·2023-06-09 20:27

什么是Hive？为什么要用Hive？

对于有一定基础的大数据学习者来讲，Hive是必须掌握的核心技术。本文主要带大家来认识一下Hive，了解什么是Hive？为什么要用Hive？
我想去吃ya·2023-06-09 19:04

【大数据学习篇14】centos6安装Mysql

目录1.centos6.5安装mysql5版本1.1以su超级用户，安装Mysql数据库1.2启动Mysql数据库1.3、安装Mysql客户端1.4进入Mysql1.5设置密码123456，展示所有数据库1.6进入数据库test1.7创建数据库表1.8重新输入密码123456，进入数据库2.数据的基本操作2.1查看数据库2.2创建数据库2.3进入数据库2.4创建表2.5写入表数据3.安装MYSQL
小杰911·2023-06-09 14:46

Python + 大数据-Hadoop生态-Linux(一)-环境搭建和Vi

Python+大数据-Hadoop生态-Linux(一)-环境搭建和Vi今日课程学习目标1、了解Linux操作系统发展介绍、安装配置2、掌握SSH原理机制、Linux文件上传下载3、掌握Linux常见文件系统操作命令使用
呆猛的呆呆小哥·2023-06-08 19:24

iOS面试题汇总(待整理)

学习网站：https://www.runoob.comiOS：www.cocoachina.com安卓是Activity苹果是Controller大数据学习，大数据的分析以及处理我们实例化的对象存储在堆区
志在交流·2023-06-07 20:42

亲身经历告诉你，0基础转行学Python，毕业就能15000

学科|Python+大数据开发薪资|15000时间总是在你回忆往事时才会觉得短暂，来黑马之前觉得六个月将是一段很漫长的煎熬，总是怀疑自己是否能够坚持。
骨灰级收藏家·2023-06-07 20:37

【大数据学习篇6】 Spark操作统计分析数据操作

通过前面的文章安装好环境下面我们就可以开始来操作1.Spark操作[hd@master~]$spark-shellSettingdefaultloglevelto"WARN".Toadjustlogginglevelusesc.setLogLevel(newLevel).ForSparkR,usesetLogLevel(newLevel).2022-09-1423:13:12,403WARNuti
小杰911·2023-06-07 08:12

python+嵌入式——串口通信篇(收发解包)

目录前言安装pyserialpyserial大致概括整体流程硬件连接例子(简单版)详细使用serial初始化参数发包收包收包检查包并解包pythonstruct模块结语前言这几年，自己也做了一些嵌入式机器人。在整个开发的过程中，调通信通常会花费一段比较长的时间，串口通信就是这样的一个部分。而现在在百度上进行搜索，发现对python串口通信的博客讲解，都有点太笼统了，这其中，应该与python在处理
暮尘依旧·2023-06-07 02:14

【大数据学习篇11】广告点击流实时统计

学习目标/Target掌握广告点击流实时统计实现思路掌握利用Kafka生产用户广告点击流数据了解数据库设计掌握如何创建SparkStreaming连接掌握利用SparkStreaming读取业务数据掌握利用Spark读取黑名单用户掌握利用SparkStreaming过滤黑名单用户掌握利用SparkStreaming统计每个城市不同广告的点击次数掌握利用SparkStreaming添加黑名单用户掌握
小杰911·2023-06-06 21:38

大数据技术之CM安装------2（含大数据学习教程）

大数据学习资料领取地址（免费）无套路第2章环境要求1.1内存分配将3台虚拟机分配好内存建议8G、4G、4G1.2本次安装需要的jar包#注意：必须是OracleJDK、不要使用OpenJDK1.jdk-
ItStar·2023-04-21 21:56

（2018干货系列七）最新大数据学习路线整合

怎么学大数据大数据指不用随机分析法这样捷径，而采用所有数据进行分析处理的方法。互联网时代每个企业每天都要产生庞大的数据，对数据进行储存，对有效的数据进行挖掘分析并应用需要依赖于大数据开发。Linux&&Hadoop生态体系Linux大纲1)Linux的介绍，Linux的安装：VMwareWorkstation虚拟软件安装过程、CentOS虚拟机安装过程2)了解机架服务器，采用真实机架服务器部署li
weixin_30457881·2023-04-21 10:04

大数据学习的各个阶段（详细篇）

摘要：第一阶段:Linux课程讲解Linux基础操作,讲的是在命令行下进行文件系统的操作,这是Hadoop学习的基础,后面的所有视频都是基于linux操作的。鉴于很多学员没有linux基础,特增加该内容,保证零linux基础入门。如果你从没有使用过linux,别担心,本节内容可以让你入门。Linux认识linux如何使用vmware安装linux镜像认识linux的桌面环境、shell环境在she
大数据开发交流·2023-04-21 10:55

大数据学习之Hadoop环境搭建

一、Hadoop的优势1）高可靠性：因为Hadoop假设计算元素和存储会出现故障，因为它维护多个工作数据副本，在出现故障时可以对失败的节点重新分布处理。2）高扩展性：在集群间分配任务数据，可方便的扩展数以千计的节点。3）高效性：在MapReduce的思想下，Hadoop是并行工作的，以加快任务处理速度。4）高容错性：自动保存多份副本数据，并且能够自动将失败的任务重新分配。二、Hadoop组成1）H
栀子花_ef39·2023-04-19 20:28

大数据学习之Hbase shell的基本操作

HBase的命令行工具，最简单的接口，适合HBase管理使用，可以使用shell命令来查询HBase中数据的详细情况。安装完HBase之后，启动hadoop集群(利用hdfs存储)，启动zookeeper，使用start-hbase.sh命令开启hbase服务，最后在shell中执行hbaseshell就可以进入命令行界面Habseshell的help对语法的介绍很全,hbaseshell的操作分
·2023-04-18 22:51

python+自动化测试图形验证码篇

python+自动化测试图形验证码篇如何在自动化测试中处理图形验证码很多后台在登录的时候需要图形验证码，图形验证码有多种多样，下面我主要把我们用到的图形验证码处理的部分做一下解释，供跟我一样被python
啄码鸟·2023-04-18 07:37

使用Python+百度AI把文字转成语音

随着AI技术的发展，音视频的自动生成转换技术已经被越来越多的应用，很多内容网站都在文章内容页面嵌入了语音朗读功能，AI合成主播也开始在新闻媒体中应用。知乎文章页面的朗读功能新华社的AI合成主播这个就是新华社联合搜狗公司在京发布全新升级的站立式AI合成主播，如果不预先说明的话，猛然看去还看真的有点难分真假。以现在的发展趋势，AI技术将是所有行业竞争的核心能力，甚至是国家、政策之间竞争的关键因素。现在
乾行者·2023-04-16 22:32

(十五)大数据学习之Spark

Spark一.Spark生态圈：(1)SparkCore：RDD（弹性分布式数据集）(2)SparkSQL(3)SparkStreaming(4)SparkMLLib：协同过滤，ALS，逻辑回归等等-->机器学习(5)SparkGraphx：图计算二.什么是Spark1.Spark是什么：Spark是一个针对大规模数据处理的快速通用引擎。Spark是一种快速、通用、可扩展的大数据分析引擎，2009
Movle·2023-04-16 11:10

大数据学习路线图（2023完整版）适合收藏

大数据开发的前景还是有很多优势的，就业范围广、薪资待遇高、公司私立待遇好等等方面，现在有很多的小伙伴也想加入大数据开发的圈，但是苦于不知道怎么学习，也不知道用什么方法学习，针对这个问题，今天给各位小伙伴分享大数据学习路线图
千锋IT教育·2023-04-14 23:40

终端和文件运行python代码

让他输出这一段代码win+Rcmd回车，然后输入python+文件地址我们去找文件地址相对比较繁琐，一个简便的方法就是可以直接将文件拖进cmd窗口就可以自动获取到文件地址，如下图所示，就可以输出hello
suoh's Blog·2023-04-14 20:28

大数据发展趋势如何？

现在，在数字化转型的推动下，越来越多的企业意识到大数据的魅力，并不断在这个领域投入资金，Python+大数据开发相关人才也备受青睐！
我想去吃ya·2023-04-14 12:17

python-office的使用

特点一键搭建所有Python+自动化办公的编程环境。
额滴肾啊·2023-04-14 05:05

大数据学习笔记1.3 Linux用户操作

Linux用户操作一、用户账号管理1、用户与用户组文件2、用户账号管理工作二、用户操作1、切换用户（1）语法格式（2）切换到普通用户（3）切换到root用户（4）查看环境变量2、查看用户（1）查看全部用户（2）系统内置用户与新增用户（4）查看指定某个用户信息3、添加用户（1）语法格式（2）选项说明（3）注意事项（4）案例演示4、修改用户（1）语法格式（2）选项说明（3）案例演示5、删除用户（1）语
zl202111·2023-04-12 20:37

大数据需要哪些技术？

想要学好大数据需掌握以下技术：1.Java编程技术Java编程技术是大数据学习的基础，Java是一种强类型语言，拥有极高的跨平台能力，可以编
大数据学习01·2023-04-12 09:00

大数据学习完可以做什么

如果要推荐一种人人都能掌握的编程语言，应该没有比Python更合适的了。如果想学习大数据，可以选择从python语言入手~Python简单易学，用途广泛，不仅可以在日常办公中提高大家的职场效率，还能被大型互联网企业应用于后端开发。随着大数据、人工智能等领域的快速发展，Python的应用领域也更加多了起来。接下来我们就具体说下学大数据可以从事的岗位：1、大数据开发工程师开发，建设，测试和维护架构，负
我想去吃ya·2023-04-12 01:55

python爬虫代码-python网络爬虫源代码（可直接抓取图片）

我们应该做好前期准备工作，找到要爬的网站，然后查看它的源代码我们这次爬豆瓣美女网站，网址为：用到的工具：pycharm,这是它的图标...博文来自：zhang740000的博客Python新手写出漂亮的爬虫代码1初到大数据学习圈子的同学可能对爬虫都有所耳闻
编程大乐趣·2023-04-11 20:27

大数据学习——Flume入门

文章目录一、Flume概述1.1、Flume定义1.2、Flume基础架构二、Flume快速入门2.1、安装Flume部署2.2、入门案例2.2.1、监控端口数据（官方案例）2.2.2、实时监控单个追加文件2.2.3、监控文件升级版2.2.4、监控文件夹变化2.2.5、断点续传——实时监控目录文件追加修改三、Flume进阶3.1、Flume事务3.2、Agent内部原理3.3、拓扑结构3.3.1、
5akura·2023-04-11 19:21

10.大数据学习之旅——hive2

Hive解决数据倾斜问题概述什么是数据倾斜以及数据倾斜是怎么产生的？简单来说数据倾斜就是数据的key的分化严重不均，造成一部分数据很多，一部分数据很少的局面。举个wordcount的入门例子，它的map阶段就是形成（“aaa”,1）的形式，然后在reduce阶段进行value相加，得出“aaa”出现的次数。若进行wordcount的文本有100G，其中80G全部是“aaa”剩下20G是其余单词，那
零零天·2023-04-11 19:18

基于“python+”潮汐、风驱动循环、风暴潮等海洋水动力模拟

ADCIRC是新一代海洋水动力计算模型，它采用了非结构三角形网格广义波动连续方程的设计，在提高计算精确度的同时还减小了计算时间。被广泛应用于：模拟潮汐和风驱动的循环、预测风暴潮和洪水和近岸海上作业等。除此之外，ADCIRC也是我国潮汐、风暴潮洪水等科研和业务预报的主流模式。作为水动力模式中的佼佼者，ADCIRC功能齐全，无论是作为业务预报的工具还是科研工具，都是不二的选择。包含ADCIRC模式的基
天青色等烟雨..·2023-04-11 05:20

大数据：数字化转型利器

工欲善其事，必先利其器在这里相信有许多想要学习大数据的同学，大家可以+下大数据学习裙：95
数据工程师金牛·2023-04-08 18:47

[大数据学习之ClickHouse]04-ClickHouse表引擎之SummingMergeTree/ReplacingMergeTree

ReplacingMergeTreeReplacingMergeTree是MergeTree子集,是MergeTree的一个变种,与MergeTree几乎无差别,仅仅比MergeTree多了一个去重的功能需要注意的是:数据去重的时间是未知且无法把控的数据的去重是在合并过程中操作的数据的去重只能在分区内,无法跨分区ReplacingMergeTree无法保证数据完全没有重复举个例子:以创建时间为去重
阿月.·2023-04-08 17:04

大数据学习_交互式查询工具 Impala

目录1Impala概述(实时交互式查询工具)1.1Impala是什什么1.2Impala优势1.3Impala的缺点1.4适⽤用场景2Impala安装与入门案例2.1集群准备2.2安装Impala2.2.1集群规划2.2.2具体安装2.3Impala⼊⻔案例3Imapla的架构原理3.1Impala的组件3.2Impala的查询4Impala的使⽤4.1Impala-shell命令参数4.1.1i
Shawlizao·2023-04-08 07:22

大数据开发hive数据库常用命令汇总

在大数据学习当中，尤其是Hadoop生态的学习当中，Hive是必备的，也是相对门槛较低，比较好入手的一个组件。今天的大数据开发分享，和大家分享Hive的基础知识点。
爱开发V·2023-04-08 07:45

亲身经历告诉你，0基础如何转行学Python。

学科|Python+大数据开发薪资|15000时间总是在你回忆往事时才会觉得短暂，来黑马之前觉得六个月将是一段很漫长的煎熬，总是怀疑自己是否能够坚持。
骨灰级收藏家·2023-04-08 07:28
上一页 6 7 8 9 10 11 12 13 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他