大数据技术进阶第30页

大数据本地环境搭建03-Spark搭建

需要提前部署好Zookeeper/Hadoop/Hive环境1Local模式1.1上传压缩包下载链接链接：https://pan.baidu.com/s/1rLq39ddxh7np7JKiuRAhDA?pwd=e20h提取码：e20h将spark-3.1.2-bin-hadoop3.2.tar.gz压缩包到node1下的/export/server目录1.2解压压缩包tar-zxvf/export

OnePandas·2024-02-04 06:31

redis(基础)

目录一、十大数据类型(一)、redis键(keys)(二)、String1、setkeyvalue2、getrange/setrange(获取指定区间内的值)3、数值增减4、获取字符串长度、字符串追加5

一+一加1·2024-02-04 06:25

大学网课怎么搜题答案？ #其他#职场发展

大学生必备，这条笔记大数据一定定要推给刚上大学的学弟学妹！！

复古蛋卷·2024-02-04 06:53

MySQL调优

优化类型大概分类三个类型结构/架构优化：读写分离、集群热备、分布式架构、引入缓存/消息/搜索中间件、分库分表、中台架构（大数据中台、基础设施中台）等配置/参数优化：调整应用系统中各层面的配置文件、启动参数达到优化性能的目标代码

whiteBrocade·2024-02-04 06:48

Hadoop大数据实战系列文章之Hive

hive是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张数据库表，并提供完整的sql查询功能，Hive定义了简单的类SQL查询语言，称为HQL，它允许熟悉SQL的用户查询数据可以将sql语句转换为MapReduce任务进行运行，不必开发专门的MapReduce。毕竟会写SQL的人比写JAVA的人多，这样可以让一大批运营人员直接获取海量数据。在数据仓库建设中，HIVE灵活易用且

测试帮日记·2024-02-04 05:45

基于Python的徐州市天气信息可视化分析系统的设计与实现+04600(免费领源码、附论文）可做计算机毕业设计JAVA、PHP、爬虫、APP、小程序、C#、C++、python、数据可视化、大数据、文

基于flask徐州市天气信息可视化分析系统摘要信息化社会内需要与之针对性的信息获取途径，但是途径的扩展基本上为人们所努力的方向，由于站在的角度存在偏差，人们经常能够获得不同类型信息，这也是技术最为难以攻克的课题。针对天气信息等问题，对天气信息进行研究分析，然后开发设计出天气信息可视化分析系统以解决问题。天气信息可视化分析系统主要功能模块包括系统首页、轮播图、公告消息、资源管理（天气资讯、资讯分类）

bysjwa813·2024-02-04 05:08

大数据学习之Redis，十大数据类型的具体应用（五）

目录3.9Redis地理空间（GEO）简介原理Redis在3.2版本以后增加了地理位置的处理哦命令命令实操如何获得某个地址的经纬度3.9Redis地理空间（GEO）简介移动互联网时代LBS应用越来越多，交友软件中附近的小姐姐、外卖软件中附近的美食店铺、高德地图附近的核酸检査点等等，那这种附近各种形形色色的XXX地址位置选择是如何实现的?地球上的地理位置是使用二维的经纬度表示，经度范围(-180,1

十二点的泡面·2024-02-04 05:37

大数据组件部署下载链接

Hadoop2.7下载连接:https://archive.apache.org/dist/hadoop/core/hadoop-2.7.6/Hive2.3.2下载连接：http://archive.apache.org/dist/hive/hive-2.3.2/Zookeeper下载连接：https://archive.apache.org/dist/zookeeper/zookeeper-3.

运维道上奔跑者·2024-02-04 05:13

【大数据开发运维解决方案】Hadoop+Hive+HBase+Kylin 伪分布式安装指南

Hadoop2.7.6+Mysql5.7+Hive2.3.2+Hbase1.4.9+Kylin2.4单机伪分布式安装文档注意：####################################################################本文档已经有了最新版本，主要改动地方为：1、zookeeper改为使用安装的外置zookeeper而非hbase自带zookeeper，新

运维道上奔跑者·2024-02-04 05:43

基于Java校园网书店详细设计和实现

Java技术领域和学生毕业项目实战,高校老师/讲师/同行前辈交流✌主要内容：SpringBoot、Vue、SSM、HLMT、Jsp、PHP、Nodejs、Python、爬虫、数据可视化、小程序、安卓app、大数据

java李杨勇·2024-02-04 04:58

2023年全球软件开发大会（QCon上海站2023）：核心内容与学习收获（附大会核心PPT下载）

大会以“未来软件开发的创新与演进”为主题，涵盖了从前端到后端、从云计算到人工智能、从大数据到物联网等多个领域。一、峰会核心内容1、人工智能与

百家峰会·2024-02-04 02:15

榜一大哥可告人的秘密：初识Python

而伴随着大数据和人工智能时代的到来，Python这

Hunter乔乔·2024-02-04 01:55

python大数据语言基础期末复习笔记

前言：复习笔记，主要是对老师ppt和网上的一些资料进行汇总。一、语言基础：（非重点）命名规范：变量名、模块名、包名通常采用小写，可使用下划线，通常前缀有一个下划线的变量名为全局变量。例如：rulemodule.py#模块名，即文件名_rule=’ruleinformation’python使用缩进来组织代码，而不是其他语言比如R、C++、java和Perl那样用大括号。python语句都不是以分号

_烟雨画桥_·2024-02-04 01:39

PLSQL性能优化-merge into替代update

Mergeinto和update是SQL的两个更新语句，在大数据处理中，mergeinto比update更高效。

阿达斯加·2024-02-04 00:54

我们使用拨号vps可以用来做哪些？

一、适合用于采集、营销、大数据分析、软件挂机、抢票秒杀专业商家的拨号vps产品不仅能提供大容量的动态IP，还可以减少

青果de服务生·2024-02-04 00:11

《统计数据会撒谎》

所谓大数据时代，也是

米妈天下·2024-02-04 00:31

vue大数据大屏幕适配完美解决方案

首先创建一个a.js//屏幕适配mixin函数//*默认缩放值constscale={width:'1',height:'1',}//*设计稿尺寸（px）constbaseWidth=1920constbaseHeight=1080//*需保持的比例（默认1.77778）constbaseProportion=parseFloat((baseWidth/baseHeight).toFixed(5)

探索未知zxx·2024-02-04 00:34

计算机毕业设计Python新冠疫情数据分析可视化平台

VUE、ElementUI、ECharts、Maptalks、D3js后端web开发：Flask、Mysql爬虫开发：request数据分析：pandas、numpy创新点数据可视化、爬虫、数据清洗、大数据

计算机毕业设计大神·2024-02-04 00:20

从MySQL到TiDB：兼容性全解析

MySQL在高并发和大数据量场景下，单个实例的扩展性有限。

超越不平凡·2024-02-04 00:25

日调用量超千万，超低查询延迟！跨越速运基于Flink + OceanBase的实时分析解决方案与实践

跨越速运内部有超过100位BI分析师，日常工作需要借助大数据平台中的服务项目进行数据研发。跨越速运的数据服务场景中有一万余数据接口，日调用量超过1000万次，并保持99%查

OceanBase数据库官方博客·2024-02-03 23:48

hadoop、spark、flink集群修改默认ssh端口号

大数据集群在实际搭建过程中，其默认ssh端口不一定都是22，这时需要根据各自的配置文件进行适配。

0X码上链·2024-02-03 21:12

人工智能和大数据

人工智能（计算机科学的一个分支）锁定本词条由“科普中国”科学百科词条编写与应用工作项目审核。人工智能（ArtificialIntelligence），英文缩写为AI。它是研究、开发用于模拟、延伸和扩展人的智能的理论、方法、技术及应用系统的一门新的技术科学。人工智能是计算机科学的一个分支，它企图了解智能的实质，并生产出一种新的能以人类智能相似的方式做出反应的智能机器，该领域的研究包括机器人、语言识别

Kalends_9134·2024-02-03 21:41

2019-10-08 大数据开发进阶之路

HBase/Flume等掌握Spark生态核心技术，如Spark架构/RDD转换算子/行动算子/持久化算子/任务调度/SparkStreaming等能够对崭新的问题进行建模分析，使用一直只是进行解决掌握大数据平台调优技能

红瓦李·2024-02-03 20:39

还没遇到，就再等等吧

又是一年前高考季，相信很多人在择校的时候都会关注男女比例的关系，当然这个不是最重要的，却是我们潜意识里会去在意的一个东西，从大数据的角度来看，的确基数越大，越容易找到合适的人，也越容易找到一个可以相处的对象

简一_·2024-02-03 20:01

大数据环境搭建(一)-Hive

1hive介绍由Facebook开源的,用于解决海量结构化日志的数据统计的项目本质上是将HQL转化为MapReduce、Tez、Spark等程序Hive表的数据是HDFS上的目录和文件Hive元数据metastore，包含Hive表的数据库、表名、列、分区、表类型、表所在目录等。根据Hive部署模式(嵌入、本地、远程)的不同，元数据存储的位置也不同，一般是远程方式多用户访问，元数据存储MySQL中

xfchn多多学习学习·2024-02-03 20:42

在公信宝挖矿有前途吗？ --《区块链技术指南》读书笔记（四）

这是币乎读书营的读书笔记，是对《区块链技术指南》第三章内容学习思考的心得目录：[TOC]正文：《区块链技术指南》一书在描述区块链的未来应用时，着重提到了“征信管理”的场景，认为这将是一个巨大的潜在市场，而恰恰这也正好是目前大数据最有前途的发展方向

克劳德7·2024-02-03 20:17

SPSS 27 下载安装教程，保姆级教程，小白也能轻松搞的，附安装包

前言IBMSPSSStatistics简称为SPSS，是全球领先的统计分析、数据挖掘、预测建模产品及解决方案，提供高级统计分析、丰富的机器学习算法、文本分析、开源可扩展性、与大数据的集成以及无缝部署到应用程序中等功能

石用软件·2024-02-03 20:20

工业大数据系统与应用北京市重点实验室第一届学术委员会第七次会议成功举行...

2月1日上午，工业大数据系统与应用北京市重点实验室第一届学术委员会第七次会议在双清大厦4号楼大数据系统软件国家工程研究中心2层会议室成功举行。

数据派THU·2024-02-03 19:16

高宇辰：打造“π”型人才 | 提升之路系列（七）

导读为了发挥清华大学多学科优势，搭建跨学科交叉融合平台，创新跨学科交叉培养模式，培养具有大数据思维和应用创新的“π”型人才，由清华大学研究生院、清华大学大数据研究中心及相关院系共同设计组织的“清华大学大数据能力提升项目

数据派THU·2024-02-03 19:45

产品经理应该懂的人工智能知识

人工智能产品的应用人工智能普遍应用的产品或服务可分为三大类：第一类是语音和文字处理，例如人工智能写新闻稿、机器人客服等；第二类是图像和视觉，例如自动驾驶、医疗影像诊断、机器人分拣、人脸识别等；第三类是大数据分析和预测

敲代码的小小酥·2024-02-03 19:30

二手车数据分析可视化系统 python语言 requests爬虫 Echarts可视化 Django框架大数据毕业设计（源码）✅

毕业设计：2023-2024年计算机专业毕业设计选题汇总（建议收藏）毕业设计：2023-2024年最新最全计算机专业毕设选题推荐汇总感兴趣的可以先收藏起来，点赞、关注不迷路，大家在毕设选题，项目以及论文编写等相关问题都可以给我留言咨询，希望帮助同学们顺利毕业。1、项目介绍技术栈：python语言、Django框架、MySQL数据库、requests爬虫技术、汽车之家二手车、Echarts可视化Dj

q_3375686806·2024-02-03 19:55

基于python物流管理系统计算机毕业设计 Echarts可视化 Django框架大数据（源码）✅

毕业设计：2023-2024年计算机专业毕业设计选题汇总（建议收藏）毕业设计：2023-2024年最新最全计算机专业毕设选题推荐汇总感兴趣的可以先收藏起来，点赞、关注不迷路，大家在毕设选题，项目以及论文编写等相关问题都可以给我留言咨询，希望帮助同学们顺利毕业。1、项目介绍技术栈：Python语言、Django框架、Echarts可视化、MySQL数据库、HTML、报表、物流信息、多角色登录、物流管

q_3375686806·2024-02-03 19:54

去中心化交易所，彩虹交易所是否值得期待？

自虚拟币交易平台86bex在成立不到一个月后正式宣称关闭提币通道，华南区块链与大数据法治战略研究院院长齐爱民表示，交易所所需要的具备的技术资源、运营管理人员、口碑品牌以及社群等，小交易所都是不具备的，所以大批的交易所倒闭在预料之中

玲岚书坊·2024-02-03 19:30

面渣自救攻略！阿里架构师耗时3个月手码的Java面试手册

（这阵容，质量就不用我多说了吧）内容非常全面，主要是结合了互联网大厂的面试需求点，包含了：分布式架构（大型网站系统的特点+架构演化发展历程+微服务）中间件技术（缓存+消息队列+搜索引擎）大数据与高并发技术

π大星的日常·2024-02-03 19:23

神经网络 | 基于多种神经网络模型的轴承故障检测

本文主要源自《第二届全国技能大赛智能制造工程技术项目比赛试题（样题）模块E工业大数据与人工智能应用》，基于给出的已知轴承状态的振动信号样本，对数据进行分析，建立轴承故障诊断模型，对未知状态的振动信号样本进行预测

半亩花海·2024-02-03 18:54

#读万卷书# 2018二月展：大时代大数据大脑洞

川页家·2024-02-03 18:49

云微呼AI外呼技术：智能化营销的未来趋势

AI外呼技术结合了语音识别、自然语言处理和大数据分析等先进技术，为企业提供了更高效、更个性化的客户沟通解决方案。本文将探讨AI外呼技术的发展趋势、优势以及对营销领域的影响。

云微呼·2024-02-03 15:45

山海鲸可视化：引领智慧水利新篇章

防洪抗旱：利用大数据分析预测洪水、干旱等自然灾害，制定科学的防洪抗旱方案。水文监测

枝上棉蛮·2024-02-03 15:34

大数据高级开发工程师——Flink学习笔记（1）

文章目录Flink学习笔记Flink基础篇Flink简介1.处理无界和有界数据2.部署应用到任意地方3.运行任意规模的应用4.利用内存性能Flink的特点和应用场景1.Flink的特点2.Flink的应用场景Flink基本技术栈和架构1.Flink基本技术栈2.Flink基本架构Flink安装1.Standalone模式安装2.FlinkonYarn模式安装第一种：Session模式第二种：Per

讲文明的喜羊羊拒绝pua·2024-02-03 15:23

大数据组件笔记 -- Spark 入门

简介二、Spark运行模式2.1本地模式2.2集群角色2.3Standalone模式2.4Yarn模式2.5总结三、WordCount开发案例实操一、简介Spark是一种基于内存的快速、通用、可扩展的大数据分析计算引擎

L小Ray想有腮·2024-02-03 15:53

大数据实时处理 1.1搭建Scala开发环境。

Scala简介。Scala编程语言抓住了很多开发者的眼球。如果你粗略浏览Scala的网站，你会觉得Scala是一种纯粹的面向对象编程语言，而又无缝地结合了命令式编程和函数式编程风格。ChristopherDiggins认为：不太久之前编程语言还可以毫无疑意地归类成“命令式”或者“函数式”或者“面向对象”。Scala代表了一个新的语言品种，它抹平了这些人为划分的界限。根据DavidRupp在博客中的

saddwe·2024-02-03 15:52

【学习笔记】大数据技术之Scala（上）

【学习笔记】大数据技术之Scala（下）尚硅谷大数据技术之Scala（新版）思考：1.为什么scala在生成字节码文件的过程中，会有类名$.class文件生成？2.闭包时如何实现的？

在学习的王哈哈·2024-02-03 15:51

大数据面试题 ---阿善有用

大数据工程师面试题1.选择题1.1.下面哪个程序负责HDFS数据存储。

okbin1991·2024-02-03 15:21

循序渐进大数据组件之--Flink

最近学习了Flink，做一些小的总结：（预计这个我会出一个系列）先来看看Flink是什么：（出自官网）ApacheFlink是一个框架和分布式处理引擎，用于在无边界和有边界数据流上进行有状态的计算。Flink能在所有常见集群环境中运行，并能以内存速度和任意规模进行计算。ApacheFlink功能强大，支持开发和运行多种不同种类的应用程序。它的主要特性包括：批流一体化、精密的状态管理、事件时间支持以

Alex_81D·2024-02-03 15:20

Spark大数据分与实践笔记（Scala语言基础-1）

1.1Scala概述Spark是专为大规模数据处理而设计的快速通用的计算引擎，它是由Scala语言开发实现的，关于大数据技术，本身就是计算数据，而Scala既有面向对象组

妉妉师姐·2024-02-03 15:49

大数据应用开发3-Scala笔记1

一、编程框架Scala语言是在JVM上运行的，兼容Java语法区分大小写-Scala是大小写敏感的，这意味着标识Hello和hello在Scala中会有不同的含义。类名-对于所有的类名的第一个字母要大写。如果需要使用几个单词来构成一个类的名称，每个单词的第一个字母要大写。方法名称-所有的方法名称的第一个字母用小写。如果若干单词被用于构成方法的名称，则每个单词的第一个字母应大写。示例：defmyMe

争渡争渡！·2024-02-03 15:19

2021-07-08

昨晚美股的中概股，特别是大数据、汽车和网络公司跌幅明现，今天应该A股相应的股票应该会回调。大盘昨日突破3540点，进入了上行反攻的阶段，应尽量避免跑进跑出，持股待涨为佳！

天象·2024-02-03 14:13

大数据时代，Java通过JFreeChart分析和可视化数据

在大数据时代，一般都是通过什么方法收集、分析和可视化数据的？作为非平台运营商有没有办法收集到数据呢？假设说新浪微博每天有一亿条更新的微博，那么这些数据是不是只有新浪才能收集，第三方是没法收集的呢？

知了堂Java大数据·2024-02-03 14:00

开启机器学习模式（孤军奋战且行且珍惜）

源头是之前看过一个研究生小姐姐写的文章，她是通过kaggle进行练习来提高自己的数据分析能力，（已经看完了沈浩老师的媒体大数据分析课程，也学了简单地python内容）我也准备用kaggle开始锻炼自己。

坚持一件事527·2024-02-03 14:31

2019最火爆的项目平台----项目学院

4）数据透明：通过大数据量化筛选，一键筛选到适合自己的投资项目5)推广项目：自己正在从事项目包括未开盘项目，可以选择上传项目，把自已的项目连同自己的联系

happy艺汇·2024-02-03 13:59

推荐频道

大数据技术进阶