E-COM-NET
首页
在线工具
Layui镜像站
SUI文档
联系我们
推荐频道
Java
PHP
C++
C
C#
Python
Ruby
go语言
Scala
Servlet
Vue
MySQL
NoSQL
Redis
CSS
Oracle
SQL Server
DB2
HBase
Http
HTML5
Spring
Ajax
Jquery
JavaScript
Json
XML
NodeJs
mybatis
Hibernate
算法
设计模式
shell
数据结构
大数据
JS
消息中间件
正则表达式
Tomcat
SQL
Nginx
Shiro
Maven
Linux
Hadoop学习记录
sql耗时监控与sql语句日志输出
由于工作上涉及到分库分表查询,需要监测每条sql的执行耗时并打印sql语句,下面分享一下p6spy监控的使用,同时也当做一个
学习记录
。
心写来潮
·
2025-01-24 19:22
个人笔记
sql
java
数据库
【大数据入门核心技术-Hive】(十六)hive表加载csv格式数据或者json格式数据
高可用集群搭建二、hive加载Json格式数据1、数据准备vistu.json[{"id":111,"name":"name111"},{"id":222,"name":"name22"}]上传到hdfs
hadoop
fs-putstu.j
forest_long
·
2025-01-24 12:27
大数据技术入门到21天通关
大数据
hive
hadoop
开发语言
后端
数据仓库
6.1 贪心算法 | 区间选点、Huffman树
6.1贪心算法|区间选点、Huffman树这是我的一个算法网课
学习记录
,道阻且长,好好努力可以尝试的做法:区间问题重要的步骤就是排序按左端点排序,按右端点排序,双关键字排序区间问题区间选点例题:AcWing905
镜水不emo
·
2025-01-24 11:22
数据结构与算法_基础学习
贪心算法
算法
数据结构
c++
cascading 入门 (一)
1cascading是什么cascading是一个架构在
Hadoop
上的API,用来创建复杂和容错数据处理工作流。
zhumin726
·
2025-01-24 01:28
C语言
学习记录
——通讯录(静态内存)
分模块contact.h类型定义,函数声明。contact.c函数的实现test.c测试通讯录的模块test.c#include"contact.h"voidmenu(){printf("\n");printf("1.add2.del\n");printf("3.search4.modify\n");printf("5.sort6.print\n");printf("0.exit\n");prin
qiyi.sky
·
2025-01-24 00:22
C语言
学习
c语言
搭建单机伪分布式
Hadoop
+spark+scala
五、免密登陆1.创建ssh秘钥,输入如下命令,生成公私密钥2.将master公钥id_dsa复制到master进行公钥认证,实现本机免密登陆,测试完exit退出六、安装
Hadoop
软件1.解压hadoo
啥也不会0-0
·
2025-01-23 16:21
分布式
hadoop
spark
Hadoop
与 Spark:大数据处理的比较
大数据技术:涵盖
Hadoop
(HDFS)、Hive、Spark、Fli
王子良.
·
2025-01-23 16:50
大数据
经验分享
hadoop
spark
大数据
虚拟机VMware Workstation Pro安装集群+
hadoop
+spark+scala
参考资料:参考视频教程链接:大数据实验虚拟机安装
Hadoop
和Spark_哔哩哔哩_bilibiliup主:孤独时代的硕硕namenode安装选择镜像、路径、磁盘(最好不要c盘)、内存和处理器编辑名称与位置可点击此处自定义硬盘进行设置
落枫兮
·
2025-01-23 15:16
hadoop
spark
scala
Hadoop
分布式文件系统-HDFS架构
一、HDFS的简介HDFS全称
Hadoop
DistributedFileSystem,是分布式文件管理系统。
Fancs2024
·
2025-01-23 09:37
hadoop
hadoop
hdfs
TiDB 对
Hadoop
的影响:大数据时代的新选择
TiDB对
Hadoop
的影响:大数据时代的新选择随着大数据时代的到来,各种处理和存储海量数据的技术应运而生。
狮歌~资深攻城狮
·
2025-01-23 06:10
tidb
数据仓库
数据分析
数据库
分布式
嵌入式Linux系统
学习记录
13
在C语言中,构造数据类型(也叫复合数据类型)包括结构体(struct)、共用体(union)和枚举类型(enum)。这些类型允许用户根据需求创建复杂的数据结构。下面是对每种类型的详细解析以及需要注意的细节和常见的陷阱。1.结构体(struct)结构体是C语言中最常用的复合数据类型,它允许将不同类型的数据(例如整数、字符数组等)组合在一起形成一个新类型。定义:structStudent{ char
hhdk1
·
2025-01-23 01:20
linux
学习
算法
学习记录
:OpenMV 摄像头的一个简单示例,主要实现了对摄像头的基本设置和图像采集,并计算和显示采集图像的帧率。
代码解释:整体功能:此代码是使用OpenMV摄像头的一个简单示例,主要实现了对摄像头的基本设置和图像采集,并计算和显示采集图像的帧率。首先,对摄像头进行初始化,包括重置、设置像素格式和帧大小,并等待设置生效。然后创建一个时间对象用于计算帧率。最后在一个无限循环中不断采集图像并打印出每秒采集的帧数。#此作品遵循MIT许可证授权。#版权所有(c)2013-2023OpenMVLLC。保留所有权利。#h
DIY机器人工房
·
2025-01-22 21:23
openmv学习笔记
学习
opencv
python
Apache DolphinScheduler 限制秒级别的定时调度
但历史上出现过因配置的疏忽大意而产生故障时间,如应该配置每分钟执行的工作流被配置长了每秒执行,造成短时间内产生大量工作流实例,对ApacheDolphinScheduler服务可用性和提交任务的
Hadoop
·
2025-01-22 16:58
数据库
有了TiDB,是否还需要“散装”大数据组件?
最近和同事们讨论一个问题:在大数据应用日益增多的今天,如果使用了TiDB这样的一体化数据库,还需要使用那些传统的大数据组件(比如
Hadoop
、Spark等)吗?
狮歌~资深攻城狮
·
2025-01-22 15:02
tidb
数据仓库
数据分析
数据库
分布式
Hadoop
是什么,怎么部署安装?
Hadoop
是什么?
Hadoop
是一个由Apache基金会开发的开源分布式系统基础架构,主要用于处理和存储大规模数据集。
狮歌~资深攻城狮
·
2025-01-22 15:01
hadoop
大数据
分布式
[Foc
学习记录
00]导览
电机理论基础电磁基础【电机学复习笔记】第一章磁路_电机学csdn-CSDN博客电路基础磁滞现象:一讲就懂,很nb【经典】深刻阐述磁性材料的磁滞现象_哔哩哔哩_bilibili《现代永磁同步电机控制原理及Matlab仿真》学习第一章、三相永磁同步电机的数学建模006永磁电机永磁体的类型:何为凸极性、隐极性,表贴式、内置式,傻瓜式讲解,专为零基础编写。_表贴式和内置式的区别-CSDN博客根据学习进度,
GivemeAK
·
2025-01-22 06:25
学习
azkaban的概况
Azkaban的性质azkaban是一个任务调度,管理系统,可以帮用户管理,调度各种运算任务的一个web服务器可以调度任何任务,只要你的任务能用脚本启动azkaban的类似的产品还有很多,例如
hadoop
北京小峻
·
2025-01-21 23:35
大数据
azkaban
mysql
数据库
基于
hadoop
的协同过滤算法电影推荐系统的设计与实现
基于
hadoop
的协同过滤算法电影推荐系统的设计与实现文章目录基于
hadoop
的协同过滤算法电影推荐系统的设计与实现1.背景介绍1.1电影推荐系统的重要性1.2传统推荐系统的缺陷1.3
Hadoop
在大数据处理中的作用
AI天才研究院
·
2025-01-21 23:32
大数据AI人工智能
AI大模型企业级应用开发实战
计算科学
神经计算
深度学习
神经网络
大数据
人工智能
大型语言模型
AI
AGI
LLM
Java
Python
架构设计
Agent
RPA
hive电影数据分析系统 Springboot协同过滤-余弦函数推荐系统 爬虫2万+数据 大屏数据展示 + [手把手视频教程 和 开发文档]
协同过滤-余弦函数推荐系统爬虫2万+数据大屏数据展示+[手把手视频教程和开发文档]【功能介绍】1.java爬取【豆瓣电影】网站中电影数据,保存为data.csv文件,数据量2万+2.data.csv上传到
hadoop
QQ-1305637939
·
2025-01-21 22:28
毕业设计
大数据毕设
计算机毕业设计
hive
spring
boot
爬虫
hadoop
电影数据分析系统 Springboot协同过滤-余弦函数推荐系统 爬虫2万+数据 大屏数据展示 + [手把手视频教程 和 开发文档]
全套视频教程全套开发文档
hadoop
电影数据分析系统Springboot协同过滤-余弦函数推荐系统爬虫2万+数据大屏数据展示【
Hadoop
项目】1.java爬取【豆瓣电影】网站中电影数据,保存为data.csv
QQ-1305637939
·
2025-01-21 22:28
计算机毕业设计
毕业设计
大数据毕设
hadoop
spring
boot
爬虫
spark电影数据分析系统 Springboot协同过滤-余弦函数推荐系统 爬虫2万+数据 大屏数据展示 + [手把手视频教程 和 开发文档]
协同过滤-余弦函数推荐系统爬虫2万+数据大屏数据展示+[手把手视频教程和开发文档【功能介绍】1.java爬取【豆瓣电影】网站中电影数据,保存为data.csv文件,数据量2万+2.data.csv上传到
hadoop
QQ-1305637939
·
2025-01-21 22:58
毕业设计
大数据毕设
计算机毕业设计
spark
spring
boot
爬虫
大数据
电影推荐
电影分析
hadoop
图书数据分析系统 Springboot协同过滤-余弦函数推荐系统 爬虫1万+数据 大屏数据展示 + [手把手视频教程 和 开发文档]
hadoop
图书数据分析系统Springboot协同过滤-余弦函数推荐系统爬虫1万+数据大屏数据展示+[手把手视频教程和开发文档]【亮点功能】1.Springboot+Vue+Element-UI+Mysql
QQ-1305637939
·
2025-01-21 22:57
毕业设计
大数据毕设
图书数据分析
hadoop
spring
boot
爬虫
数据结构
学习记录
-队列
队列的基本概念1、队列是操作受限的线性表2、队头:允许删除的一端3、队尾:允许插入的一端4、空队列:不含任何元素的空表5、特点:先进先出、FIFO6、应用场景:栈:解决括号匹配;逆波兰表达式求解;递归改非递归等等队列:公平排队,广度优先遍历等等队列的结构:队列的具体实现结构比较灵活,只要遵循先进先出原则即可。顺序表的方式实现,如果用数组表示,虽然尾插数据比较方便,但当头删数据时,还要移动剩余元素,
墨楠。
·
2025-01-21 22:24
#
C
语言数据结构研习汇
数据结构
学习
2024年最全(一)大数据---
Hadoop
整体介绍(架构层)----(组件,并发知识体系大全
Hadoop
方案一、大数据介绍============
2401_84586689
·
2025-01-21 21:19
程序员
大数据
hadoop
架构
改善python程序的91建议记录(
学习记录
)
使用else子句简化循环(异常处理)案例1执行sql异常时处理defsave(db,obj):try:#saveattr1db.execute('asqlstmt',obj.attr1)#saveattr2db.execute('anothersqlstmt',obj.attr2)exceptDBError:db.rollback()else:db.commit()案例2defprint_prim
·
2025-01-21 21:48
后端
大数据分析专业毕业设计最新最全选题精华汇总--持续更新中⑤
以下是学长精心整理的一些选题:21.基于
Hadoop
和Spa
源码空间站11
·
2025-01-21 20:37
python
django
大数据分析
数据可视化
hadoop
hive
大数据分析毕设
Hadoop
常用命令
查看指定目录下的文件及文件夹
hadoop
fs-ls/user/hive/warehouse/查看指定目录下的文件及文件夹大小#文件大小(单位Byte)
hadoop
fs-du/user/hive/warehouse
ZenPower
·
2025-01-21 06:59
hadoop
大数据
分布式
hadoop
常用命令汇总
1、查看目录下的文件列表:
hadoop
fs–ls[文件目录]
hadoop
fs-ls-h/lance2、将本机文件夹存储至
hadoop
上:
hadoop
fs–put[本机目录][
hadoop
目录]
hadoop
fs-putlance
m0_67402026
·
2025-01-21 06:59
java
java
后端
hadoop
常用命令
Yarn查看提交到资源调度器的任务(任何用yarn资源的都可以看,比如spark、tez、mapreduce)看正在运行的yarn任务yarnapplication-list杀死对应的yarn任务yarnapplication-kill{application_Id}(id可以通过-list看到)hdfs查看hdfs目录hdfsdfs-ls/(查看本集群的目录)hdfsdfs-lshdfs://i
我要用代码向我喜欢的女孩表白
·
2025-01-21 05:54
hadoop
npm
大数据
Kylin入门教程
引言ApacheKylin是一个开源的分布式分析引擎,提供
Hadoop
上的多维分析(OLAP)能力,使得超大规模数据集的实时查询和分析成为可能。
-龙川-
·
2025-01-20 20:23
介绍
学习笔记
kylin
flume系列之:flume落cos
flume系列之:flume落cos一、参考文章二、安装cosjar包三、添加
hadoop
-cos的相关配置四、flume环境添加
hadoop
类路径五、使用cos路径六、启动/重启flume一、参考文章
快乐骑行^_^
·
2025-01-20 13:42
日常分享专栏
flume系列
Hadoop
和 Spark 的内存管理机制分析
大数据技术:涵盖
Hadoop
(HDFS)、Hive、Spark、Fli
王子良.
·
2025-01-20 03:27
经验分享
hadoop
spark
大数据
嵌入式Linux系统
学习记录
10
在C语言中,指针是一个非常重要的概念。指针是一个变量,它存储的是另一个变量的内存地址。理解指针的细节和注意事项对于编写高效、稳定的C语言程序至关重要。以下是C语言中指针的一些细节和注意事项:1.指针的定义和初始化指针是用*来声明的,表示指向某种类型的变量。例如:int*ptr;//定义一个指向整数的指针初始化指针:指针在定义时不初始化时,会指向不确定的地址,可能导致不可预期的行为。可以将其初始化为
hhdk1
·
2025-01-19 21:37
linux
学习
运维
SS00023.PBpositions——|
Hadoop
&PB级离线数仓.v02|——|Griffin.v02|Griffin部署|
一、Griffin编译准备###---软件解压缩[root@
hadoop
02~]#ls/opt/yanqi/software/griffin-griffin-0.5.0.zip/opt/yanqi/software
yanqi_vip
·
2025-01-19 21:30
数据库
hadoop
hive
大数据
hdfs
解决 WARN util.NativeCodeLoader: Unable to load native-
hadoop
library for your platform...警告
这个警告意味着
Hadoop
在加载本地本机库时遇到了问题。
克里斯蒂亚诺罗纳尔多阿维罗
·
2025-01-19 10:05
hadoop
Hive 数据类型全解析:大数据开发者的实用指南
在大数据处理领域,Hive作为一款基于
Hadoop
的数据仓库工具,被广泛应用于数据的存储、查询和分析。
大鳥
·
2025-01-19 08:42
sql
hive
数据仓库
Java 大视界 -- 解锁 Java 与
Hadoop
HDFS 交互的高效编程之道(二)
亲爱的朋友们,热烈欢迎你们来到青云交的博客!能与你们在此邂逅,我满心欢喜,深感无比荣幸。在这个瞬息万变的时代,我们每个人都在苦苦追寻一处能让心灵安然栖息的港湾。而我的博客,正是这样一个温暖美好的所在。在这里,你们不仅能够收获既富有趣味又极为实用的内容知识,还可以毫无拘束地畅所欲言,尽情分享自己独特的见解。我真诚地期待着你们的到来,愿我们能在这片小小的天地里共同成长,共同进步。本博客的精华专栏:大数
青云交
·
2025-01-19 05:19
大数据新视界
Java
大视界
HDFS
Java
流
代码示例
性能优化
读写操作
大数据
Hadoop
java
Yarn工作机制?思维导图 代码示例(java 架构)
YARN工作机制YARN(YetAnotherResourceNegotiator)是
Hadoop
生态系统中的资源管理和调度框架,它负责管理集群中的所有资源,并为应用程序提供调度服务。
用心去追梦
·
2025-01-19 02:17
java
架构
开发语言
使用
Hadoop
实现大数据的高效存储与查询
大数据技术:涵盖
Hadoop
(HDFS)、Hive、Spark、Fli
王子良.
·
2025-01-18 23:24
经验分享
大数据
hadoop
分布式
集群间hive数仓迁移
上建库建表;showcreatetabletb_name;createdatabasedb_name;createtabletb_name.....第二步:转移数据文件到新集群;在旧集群中下载数据到本地
hadoop
fs-get
one code
·
2025-01-18 17:15
database
Hive中没有超级管理员,如何进行权限控制
grantselectontabletest2touser
hadoop
;如何开发一个超级管理员:创建一个项目,导入mavanjar包,然后开始编写hook类importcom.google.common.base.Joiner
二进制_博客
·
2025-01-18 16:42
大数据
hive
hadoop
数据仓库
java
学习记录
17
泛型泛型概念Java泛型(generics)是JDK5引入的一个新特性,泛型提供了编译时类型安全检测机制,该机制允许程序员在编译时检测到非法的类型。泛型的本质是参数化类型,即给类型指定一个参数,然后在使用时再指定该参数的值,那么这个类型就可以在使用时决定了。这种参数类型可以用在类、接口和方法中,分别被称为泛型类、泛型接口、泛型方法。publicclassTestClass{privateTvalu
cwtlw
·
2025-01-18 14:26
java学习总结
java
学习
开发语言
笔记
调试
Hadoop
源代码
个人博客地址:调试
Hadoop
源代码|一张假钞的真实世界
Hadoop
版本
Hadoop
2.7.3调试模式下启动
Hadoop
NameNode在${
HADOOP
_HOME}/etc/
hadoop
/
hadoop
-env.sh
一张假钞
·
2025-01-18 13:16
hadoop
eclipse
大数据
Pytorch实现:LSTM-火灾温度预测
本文为365天深度学习训练营中的
学习记录
博客原作者:K同学啊前期工作语言环境:Python3.9.18编译器:JupyterLab深度学习环境:Pytorch1.12.11.设置GPUimporttorchimporttorch.nnasnnimporttorchvisionfromtorchvisionimporttransforms
骑猪玩狗
·
2025-01-18 11:32
pytorch
lstm
人工智能
深度学习项目--基于LSTM的火灾预测研究(pytorch实现)
本文为365天深度学习训练营中的
学习记录
博客原作者:K同学啊前言LSTM模型一直是一个很经典的模型,这个模型当然也很复杂,一般需要先学习RNN、GRU模型之后再学,GRU、LSTM的模型讲解将在这两天发布更新
羊小猪~~
·
2025-01-18 10:30
RNN
LSTM神经网络案例
机器学习/数据分析案例
深度学习
lstm
pytorch
人工智能
机器学习
rnn
gru
大数据-257 离线数仓 - 数据质量监控 监控方法 Griffin架构
目前已经更新到了:
Hadoop
(已更完)HDFS(已更完)MapReduce(已更完)Hive(已更完)Flume(已更完)Sqoop(已更完)Zookeeper(已更完)HBase(已更完)Redis
武子康
·
2025-01-18 10:29
大数据
离线数仓
大数据
数据仓库
java
后端
hadoop
hive
pyspark 中删除hdfs的文件夹
寻找到一个删除的方法,是通过调用shell命令
hadoop
fs-rm-f来删除,这个方法感觉不怎么好,所以继续找。
TDengine (老段)
·
2025-01-18 09:21
大数据
spark
hadoop
hdfs
mapreduce
Python 爬虫:获取网页数据的 5 种方法
大数据技术:涵盖
Hadoop
(HDFS)、Hive、Spark、Fli
王子良.
·
2025-01-18 07:35
经验分享
python
python
开发语言
爬虫
案例分享|快速了解实时湖仓集一体技术如何助力企业降本增效
1.替代TD仓、
Hadoop
湖,助力农商行构建一体化数据平台某农商行最初构建了Teradata数据仓库、Oracle小数据平台以及
Hadoop
数据湖。
·
2025-01-17 20:42
mysql
Unity
学习记录
——UI设计
Unity
学习记录
——UI设计前言本文是中山大学软件工程学院2020级3d游戏编程与设计的作业8编程题:血条制作1.相关资源本次项目之中的人物模型来自StarterAssets-ThirdPersonCharacterController
XiaoChen04_3
·
2025-01-17 17:11
unity
学习
ui
上一页
3
4
5
6
7
8
9
10
下一页
按字母分类:
A
B
C
D
E
F
G
H
I
J
K
L
M
N
O
P
Q
R
S
T
U
V
W
X
Y
Z
其他