E-COM-NET
首页
在线工具
Layui镜像站
SUI文档
联系我们
推荐频道
Java
PHP
C++
C
C#
Python
Ruby
go语言
Scala
Servlet
Vue
MySQL
NoSQL
Redis
CSS
Oracle
SQL Server
DB2
HBase
Http
HTML5
Spring
Ajax
Jquery
JavaScript
Json
XML
NodeJs
mybatis
Hibernate
算法
设计模式
shell
数据结构
大数据
JS
消息中间件
正则表达式
Tomcat
SQL
Nginx
Shiro
Maven
Linux
hadoop离线
基于
Hadoop
的高校教学管理平台设计与实现
文中就高校大数据平台的关键技术和架构进行阐述,结合高校实际情况,设计高校大数据平台架构,通过搭建
Hadoop
集群环境,以业务系统和平台之间的数据交互验证平台设计的可行性和优势。
这是辰辰啊
·
2024-09-01 00:38
hadoop
hadoop
大数据
Hive SQL练习之影评案例
找的练习hive,内容非原创链接https://www.cnblogs.com/frankdeng/p/9309668.html一、建表,导入数据1、建表[root@master
hadoop
]#hiveLogginginitializedusingconfigurationinjar
软件手
·
2024-08-31 17:23
Hive
mysql
hive
hadoop
sql
大数据
hadoop
日志文件
路径:/opt/homebrew/Cellar/
hadoop
/3.4.0/libexec/logs从你提供的输出信息来看,你正在查看
Hadoop
的日志文件目录(logs目录)。
静听山水
·
2024-08-31 17:51
Spark
hadoop
hadoop
常用地址
java:"/opt/homebrew/Cellar/openjdk/22.0.1/libexec/openjdk.jdk/Contents/Home"
hadoop
:1】sbin:/opt/homebrew
静听山水
·
2024-08-31 16:49
Spark
hadoop
Hadoop
技术栈
1.什么是
hadoop
(分布式软件框架)他提供了分步式数据存储分布式数据计算分布式资源调度为一体的整体解决方案1.1
hadoop
的用处可以部署在1台乃至成千上万台服务器节点上协同工作。
XingChen.
·
2024-08-31 16:48
分布式
hadoop
大数据
【Mysql】通过Keepalived搭建mysql双主高可用集群
一、环境信息主机名ip操作系统mysql版本VIP(虚拟ip)
hadoop
01192.168.10.200centos7_x865.7192.168.10.253
hadoop
03192.168.10.202centos7
维运
·
2024-08-31 15:13
数据库
mysql
数据库
C++(Qt)-GIS开发-QGraphicsView显示瓦片地图简单示例2
显示瓦片地图简单示例2文章目录C++(Qt)-GIS开发-QGraphicsView显示瓦片地图简单示例21、概述2、实现效果3、主要代码4、源码地址更多精彩内容个人内容分类汇总GIS开发1、概述支持多线程加载显示本地
离线
瓦片地图
mahuifa
·
2024-08-31 13:27
#
GIS开发
c++
qt
瓦片地图
GIS
Bing地图
《
Hadoop
系列》Docker安装
Hadoop
文章目录Docker安装
Hadoop
1安装docker1.1添加docker到yum源1.2安装docker2安装
Hadoop
2.1使用docker自带的
hadoop
安装2.2免密操作2.2.1master
DATA数据猿
·
2024-08-31 12:16
Hadoop
Docker
docker
hadoop
docker安装
Hadoop
拉取镜像[root@ecs-e722~]#dockerpullregistry.cn-hangzhou.aliyuncs.com/
hadoop
_test/
hadoop
_baseUsingdefaulttag
悾说
·
2024-08-31 11:16
docker
hadoop
hadoop
docker
大数据
推荐召回中ALS(交替最小二乘法)算法验证
性能评估代码实现导入依赖Mysql获取数据分批加载到矩阵目标coo_matrixvstackbm25_weight模型训练测试评估完整代码需求为了验证推荐系统中ALS(交替最小二乘)算法的召回效果以及
离线
数据推荐的效果
山水阳泉曲
·
2024-08-31 09:59
算法
最小二乘法
机器学习
推荐算法
python
008. 如何锻炼自己的深入思考能力
1.独立思考的时间(
离线
模式)。设定每天专属的
离线
思考时间段。找出自己一天中,大脑表现最好的时间段,然后在这段时间里进行
离线
思考和工作。所谓
离线
时间段,举个例
IT民工金鱼哥
·
2024-08-31 04:54
IT民工金鱼哥日常总结与顿悟
经验分享
双十一云起实验室体验专场,七大场景,体验有礼
\大数据计算场景《基于EMR
离线
数据分析》E-MapReduce(简称“EMR”)是
阿里云天池
·
2024-08-31 01:30
体验场景
活动
云计算
大数据
容器
云原生
kafka2.8.2集群
离线
安装
版本:Centos7、kafka_2.13-2.8.2节点:27.196.38.200kafka127.196.38.201kafka227.196.38.202kafka3基础配置在所有节点操作[root@localhost~]#systemctlstopfirewalld[root@localhost~]#systemctldisablefirewalldRemovedsymlink/etc/
xiongmao0304
·
2024-08-31 00:23
elk
1024程序员节
kafka
(四)Kafka
离线
安装 - Kafka下载及安装
Kafka官方下载地址:ApacheKafka这时候下载安装版本。我这里的安装目录在/usr/local/cd/usr/local/#创建目录mkdirkafkacdkafkamkdirkafka_log把下载的压缩包,放入到/usr/local/kafka/目录下,解压。#解压tar-zxvfkafka_2.12-3.8.0.tgz修改配置文件#修改配置文件cd/usr/local/kafka/
清风ai明月
·
2024-08-30 23:53
Kafka
kafka
Docker安装minio
一、获取镜像方式一:
离线
装载镜像(minio.tar)上传mioio.tar到服务器cd/home/data/install_pkg/minio/dockerload-iminio.tar方式二:下载Minio
五月高高
·
2024-08-30 23:22
docker
运维
mi
Bert中文预训练模型(Bert-base-chinese)
使用importtorchfromtransformersimportBertTokenizer,BertModel#第一步:
离线
下载#fromtran
好好学习Py
·
2024-08-30 22:14
自然语言处理
bert
人工智能
深度学习
pytorch
python
自然语言处理
Centos7
离线
安装Kafka+zookeeper+SASL安全认证
1.安装zookeeper1.下载apache-zookeeper-3.5.8-bin.tar.gz2.解压:tar–zxvfapache-zookeeper-3.5.8-bin.tar.gz3.进入到conf目录cd/opt/apache-zookeeper-3.5.8-bin/conf/4.复制配置文件cfgcpzoo_sample.cfgzoo.cfg5.修改zoo.cfg配置文件:vi/o
weixin_38683859
·
2024-08-30 16:36
centos
kafka
动手学深度学习(pytorch)学习记录21-读写文件(模型与参数)[学习记录]
离线
使用:保存的模型可以在没有网络连接的情况
walfar
·
2024-08-30 12:42
pytorch
深度学习
pytorch
学习
小白学习大数据测试之
hadoop
hdfs和MapReduce小实战
转发是对小编的最大支持在湿货|大数据测试之
hadoop
单机环境搭建(超级详细版)这个基础上,我们来运行一个官网的MapReducedemo程序来看看效果和处理过程。
大数据学习02
·
2024-08-30 11:39
常见的实时数仓方案
第一种是Lambda架构,是目前主流的一套实时数仓架构,存在
离线
和实时两条链路。
北极冰雨
·
2024-08-30 05:27
大数据
大数据
虚拟机安装
hadoop
,hbase(单机伪集群模式)
虚拟机安装
Hadoop
,Hbase工作中遇到了大数据方面的一些技术栈,没有退路可言,只能去学习掌握它,就像当初做爬虫一样(虽然很简单),在数据爆发的现在,传统的数据库mysql,oracle显然在处理大数据量级的数据时显得力不从心
流~星~雨
·
2024-08-29 21:31
大数据相关
hadoop
hbase
大数据
hive中的数据同步到hbase
关于
hadoop
,hive,hbase这三个技术栈我写了两篇博客简单的分享了我对这三个技术栈的一些看法,在我目前的认知里,
hadoop
提供hdfs这个组件来存储大数据量的数据(相比于mysql,oracle
流~星~雨
·
2024-08-29 21:31
大数据相关
hive
hbase
hadoop
微信小程序开发中的数据缓存和
离线
存储
微信小程序开发中的数据缓存和
离线
存储是非常重要的,可以提高小程序的性能和用户体验。在本篇文章中,我将详细介绍数据缓存和
离线
存储的概念以及如何在微信小程序中使用它们。
大黄鸭duck.
·
2024-08-29 21:28
微信小程序
缓存
小程序
chrome扩展程序本地打包
简介本文为Chrome浏览器已安装的扩展程序打包为
离线
.crx文件,便于在无法访问Chrome商店场景下使用扩展管理页面chrome://extensions/确定自己需要打包的扩展程序ID找到扩展程序路径
丿似锦
·
2024-08-29 20:25
Google
chrome
前端
hbase ExportSnapshot迁移hbase表
在源集群上准备快照:snapshot'credit_dict','credit_dict_snapshot20221117'list_snapshots复制快照到目标集群:hbaseorg.apache.
hadoop
.hbase.snapshot.ExportSnapshot
Rjunxiang
·
2024-08-29 16:56
hbase
hbase
大数据
hadoop
基于yolov8的8种人脸表情检测系统python源码+onnx模型+评估指标曲线+精美GUI界面
【算法介绍】基于YOLOv8的人脸表情检测系统是一个结合了先进目标检测算法(YOLOv8)与深度学习技术的项目,旨在实时或
离线
地识别并分类人脸表情(如快乐、悲伤、愤怒、惊讶、恐惧、厌恶、中立等)。
FL1623863129
·
2024-08-29 15:52
深度学习
YOLO
python
开发语言
全量、增量数据在HBase迁移的多种技巧实践
大多数情况下,可以用
离线
的方式进行迁移,迁移
离线
数据的方式就比较容易了,将整个hbase的data存储目录进行搬迁就
华为云技术精粹
·
2024-08-29 15:52
云计算
华为云
Hbase
离线
迁移
hadoop
distcp-Dmapreduce.job.hdfs-servers.token-renewal.exclude="xx.xx.xx.xx"-i-strat
我要用代码向我喜欢的女孩表白
·
2024-08-29 15:22
hbase
数据库
大数据
Python知识点:如何使用HBase与HappyBase进行分布式存储
HBase是一个基于
Hadoop
的开源分布式数据库,可以处理非常大的表。HappyBase是一个Python库,它提供了一个友好的接口来与HBase交互。
杰哥在此
·
2024-08-29 15:51
Python系列
分布式
python
hbase
编程
面试
大数据分析与大数据开发两者的区别是怎样的?
大数据开发②大数据分析大数据分析:主要负责现有数据价值提炼与挖掘,包括业务增长点挖掘,产品改进点挖掘,业务分析指标体系构建,业务分析报告出具等大数据开发:主要负责大数据平台与应用开发,包括数据仓库构建,
离线
计算
泰迪智能科技01
·
2024-08-29 10:18
就业班
大数据
Spark-RDD迭代器管道计算
一、上下文《Spark-Task启动流程》中讲到我们提交Stage是传入的是这个Stage最后一个RDD,当Task中触发ShuffleWriter、返回Driver数据或者写入
Hadoop
文件系统时才触发这个
隔着天花板看星星
·
2024-08-29 07:24
spark
大数据
scala
关于这道填空题,你会如何回答?(附带学习链接)
小白的答案是:Java是铜牌,Linux是银牌,
Hadoop
是金牌,大数据是王牌。因为Java是学大数据的基础,有基础然后就可以学后续的;最后只有学好大数据这一王牌才能出去找一份比较好的工作。
csdn业界要闻
·
2024-08-29 05:09
Hdfs的机架感知与副本放置策略
1.介绍Apache
hadoop
机架感知
Hadoop
分布式文件系统(Hdfs)作为Apache
Hadoop
生态系统的的核心组件之一,通过机架感知和副本放置策略来优化数据的可靠性,可用和性能.Hdfs的机架感知和副本放置策略是其设计的关键组成部分
sheansavage
·
2024-08-29 01:42
hdfs
hadoop
大数据
JAVA基础 - HTTRACK安装使用教程
计划使用HTTRACK将文档克隆到本地,然后
离线
查看。
cloneme01
·
2024-08-28 22:50
其他技术博文
JAVA基础知识
网页抓取
Java高级技术day75:Zookeeper与Dubbo
一、Zookeeper的介绍1.Zookeeper介绍:顾名思义zookeeper就是动物园管理员,他是用来管
hadoop
(大象)、Hive(蜜蜂)、pig(小猪)的管理员,ApacheHbase和ApacheSolr
开源oo柒
·
2024-08-28 20:54
【
离线
安装clickhouse集群】
离线
安装clickhouse集群clickhouse介绍Clickhouse是俄罗斯yandex公司于2016年开源的一个列式数据库管理系统,在OLAP领域像一匹黑马一样,以其超高的性能受到业界的青睐。
eddianliu
·
2024-08-28 14:56
bigdata
clickhouse
centos
离线
安装压缩工具xz指南
在Linux操作系统上
离线
安装压缩工具xz可能会遇到一些挑战,尤其是当官方下载地址无法访问时。本文将为你提供详细的指导,确保你能够顺利安装xz。
查拉图斯特拉面条
·
2024-08-28 10:05
Linux&运维
运维
Spark on YARN
ApacheSpark和Apache
Hadoop
YARN是两个紧密相关的项目,它们经常一起使用来处理大规模数据集。
静听山水
·
2024-08-28 09:26
Spark
spark
大数据
分布式
Ubuntu下部署
Hadoop
集群+Hive(三)
Hive部署准备环境apache-hive-4.0.0-bin.tar.gz、mysql-connector-j-8.1.0.jar如果是
离线
安装的话,使用mysql-8.0.34-1.el7.x86_
岩屿
·
2024-08-28 01:07
hadoop
ubuntu
hive
分享一个基于Spark的招聘数据可视化与分析系统
Hadoop
大数据源码(源码、调试、LW、开题、PPT)
作者:计算机源码社个人简介:本人八年开发经验,擅长Java、Python、PHP、.NET、Node.js、Android、微信小程序、爬虫、大数据、机器学习等,大家有这一块的问题可以一起交流!学习资料、程序开发、技术解答、文档报告如需要源码,可以扫取文章下方二维码联系咨询Java项目微信小程序项目Android项目Python项目PHP项目ASP.NET项目Node.js项目选题推荐项目实战|基
计算机源码社
·
2024-08-27 20:05
大数据
大数据
spark
毕业设计项目
计算机毕业设计源码
计算机毕设论文
hadoop
计算机课程设计
我用Ehcache本地缓存把查询性能提升100倍,真香
目录业务背景如何通过缓存优化查询接口基于大数据
离线
平台进行缓存预热本地缓存框架Ehcache今天给大家来分享一个知识,那就是平时我们开发系统的时候,如何运用Ehcache这款本地缓存框架,把我们的查询性能大幅度提升优化
石杉的架构笔记
·
2024-08-27 19:26
性能优化
Ehcache
本地缓存框架
缓存预热
查询性能优化
Mysql
Ubuntu 20.04.4 LTS
离线
安装docker 与docker-compose
Ubuntu20.04.4LTS
离线
安装docker与docker-compose要在Ubuntu20.04.4LTS上
离线
安装Docker和DockerCompose,你需要首先从有网络的环境下载Docker
皮卡车厘子
·
2024-08-27 17:42
ubuntu
docker
eureka
centos
离线
安装docker,docker-compose
安装环境操作系统:Centos7.99内核版本:3.10.0-1160.el7.x86_64安装用户:rootdocker
离线
安装1下载压缩包官网下载地址:https://download.docker.com
程序人生518
·
2024-08-27 16:40
centos
docker
linux
Hadoop
:HA模式配置与实现
写的不到位的地方,欢迎评论指出不足之处一、检查系统环境1、HostName、Hosts、JDK、SSH、网络、防火墙、数据源二、集群角色分配表注:这只是实例服务器NameNodeNameNodeZookepperFailoverControllerDataNodeZookepperJournalNodeOneyes(NN2和其它节点免密)yesyesTwoyes(NN1和其它节点免密)yesyes
家道消乏
·
2024-08-27 08:14
Hadoop基础
hadoop
大数据
hdfs
大数据技术之Flume 企业开发案例——负载均衡和故障转移(6)
2)需求分析故障转移案例3)实现步骤准备工作在/opt/module/flume/job目录下创建group2文件夹[lzl@
hadoop
12job]$c
大数据深度洞察
·
2024-08-27 05:58
Flume
大数据
flume
负载均衡
zookeeper+KAFKA 集群搭建
ZooKeeper是一个分布式的,开放源码的分布式应用程序协调服务,是Google的Chubby一个开源的实现,是
Hadoop
和Hbase的重要组件。
懵逼的运维弟弟
·
2024-08-26 16:28
Linux
zookeeper+KAFKA
集群搭建
(十五)Flink 内存管理机制
在大数据领域,很多开源框架(
Hadoop
、Spark、Storm)都是基于JVM运行,但是JVM的内存管理机制往往存在着诸多类似OutOfMemoryError的问题,主要是因为创建大量的实例,超过JVM
springk
·
2024-08-26 16:27
Flink全景解析
flink
大数据
实时数据
flink
内存管理
内存管理机制
面试笔记8.24
正确答案:在我的项目中涉及大数据开发时,我通常会采用分布式的架构,比如使用
Hadoop
或者Spark等大数据处理框架。我会在集群中部署多台服务器,通过分布式计算和存储来处理大规模数据。
励志秃头码代码
·
2024-08-26 16:55
面试
职场和发展
在linux机器中安装配置
hadoop
1.首先我们要把
hadoop
包上传到我们的liunx机器中(运用外链软件上传如:Xshell+xftp)(用我们的外链软件连接成功后,进行
hadoop
包的上传)上传到我们想要的目录路径下,比如我的是上传到
BigData_C
·
2024-08-26 14:40
linux
hadoop
计算机毕业设计
Hadoop
+Spark知识图谱体育赛事推荐系统 体育赛事热度预测系统 体育赛事数据分析 体育赛事可视化 体育赛事大数据 机器学习 大数据毕业设计 大数据毕设 机器学习 人工智能
开发技术前端:vue.js、element-ui、echarts后端:springboot、mybatis大数据:spark、
hadoop
数据库:mysql关系型数据库、neo4j图数据库算法:协同过滤推荐算法
计算机毕业设计大全
·
2024-08-26 13:43
上一页
1
2
3
4
5
6
7
8
下一页
按字母分类:
A
B
C
D
E
F
G
H
I
J
K
L
M
N
O
P
Q
R
S
T
U
V
W
X
Y
Z
其他