E-COM-NET
首页
在线工具
Layui镜像站
SUI文档
联系我们
推荐频道
Java
PHP
C++
C
C#
Python
Ruby
go语言
Scala
Servlet
Vue
MySQL
NoSQL
Redis
CSS
Oracle
SQL Server
DB2
HBase
Http
HTML5
Spring
Ajax
Jquery
JavaScript
Json
XML
NodeJs
mybatis
Hibernate
算法
设计模式
shell
数据结构
大数据
JS
消息中间件
正则表达式
Tomcat
SQL
Nginx
Shiro
Maven
Linux
Hadoop分布式环境搭建
hadoop
-yarn资源分配介绍-以及推荐常用优化参数
如果有什么不正确的欢迎大家一起交流学习~Yarn前言作为
Hadoop
2.x的一部分,YARN采用MapReduce中的资源管理功能并对其进行打包,以便新引擎可以使用它们。
Winhole
·
2024-02-19 11:26
hadoop
Linux
Day 25 25.2 Scrapy框架之
分布式
爬虫(scrapy_redis)
分布式
爬虫(scrapy_redis)
分布式
爬虫是指将一个大型的爬虫任务分解成多个子任务,由多个爬虫进程或者多台机器同时执行的一种爬虫方式。
Chimengmeng
·
2024-02-19 11:22
scrapy
分布式
爬虫
redis
python
微信发送一条消息经历哪些过程。企业微信以及钉钉的IM架构对比
目前已经写的IM的文章
分布式
websocket即时通信(IM)系统构建指南【第七期】分布
呆呆呆呆梦
·
2024-02-19 11:49
企业微信
钉钉
架构
Hadoop
-Yarn-NodeManager如何计算Linux系统上的资源信息
NodeResourceMonitorImpl)时只是提了下SysInfoLinux,下面我们展开讲下SysInfoLinux是用于计算Linux系统上的资源信息的插件二、SysInfoLinux源码packageorg.apache.
hadoop
.util
隔着天花板看星星
·
2024-02-19 11:48
hadoop
大数据
linux
基于scrapy框架的单机爬虫与
分布式
爬虫
我们知道,对于scrapy框架来说,不仅可以单机构建复杂的爬虫项目,还可以通过简单的修改,将单机版爬虫改为
分布式
的,大大提高爬取效率。
Jesse_Kyrie
·
2024-02-19 11:47
python爬虫综合
scrapy
爬虫
分布式
Linux平台Rust开发与vscode调试
环境搭建
文章目录一、安装Rust编译环境二、搭建Rust开发项目1.创建项目2.编译项目3.运行项目三、配置vscode开发调试环境1.安装vscode拓展2.创建配置文件3.调试程序一、安装Rust编译环境执行以下命令,按提示下一步安装即可:$curlhttps://sh.rustup.rs-sSf|shref:rustup.rs-TheRusttoolchaininstallerOtherinstal
zhihao_li
·
2024-02-19 11:15
rust
linux
vscode
node命令yarn --version指向了java
问题描述本地安装了java、
hadoop
和nodejs,并配置了环境变量,但是
hadoop
的bin目录下存在yarn命令,所以使用nodejs的yarn命令启动项目会出现找不到类,此时键入yarn-version
码学弟
·
2024-02-19 11:43
前端
node.js
yarn
Jlink+OpenOCD+STM32 Vscode 下载和调试
环境搭建
对于Mingw的安装比较困难,国内的网无法正常在线下载组件,需要手动下载x86_64-8.1.0-release-posix-seh-rt_v6-rev0.7z版本的软件包,添加环境变量,并将mingw32-make.exe名字改成make.exe。对于OpenOCD,需要使用Zadig工具安装Jlink驱动。Vscode工程的Makefile也要更改:#省略INTERFACE_CFG="D:\w
JoYER_cc
·
2024-02-19 11:12
stm32
vscode
嵌入式硬件
单片机
【区块链技术开发语言】在ubuntu18 系统环境下命令操作配置以太坊go-ethereum环境
一、概述项目简介:以太坊是一个基于区块链技术的
分布式
平台,用于构建去中心化应用程序(DApps)。go-ethereum是以太坊官方开发团队维护的Go语言实现的以太坊客户端,也被称为Geth。
源代码杀手
·
2024-02-19 11:41
区块链技术开发
开发语言
区块链
golang
读TiDB源码聊设计:浅析HTAP的SQL优化器
1.引子如果让你做一个
分布式
数据库的优化器,面对以下的SQL,你会想到什么好的方法去执行他们呢?
·
2024-02-19 11:23
tidbgo性能优化分布式系统
阿里云计算平台大数据基础工程技术团队直聘!!!
通过软件工程,数据智能化的方法论,围绕数据系统化建设运维智能工具链,打造飞天大数据&AI运维管控平台ABM,解决超大规模
分布式
集群运维管理问题,提升产品的稳定性
·
2024-02-19 11:20
大数据
企业级大数据安全架构(一)平台安全隐患
1缺乏统一的访问控制机制大数据平台由
Hadoop
生态体系众多组件组成,而每个组件都会提供相应的WebUI界面和RESTful接口,例如Nam
·
2024-02-19 11:48
大数据企业级安全性
VScode下的Rust语言
环境搭建
VSCode对Rust有着较完备的支持,下面主要介绍VScode下的Rust语言
环境搭建
下面是VSCode的下载地址:DownloadVisualStudioCode-Mac,Linux,Windows
星空_MAX
·
2024-02-19 11:35
rust
vscode
开发语言
抗D盾是游戏盾吗
游戏盾有哪些功能呢游戏盾包含抗D节点,通过
分布式
的抗D节点,游
·
2024-02-19 11:42
服务器
linux系统下vscode portable版本的rust
环境搭建
004:rust
目的:希望在获得一个新的系统之后,以最简便快速的方式搭配一个rust的编程环境命令在线安装只执行这句就行了:curl--proto'=https'--tlsv1.2-sSfhttps://sh.rustup.rs|sh,因为是要portable安装所以按照以下的方式执行。下载https://link.zhihu.com/?target=https%3A//static.rust-lang.org/
FakeOccupational
·
2024-02-19 11:19
其他
linux
vscode
python
Go RPC 远程过程调用
在
分布式
计算,远程过程调用是一个计算机通信协议。该协议允许运行于一台计算机的程序调用另一个地址空间的子程序,而程序员就像调用本地程序一样,无需额外地为这个交互作用编程。
CDFMLR
·
2024-02-19 10:26
go
rpc
使用Thonny搭建MicroPython 开发环境,简单易用,保姆级教程
MicroPythonThonny开发
环境搭建
,简单易用,保姆级教程MicroPython为广大Python编程开发人员打开了通往单片机、物联网开发的大门,但是在开发工具方面却不是很给力,虽然VSCode
原子星
·
2024-02-19 10:25
物联网开发
python
micropython
python
单片机
嵌入式硬件
物联网
分布式
文件系统 SpringBoot+FastDFS+Vue.js【四】
分布式
文件系统SpringBoot+FastDFS+Vue.js【四】八、文件的下载和删除功能8.1.FastDFSClient.java8.2.FileServerController.java8.3
良辰美景好时光
·
2024-02-19 10:21
vue
springboot
spring
boot
vue.js
后端
分布式
文件系统 SpringBoot+FastDFS+Vue.js【二】
分布式
文件系统SpringBoot+FastDFS+Vue.js【二】六、实现上传功能并展示数据6.1.创建数据库6.2.创建springboot项目fastDFS-java6.3.引入依赖6.3.fastdfs-client
良辰美景好时光
·
2024-02-19 10:20
springboot
vue
spring
boot
vue.js
后端
分布式
文件系统 SpringBoot+FastDFS+Vue.js【三】
分布式
文件系统SpringBoot+FastDFS+Vue.js【三】七、创建后台--分角色管理7.1.创建后台数据库表7.2.创建实体类7.2.1.Admin7.2.2.Menu7.2.3.MenuBean7.2.4
良辰美景好时光
·
2024-02-19 10:20
vue
springboot
spring
boot
vue.js
闲聊从防火墙,到VPC再到服务鉴权的技术发展过程
因为最近我们的
分布式
项目上,一直在讨论设计,服务之间如何鉴权?鉴权发生在什么样的场景里?同一个租户内的服务之间需不需要鉴权?不通租户之间的服务访问该如何鉴权?
G探险者
·
2024-02-19 10:48
java
分布式
系统架构
jsonrpc
远程过程调用是一个
分布式
计算的客户端-服务器(Client/Server)的例子,它简单而又广受欢迎。远程过程调用总是由
田园园野
·
2024-02-19 10:48
分布式
golang-爬虫
golang
rpc
jsonrpc
分布式
MapReduce
MapReduce定义mapReduce是一个
分布式
运算程序的编程框架,是用户开发基于
hadoop
的数据分析应用的核心框架。
诺冰1314
·
2024-02-19 10:46
大数据
haoop
MapReduce
hadoop
mapreduce
大数据
腾讯云OSS文件上传功能
它具有以下特点和优势:高可靠性:采用
分布式
存储架构,数据会在多个设备上进行冗余备份,确保数据的高可靠性和持久性。弹性扩展:支持根据业务需求自动扩展存储容量,无需担心存储空间不足的问题。
奋力向前123
·
2024-02-19 10:37
java
腾讯云
java
服务器
一篇文章彻底搞懂 TiDB 集群各种容量计算方式
作者丨hey-hoho来自神州数码钛合金战队神州数码钛合金战队是一支致力于为企业提供
分布式
数据库TiDB整体解决方案的专业技术团队。
·
2024-02-19 10:17
tidb数据库
当你在浏览器中输入网址后发生了什么?
它作为将域名和IP地址相互映射的一个
分布式
数据库,能够使人更方便地访问互联网。DNS
·
2024-02-19 10:05
面试chromedns解析
Pulsar Standalone服务搭建
PulsarStandalone服务搭建说明简介ApachePulsar是Apache软件基金会顶级项目,是下一代云原生
分布式
消息流平台,集消息、存储、轻量化函数式计算为一体。
aileen5150
·
2024-02-19 10:04
docker
golang工程组件篇:高性能RPC框架gRPC之0Auth2认证与拦截器
Golang是一种快速、高效的编程语言,它在云计算和
分布式
系统中广泛使用。随着软件工程越来越复杂,RPC(远程过程调用)框架成为了重要的组件之一。
SMILY12138
·
2024-02-19 10:32
golang
rpc
开发语言
Hive入门,Hive是什么?
它是建立在
Hadoop
生态系统之上的,利用
Hadoop
的
分布式
存储和计算能力来处理和分析数据。
JayGboy
·
2024-02-19 10:31
hive
hadoop
数据仓库
sensitive-word-admin v1.3.0 发布 如何支持敏感词控台
分布式
部署?
拓展阅读sensitive-word-adminv1.3.0发布如何支持
分布式
部署?
·
2024-02-19 10:51
后端java
Raft协议如何解决
分布式
系统一致性问题
先要明确的几个概念Raft协议是基于paxosmulti的,属于全新优化精简版本,更加容易实现和理解。zookeeper用的zab协议跟raft基本一样,就是心跳方向是反的,raft是leader向follower发送心跳,zab是follower向leader发送心跳询问leader健康状况。再有一个就是,raft、paxos、zab这些属于强一致性协议,与之相对的还有弱一致性协议,比如DNS的
肥兔子爱豆畜子
·
2024-02-15 10:56
[AIGC] Kafka 的 Rebalance 机制:保证分区的可靠性和高可用性
在
分布式
系统中,Kafka是一种流处理平台,具有高吞吐量、低延迟和可扩展性等特点。在Kafka中,消费者组是一组消费者的集合,它们共同消费一个topic的所有分区。
程序员三木
·
2024-02-15 10:55
AI
kafka
分布式
DolphinScheduler安装与配置
DolphinScheduler概述ApacheDolphinScheduler是一个
分布式
、易扩展的可视化DAG工作流任务调度平台。
在下区区俗物
·
2024-02-15 10:22
Dolphin
Hive on Spark配置
pwd=66663、将Spark安装包通过xftp上传到/opt/software安装部署Spark1、解压spark-3.3.1-bin-without-
hadoop
.tgz进入安装包所在目录cd/opt
在下区区俗物
·
2024-02-15 10:51
hive
spark
hadoop
配置hive on spark
hdfsdfs-mkdir/spark-jarshdfsdfs-put/opt/spark/jars/*/spark-jars2、修改hive-site.xml文件,添加如下配置:spark.yarn.jarshdfs://
hadoop
空白格2519
·
2024-02-15 10:51
数据采集
big
data
hive
spark
hadoop
hive on spark配置经验
常规配置配置完,开启
hadoop
,开启spark(如果在hdfs上上传了纯净版的spark则不需要开启),开启hive注:当前节点一定要是namenode的active节点,因为
hadoop
长时间不用namenode
小五冲冲冲
·
2024-02-15 10:21
Spark
hive
spark
hadoop
如何在极低成本硬件上落地人工智能算法 ——
分布式
AI
一、背景
分布式
AI的发展前景非常广阔,随着5G、6G等高速网络通信技术的普及和边缘计算能力的提升,以及AI算法和硬件的不断优化进步,
分布式
AI将在多个领域展现出强大的应用潜力和市场价值:1.
初心不忘产学研
·
2024-02-15 10:20
人工智能
分布式
AI编程
迁移学习
物联网
Spring
Spring是一款非常优秀而且功能强大的框架,可以简化开发、框架整合一、初识Spring1.Spring能做什么用以开发web、微服务以及
分布式
系统等,光这三块就已经占了JavaEE开发的九成多。
小白在努力~~
·
2024-02-15 10:15
spring
java
后端
Jmeter
分布式
部署测试-----远程连接多台电脑做压力性能测试
原文链接https://www.cnblogs.com/whitewasher/p/6946207.html在使用Jmeter进行接口的性能测试时,由于Jmeter是JAVA应用,对于CPU和内存的消耗比较大,所以,当需要模拟数以万计的并发用户时,使用单台机器模拟所有的并发用户就有些力不从心,甚至会引起JAVA内存溢出错误。为了让jmeter工具提供更大的负载能力,这时可以使用Jmeter提供的分
微笑的AK47
·
2024-02-15 10:06
Spring Cloud Eureka:服务注册与发现
1.介绍SpringCloudEureka1.1什么是SpringCloudEurekaSpringCloudEureka是SpringCloud生态中的一个服务注册与发现组件,用于构建
分布式
系统中的服务注册中心
星光闪闪k
·
2024-02-15 09:41
Java
Spring
spring
cloud
eureka
spring
后端
架构
在阿里云服务器上部署EL-Admin前后端分离后台管理系统
eladmin-system.jar文件,前端打包会有一个dist文件,本文主要介绍Nginx配置;环境安装和项目打包请移步官网:快速开始|EL-ADMINSSH连接工具推荐使用FinalShell服务器一台(阿里云或者腾讯云)
环境搭建
星平会海
·
2024-02-15 09:00
Java后端框架
nginx
redis
vue.js
eladmin 后台管理系统
环境搭建
一、准备工作:1、下载eladmin后端源代码https://github.com/elueladminnez/eladmin.githttps://github.com/elueladminnez/eladmin.git2、下载eladmin-web前端代码https://github.com/elunez/eladmin-web.githttps://github.com/elunez/ela
冬暖海洋
·
2024-02-15 09:58
JAVA
vue.js
java
docker (一)-简介
无论是单个程序还是多个程序组成的复杂服务,或者
分布式
系统,都可以使用dockerrun或dockercompos
小关暗器
·
2024-02-15 09:56
docker
容器
运维
ES+Logstash+Kibana(ELK)部署---废弃版,请勿参考
它们分别是:Elasticsearch(ES):一个开源的
分布式
搜索引擎,用于全文搜索、分析和可视化大量数据。
小关暗器
·
2024-02-15 09:25
elasticsearch
elk
大数据
[缓存] - 1.缓存共性问题
1.1高并发一般来说,如果10Wqps,或者20Wqps,可使用
分布式
缓存来抗。比如redis集群,6主6从:主提供读写,从作为备,从不提供读写服务。
don't_know
·
2024-02-15 09:20
缓存
SpringCloud之Eureka注册中心和负载均衡
SpringCloud之Eureka注册中心和负载均衡微服务技术栈认识微服务单体架构
分布式
架构微服务微服务拆分及远程调用微服务拆分注意事项Eureka注册中心提供者与消费者原理分析服务调用出现的问题Eureka
Gunalaer
·
2024-02-15 09:13
springcloud
spring
cloud
eureka
负载均衡
Kafka(一)
第1章Kafka概述1.1定义Kafka传统定义:Kafka是一个
分布式
的基于发布/订阅模式的消息队列(MessageQueue),主要应用于大数据实时处理领域。
xxxxxxxpp
·
2024-02-15 09:10
Kafka
kafka
分布式
java
分布式
缓存上—浅谈缓存的理解
文章目录1.概述1.1概念1.2作用1.3原理2.缓存的分类2.1CDN缓存应用场景优点2.2反向代理缓存应用场景2.3本地应用缓存应用场景缓存介质实现1.通过编程实现2.Ehcahe缓存数据过期策略3.
分布式
缓存
ZNineSun
·
2024-02-15 09:39
分布式
缓存
CDN
设计原则
反向代理
过期策略
(三十八)大数据实战——Atlas元数据管理平台的部署安装
本节内容是关于ApacheAtlas的部署安装,在开始安装Atlas之前我们需要提前安装好Atlas需要集成的组件,如
hadoop
、zo
厉害哥哥吖
·
2024-02-15 09:09
大数据
大数据
大数据搜索引擎之ElasticSearch安装篇(资源)
简述如下:Elasticsearch是个开源
分布式
搜索引擎,特点网上一搜到处是:
分布式
,零配置,
weixin_34049948
·
2024-02-15 08:38
大数据
运维
java
上一页
22
23
24
25
26
27
28
29
下一页
按字母分类:
A
B
C
D
E
F
G
H
I
J
K
L
M
N
O
P
Q
R
S
T
U
V
W
X
Y
Z
其他