E-COM-NET
首页
在线工具
Layui镜像站
SUI文档
联系我们
推荐频道
Java
PHP
C++
C
C#
Python
Ruby
go语言
Scala
Servlet
Vue
MySQL
NoSQL
Redis
CSS
Oracle
SQL Server
DB2
HBase
Http
HTML5
Spring
Ajax
Jquery
JavaScript
Json
XML
NodeJs
mybatis
Hibernate
算法
设计模式
shell
数据结构
大数据
JS
消息中间件
正则表达式
Tomcat
SQL
Nginx
Shiro
Maven
Linux
云原生数仓技术解析
【
云原生
】Docker Compose 使用详解
目录一、前言二、DockerCompose介绍2.1DockerCompose概述2.2DockerCompose特点2.3DockerCompose使用场景三、DockerCompose搭建3.1安装docker环境3.2DockerCompose安装方式一3.2.1下载最新版/如果不是最新可替换最新版本3.2.2设置权限3.2.3设置软链接3.2.4查看版本3.3DockerCompose安装
小码农叔叔
·
2024-09-02 06:44
linux与容器实战
springboot
入门到精通
Docker
Compose
Docker容器编排
dcoker
compose
docker自定义网络
docker
容器编排
数仓
分层架构:DWS
在数据仓库的分层架构中,"DWS"通常指的是数据仓库的"服务层"或"汇总层",但这个缩写可能根据不同的上下文有不同的含义。以下是几种可能的解释:1.**数据仓库服务层(DataWarehouseServices)**:-在一些云服务提供商的数据平台中,DWS可能指的是提供数据仓库功能的一组服务,这些服务可能包括数据存储、管理和分析工具。2.**数据仓库星型模式(DataWarehouseStarS
大连赵哥
·
2024-09-01 16:11
大数据
大数据
大数据毕业设计hadoop+spark+hive微博舆情情感分析 知识图谱微博推荐系统
爬虫工具采集新浪微博评论、热搜、文章等约10万条存入.csv文件作为数据集;(二)使用pandas+numpy或MapReduce对数据进行数据清洗,生成最终的.csv文件并上传到hdfs;(三)使用hive
数仓
技术建表建库
qq_79856539
·
2024-09-01 11:16
javaweb
大数据
hadoop
课程设计
Sealos安装K8s集群
一、什么是sealosSealos是一个功能强大、简单易用的云操作系统,它基于Kubernetes构建,提供了丰富的功能特性和灵活的应用商店,旨在降低
云原生
的门槛与成本,使用户能够更加轻松地享受云计算所带来的便利
corkii
·
2024-09-01 00:37
kubernetes
容器
云原生
k8s
Linux | 进程池
技术解析
:利用无名管道实现并发任务处理(含实现代码)
在血海里游泳,一直游到海水变蓝。——何小鹏2024.8.31目录一、进程池二、使用匿名管道实现进程池的核心前置知识:管道的四种情况和五个特征三、代码实现四、实现代码详解main()2、loadTask()3、channelInit()问题:为什么要将子进程的管道读端重定向至标准输入?4、ctrlProcess()5、channelClose()一、进程池多任务处理是提高系统性能和响应速度的关键。进
koi li
·
2024-08-31 23:02
Linux
linux
c++
算法
ubuntu
库
运维
服务器
什么是DevOps? 什么是DORA?
1.前言对于搞
云原生
应用的同学,对于DevOps和DORA应该都不陌生。但对于传统应用程序开发的同学,经常被DevOps,Microservice,CICD,DORA这些新颖的名词搞得晕头转向。
十年铸器
·
2024-08-31 09:56
IT项目与团队
运维
DORA
KubeSphere 宣布开源 Thanos 的企业级发行版 Whizard
Prometheus已经成为
云原生
监控领域事实上的标准,但Prometheus并没有解决企业用户对高可用、可扩展、可存储与查询海量监控数据、易运维等方面的需求。
KubeSphere 云原生
·
2024-08-31 04:49
k8s
容器平台
kubesphere
云计算
日志服务之使用Nginx模式采集日志
活动期完成有机会参与100%中奖):https://developer.aliyun.com/adc/series/activity/sls-1背景知识本场景主要涉及以下云产品和服务:●日志服务:日志服务SLS是
云原生
观测与分析平台
阿里云天池
·
2024-08-31 01:00
体验场景
云原生
阿里云
微服务中间件之Nacos-安装篇
Nacos(DynamicNamingandConfigurationService)是由阿里巴巴开发的一个更易于构建
云原生
应用的动态服务发现、配置管理和服务管理平台。
java_heartLake
·
2024-08-31 01:59
中间件
微服务
中间件
架构
常见的实时
数仓
方案
常见的实时
数仓
架构有三种。第一种是Lambda架构,是目前主流的一套实时
数仓
架构,存在离线和实时两条链路。
北极冰雨
·
2024-08-30 05:27
大数据
大数据
Hive 数据模型切换后的数据验证方案
标签系统一般属于ads集市层加工的模型数据,如果上游(
数仓
/业务)表进行了切换,比如我们项目最近上游从fdl/gdl切换到了dwd/dws,切换完毕后的数据一般都会出现问题,如何进行数据验证是一个需要好好思考的问题
小菜菜1223
·
2024-08-29 19:16
Hive
hive
云原生
应用(7)之Docker容器数据持久化存储机制
一、Docker容器数据持久化存储介绍物理机或虚拟机数据持久化存储由于物理机或虚拟机本身就拥有大容量的磁盘,所以可以直接把数据存储在物理机或虚拟机本地文件系统中,亦或者也可以通过使用额外的存储系统(NFS、GlusterFS、Ceph等)来完成数据持久化存储。Docker容器数据持久化存储由于Docker容器是由容器镜像生成的,所以一般容器镜像中包含什么文件或目录,在容器启动后,我们依旧可以看到相
技术路上的苦行僧
·
2024-08-29 18:10
云原生应用与架构设计
云原生
docker
容器
docker容器数据持久化
Linux 属主属组设置和文件类型
我是公众号「想吃西红柿」「
云原生
运维实战派」作者,对
云原生
运维感兴趣,也保持时刻学习,后续会分享工作中用到的运维技术,在运维的路上得到支持和共同进步!
尘嫣慕曦
·
2024-08-29 15:50
linux
运维
服务器
云计算
【话题】国产游戏崛起:技术驱动下的新机遇
引言方向一:
技术解析
图形渲染与视觉效果物理引擎AI技术方向二:行业影响对国内游戏开发行业的影响IT人才需求变化方向三:未来展望发展前景技术创新点跨界合作机会后记国产游戏技术能否引领全球?
何遇mirror
·
2024-08-29 06:52
话题
游戏
数仓
之TABLESAMPLE采样
数仓
中的抽样方法有很多,这里主要介绍一下:随机抽样、块抽样、桶抽样、分组抽样这四种,话不多说,直接上干货。
Luckyforever%-
·
2024-08-29 00:39
Hive
MaxCompute
maxcompute
hive
sql
大数据
数据仓库
数据分析
【python】如何通过Python中的http.server搭建文件上传下载服务
《博客》:Python全栈,PyQt5和Tkinter桌面开发,小程序开发,人工智能,js逆向,App逆向,网络系统安全,数据分析,Django,fastapi,flask等框架,
云原生
K
景天科技苑
·
2024-08-28 18:55
python轻松入门
基础语法到高阶实战教学
python
http
开发语言
python文件上传下载
http.server
Kubernetes (K8s) 监控方案:Prometheus 实战指南
1.引言在当今
云原生
时代,Kubernetes(K8s)已成为容器编排的标准解决方案。然而,随着K8s集群规模和复杂性的增加,有效的监控变得至关重要。
ivwdcwso
·
2024-08-28 07:14
运维
kubernetes
prometheus
容器
云原生
k8s
grafana
【
云原生
】Kubernetes中常见的Pod故障排查定位与解决方案
《博客》:Python全栈,前后端开发,小程序开发,人工智能,js逆向,App逆向,网络系统安全,数据分析,Django,fastapi,flask等框架,
云原生
k8s,linux,she
景天科技苑
·
2024-08-27 20:00
云原生K8S
零基础到进阶实战
云原生
kubernetes
容器
pod故障排查
pod故障排查与解决方案
k8s故障排查
在亚马逊云科技上搭建
云原生
生成式AI教育学习平台
本次介绍的是如何利用亚马逊云科技大模型托管服务AmazonBedrock和
云原生
容器管理服务,将生成式AI和亚马逊Titan大模型应用到教育和学习场景,利用Titan大模型的向量化、文字和图片生成能力构建云端
佛州小李哥
·
2024-08-27 18:20
AWS技术
科技
云原生
人工智能
云计算
架构
aws
亚马逊云科技
(二十)Flink Paimon
从传统
数仓
到数据湖、湖仓一体架构,从流批一体计算到基于数据湖的流批一体存储,越来越多的企业基于开源技术,在集成、计算、存储、查询分析等方面不断优化,建设形成适合
springk
·
2024-08-27 16:38
Flink全景解析
大数据
实时数据
实时数据处理
paimon
flink
paimon
云原生
周刊:KubeSphere 宣布开源 Thanos 的企业级发行版 Whizard
开源项目推荐AdmiraltyAdmiralty是一个Kubernetes控制器系统,可以智能地在多个集群之间调度工作负载。它使用简单,并且易于与其他工具集成。CozystackCozystack是一个免费的PaaS平台和框架,用于构建云服务。通过Cozystack,你可以将一组服务器转变为一个智能系统,并通过简单的RESTAPI轻松生成Kubernetes集群、数据库即服务、虚拟机、负载均衡器、
KubeSphere 云原生
·
2024-08-27 14:59
k8s
容器平台
kubesphere
云计算
国产游戏技术能否引领全球?
方向一:
技术解析
在技术层面,国产游戏技术的全球领导潜力主要体现在以下几个方面:1.引擎技术自研引擎:中国游戏公司,如腾讯的虚幻引擎定制版和网易的Gamebryo引擎,已经在性能和功能上有所突破。自研
敲代码无敌小奶龙
·
2024-08-27 12:09
游戏
SD-WAN降低网络运维难度的关键
技术解析
为什么说SD-WAN(软件定义广域网)大大降低了网络运维的复杂性,主要是因为它的智能路径选择、应用识别和链路质量监测这三个核心技术。这几项在SD-WAN中尤为重要的技术,它们共同作用,提升了整体网络性能,为网络管理提供了更为智能、高效的解决方案。智能路径优化:提升网络性能智能路径优化技术是SD-WAN的重要组成部分,它能够动态分析网络流量和链路状态,从而选择最优路径,实现负载均衡并优化网络性能。无
TIANGEKUAJING
·
2024-08-27 00:32
网络
运维
企业组网
SD-WAN
异地组网
揭秘Sora:深度学习与自然语言处理驱动的智能视频生成与互动
方向一:
技术解析
技术架构:Sora的技术架构主要包括视频处理模块和智能生成模块。视频处理模块负责视频内容的
疾风终究没有归途
·
2024-08-26 22:50
深度学习
自然语言处理
人工智能
Python爬取静态网页
技术解析
内容导读实现HTTP请求解析网页存储数据静态网页爬取实例一、实现HTTP请求1、爬虫场景简介(1)基本功能爬虫的基本功能是读取URL和爬取网页内容,这就需要爬虫具备能够实现HTTP请求的功能。请求过程主要包括生成HTTP请求、请求头处理、超时设置、请求重试、查看状态码等。(2)实例介绍通过Chrome开发者工具直接查看网页“http://www.jd.com”的页面元素、页面源代码和资源详细信息,
天涯幺妹
·
2024-08-26 22:49
网络安全与管理
web前端技术
毕业设计与项目实战
python
django
pandas
numpy
网络爬虫
pycharm
网络安全
探索《Python设计模式》项目:
技术解析
与应用指南
探索《Python设计模式》项目:
技术解析
与应用指南在这个数字化的时代,软件开发不仅仅是编写代码那么简单,良好的设计模式是提升代码质量、可维护性及扩展性的关键。
岑晔含Dora
·
2024-08-26 17:32
云原生
存储解决方案
云原生
存储解决方案使用Rook、Ceph等工具进行
云原生
存储管理
云原生
存储简介什么是
云原生
存储
云原生
存储是指设计用于
云原生
环境中的存储解决方案,通常在容器化平台如Kubernetes上运行。
爱技术的小伙子
·
2024-08-26 13:38
云原生
【
云原生
应用的监控与日志管理】使用Prometheus、ELK Stack等工具进行
云原生
应用的监控与日志管理
云原生
应用的监控与日志管理使用Prometheus、ELKStack等工具进行
云原生
应用的监控与日志管理引言随着
云原生
技术的普及,应用的复杂性和规模不断增加,传统的监控与日志管理手段已无法满足需求。
爱技术的小伙子
·
2024-08-26 13:04
云原生
prometheus
elk
微服务与
云原生
有何关联?
正是在这样的时代背景和业务诉求下,微服务架构成为了解决复杂问题的灵丹妙药。微服务架构在应对需求的变化、容错处理、服务复用及扩展、提升开发效率、简化交互等方面都有明显的优势。同时,敏捷、DevOps、持续集成/持续交付、容器技术、SpringCloud框架、轻量级服务、领域驱动设计等的涌现也为微服务架构的发展奠定了基础。综上所述,持续快速响应市场、高度动态化、应对复杂场景的能力已经成为企业的核心竞争
2401_84023683
·
2024-08-25 22:04
程序员
架构
云原生
微服务
CC攻击导致服务器卡顿的
技术解析
摘要本文将深入探讨CC(ChallengeCollapsar)攻击的工作原理以及它们如何导致服务器性能下降乃至卡顿。我们将通过一个简单的Python脚本模拟客户端行为来说明这一过程,并提供一些基本的缓解策略。1.引言CC攻击是一种特定类型的DDoS攻击,主要针对Web应用程序,尤其是那些需要大量后端处理的动态页面。攻击者通过模拟合法用户的行为,向服务器发送大量请求,从而耗尽服务器资源,导致合法用户
群联云防护小杜
·
2024-08-25 17:33
安全问题汇总
服务器
网络
运维
安全
ddos
udp
网络协议
SpringBoot 笔记
时代背景:微服务分布式
云原生
:docker、kubernetes自动配置原理依赖管理父项目负责依赖管理导入starter场景启动器无需关注版本号,自动版本仲裁自动配置自动配好Tomcat自动配好SpringMVC
duanmy0687
·
2024-08-25 09:17
springboot
深度剖析Java内存溢出:从堆到栈的全面解析
本文将深入探讨Java内存溢出的各种类型,包括堆溢出、栈溢出、运行时常量池溢出、元空间溢出、直接内存溢出等,并提供详细的示例代码和
技术解析
。
九转成圣
·
2024-08-25 00:49
Java高频面试栏
开发语言
java
后端
jvm
PolarDB for PostgreSQL 内核解读 :HTAP架构介绍
作者:北侠,阿里云高级技术专家,阿里云PolarDBPostgreSQL
云原生
数据库HTAP业务和技术负责人。在PolarDB存储计算
阿里云云栖号
·
2024-08-24 20:56
云栖号技术分享
postgresql
架构
数据库
从图像到视频:Web Codecs API编码
技术解析
初探WebCodecsAPI三前言在之前的文章中,咱们简单的介绍了解码相关的东西,这一节咱们来简单聊聊编码相关的东西。编码的目的就是为了压缩,去除空间、时间维度的冗余。这里又不得不提起前面所说的I帧、P帧、B帧和IDR帧。众所周知,视频是连续的图像序列,由连续的帧构成,一帧就是一幅图像。直接存储图片需要占用大量的存储空间,而且传输也不方便。为了解决这个问题,于是视频编码出现了,它的作用就是将一张一
我码玄黄
·
2024-08-24 12:09
前端
教你一招
思维的火花
音视频
前端
JavaScript
探秘Sharing:一个高效、安全的开源文件共享平台
技术解析
基于WebRTC的数据传输Sharing利用WebRTC技术进行点对点的数据传输,减少了服务器的压力,同时也提升了传输速度。这种方式可以绕过传统的HTT
郦岚彬Steward
·
2024-08-24 11:03
Kubernetes中如何对etcd进行备份和还原
Kubernetes最初由Google开发,后来成为
云原生
计算基金会(CloudNativeComputingFoundation)的一部分。
丁爸
·
2024-08-24 07:32
大数据
eureka
etcd
kubernetes
云原生
周刊:Score 成为 CNCF 沙箱项目|2024.08.12
开源项目推荐KubeOneKubermaticKubeOne自动化管理您所有云环境、本地环境、边缘计算和物联网环境中的集群操作。KubeOne可以安装高可用(HA)的主集群,也可以安装单主集群。MayflyMayfly是一个Kubernetesoperator,使您可以使用基于时间的资源。它会在指定时间创建或删除资源。kanikokaniko是一个工具,用于在容器或Kubernetes集群中从Do
KubeSphere 云原生
·
2024-08-24 04:12
k8s
容器平台
kubesphere
云计算
云原生
周刊:Kubernetes Grafana 看板更新 | 2024.5.13
开源项目推荐ChartTestingChartTesting是用于测试Helm图表的工具。它旨在用于对拉取请求进行lint和测试。它会自动检测针对目标分支更改的图表。ClusterpediaClusterpedia是一个多集群的百科全书,用于同步、搜索和简单控制多集群资源。Clusterpedia可以与多个集群同步资源,并在与KubernetesOpenAPI兼容的基础上提供更强大的搜索功能,以帮
KubeSphere 云原生
·
2024-08-24 04:41
k8s
容器平台
kubesphere
云计算
云原生
周刊:Kubernetes v1.31 发布
开源项目推荐KardinalKardinal是一个用于在共享Kubernetes集群中创建超轻量级临时开发环境的框架。AnteonAnteon(以前称为Ddosify)是一个开源的、基于eBPF的Kubernetes监控和性能测试平台。KubetuiKubetui是一个用于监控Kubernetes资源的终端用户界面(TUI)工具。它为开发人员和运维人员提供了一个易于使用的界面,可访问有关其应用程序
KubeSphere 云原生
·
2024-08-24 03:36
k8s
容器平台
kubesphere
云计算
Sora - 探索AI视频模型的无限可能
文章目录每日一句正能量前言
技术解析
应用场景未来展望伦理与创意用户体验与互动后记每日一句正能量.一个人,如果没有经受过投资失败的痛楚,又怎么会看到绝望之后的海阔天空。
想你依然心痛
·
2024-08-24 03:35
个人总结与成长规划
人工智能
音视频
【微服务】Nacos配置中心和客户端数据同步模式
一、Nacos概述Nacos是一个更易于构建
云原生
应用的动态服务发现、配置管理和服务管理平台。它提供了一组简单易用的特性集,帮助用户快速实现动态服务发现、服务配置、服务元数据及流量管理。
泡芙冰淇淋ya
·
2024-08-23 14:43
微服务
Java中的服务发现与负载均衡
技术解析
Java中的服务发现与负载均衡
技术解析
大家好,我是微赚淘客系统3.0的小编,是个冬天不穿秋裤,天冷也要风度的程序猿!今天我们来深入探讨Java中的服务发现与负载均衡技术。
省赚客app开发者
·
2024-08-23 05:49
java
服务发现
负载均衡
【python】Python操作Redis数据库的详细教程与应用实战
《博客》:Python全栈,PyQt5和Tkinter桌面开发,小程序开发,人工智能,js逆向,App逆向,网络系统安全,数据分析,Django,fastapi,flask等框架,
云原生
K
景天科技苑
·
2024-08-22 23:11
python综合应用
基础语法到高阶实战教学
数据库
python
redis
python操作redis
谈一谈数据虚拟化的技术核心和应用架构
这一技术方案与过去面对传统
数仓
的弊端,业界过去经常采取的方式Presto方案有一定相似,但存在明显差别。
Aloudata
·
2024-08-22 21:31
Data
Fabric
逻辑数据平台
数据集成
数据虚拟化
Nacos是如何实现数据同步的?
Nacos是构建以“服务”为中心的现代应用架构(例如微服务范式、
云原生
范式)的服务基础设施。Nacos是一个分布式系统,为了确保集群间数据一致,不仅仅依赖于数据发生改变时的实时同步,后台有定时任务做
如沐暖阳~
·
2024-08-22 19:23
java
开发语言
探索
云原生
数据中心网络:一个深度实践之旅
探索
云原生
数据中心网络:一个深度实践之旅cloud-native-data-center-networkingCoderepositoryfortheO'Reillybook'CloudNativeDataCenterNetworking
黎杉娜Torrent
·
2024-08-22 15:24
数字(智)化采购系统优点_亮点_应用场景
郑州信源数字化采购系统研发商,系统融合
云原生
、微服务、大数据、人工智能、物联网等先进技术,构建业务中台、数据中台、AI中台三大核心基座,以采购为切入点,结合供应链管理理念,为招采供应链提供交易、监管、数据
xinyuan_123456
·
2024-08-22 02:38
软件工程
云原生
微服务
Kubernetes静态Pod:深入解析与应用实践
引言Kubernetes(简称K8s)作为
云原生
时代的基石,以其强大的容器编排能力赢得了广泛的认可和应用。在K8s的众多特性中,静态Pod(StaticPod)是一个独特而重要的存在。
CloudJourney
·
2024-08-21 21:31
云原生
kubernetes
容器
2024-07-12 - 基于 sealos 部署高可用 K8S 管理系统
它以
云原生
的方式,抛弃了传统的云计算架构,转向以Kubernetes为云内核的新架构,使企业能够像使用个人电脑一样简单地使用云。
流雨声
·
2024-08-21 21:30
kubernetes
容器
云原生
数开中:SQL递归函数使用场景(70天)
数仓
(DataWarehouse)中,SQL递归函数的使用场景多出现在需要处理具有层级或树状结构的数据时。这类数据可能包括商品分类、用户行为路径(如点击流中的页面跳转)、促销活动层级等。
大数据飞总
·
2024-08-21 20:29
sql
sql
数据库
大数据
上一页
1
2
3
4
5
6
7
8
下一页
按字母分类:
A
B
C
D
E
F
G
H
I
J
K
L
M
N
O
P
Q
R
S
T
U
V
W
X
Y
Z
其他