E-COM-NET
首页
在线工具
Layui镜像站
SUI文档
联系我们
推荐频道
Java
PHP
C++
C
C#
Python
Ruby
go语言
Scala
Servlet
Vue
MySQL
NoSQL
Redis
CSS
Oracle
SQL Server
DB2
HBase
Http
HTML5
Spring
Ajax
Jquery
JavaScript
Json
XML
NodeJs
mybatis
Hibernate
算法
设计模式
shell
数据结构
大数据
JS
消息中间件
正则表达式
Tomcat
SQL
Nginx
Shiro
Maven
Linux
大数据Hbase
【
大数据
实战】阿里巴巴双11千万级实时监控系统技术揭秘
一、时序业务全景TSDB自2016年开始服役,到现在已经三年了,参与了三次阿里巴巴双11大促。2016年是TSDB元年,2017年开始在阿里巴巴内部做大规模推广。下图展示了2017年和2018年大促状态下TSDB吞吐表现。写入的峰值从2017年的2000wTPS到2018年有了翻倍的增长,增长到了4000wTPS。查询峰值从8000QPS转到了2wQPS。这些都是阿里巴巴核心业务的吞吐量情况,日均
yoku酱
·
2024-02-01 15:18
《楚门的世界》观后感
(每个人都是一个
大数据
包,你走的街道乘的车见过的人吃过的买过的东西去过的地方都是可寻的可跟踪的,你的信息你
越努力越幸运的阿立
·
2024-02-01 15:37
Flink 读取 Kafka 消息写入 Hudi 表无报错但没有写入任何记录的解决方法
博主历时三年精心创作的《
大数据
平台架构与原型实现:数据中台建设实战》一书现已由知名IT图书品牌电子工业出版社博文视点出版发行,点击《重磅推荐:建
大数据
平台太难了!给我发个工程原型吧!》
Laurence
·
2024-02-01 15:24
大数据专题
付费专栏
flink
hudi
kafka
无数据
无写入
streaming
龙哥风向标20231114 GPT拆解
操作步骤:通过小红书平台搜索旅游博主,筛选出符合要求的博主与博主进行合作邀约,确定真实行程路线,并提供流量扶持政策协助博主发布真实行程路线的内容,提高曝光度使用
大数据
分析工具监测用户互动和反馈
绝不原创的飞龙
·
2024-02-01 15:24
网赚
gpt
人工智能
网赚
探索智慧文旅:科技如何提升游客体验
随着互联网、
大数据
、人工智能等技术的普及,智慧文旅逐渐成为旅游业转型
方案365
·
2024-02-01 14:41
智慧文旅
智慧旅游
智慧景区
科技
智慧文旅
智慧旅游
人工智能
大数据
云计算
智慧景区
图数据库:原理、优势及其应用
随着
大数据
时代的到来,数据的存储和处理方式正经历着深刻的变革。其中,图数据库作为一种新型的数据存储模型,正在以其独特的设计和强大的性能,在众多领域中崭露头角。
渣渣苏
·
2024-02-01 14:35
数据库
存内计算技术—解决冯·诺依曼瓶颈的AI算力引擎
随着
大数据
时代的到来,传统的冯·诺依曼架构已经难以满足不断增长的计算需求,因为它将处理单元和存储器分开,导致数据传输成本高昂且计算效率低下
一见已难忘的申公豹
·
2024-02-01 14:19
IT测评/推广
人工智能
存内计算
AI算力
冯诺依曼
算力引擎
大数据
开发流程图
1、
大数据
流程图2、
大数据
各个环节主要技术2.1、数据处理主要技术Sqoop:(发音:skup)作为一款开源的离线数据传输工具,主要用于Hadoop(Hive)与传统数据库(MySql,PostgreSQL
xyzkenan
·
2024-02-01 14:30
大数据开发
大数据
大数据开发流程
【主流电商平台API接口接入】
大数据
的关键技术之—
大数据
采集
大数据
采集是指通过各种技术手段和工具收集、获取和提取大规模数据的过程。在信息时代,各种互联网、物联网、移动设备等的普及和应用,产生了海量的数据,这些数据被称为
大数据
。
电商数据girl
·
2024-02-01 13:22
大数据
python
爬虫
开发语言
java
json
php
【
大数据
安全】数据管理安全&安全分析&隐私保护
目录一、数据管理安全(一)数据溯源(二)数字水印(三)策略管理(四)完整性保护(五)数据脱敏二、安全分析(一)
大数据
安全分析架构(二)
大数据
防DDoS攻击(三)攻击可视化与安全业务定制三、隐私保护(一)
Francek Chen
·
2024-02-01 13:48
大数据技术基础
安全
大数据
大数据安全
大数据
更是一种思维方式革命
图片发自App在方法论的层面,
大数据
是一种全新的思维方式。按照
大数据
的思维方式,我们做事情的方式与方法需要从根本上改变。
一阳归来
·
2024-02-01 13:54
大数据
学习(32)hive优化方法总结
&&
大数据
学习&&系列专栏:哲学语录:承认自己的无知,乃是开启智慧的大门如果觉得博主的文章还不错的话,请点赞+收藏⭐️+留言支持一下博主哦Hive优化主要从以下几个方面考虑:数据倾斜:对于数据倾斜问题,
viperrrrrrr
·
2024-02-01 12:08
大数据
学习
hive
flink(十三):flink-CheckPoint和SavePoint作用和区别
文章目录分享说明CheckcPoint运行原理开启设置保存多个CheckPoint恢复任务SavePoint运行原理创建SavePoint恢复任务SavePoint和CheckPoint的区别详细区别总结分享
大数据
博客列表说明本博客周五更新一次
羽落风起
·
2024-02-01 12:13
flink
大数据
flink
大数据
大数据
之Spark
Spark介绍什么是Spark专为大规模数据处理而设计的快速通用的计算引擎类HadoopMapReduce的通用并行计算框架拥有HadoopMapReduce所具有的优点但不同于MapReduce的是Job中间输出结果可以缓存在内存中,从而不再需要读写HDFS,减少磁盘数据交互因此Spark能更好地适用于数据挖掘与机器学习等需要迭代的算法Spark是Scala编写,方便快速编程Spark与MR的区
进击的-小胖子
·
2024-02-01 12:37
大数据
spark
big
data
scala
大数据
实时大数据
大数据
之Spark:Spark大厂面试真题
目录1.通常来说,Spark与MapReduce相比,Spark运行效率更高。请说明效率更高来源于Spark内置的哪些机制?2.hadoop和spark使用场景?3.spark如何保证宕机迅速恢复?4.hadoop和spark的相同点和不同点?5.RDD持久化原理?checkpoint检查点机制?7.checkpoint和持久化机制的区别?RDD机制理解吗?9.Sparkstreaming以及基本
浊酒南街
·
2024-02-01 12:35
大数据系列三
spark
big
data
面试
Spark系列(十)Shuffle的技术难点问题--Spark比MapReduce快的真正原因
写在前面:我是「nicedays」,一枚喜爱做特效,听音乐,分享技术的
大数据
开发猿。这名字是来自worldorder乐队的一首HAVEANICEDAY。
NICEDAYSS
·
2024-02-01 12:03
Spark
大数据
spark
mapreduce
【
大数据
开发 Spark】第一篇:Spark 简介、Spark 的核心组成(5大模块)、Spark 的主要特征(4大特征)、Spark 对比 MapReduce
文章目录1Spark简介2Spark的核心组成(5大模块)3Spark的主要特征(4大特征)4Spark对比MapReduce1Spark简介初步了解一项技术,最好的方式就是去它的官网首页,一般首页都会有十分官方且准确的介绍,学习Spark也不例外,官方介绍:ApacheSpark™是一种多语言引擎,用于在单节点机器或集群上执行数据工程、数据科学和机器学习。我们可以得知,Spark可以单节点运行,
超周到的程序员
·
2024-02-01 12:02
#
Spark
大数据开发技术
spark
big
data
mapreduce
大数据
之 Spark DAG
SparkDirectedAcyclicGraph(DAG)是ApacheSpark中的核心概念,它用于描述作业(job)的计算逻辑。在Spark中,用户通过对RDD(ResilientDistributedDatasets)的操作构建一系列转换和动作,这些操作会形成一个有向无环图结构。DAG的构成:节点(Vertices):DAG中的每个节点代表了对数据的一次转换或动作。在Spark中,转换如m
转身成为了码农
·
2024-02-01 12:00
大数据
spark
hadoop
大数据
之 Spark 与 Hadoop MapReduce 对比
ApacheSpark和ApacheHadoopMapReduce是两个广泛用于
大数据
处理的开源框架,它们在设计目标、性能表现和功能特性上有显著的不同点:执行模型:MapReduce(MR):基于批处理模式
转身成为了码农
·
2024-02-01 12:30
大数据
spark
hadoop
大数据
之 Spark Shuffle 和 Hadoop MapReduce Shuffle的区别
SparkShuffle和HadoopMapReduceShuffle是分布式计算框架中处理中间结果的关键阶段,它们的主要区别在于设计原理、执行效率和资源利用率:HadoopMapReduceShuffleSort-based:HadoopMapReduce的Shuffle过程基于排序。在Map阶段结束后,每个Mapper会将不同key对应的value按照key进行排序,并且通常会对数据进行分区(
转身成为了码农
·
2024-02-01 12:30
大数据
spark
hadoop
大数据
之 Spark 比 MapReduce 快的原因
Spark比MapReduce(MR)快的原因可以总结如下:内存计算:Spark的核心设计是基于内存的计算模型,它将中间数据尽可能保留在内存中。这意味着在多次迭代或连续操作时,数据无需反复读写磁盘,从而显著减少I/O开销。相比之下,MapReduce的每个阶段之间都涉及到大量的磁盘读写操作,特别是shuffle过程中的排序和合并,这会导致显著的性能瓶颈。DAG执行引擎:Spark支持有向无环图(D
转身成为了码农
·
2024-02-01 12:57
大数据
spark
mapreduce
快速上手医学影像组学和机器学习(训练营:2023.11.7~11.14)
★课程简介★随着
大数据
、人工智能的深入融合发展,一项新的研究方法开始用于临床研究,它就是影像组学。它可以对普通影像图像进行更深层
茗创科技
·
2024-02-01 12:54
Python+
大数据
-Linux-day01(黑马)
Python+
大数据
day01(黑马)Linux服务器系统常见目录结构目录作用/bin二进制命令所在的目录/boot系统引导程序所需要的文件目录/dev设备软件目录,磁盘,光驱,/etc系统配置,启动程序
呆猛的呆呆小哥
·
2024-02-01 11:10
python+大数据
大数据
linux
服务器
2019年6月人力资源领域投融资动态汇总(共9起)
据悉,本轮投资方是用友集团产业投资,其重点的投资领域在以云计算、
大数据
、人工智能、区块链等信息技术驱动的企业级服务领域。
个人发展教练张帅
·
2024-02-01 11:37
大数据
之Redis:Redis简介
目录1.Redis简介2.Redis优势3.Redis应用场景1.Redis简介Redis(REmoteDIctionaryServer)是一个完全开源免费的,高性能的key-value数据库存储系统,是热门的NoSql数据库之一;1.Redis支持存储的多种key-value类型,包括string(字符串)、list(链表)、set(集合)、zset(sortedset--有序集合)和hash(
浊酒南街
·
2024-02-01 11:11
大数据系列一
redis九
大数据
类型数据结构及底层源码
一,String字符串1.存储原理1)数据模型sethelloword为例,因为Redis是KV的数据库,它是通过hashtable实现的(我们把这个叫做外层的哈希)。所以每个键值对都会有一个dictEntry(源码位置:dict.h),里面指向了key和value的指针。next指向下一个dictEntry。typedefstructdictEntry{void*key;/*key关键字定义*/
学nm个锤子
·
2024-02-01 11:11
redis高级特性
redis
数据结构
大数据
系列——Redis理论
概述RemoteDictionaryServer(Redis)是一个由SalvatoreSanfilippo写的key-value存储系统,是跨平台的非关系型数据库,也属于一种nosql数据库,通常被称为数据结构服务器。Redis是一个开源的使用ANSIC语言编写、遵守BSD协议、支持网络、可基于内存、分布式、可选持久性的键值对(Key-Value)存储数据库,并提供多种语言的API。Redis与
mql007007
·
2024-02-01 11:36
数字化转型
redis
big
data
缓存
大数据
学习之Redis,十
大数据
类型的具体应用(四)
3.8Redis基数统计(HyperLogLog)需求统计某个网站的UV、统计某个文章的UV什么是UVuniqueVisitor,独立访客,一般理解为客户端IP大规模的防止作弊,需要去重复统计独立访客比如IP同样就认为是同一个客户需要去重考虑用户搜索网站的关键词的数量统计用户每天搜索不同词条个数是什么?去重复统计功能的基数估计算法-就是HyperLogLogRedisHyperLogLog是用来做
十二点的泡面
·
2024-02-01 11:02
学习
redis
数据库
Git系列---远程操作
作者简介:RO-BERRY学习方向:致力于C、C++、数据结构、TCP/IP、数据库等等一系列知识日后方向:偏向于CPP开发以及
大数据
方向,欢迎各位关注,谢谢各位的支持引用1.理解分布式版本控制系统2.
RO-BERRY
·
2024-02-01 10:39
git
JVM工作原理与实战(三十一):诊断内存泄漏的原因
专栏导航JVM工作原理与实战RabbitMQ入门指南从零开始了解
大数据
目录专栏导航前言一、诊断原因二、MAT内存泄漏检测的原理总结前言JVM作为Java程序的运行环境,其负责解释和执行字节码,管理内存,
橘子-青衫
·
2024-02-01 10:13
JVM工作原理与实战
jvm
java
后端
架构
报错:ERROR: org.apache.hadoop.
hbase
.PleaseHoldException: Master is initializing解决方案
/zkCli.sh进入客户端3.删除
hbase
,输入rmr/
hbase
4.关闭
hbase
输入stop-
hbase
.sh如果未能退出,就使用kill-9进程号强制删除5.重新启动start-
hbase
.sh
:)คิดถึง
·
2024-02-01 09:35
错误处理
hbase
从零开始 Linux(一):基础介绍与常用指令总结
Linux是一个开源免费的操作系统,具有很好的稳定性、安全性,且有很强的处理高并发的能力Linux的应用场景:可以在Linux下开发项目,比如JavaEE、
大数据
、Python,PHP、C/C++等应用领域或者变成语言的项目个人桌面应用
*Soo_Young*
·
2024-02-01 09:57
linux
运维
服务器
由一则新闻想到
曾经看到这样一份资料,资料中讲到2019本科录取结束有些机构利用
大数据
分析后发现一些我们看来一些冷门的专业零零后确主动报这样的专业。一些我们看来很热的专业,今年却集体遇冷,例如财经类大学。
悠然_6547
·
2024-02-01 09:48
大数据
开发之离线数仓项目(用户行为采集平台)(可面试使用)
第1章:数据仓库概念数据仓库,是为企业指定决策,提供数据支持的,可以帮助企业,改进业务流程、提高产品质量等。数据仓库的输入数据通常包括:业务数据、用户行为数据和爬虫数据等。业务数据:就是各行业在处理事务过程中产生的数据。比如用户在电商网站中登录、下单、支付等过程中,需要和网站后台数据库进行增删改查交互,产生的数据就是业务数据。业务数据通常存储在mysql、oracle等数据库中。用户行为数据:用户
Key-Key
·
2024-02-01 08:46
大数据
面试
职场和发展
hadoop
分布式
弹性分布式数据集
spark
泰迪智能科技大模型微调项目训练营已开营
泰迪智能科技大模型微调项目训练营开营跟张良均老师学
大数据
人工智能项目一:医疗诊疗对话意图识别项目二:中医问答系统项目三:某平台股票评论情感识别学习流程:项目一:医疗诊疗对话意图识别项目背景:“互联网+医疗
泰迪智能科技
·
2024-02-01 08:40
大模型
科技
开门见“山”|24年我们去火山引擎转了转
随着
大数据
、物联网、云计算、5G等关键技术的不断突破发展,企业的云上业务规模增长迅猛,混合云、多云逐渐成为企业普遍选择的部署方式。云安全正伴随着云计算,逐步嵌入到各类应用场景之中。
FreeBuf_
·
2024-02-01 08:35
火山引擎
安全
实战Vue.js与MySQL:爱心商城项目开发指南
专业做Java、Python、微信小程序、安卓、
大数据
、爬虫、Golang、大屏等实战项目。⛽⛽实战项目:有源码或者技术上的问题欢迎在评论区一起讨论交流!
计算机编程指导师
·
2024-02-01 08:35
大数据实战集
Java实战集
Python实战集
vue.js
mysql
前端
spring
boot
java
javascript
爱心商城
测试开发:一文教你从0到1搞懂
大数据
测试!
1.什么是
大数据
大数据
是一个大的数据集合,通过传统的计算技术无法进行处理。这些数据集的测试需要使用各种工具、技术和框架进行处理。
测试开发技术
·
2024-02-01 08:22
大数据
- Spark系列《二》- 关于Spark在Idea中的一些常用配置
上一篇:
大数据
-Spark系列《一》-从Hadoop到Spark:
大数据
计算引擎的演进-CSDN博客目录1.Idea中配置LiveTemplates来快速生成代码片段2.Idea中配置文件模板自定义初始代码
王哪跑nn
·
2024-02-01 07:53
spark
Idea日常操作
大数据
spark
intellij-idea
深入浅出
HBase
:一文理解
HBase
基础概念(列存储、时间戳、key-value)、架构特点以及适合的使用场景
文章目录一.
HBase
数据模型1.行存储与列式存储1.1.行存储1.2.列存储2.
HBase
数据模型2.1.模型概览2.2.列与列族2.3.时间戳:定义数据版本2.4.
HBase
的Key-Value三.
roman_日积跬步-终至千里
·
2024-02-01 07:17
HBase
hbase
架构
数据库
大数据
- Spark系列《一》- 从Hadoop到Spark:
大数据
计算引擎的演进
开发工程搭建1.开发语言选择:2.依赖管理工具:1.4.2Spark编程流程1.获取sparkcontext对象2.加载数据3.处理转换数据4.输出结果,释放资源1.4.3简单代码实现-wordCount在
大数据
领域
王哪跑nn
·
2024-02-01 07:43
spark
大数据
spark
hadoop
多线程事务如何回滚?
背景介绍1,最近有一个
大数据
量插入的操作入库的业务场景,需要先做一些其他修改操作,然后在执行插入操作,由于插入数据可能会很多,用到多线程去拆分数据并行处理来提高响应时间,如果有一个线程执行失败,则全部回滚
码出天空
·
2024-02-01 07:07
spring
java
数据库
开发语言
关于MongoDB
大数据
量下远程备份本地恢复操作
背景需要将远程服务的MongoDB数据拷贝到本地环境数据量很大,单表数据在100亿,占用硬盘存储空间270G左右没有远程服务器的操作权限,但是可以连接远程mongo备份操作使用mongodump远程服务和本地环境的MongoDB环境一致,或者本地环境的为高版本./mongodump--uri="mongodb://user:passWord@host:port/database?ssl=false
夜白宋
·
2024-02-01 07:07
MongoDB
mongodb
数据库
智能运维之告警聚合技术介绍
网络运维的告警风暴挑战随着云计算、
大数据
、物联网等技术的快速发展,IT基础设施开始云化、应用运行环境容器化、系统架构开始微服务化,新的IT系统规模不断扩大升级,每天都可能产生海量的数据,这使得运维工作量越来越大
H3C-Navigator
·
2024-02-01 07:35
网络
运维
运维
大数据
(Bigdata)数据集
一.京东消费者数据分析二.世界杯数据集三.淘宝用户购物行为分析四.物流行业数据分析五.星巴克全球位置信息数据集六.抑郁症数据集分析
py爱好者~
·
2024-02-01 07:03
数据挖掘
大数据
数据库
big
data
实战教程:使用Spring Boot和Vue.js开发社区团购管理系统
专业做Java、Python、微信小程序、安卓、
大数据
、爬虫、Golang、大屏等实战项目。⛽⛽实战项目:有源码或者技术上的问题欢迎在评论区一起讨论交流!
计算机编程指导师
·
2024-02-01 06:24
Python实战集
Java实战集
大数据实战集
spring
boot
vue.js
后端
java
spring
社区团购
架构
语言革命:NLP与GPT-3.5如何改变我们的世界
技术进步1.2应用场景二、挑战与前景三、伦理和社会影响四、实践经验五、总结与展望前言自然语言处理(NaturalLanguageProcessing,NLP)是人工智能领域的一个重要分支,随着深度学习和
大数据
技术的进步
屿小夏
·
2024-02-01 06:51
IT杂谈
chatgpt
nlp
自然语言
人工智能
HBase
介绍
一、
HBase
简介1.1、
HBase
是什么Google在200-2006发表了GFS、MapReduce、BigTable三篇论文,号称“三驾马车”,开启了
大数据
的时代。
M.Rambo
·
2024-02-01 06:09
hbase
数据库
大数据
分布式
java
Android性能优化-缓存的使用
考虑极端环境下的用户体验断网情况网速慢的情况节省客户端流量减少服务器压力什么样的数据需要缓存首先最需要缓存的就是图片了(这个不多说)其次就是一些非常重要的数据(如app首页数据)常见的数据缓存方法以及优缺点文件缓存优点可以缓存超
大数据
wfunny
·
2024-02-01 06:19
2019/2/20
Hbase
单节点安装
在/usr/
hbase
目录下安装
hbase
(
hbase
-2.0.0-bin.tar.gz)解压过程即为安装过程解压=》为了让
hbase
的存放路径指定ns这个组名(防止出先不认识“ns”的错误)[root
阳光正好微风不燥_c509
·
2024-02-01 05:39
上一页
33
34
35
36
37
38
39
40
下一页
按字母分类:
A
B
C
D
E
F
G
H
I
J
K
L
M
N
O
P
Q
R
S
T
U
V
W
X
Y
Z
其他