大数据——hadoop

大厂咋做多系统数据同步方案的？

当前互联网业务系统大多MySQL数据存储与处理方案：随信息时代爆炸，大数据量场景下慢慢凸显短板，如：需对大量数据全文检索，对大量数据组合查询，分库分表后的数据聚合查询自然想到如何使用其他更适合处理该类问题的数据组件
JavaEdge.·2024-01-26 21:59

五大自然语言处理技术里程碑浅析

自然语言处理的发展随着深度学习和大数据技术的进步，自然语言处理取得了显著的进步。人们正在研究如何使计算机更好地理解和生成人类语言，以及如何应用NLP技术改善搜索引擎、语音助手、机器翻译等领域。
Syntax_CD·2024-01-26 21:54

数据仓库现代化和迁移解决方案Datametica

Datametica通过使用大数据技术和独特的自动化技术建立数据湖来帮助企业，这有助于以更快的速度和更低的成本完成该
weixin_30777913·2024-01-26 20:20

2024年第十五届机械与智能制造技术国际会议(ICMIMT 2024)

工业4.0的出现使制造业发生了革命性的变化，工业4.0利用了智能机器、大数据和人工智能。这些技术实现了实
爱科会易·2024-01-26 20:33

大数据所带来的四种思维方式的转变

随着近年来大数据技术的快速发展，大数据所创造的价值深刻改变了我们的生活、工作和思维方式。
garyond·2024-01-26 20:22

互联网大厂手把手教你搭建数据服务中台（附下载链接）

怎么在业务系统中高效的使用数据，让业务系统处理大数据时化繁为简，数据服务化基本是必经之路。
大数据食铁兽·2024-01-26 20:17

hadoop-MR

1.MR执行原理1.MAP阶段在这里插入图片描述2.Reducer在这里插入图片描述3.shuffle阶段在这里插入图片描述2.实操1.导入maven配置org.apache.hadoophadoop-mapreduce-client-common2.7.1org.apache.hadoophadoop-mapreduce-client-core2.7.12
炽热_3a57·2024-01-26 19:06

手把手教你用办公软件Excel做数据分析

来源：科多大数据现如今，各行各业的求职都需要简历包装。尤其是文职类简历，想要赢得offer，你不得在精通Excel等办公软件上下点功夫么？那么，你真的了解Excel嘛？
卿卿老祖·2024-01-26 19:27

【大数据面试题】HBase面试题附答案

目录1.介绍下HBase2.HBase优缺点3.介绍下的HBase的架构4.HBase的读写缓存5.在删除HBase中的一个数据的时候，它是立马就把数据删除掉了吗?6.HBase中的二级索引7.HBase的RegionServer宕机以后怎么恢复的?8.HBase的一个region由哪些东西组成?9.HBase高可用怎么实现的?10.为什么HBase适合写多读少业务?11.列式数据库的适用场景和优
话数Science·2024-01-26 19:42

金智易表通构建学生缴费数据查询+帆软构建缴费大数据报表并整合到微服务

2、大数据统计报表：从应收总额、欠费总额、应缴人数、欠费人数、各二级学院完成率和欠费统计、各年级欠费、男女类别欠费、本科和专科欠费比例等维度制作大数据分析报表。其中学校领导和财务处等部
symstandsun·2024-01-26 19:12

Hadoop 3.1.1 HDFS 集群部署

Hadoop3.1.1HDFS集群部署依赖服务系统优化查看ZooKeeper集群状态创建路径配置/etc/profile配置$HADOOP_HOME/etc/hadoop/hadoop-env.sh配置
JP.Hu·2024-01-26 19:37

庞大数据黑色交易网：金融相关占七成，谁卖出、谁买入

从2018年以来，随着传统金融数字化转型的加速，银行、证券、保险尤其是互联网金融等类型金融数据明显增多，诸多信息经常在暗网上被倒卖，“金融相关的数据情报数据占到7成以上，尤其涉及金融属性的个人隐私信息，www.153136.com如金融开户信息，信用卡等，国内国外同样如此。”近日，涉及国内多家银行数百万条客户数据资料、在暗网被标价兜售的消息广为流传。尽管涉事各家银行进行数据比对核查之后，均否认了被
虫洞科技老张·2024-01-26 18:19

展望2020，5G与AI将给数据中心带来怎样的改变？

根据观研天下发布的最新报告，由于移动互联网、物联网、大数据等互联网细分行业的崛起，中国数据中心市场规模增速远高于全球平均水平，过去5年复合年增长率为37.8%。
网时IDC商·2024-01-26 18:18

hadoop安装遇到的一些障碍

一.start-dfs.sh（开启不成功）原因：1.dadoop文件所属者与执行时登陆者不一致（权限不足）报错：WARNING:HADOOP_SECURE_DN_USERhasbeenreplacedbyHDFS_DATANODE_SECURE_USER.UsingvalueofHADOOP_SECURE_DN_USER.Startingnamenodeson
GetIdea·2024-01-26 18:30

软件系统架构黄金法则14：复杂对象存储架构法则

1.背景介绍1.背景介绍随着互联网和大数据时代的到来，数据的规模和复杂性不断增加。为了更有效地存储和管理这些数据，软件系统架构师们需要设计出高效、可靠、易于扩展的存储架构。
OpenChat·2024-01-26 18:07

AAAI‘2024时间序列论文汇总！预测、分类、异常检测和因果发现的最新进展

随着大数据时代的到来，时间序列数据在各个领域的应用越来越广泛，如金融、气象、健康等。因此，对时间序列的研究具有重要的理论和实践意义。
AI热心分享家·2024-01-26 18:03

AAAI‘2024时间序列论文汇总！预测、分类、异常检测和因果发现的最新进展

随着大数据时代的到来，时间序列数据在各个领域的应用越来越广泛，如金融、气象、健康等。因此，对时间序列的研究具有重要的理论和实践意义。
AI热心分享家·2024-01-26 18:32

【Flink】记录Flink 任务单独设置配置文件而不使用集群默认配置的一次实践

前言我们的大数据环境是CDP环境。该环境已经默认添加了FlinkonYarn的客户端配置。我们的Flink任务类型是FlinkonYarn的任务。
kiraraLou·2024-01-26 18:54

本地缓存的优缺点

访问速度快，但无法进行大数据存储本地缓存相对于分布式缓存的好处是，由于数据不需要跨网络传输，故性能更好，但是由于占用了应用进程的内存空间，如Java进程的JVM内存空间，故不能进行大数据量的数据存储。
sangsong7th·2024-01-26 17:03

指导手册05：MapReduce编程入门

指导手册05：MapReduce编程入门Part1:使用Eclipse创建MapReduce工程操作系统：Centos6.8,hadoop2.6.4情景描述：因为Hadoop本身就是由Java开发的，所以通常也选用
weixin_30655219·2024-01-26 17:56

第2章 信息技术发展——2.2 新一代信息技术及应用（上）

技术基础2.关键技术1)传感器技术2)传感网3)应用系统框架3.应用和发展2.2.2云计算1.技术基础2.关键技术1)虚拟化技术2)云存储技术3)多租户和访问控制管理4)云安全技术3.应用和发展2.2.3大数据
Mrlibai·2024-01-26 17:50

DataFunSummit：2023年OLAP引擎架构峰会：核心内容与学习收获（附大会核心PPT下载）

随着大数据时代的到来，OLAP引擎作为数据分析的核心组件，越来越受到业界的关注。本次峰会，汇集了业界顶尖的专家、学者和工程师，共同探讨OLAP引擎的最新技术、发展趋势和实际应用。
百家峰会·2024-01-26 16:09

亚信安慧AntDB：赋能业务核心 助力数据管理

亚信安慧AntDB数据库，作为一款强大数据库产品，旨在帮助运营商应对日益增长的数据管理挑战，并优化其核心业务流程。AntDB的核心设计理念是为了满足核心数据库升级改造的自主创新要求。
亚信安慧AntDB数据库·2024-01-26 16:38

2018-01-05

数据源：大数据、云计算、物联网、数据库、BIM
桥哥墨迹Danny·2024-01-26 15:00

Pandas数据大师之路-高级应用与性能优化【第35篇—python：Pandas数据大师】

：计算平均值示例：筛选数据写入Excel文件实例：读取并写入新表格数据清洗与转换缺失值处理数据类型转换分组与聚合数据可视化进一步学习高级功能与进阶应用多表关联与合并时间序列分析自定义函数应用性能优化与大数据处理持续学习与实践结语引言在日常的数据处理工作中
一见已难忘·2024-01-26 15:41

Spark3学习笔记

文章目录一、Spark基础1、Spark概述1.1Spark简介1.2SparkVSHadoop1.3Spark特点1.4Spark入门Demo2、Spark运行模式2.1概述2.2Local模式2.3Standalone
魅Lemon·2024-01-26 15:38

大数据量分页优化，应对PageHelper

大部分时间开发的分页代码都是使用pagehelper.PageInfo分页插件来实现，简单方便PageHelper.startPage(1,10)遇到百万数据量SQL，在进行分页查询时会出现性能问题，分页越深越慢我们要知道PageHelper的分页原理是什么pageHelper在执行时，会先计算count数量，在通过sql拼接limit实现分页功能，所以每次点下一页时，都会重新执行两遍SQL语句，
李九三·2024-01-26 14:56

地图在游戏中的应用案例：王者荣耀

腾讯位置服务，作为国内地图导航的领头羊，在各行业中应用广泛，包括：网约车、智能物流、车用地图、智能穿戴、智能景区、运输安全监控、金融地图、运动健康、房产服务、智慧交通、时空大数据慧眼、专网地图等等。
GIS前端嘉欣·2024-01-26 14:10

火热报名中：2024山西国际人工智能展览会（世亚智博会）

展会将于2024年6月在山西潇河国际会展中心举行，主题为“数字新时代·链接新未来”，将汇聚全球软件、IT、信息技术、物联网、大数据、5G等领域的知名企业和品牌。
高登先生·2024-01-26 14:39

ssm/php/node/python基于的高校疫情防控管理系统

因此，开发一套基于大数据、云计
花花 程序设计·2024-01-26 14:58

数字化变革时代｜打破瓶颈 海格里斯HEGERLS四向穿梭车系统技术的新突破

数字化转型是国内外市场环境的必然趋势,从各大中小企业的创新驱动力来说，物联网、云计算、人工智能、大数据等等，都是创新的技术革命，也是当前大环境下所追寻的数字化变革。
qq_39775293·2024-01-26 14:21

三步教会你制作数据可视化大屏，领导不看重你都难

在这个大数据的时代，各行各业对于数据的价值重视程度与日俱增，但是想要把数据价值最大化的发挥出来，就得需要对数据进行采集、融合、分析、数据可视化，而能让数据价值更直观展现的手段就是要数据可视化，数据可视化现如今已经成为日常办公
明月说数据·2024-01-26 14:51

带你了解分布式系统的数据一致性问题

老刘是一名即将找工作的研二学生，写博客一方面是复习总结大数据开发的知识点，一方面是希望能够帮助和自己一样自学编程的伙伴。
努力的老刘·2024-01-26 14:50

一文学习Thrift RPC

做大数据一般使用Python，数据存储又要使用Hbase(Java)，这就是异构系统了。另外，还有遗留系统额整合，一个公司的系统，是随着业务增长
等待花开I·2024-01-26 14:43

python爬取可视化html_教你用Python爬网站数据，并用BI可视化分析！

作为一名在数据行业打拼了两年多的数据分析师，虽然目前收入还算ok，但每每想起房价，男儿三十还未立，内心就不免彷徨不已~两年时间里曾经换过一份工作，一直都是从事大数据相关的行业。
weixin_39824834·2024-01-26 13:04

用户画像项目背景

1,用户画像项目介绍大数据平台简介数据仓库+用户画像+推荐系统（1）数据仓库：加快数据的分析和查询数据仓库分层：ODS层(映射HDFS的数据)—DW(数据仓库层)–APP(层)—BI(层)DW:DWD明细数据层
祈愿lucky·2024-01-26 13:20

FTP和TCP文件传输如何选择，是否有更好的？

然而，FTP的效率受到其设计的限制，特别是在大数据传输时，由于需要多次握手，效率可能受到影响。TCP协议则提供了可靠的连接服务，确
镭速·2024-01-26 12:22

希望这段文字能让你释怀

墨菲定律：大数据不会骗人，当你刷到这里。留下一句“一顺百顺”，你担心的那件事，好结果马上就来临。
旧书楼·2024-01-26 12:19

深入理解旅游网站开发：Java+SpringBoot+Vue+MySQL的实战经验

专业做Java、Python、微信小程序、安卓、大数据、爬虫、Golang、大屏等实战项目。⛽⛽实战项目：有源码或者技术上的问题欢迎在评论区一起讨论交流！
计算机编程指导师·2024-01-26 12:45

类似手游福利宝的app哪些好用 跟手游福利宝差不多的app是哪些

为了帮助玩家选择靠谱的平台，本文根据大数据统计整理了几个值得推荐的内部福利手游平台。让我们一起来看看吧！
会飞的鱼儿·2024-01-26 11:37

【投稿优惠|稳定出版】2024年经济、大数据与区块链国际学术会议（ICEBDB 2024）

【投稿优惠|稳定出版】2024年经济、大数据与区块链国际学术会议（ICEBDB2024）重要信息会议官网：http://www.icebdb.com会议地址：成都召开日期：2024/2/29截稿日期：2024
C17780735824·2024-01-26 11:15

Apache 辅助系统工具

一丶ApacheSqoop1.Sqoop的介绍：Sqoop的工作机制是将导入或者导出的命令翻译成MapReduce实现，Sqoop可以理解为：SQL到Hadoop或者Hadoop到SQL2.Sqoop的安装配置文件修改
月初，·2024-01-26 11:16

Java+Spring Cloud +Vue+UniApp微服务智慧工地云平台源码

证件管理4.考勤管理5.考勤明细6.工资管理7.现场统计8.WIFI教育9.课程库管理10.工种管理11.分包商管理12.班组管理13.项目管理智慧工地管理平台是以物联网、移动互联网技术为基础，充分应用大数据
源码技术栈·2024-01-26 10:41

centos同步服务器时间

不同步互联网查看所有节点ntpd服务状态sudosystemctlstatusntpdsudosystemctlstartntpdsudosystemctlis-enabledntpd查询自己的网段ipaddr修改hadoop102
热爱技术的小陈·2024-01-26 10:39

索引的概述和性能分析

就是索引无索引的情况，查询数据时会全表扫描，效率极低索引结构（1）二叉树，查询性能还行，但当数据顺序插入时，就会形成链表，数据量大时，层级就深，查询效率慢（2）红黑树，是普通二叉树优化，但本质仍是二叉树，不适合大数据情况
海色ha1se·2024-01-26 10:05

Apache Spark

ApacheSpark是一种快速、通用的大数据处理引擎，用于分布式数据处理和分析。它支持在大规模数据集上进行高性能计算，并且具有内置的分布式数据处理功能。
先------------------·2024-01-26 10:30

大数据之Hive:regexp_extract函数

目录一、正则的通配符简介1、正则表达式的符号及意义2、各种操作符的运算优先级：二、regexp_extract函数一、正则的通配符简介1、正则表达式的符号及意义符号含义实列/做为转意，即通常在"/"后面的字符不按原来意义解释如"*“匹配它前面元字符0次或多次，/a*/将匹配a,aa,aaa，加了”/"后，/a/*/将只匹配"a*".匹配任何一个字符^匹配一个输入或一行的开头/^a/匹配"anA"，
浊酒南街·2024-01-26 10:28

DeFi和FinTech有什么不同？

FinTech公司根据用户的历史消费记录，利用机器学习和人工智能进行大数据分析，计算出不同用户的信用水平，然后根据信用水平的不同推出不同的金融服务，比如贷款服务。举
MoonDEX_·2024-01-26 10:01

全栈实训管理系统：Java、Spring Boot、Vue和MySQL的实战解析

专业做Java、Python、微信小程序、安卓、大数据、爬虫、Golang、大屏等实战项目。⛽⛽实战项目：有源码或者技术上的问题欢迎在评论区一起讨论交流！
计算机毕业编程指导师·2024-01-26 10:05

实习生管理系统的最佳实践：JAVA+SPRINGBOOT+VUE+MYSQL

专业做Java、Python、微信小程序、安卓、大数据、爬虫、Golang、大屏等实战项目。⛽⛽实战项目：有源码或者技术上的问题欢迎在评论区一起讨论交流！
计算机毕业编程指导师·2024-01-26 10:04
上一页 50 51 52 53 54 55 56 57 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他