ICPC-大数

探索智慧文旅：科技如何提升游客体验

随着互联网、大数据、人工智能等技术的普及，智慧文旅逐渐成为旅游业转型
方案365·2024-02-01 14:41

图数据库：原理、优势及其应用

随着大数据时代的到来，数据的存储和处理方式正经历着深刻的变革。其中，图数据库作为一种新型的数据存储模型，正在以其独特的设计和强大的性能，在众多领域中崭露头角。
渣渣苏·2024-02-01 14:35

存内计算技术—解决冯·诺依曼瓶颈的AI算力引擎

随着大数据时代的到来，传统的冯·诺依曼架构已经难以满足不断增长的计算需求，因为它将处理单元和存储器分开，导致数据传输成本高昂且计算效率低下
一见已难忘的申公豹·2024-02-01 14:19

大数据开发流程图

1、大数据流程图2、大数据各个环节主要技术2.1、数据处理主要技术Sqoop：（发音：skup）作为一款开源的离线数据传输工具，主要用于Hadoop(Hive)与传统数据库（MySql,PostgreSQL
xyzkenan·2024-02-01 14:30

【主流电商平台API接口接入】大数据的关键技术之—大数据采集

大数据采集是指通过各种技术手段和工具收集、获取和提取大规模数据的过程。在信息时代，各种互联网、物联网、移动设备等的普及和应用，产生了海量的数据，这些数据被称为大数据。
电商数据girl·2024-02-01 13:22

【大数据安全】数据管理安全&安全分析&隐私保护

目录一、数据管理安全（一）数据溯源（二）数字水印（三）策略管理（四）完整性保护（五）数据脱敏二、安全分析（一）大数据安全分析架构（二）大数据防DDoS攻击（三）攻击可视化与安全业务定制三、隐私保护（一）
Francek Chen·2024-02-01 13:48

大数据更是一种思维方式革命

图片发自App在方法论的层面，大数据是一种全新的思维方式。按照大数据的思维方式，我们做事情的方式与方法需要从根本上改变。
一阳归来·2024-02-01 13:54

大数据学习(32)hive优化方法总结

&&大数据学习&&系列专栏：哲学语录:承认自己的无知，乃是开启智慧的大门如果觉得博主的文章还不错的话，请点赞+收藏⭐️+留言支持一下博主哦Hive优化主要从以下几个方面考虑：数据倾斜：对于数据倾斜问题，
viperrrrrrr·2024-02-01 12:08

flink（十三）：flink-CheckPoint和SavePoint作用和区别

文章目录分享说明CheckcPoint运行原理开启设置保存多个CheckPoint恢复任务SavePoint运行原理创建SavePoint恢复任务SavePoint和CheckPoint的区别详细区别总结分享大数据博客列表说明本博客周五更新一次
羽落风起·2024-02-01 12:13

大数据之Spark

Spark介绍什么是Spark专为大规模数据处理而设计的快速通用的计算引擎类HadoopMapReduce的通用并行计算框架拥有HadoopMapReduce所具有的优点但不同于MapReduce的是Job中间输出结果可以缓存在内存中，从而不再需要读写HDFS，减少磁盘数据交互因此Spark能更好地适用于数据挖掘与机器学习等需要迭代的算法Spark是Scala编写，方便快速编程Spark与MR的区
进击的-小胖子·2024-02-01 12:37

大数据之Spark:Spark大厂面试真题

目录1.通常来说，Spark与MapReduce相比，Spark运行效率更高。请说明效率更高来源于Spark内置的哪些机制？2.hadoop和spark使用场景？3.spark如何保证宕机迅速恢复?4.hadoop和spark的相同点和不同点？5.RDD持久化原理？checkpoint检查点机制？7.checkpoint和持久化机制的区别？RDD机制理解吗？9.Sparkstreaming以及基本
浊酒南街·2024-02-01 12:35

Spark系列（十）Shuffle的技术难点问题--Spark比MapReduce快的真正原因

写在前面：我是「nicedays」，一枚喜爱做特效，听音乐，分享技术的大数据开发猿。这名字是来自worldorder乐队的一首HAVEANICEDAY。
NICEDAYSS·2024-02-01 12:03

【大数据开发 Spark】第一篇：Spark 简介、Spark 的核心组成（5大模块）、Spark 的主要特征（4大特征）、Spark 对比 MapReduce

文章目录1Spark简介2Spark的核心组成（5大模块）3Spark的主要特征（4大特征）4Spark对比MapReduce1Spark简介初步了解一项技术，最好的方式就是去它的官网首页，一般首页都会有十分官方且准确的介绍，学习Spark也不例外，官方介绍：ApacheSpark™是一种多语言引擎，用于在单节点机器或集群上执行数据工程、数据科学和机器学习。我们可以得知，Spark可以单节点运行，
超周到的程序员·2024-02-01 12:02

大数据之 Spark DAG

SparkDirectedAcyclicGraph(DAG)是ApacheSpark中的核心概念，它用于描述作业（job）的计算逻辑。在Spark中，用户通过对RDD（ResilientDistributedDatasets）的操作构建一系列转换和动作，这些操作会形成一个有向无环图结构。DAG的构成：节点（Vertices）：DAG中的每个节点代表了对数据的一次转换或动作。在Spark中，转换如m
转身成为了码农·2024-02-01 12:00

大数据之 Spark 与 Hadoop MapReduce 对比

ApacheSpark和ApacheHadoopMapReduce是两个广泛用于大数据处理的开源框架，它们在设计目标、性能表现和功能特性上有显著的不同点：执行模型：MapReduce(MR)：基于批处理模式
转身成为了码农·2024-02-01 12:30

大数据之 Spark Shuffle 和 Hadoop MapReduce Shuffle的区别

SparkShuffle和HadoopMapReduceShuffle是分布式计算框架中处理中间结果的关键阶段，它们的主要区别在于设计原理、执行效率和资源利用率：HadoopMapReduceShuffleSort-based：HadoopMapReduce的Shuffle过程基于排序。在Map阶段结束后，每个Mapper会将不同key对应的value按照key进行排序，并且通常会对数据进行分区（
转身成为了码农·2024-02-01 12:30

大数据之 Spark 比 MapReduce 快的原因

Spark比MapReduce（MR）快的原因可以总结如下：内存计算：Spark的核心设计是基于内存的计算模型，它将中间数据尽可能保留在内存中。这意味着在多次迭代或连续操作时，数据无需反复读写磁盘，从而显著减少I/O开销。相比之下，MapReduce的每个阶段之间都涉及到大量的磁盘读写操作，特别是shuffle过程中的排序和合并，这会导致显著的性能瓶颈。DAG执行引擎：Spark支持有向无环图（D
转身成为了码农·2024-02-01 12:57

快速上手医学影像组学和机器学习（训练营：2023.11.7~11.14）

★课程简介★随着大数据、人工智能的深入融合发展，一项新的研究方法开始用于临床研究，它就是影像组学。它可以对普通影像图像进行更深层
茗创科技·2024-02-01 12:54

分析打卡day6

学习中科大数学分析习题课讲义第三章今天是A组和B组，其实原本C组也能看完，奈何B站太好看啦。呜呜,嗷嗷嗷
多元化数学喵·2024-02-01 12:14

Python+大数据-Linux-day01(黑马)

Python+大数据day01(黑马)Linux服务器系统常见目录结构目录作用/bin二进制命令所在的目录/boot系统引导程序所需要的文件目录/dev设备软件目录，磁盘，光驱，/etc系统配置，启动程序
呆猛的呆呆小哥·2024-02-01 11:10

2019年6月人力资源领域投融资动态汇总（共9起）

据悉，本轮投资方是用友集团产业投资，其重点的投资领域在以云计算、大数据、人工智能、区块链等信息技术驱动的企业级服务领域。
个人发展教练张帅·2024-02-01 11:37

大数据之Redis：Redis简介

目录1.Redis简介2.Redis优势3.Redis应用场景1.Redis简介Redis(REmoteDIctionaryServer)是一个完全开源免费的，高性能的key-value数据库存储系统，是热门的NoSql数据库之一；1.Redis支持存储的多种key-value类型，包括string(字符串)、list(链表)、set(集合)、zset(sortedset--有序集合)和hash（
浊酒南街·2024-02-01 11:11

redis九大数据类型数据结构及底层源码

一，String字符串1.存储原理1）数据模型sethelloword为例，因为Redis是KV的数据库，它是通过hashtable实现的（我们把这个叫做外层的哈希）。所以每个键值对都会有一个dictEntry（源码位置：dict.h），里面指向了key和value的指针。next指向下一个dictEntry。typedefstructdictEntry{void*key;/*key关键字定义*/
学nm个锤子·2024-02-01 11:11

大数据系列——Redis理论

概述RemoteDictionaryServer(Redis)是一个由SalvatoreSanfilippo写的key-value存储系统，是跨平台的非关系型数据库，也属于一种nosql数据库，通常被称为数据结构服务器。Redis是一个开源的使用ANSIC语言编写、遵守BSD协议、支持网络、可基于内存、分布式、可选持久性的键值对(Key-Value)存储数据库，并提供多种语言的API。Redis与
mql007007·2024-02-01 11:36

大数据学习之Redis，十大数据类型的具体应用（四）

3.8Redis基数统计（HyperLogLog）需求统计某个网站的UV、统计某个文章的UV什么是UVuniqueVisitor，独立访客，一般理解为客户端IP大规模的防止作弊，需要去重复统计独立访客比如IP同样就认为是同一个客户需要去重考虑用户搜索网站的关键词的数量统计用户每天搜索不同词条个数是什么？去重复统计功能的基数估计算法-就是HyperLogLogRedisHyperLogLog是用来做
十二点的泡面·2024-02-01 11:02

Git系列---远程操作

作者简介：RO-BERRY学习方向：致力于C、C++、数据结构、TCP/IP、数据库等等一系列知识日后方向:偏向于CPP开发以及大数据方向，欢迎各位关注，谢谢各位的支持引用1.理解分布式版本控制系统2.
RO-BERRY·2024-02-01 10:39

JVM工作原理与实战(三十一)：诊断内存泄漏的原因

专栏导航JVM工作原理与实战RabbitMQ入门指南从零开始了解大数据目录专栏导航前言一、诊断原因二、MAT内存泄漏检测的原理总结前言JVM作为Java程序的运行环境，其负责解释和执行字节码，管理内存，
橘子-青衫·2024-02-01 10:13

从零开始 Linux（一）：基础介绍与常用指令总结

Linux是一个开源免费的操作系统，具有很好的稳定性、安全性，且有很强的处理高并发的能力Linux的应用场景：可以在Linux下开发项目，比如JavaEE、大数据、Python，PHP、C/C++等应用领域或者变成语言的项目个人桌面应用
*Soo_Young*·2024-02-01 09:57

由一则新闻想到

曾经看到这样一份资料，资料中讲到2019本科录取结束有些机构利用大数据分析后发现一些我们看来一些冷门的专业零零后确主动报这样的专业。一些我们看来很热的专业，今年却集体遇冷，例如财经类大学。
悠然_6547·2024-02-01 09:48

大数据开发之离线数仓项目（用户行为采集平台）（可面试使用）

第1章：数据仓库概念数据仓库，是为企业指定决策，提供数据支持的，可以帮助企业，改进业务流程、提高产品质量等。数据仓库的输入数据通常包括：业务数据、用户行为数据和爬虫数据等。业务数据：就是各行业在处理事务过程中产生的数据。比如用户在电商网站中登录、下单、支付等过程中，需要和网站后台数据库进行增删改查交互，产生的数据就是业务数据。业务数据通常存储在mysql、oracle等数据库中。用户行为数据：用户
Key-Key·2024-02-01 08:46

泰迪智能科技大模型微调项目训练营已开营

泰迪智能科技大模型微调项目训练营开营跟张良均老师学大数据人工智能项目一：医疗诊疗对话意图识别项目二：中医问答系统项目三：某平台股票评论情感识别学习流程：项目一：医疗诊疗对话意图识别项目背景:“互联网+医疗
泰迪智能科技·2024-02-01 08:40

开门见“山”｜24年我们去火山引擎转了转

随着大数据、物联网、云计算、5G等关键技术的不断突破发展，企业的云上业务规模增长迅猛，混合云、多云逐渐成为企业普遍选择的部署方式。云安全正伴随着云计算，逐步嵌入到各类应用场景之中。
FreeBuf_·2024-02-01 08:35

实战Vue.js与MySQL：爱心商城项目开发指南

专业做Java、Python、微信小程序、安卓、大数据、爬虫、Golang、大屏等实战项目。⛽⛽实战项目：有源码或者技术上的问题欢迎在评论区一起讨论交流！
计算机编程指导师·2024-02-01 08:35

测试开发：一文教你从0到1搞懂大数据测试！

1.什么是大数据大数据是一个大的数据集合，通过传统的计算技术无法进行处理。这些数据集的测试需要使用各种工具、技术和框架进行处理。
测试开发技术·2024-02-01 08:22

大数据 - Spark系列《二》- 关于Spark在Idea中的一些常用配置

上一篇：大数据-Spark系列《一》-从Hadoop到Spark：大数据计算引擎的演进-CSDN博客目录1.Idea中配置LiveTemplates来快速生成代码片段2.Idea中配置文件模板自定义初始代码
王哪跑nn·2024-02-01 07:53

大数据 - Spark系列《一》- 从Hadoop到Spark：大数据计算引擎的演进

开发工程搭建1.开发语言选择：2.依赖管理工具：1.4.2Spark编程流程1.获取sparkcontext对象2.加载数据3.处理转换数据4.输出结果,释放资源1.4.3简单代码实现-wordCount在大数据领域
王哪跑nn·2024-02-01 07:43

多线程事务如何回滚？

背景介绍1，最近有一个大数据量插入的操作入库的业务场景，需要先做一些其他修改操作，然后在执行插入操作，由于插入数据可能会很多，用到多线程去拆分数据并行处理来提高响应时间，如果有一个线程执行失败，则全部回滚
码出天空·2024-02-01 07:07

关于MongoDB大数据量下远程备份本地恢复操作

背景需要将远程服务的MongoDB数据拷贝到本地环境数据量很大，单表数据在100亿，占用硬盘存储空间270G左右没有远程服务器的操作权限，但是可以连接远程mongo备份操作使用mongodump远程服务和本地环境的MongoDB环境一致，或者本地环境的为高版本./mongodump--uri="mongodb://user:passWord@host:port/database?ssl=false
夜白宋·2024-02-01 07:07

智能运维之告警聚合技术介绍

网络运维的告警风暴挑战随着云计算、大数据、物联网等技术的快速发展，IT基础设施开始云化、应用运行环境容器化、系统架构开始微服务化，新的IT系统规模不断扩大升级，每天都可能产生海量的数据，这使得运维工作量越来越大
H3C-Navigator·2024-02-01 07:35

大数据（Bigdata）数据集

一.京东消费者数据分析二.世界杯数据集三.淘宝用户购物行为分析四.物流行业数据分析五.星巴克全球位置信息数据集六.抑郁症数据集分析
py爱好者~·2024-02-01 07:03

实战教程：使用Spring Boot和Vue.js开发社区团购管理系统

专业做Java、Python、微信小程序、安卓、大数据、爬虫、Golang、大屏等实战项目。⛽⛽实战项目：有源码或者技术上的问题欢迎在评论区一起讨论交流！
计算机编程指导师·2024-02-01 06:24

大数的认识知识点及练习题

一、数位、计数单位和数位顺序表。1．个（一）、十、百、千、万……是计数单位；个位、十位、百位、千位、万位是数位；数位和计数单位之间是一一对应的。2．数位顺序表中从各位开始，越往左数位越高，每四个数位组成一个数级（个级：个位、十位、百位、千位；万级：万位、十万位、百万位、千万位；……）强调：个位不是最低位。3．每相邻的两个数位之间的进率都是十，这种计数方法叫十进制计数法。自然数（1、2、3、4、5、
和美家学堂·2024-02-01 06:16

语言革命：NLP与GPT-3.5如何改变我们的世界

技术进步1.2应用场景二、挑战与前景三、伦理和社会影响四、实践经验五、总结与展望前言自然语言处理（NaturalLanguageProcessing，NLP）是人工智能领域的一个重要分支，随着深度学习和大数据技术的进步
屿小夏·2024-02-01 06:51

HBase介绍

一、HBase简介1.1、HBase是什么Google在200-2006发表了GFS、MapReduce、BigTable三篇论文，号称“三驾马车”，开启了大数据的时代。
M.Rambo·2024-02-01 06:09

桶排序

原理：提前确定好要排序的最大数。然后排序。
留下的是物离开的是人·2024-02-01 06:00

Android性能优化-缓存的使用

考虑极端环境下的用户体验断网情况网速慢的情况节省客户端流量减少服务器压力什么样的数据需要缓存首先最需要缓存的就是图片了(这个不多说)其次就是一些非常重要的数据(如app首页数据)常见的数据缓存方法以及优缺点文件缓存优点可以缓存超大数据
wfunny·2024-02-01 06:19

Spark SQL的高级用法

);--方式二/*序列函数sequence(start,stop,step):生成指定返回的列表数据[start,stop]必须传入,step步长可传可不传,默认为1,也可以传入负数,传入负数的时候,大数要在前
Yan_bigdata·2024-02-01 06:42

商机 | 大数据/政务云采购清单 招标4起，最高招标价为2642.7万（10.14-10.17）

文|36大数据奥兰多一、政府、企事业单位大数据/政务云中标成交清单，一共6起，最高成交价为678.9万二、政府、企事业单位大数据/政务云招标清单一共4起，最高招标价为2642.7万【招标】【363.6万
36大数据·2024-02-01 05:57

【10天打穿JAVA】JAVA的基本程序设计结构

数据类型整型浮点类型char类型boolean类型声明常量枚举类型字符串（1）求字串（2）拼接（3）判相等（4）比大小4.输入与输出关于输入的常用方法如下：用于pringf的标志标志的语法如下5.控制流程6.大数高精度运算方法整数小数
gobeyye·2024-02-01 05:49

大数据挖掘培训就业前景怎么样？好找工作吗？

众所周知，大数据已经不简简单单是数据大的事实了，而最重要的现实是对大数据进行分析挖掘，只有通过分析才能获取很多智能的，深入的，有价值的信息。
kuntoria·2024-02-01 04:52
上一页 35 36 37 38 39 40 41 42 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他