大数据预处理

测试开发：一文教你从0到1搞懂大数据测试！

1.什么是大数据大数据是一个大的数据集合，通过传统的计算技术无法进行处理。这些数据集的测试需要使用各种工具、技术和框架进行处理。
测试开发技术·2024-02-01 08:22

大数据 - Spark系列《二》- 关于Spark在Idea中的一些常用配置

上一篇：大数据-Spark系列《一》-从Hadoop到Spark：大数据计算引擎的演进-CSDN博客目录1.Idea中配置LiveTemplates来快速生成代码片段2.Idea中配置文件模板自定义初始代码
王哪跑nn·2024-02-01 07:53

大数据 - Spark系列《一》- 从Hadoop到Spark：大数据计算引擎的演进

开发工程搭建1.开发语言选择：2.依赖管理工具：1.4.2Spark编程流程1.获取sparkcontext对象2.加载数据3.处理转换数据4.输出结果,释放资源1.4.3简单代码实现-wordCount在大数据领域
王哪跑nn·2024-02-01 07:43

多线程事务如何回滚？

背景介绍1，最近有一个大数据量插入的操作入库的业务场景，需要先做一些其他修改操作，然后在执行插入操作，由于插入数据可能会很多，用到多线程去拆分数据并行处理来提高响应时间，如果有一个线程执行失败，则全部回滚
码出天空·2024-02-01 07:07

关于MongoDB大数据量下远程备份本地恢复操作

背景需要将远程服务的MongoDB数据拷贝到本地环境数据量很大，单表数据在100亿，占用硬盘存储空间270G左右没有远程服务器的操作权限，但是可以连接远程mongo备份操作使用mongodump远程服务和本地环境的MongoDB环境一致，或者本地环境的为高版本./mongodump--uri="mongodb://user:passWord@host:port/database?ssl=false
夜白宋·2024-02-01 07:07

智能运维之告警聚合技术介绍

网络运维的告警风暴挑战随着云计算、大数据、物联网等技术的快速发展，IT基础设施开始云化、应用运行环境容器化、系统架构开始微服务化，新的IT系统规模不断扩大升级，每天都可能产生海量的数据，这使得运维工作量越来越大
H3C-Navigator·2024-02-01 07:35

大数据（Bigdata）数据集

一.京东消费者数据分析二.世界杯数据集三.淘宝用户购物行为分析四.物流行业数据分析五.星巴克全球位置信息数据集六.抑郁症数据集分析
py爱好者~·2024-02-01 07:03

实战教程：使用Spring Boot和Vue.js开发社区团购管理系统

专业做Java、Python、微信小程序、安卓、大数据、爬虫、Golang、大屏等实战项目。⛽⛽实战项目：有源码或者技术上的问题欢迎在评论区一起讨论交流！
计算机编程指导师·2024-02-01 06:24

语言革命：NLP与GPT-3.5如何改变我们的世界

技术进步1.2应用场景二、挑战与前景三、伦理和社会影响四、实践经验五、总结与展望前言自然语言处理（NaturalLanguageProcessing，NLP）是人工智能领域的一个重要分支，随着深度学习和大数据技术的进步
屿小夏·2024-02-01 06:51

HBase介绍

一、HBase简介1.1、HBase是什么Google在200-2006发表了GFS、MapReduce、BigTable三篇论文，号称“三驾马车”，开启了大数据的时代。
M.Rambo·2024-02-01 06:09

Android性能优化-缓存的使用

考虑极端环境下的用户体验断网情况网速慢的情况节省客户端流量减少服务器压力什么样的数据需要缓存首先最需要缓存的就是图片了(这个不多说)其次就是一些非常重要的数据(如app首页数据)常见的数据缓存方法以及优缺点文件缓存优点可以缓存超大数据
wfunny·2024-02-01 06:19

【C/C++】详解程序环境和预处理（什么是程序环境？为什么要有程序环境？如何理解程序环境？）

编译环境（预处理---编译---汇编）链接环境（链接）执行环境六、预处理详解预定义符号#define#define定义标识符#define定义宏#define替换规则#和######undef宏和函数对比文件包含头文件被包含的方式嵌套文件的包含
sunny-ll·2024-02-01 05:25

商机 | 大数据/政务云采购清单 招标4起，最高招标价为2642.7万（10.14-10.17）

文|36大数据奥兰多一、政府、企事业单位大数据/政务云中标成交清单，一共6起，最高成交价为678.9万二、政府、企事业单位大数据/政务云招标清单一共4起，最高招标价为2642.7万【招标】【363.6万
36大数据·2024-02-01 05:57

大数据挖掘培训就业前景怎么样？好找工作吗？

众所周知，大数据已经不简简单单是数据大的事实了，而最重要的现实是对大数据进行分析挖掘，只有通过分析才能获取很多智能的，深入的，有价值的信息。
kuntoria·2024-02-01 04:52

也谈抖音

抖音的风行正是这个道理，打开抖音，大数据根据你上一次浏览查找你喜爱的，不知不觉时间就过去了。打开两次抖音，不知不觉就陷进去了，回头一看，一个小时过去了，两个小时过去了。
美女米豆·2024-02-01 04:33

Hadoop 大数据技术原理与应用

Hadoop大数据技术原理与应用大数据概述定义特征大量，多样，高速，价值研究意义应用场景医疗，金融，零售Hadoop概述历史优势扩容能力强，成本低，高效率，可靠性，高容错Hadoop生态分布式存储系统（
kk8_·2024-02-01 04:33

Sqoop数据迁移工具

概述ApacheSqoop（SQL-to-Hadoop）项目旨在协助RDBMS与Hadoop之间进行高效的大数据交流。
小希 fighting·2024-02-01 03:55

法律视角下的数据出境《2023年数据出境合规年鉴》

关注国际云安全联盟CSA公众号，回复关键词“数据安全”获取报告在全球数字产业以及大数据和云计算技术快速发展的背景下，数据流动对世界经济的影响日益显著。
云安全联盟大中华区·2024-02-01 02:00

基于OpenCV的高压电力检测项目案例

图像处理：利用OpenCV对图像进行预处理，包括
GT开发算法工程师·2024-02-01 02:26

《区块链简易速速上手小册》第10章：区块链的未来与趋势（2024 最新版）

区块链在身份管理和隐私保护中的应用10.2新兴技术与区块链的融合10.2.1基础知识10.2.2主要案例：AI与区块链的结合10.2.3拓展案例1：区块链与物联网（IoT）10.2.4拓展案例2：区块链与大数据
江帅帅·2024-02-01 02:53

未来软件测试行业发展的10大趋势，&就业钱景

特别是在软件开发和测试领域在不断创新，并可能将人工智能、机器学习、大数据等新兴技术结合起来的当下。
不是Y君·2024-02-01 02:26

夏天

大数据工程学院龙英2020402067树上的知了叫个不停，一群孩子，嘴里吸着果味的汽水，从我面前嘻嘻哈哈地走过。闭上眼睛，深深吸口气,夏日的气味弥漫在我鼻子周围。放眼望去,绿油油的稻田，叮咚的泉水。
没有春秋_b270·2024-02-01 02:24

大数据高频面试题一：hive和Oracle的区别

Hive和Oracle数据库最大的区别在于存储和计算方面：Hive存储在hdfs上（Hadoop分布式文件系统容错性高），Oracle将数保存在本地文件系统中。Hive中不建议对数据的改写，而Oracle中的数据需要经常进行修改的。Hive支持很大规模的数据计算（支持TB，PB级别），Oracle支持的数据规模就比较小。Hive的计算依赖于hadoop的MR，本身没有计算功能，oralce是在本机
半亩书田·2024-02-01 02:47

存内计算——发展史与近期成果

随着大数据时代的到来，存内计算由于其结构特点以及摩尔定律的“失效”，被认为是提升处理器能效和性能以及加速神经网络运算的新出路。接下来我们将从存内计算的源头出发，介绍它的发展史与近期取得的成果。
存内计算开发者·2024-02-01 02:16

大数据分析利器ElasticSearch入门(一)

1为什么要学习ElasticSearch?1.1为什么要学习ElasticSearchElasticSearch（ES）作为一款优秀的分布式搜索分析引擎，越来越收到很多大型互联网公司的关注，像小米、滴滴出行、携程旅游、阿里云和腾讯云都在使用ElasticSearch。最著名的公司就是github，它采用ES作为搜素引擎对代码进行搜索，虽然它是一款分布式搜索引擎，但是它强大的查询、分析和聚合能力使他
heshengfu1211·2024-02-01 02:37

面试经典 150 题 -- 双指针 (总结)

125.验证回文串先对字符串进行预处理把大写字符转小写，然后将字母和数字全存入一个vector中;然后运用双指针·来进行判断;classSolution{public:boolisPalindrome(
ros275229·2024-02-01 01:18

数字奇观：普通人如何通过数据可视化驾驭大数据时代

在迅速发展的大数据时代，数据可视化为普通人提供了一副魔法镜，让我们得以更轻松、更直观地适应这个充满数字信息的世界。下面我就以可视化从业者的角度，来简单聊聊这个话题。
希艾席蒂恩·2024-02-01 01:44

数字巨轮航行大数据海洋：数据可视化引领时代潮流

在大数据时代的潮流中，数据可视化如同一艘畅行无阻的科技巨轮，引领我们穿越数字浩瀚的大海，使我们在信息的航程中游刃有余。
希艾席蒂恩·2024-02-01 01:44

数据的绘画：数据可视化为我们打开信息的画卷

在迅猛发展的大数据时代，数据可视化成为我们逐步适应信息激增的得力工具。通过直观展示庞大复杂的数据，数据可视化不仅简化了信息的理解，更为我们提供了深入洞察的机会。
希艾席蒂恩·2024-02-01 01:43

大数据架构简述流处理、批处理、交互式查询

我们将大数据处理按处理时间的跨度要求分为以下几类基于实时数据流的处理，通常的时间跨度在数百毫秒到数秒之间基于历史数据的交互式查询，通常时间跨度在数十秒到数分钟之间复杂的批量数据处理，通常的时间跨度在几分钟到数小时之间
叫我老村长·2024-02-01 01:09

4.2 数据可视化

大数据可视化分析利用支持信息可视化的用户界面以及支持分析过程的人机交互方式与技术，有效融合计算机的计算能力和人的认知能力，以获得对于大规模复杂数据集的洞察力。
helloooi·2024-02-01 00:59

《大数据之路：阿里巴巴大数据实践》学习笔记，持续更新ing

JrNydGljUonH1ExcGCpcoC8unTb密码：r6@61391该书籍部分目录如下：文章目录第1篇数据技术篇第2章日志采集2.1浏览器的页面日志采集2.1.1页面浏览日志采集流程2.1.2页面交互日志采集2.1.3页面日志的服务端清洗和预处理
helloooi·2024-02-01 00:27

伟大的科幻作者都在指引着我们的思考-2

现在使用新语言来实现AI、进行大数据分析都工程师，对于各种高级算法接口、成熟的数据库分析等都轻车熟路。在这种情况下，当年的汇编等基础的语言虽然没有消失，但是，仍然在有汇编语
读书跑步·2024-02-01 00:42

数据思维：收集数据

6.大数据：到底有什么不一样？======================================================
1cb86c72d091·2024-02-01 00:26

如何拥抱未来？

如何走向用户，运用好大数据？以用户为中心，首先得知道我们的客户是谁？他们的需求是什么？我们如何满足他们？人类变革了世间一切，今天又轮到了变革自己！而变革的核心就是深度关注用户，满足用户需求。
斜杠王琴·2024-02-01 00:52

《魔鬼统计学》｜大数据比你更懂你

家里要装修，你刚在网上看了几张装修图，紧接着就收到某装修公司的电话，购物APP内，床、书柜、沙发、茶几甚至马桶都开始将产品不断推送至你眼前……对我们来说，这就是对大数据的“可怕”最直观的认识了，它甚至比我们自己更懂自己
乖蜀黍·2024-02-01 00:13

Paddle入门实战系列（五）：渔船牌照识别

计算机视觉方向火爆报名中1️⃣活动时间：4月3日-4月30日2️⃣活动报名地址：http://t.csdn.cn/VeEVA‍作者简介：CSDN、阿里云人工智能领域博客专家，新星计划计算机视觉导师，百度飞桨PPDE，专注大数据与
GoAI·2024-01-31 23:40

第三代互联网趋势分析

第三代互联网利用物联网、大数据、云计算、人工智能等新一代信息技术，将现实世界中的各种物品、设备、场景等纳入互联网体系，实现人、机、物三者之间
selenia8860·2024-01-31 23:04

2021-12-27

NatRev丨癌症基因组测序数据的计算分析原创珍奇图灵基因2021-12-2707:03收录于话题#前沿生物大数据分析撰文：珍奇IF：60.716推荐度：⭐⭐⭐⭐⭐亮点：本文描述了癌症基因组生物信息学分析中涉及的主要步骤
图灵基因·2024-01-31 23:49

大年初一 穿新衣

财金大数据丨大年初一穿新衣-https://mp.weixin.qq.com/s/bccCO3bd8efN7UKDeOc6zA?
财金科技·2024-01-31 23:14

Vim实战：使用 Vim实现图像分类任务（二）

文章目录训练部分导入项目使用的库设置随机因子设置全局参数图像预处理与增强读取数据设置Loss设置模型设置优化器和学习率调整策略设置混合精度，DP多卡，EMA定义训练和验证函数训练函数验证函数调用训练和验证方法运行以及结果查看测试完整的代码在上一篇文章中完成了前期的准备工作
AI浩·2024-01-31 23:16

数据结构 - 堆的应用场景

目录1、优先级队列的使用场景1)、定时任务轮训问题2)、合并有序小文件2、求TopK值问题【使用一个堆解决】3、求中位数、百分位数【使用一个大顶堆一个小顶堆解决】4、大数据量日志统计搜索排行榜【散列表+
it_lihongmin·2024-01-31 22:07

工业级数据采集通用网关在生产过程中的实际应用及其解决的问题-天拓四方

其核心功能包括数据预处理、协议转换、数据存储
北京天拓四方科技股份有限公司·2024-01-31 22:02

python交互界面实例_Python数据可视化：使用pyqtgraph库轻松绘制股票K线图

pyqtgraph是Python平台上一种功能强大的2D/3D绘图库，相对于matplotlib库，由于其在内部实现方式上，使用了高速计算的numpy信号处理库以及Qt的GraphicsView框架，因此它在大数据量的处理及快速显示方面有着天然的优势
weixin_39805180·2024-01-31 22:28

逆向分析学习小纪——基于IDA的Python应用程序逆向分析

（ps：前几天休了年假所以更晚了orz，大家见谅~）一.背景介绍及问题描述1.背景介绍随着近些年大数据、AI等技术的兴起，Python作为低门槛但又功能强大的编程语言频繁出现在了我们
HHHenry2Hero·2024-01-31 22:18

Zookeeper

Zookeeper--简介概述:它是一款非常好用的大数据分布式协调服务组件,主要是用来帮助我们管理大数据进群的,例如:主备切换,选举机制,全局数据一致性...吉祥物是:1个拿着铁锹的小人.本质:ZK本身也是
t_813·2024-01-31 22:28

阿里云活动中心，精选活动专区，用户可了解阿里云当前所有优惠活动

致力于为上云用户提供优惠、丰富的活动及优惠云产品，包括云计算、大数据、人工智能等领域的各种云产品及活动。
阿里云最新优惠和活动汇总·2024-01-31 21:39

扩展学习|商业智能和大数据分析的研究前景（比对分析）

文献来源：LiangTP,LiuYH.ResearchLandscapeofBusinessIntelligenceandBigDataanalytics:Abibliometricsstudy[J].ExpertSystemswithApplications,2018,111(NOV.):2-10.DOI:10.1016/j.eswa.2018.05.018.信息和通信技术的快速发展导致了数字化
封印师请假去地球钓鱼·2024-01-31 21:00

扩展学习|大数据分析整合到价值创造的大见解

文献来源：SaggiMK,JainS.Asurveytowardsanintegrationofbigdataanalyticstobiginsightsforvalue-creation[J].InformationProcessing&Management,2018,54(5):758-790.下载链接：链接：https://pan.baidu.com/s/14IGaCOc-plxAiaVhw
封印师请假去地球钓鱼·2024-01-31 21:00

大数据分析|从七个特征理解大数据分析

文献来源：SaggiMK,JainS.Asurveytowardsanintegrationofbigdataanalyticstobiginsightsforvalue-creation[J].InformationProcessing&Management,2018,54(5):758-790.下载链接：链接：https://pan.baidu.com/s/14IGaCOc-plxAiaVhw
封印师请假去地球钓鱼·2024-01-31 21:00
上一页 42 43 44 45 46 47 48 49 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他