MongoBD大数据处理

Serverless计算应用场景与潜力

通过与Flink，SparkStreaming这样的流式大数据处理平台结合，Serverl
小星敐·2023-04-05 04:13

服装行业进销存管理系统数据处理的三个方向

尤其是行业对信息化的使用，以服装行业为例，运营者使用进销存系统为仓储采购这方面的大数据处理带来不少便利，弥补了原有人力计算为主的管理中不足，解决运营者信息采集手段落后问题，包括同步管理多店、多仓库等难题
亿发软件YiFaRJ·2023-04-05 03:52

.NET Core实战项目：WEB API（1）

SqlSugarORM5.X官网、文档、教程-SqlSugar5x-.NET果糖网SqlSugar是一款老牌.NET开源ORM框架，由果糖大数据科技团队维护和更新，1..NET中唯一支持全自动分表组件，SAAS分库，大数据处理的
矿大测工人·2023-04-04 23:07

大数据处理（位图，布隆过滤器）

位图法位图的基本概念是用一个位（bit）来标记某个数据的存放状态。海量数据排序从最简单的情况说起，如果要对90个小于100的不重复的正整数排序。用位图的思想就是先申请一块100bit的空间，第一遍遍历所有的数，将出现的数字在位图中对应的位置置为1；第二遍遍历位图，依次输出值为1的位对应的数字。先且不说这种情况出现的频率不是很高，就仅这种情况，还是有很多其他的排序算法有它们自己的优势（不用额外占用空
炫辰0927·2023-04-04 22:42

【你评论 我送书】第一期 -《Python从入门到精通（微课精编版）》

如果文章对你有帮助的话，欢迎评论点赞收藏加关注+目录前言赠书活动——《Python从入门到精通（微课精编版）》赠书活动——获取方式赠书活动——中奖名单前言随着人工智能、大数据处理和区块链等新技术的流行，
艾派森·2023-04-04 13:13

为小白量身定做的python路线图

越来越多的软件工程师使用Python进行大数据处理；越来越多的科研工作者使用Python来进行数据分析。如果你在尝试自学，或许你需要这份为小白量身定做的python路线图。
来自火星的大猫·2023-04-03 18:33

Flinl(二)：Flink基础概念及架构介绍

Flink基础概念及架构介绍一、什么是FlinkFlink是一个开源的、分布式、高性能、高可用、高吞吐、低延迟大数据处理引擎。主要用于流处理，也可用于批处理，且实现了批流统一处理。
大罗LuoSir·2023-04-03 15:00

Hadoop如何进行大数据处理？工具，优劣势，用例和应用场景

大数据的演进带来了新的挑战，所以需要新的解决方案。与以往一样，服务器需要实时处理，分类和存储大量数据。这一挑战导致了新平台的出现，其中最知名了莫过于ApacheHadoop，它可以轻松处理大型数据集。那么到底什么是Hadoop？其主要组件是什么？以及ApacheHadoop是如何帮助处理大数据的？什么是Hadoop？ApacheHadoop是一个开源框架，可以让用户有效地管理和处理在分布式计算环境
云智时代·2023-04-03 13:22

对比Python，PySpark 大数据处理其实更香

对于数据分析师、数据科学家和任何使用数据的人来说，能够熟练而有效地处理大数据是一项非常有优势的技能。如果你已经熟悉运用Python和pandas做常规数据处理，并且想学习处理大数据，那么熟悉PySpark，并将用其做数据处理，将会是一个不错的开始。PySpark是一种适用于ApacheSpark的PythonAPI，一种流行的大数据开源数据处理引擎。本文的前提是，假设读者在Python中熟练使用p
Python数据挖掘·2023-04-03 07:29

Lambda Architecture-大数据处理系统经典架构解析

什么是LALambda架构，是NathanMarz根据自己在Twitter的分布式数据处理系统经验，提出的通用数据处理架构。LA的提出，主要是为了满足3点需求：(1)具有容错能力的鲁棒性系统，容错能力要同时满足两点：硬件错误和人为错误。(2)能够支持的负载范围要宽。大负载和小负载都要能支持，并且满足低延迟的read/update操作。(3)系统必须要可以线性扩展。LA架构初窥LA的高层架构见下图。
ybdesire·2023-04-03 06:35

Java Web应用小案例：查询城市天气信息

大数据专业另一门专业核心课大数据应用基础目前正在讲解如何利用Hadoop的并行编程计算框架进行离线数据分析，学生对于大数据处理的一般流程也是比较清
howard2005·2023-04-02 23:22

第2章 大数据处理架构Hadoop

概述Hadoop是一个开源的、可运行于大规模集群上的分布式计算平台，它实现了MapReduce计算模型和分布式文件系统HDFS等功能。它被公认为行业大数据标准开源软件。名字的是由小孩子取的“一头吃饱了的大象”。由来1997年年末，DougCutting道格·卡丁因工作不稳定，自己用Java编写了Lucene；（DougCutting是Lucene、Nutch、Hadoop、Avro的作者）Luce
wyz191·2023-04-02 20:22

大数据学习之Hadoop

大数据的关键技术：批处理技术、流计算、图计算、查询分析计算大数据处理架构Hadoop1.Hadoop简介apache软件基金会的开源软件，使用Java开发，但是Hadoop支持多种编程语言，有两大核心HDFS
@从心·2023-04-02 20:27

第二章：大数据处理架构Hadoop

本章内容：1.Hadoop的发展历程2.Hadoop生态系统的各个组件及其功能3.Hadoop的安装和使用方法4.Hadoop集群的部署和使用方法1.Hadoop简介Hadoop是Apache软件基金会旗下开源软件Hadoop可以支持多种编程语言：C、C++、Java、PythonHadoop两大核心—HDFS+MapReduce:解决了两大问题：HDFS如何实现海量数据的存储（集群分布式存储），
饮马翰海·2023-04-02 19:51

Hadoop概念以及架构介绍

Hadoop的分布式架构，将大数据处理引擎尽可能的靠近存储，MapReduce功能实现了将单个任务打碎，并将碎片任务（Map）发送到多个节点上，之后再以单个数据集的形式加载（Reduce）到数据仓库里对于
damokelisijian866·2023-04-02 06:51

SeaTunnel 与 StarRocks 生态融合，让大数据处理回归“简单”！

活动主题大数据时代下，数据驱动决策被企业普遍认可并采用极大地释放了数据的价值，但随着数据量的增长和新型业务兴起，大量的新数据源在产生、为应对新型数据所带来的业务挑战，企业大量堆叠数据栈，疲于在不同的数据栈之间切换，复杂的架构大大增加了开发和运维成本。大数据生态呼唤“简单”的回归。在大数据生态系统中，上下游集成非常重要，是让一切回归简单的重要途径。近期，数据集成平台ApacheSeaTunnel已完
SeaTunnel·2023-04-02 05:28

大数据｜MapReduce模型 | Hadoop MapReduce的基本工作原理

前文回顾：HDFS分布式文件系统目录对付大数据处理：分而治之大数据的并行化计算大数据任务划分和并行计算模型构建抽象模型：Map和Reduce关键思想MapReduce抽象描述Map：(k1;v1)→[(
啦啦右一·2023-04-02 03:12

基于python的transbigdata实现出租车轨迹数据分析与可视化

TransBigData是一个为交通时空大数据处理、分析和可视化而开发的Python包。
＋prevail·2023-04-02 02:36

Spark学习笔记-理论篇-01-Spark系统综述

文章目录Spark系统综述1.1大数据处理框架1.2Spark大数据处理框架1.2.1RDD的表达能力1.2.2Spark子系统Spark系统综述1.1大数据处理框架集群环境对编程来说带来了很多挑战，比如并行化
Chris刘·2023-04-01 13:01

数据中台解决方案-最新全套文件

其中，大数据平台具备大数据处理能力和数据管理服务能力，实现数据资源的精准收集、快速分析、问题识别，并保障数据的安全性、完整性和使用有效性。助力运营从业务
方案365·2023-04-01 10:50

2023大数据开发就业前景怎么样？

大数据开发分两类，编写Hadoop、Spark的应用程序和对大数据处理系统本身进行开发。
泰迪智能科技·2023-04-01 10:45

刨根问底Kafka 40问，看看你能坚持到第几问

它是分布式应用系统中的重要组件之一，也被广泛应用于大数据处理。Kafka是用Scala语言开发，它的Java版本称为Jafka。Linkedin于2010年将该系统贡献给了Ap
Java知识库·2023-04-01 03:11

大数据工程师需要学习哪些内容

Hadoop以及其他大数据处理技术很多都是用Java，例如Apache的基于Java的HBase和A
我想去吃ya·2023-03-31 22:02

大数据流处理架构 | 滴普科技FastData系列解读

在大数据技术发展早期，离线计算（批处理）作为唯一的大数据处理技术，很快在各个场景下取得了惊人成果，吸引了一大批优秀的科学家和工程师，这些因素的叠加使大数据技术快速成熟，形成了以HDFS+YARN+Spark
滴普科技·2023-03-31 18:15

中康科技黄毅宁：AI+医疗，于我而言是圆梦

基于此，中康科技借助百度飞桨深度学习、文心大模型等人工智能技术，结合自研的数据采集网络、大数据处理技术与生态化的健康产业平台，打造“基于文心大模型的AI临床科研大数据平台”。
飞桨PaddlePaddle·2023-03-31 14:21

中康科技黄毅宁：AI+医疗，于我而言是圆梦

基于此，中康科技借助百度飞桨深度学习、文心大模型等人工智能技术，结合自研的数据采集网络、大数据处理技术与生态化的健康产业平台，打造“基于文心大模型的AI临床科研大数据平台”。
飞桨PaddlePaddle·2023-03-31 14:21

从Hadoop到Spark、Flink，大数据处理框架十年激荡发展史

当前这个数据时代，各领域各业务场景时时刻刻都有大量的数据产生，如何理解大数据，对这些数据进行有效的处理成为很多企业和研究机构所面临的问题。本文将从大数据的基础特性开始，进而解释分而治之的处理思想，最后介绍一些流行的大数据技术和组件，读者能够通过本文了解大数据的概念、处理方法和流行技术。什么是大数据？大数据，顾名思义，就是拥有庞大体量的数据。关于什么是大数据，如何定义大数据，如何使用大数据等一系列问
woliuqiangdong·2023-03-31 08:05

280亿条大数据处理实战——(三)环境安装

此节主要讲述hdfs的基本使用和Spark编译及其遇到的坑。一、Spark编译编译spark是个很复杂的过程。1、编译方法（1）方式一(推荐使用此种方法)：使用make-distribution.sh进行编译：在$SPARK_HOME目录下，输入并允许如下命令：./dev/make-distribution.sh--name2.6.0-cdh5.7.0--tgz-Phadoop-2.6-Phive
爱睡懒觉的老舅·2023-03-31 04:00

大数据架构-流批一体发展演进

大数据处理的挑战关键词：持续聚合、分析时序数据现在已经有越来越多的行业和技术领域需
IT转型指北·2023-03-31 02:44

Flink1.15发布更新

目前大数据处理的一个趋势是越来越多的业务和场景采用低代码的方式进行数据分析，而FlinkSQL则是这种低代码方式数据分析的典型代表。越来越多的用户开始采用Fl
'煎饼侠·2023-03-30 23:22

大数据技术原理与应用 笔记 第2章 大数据处理架构Hadoop

大数据处理架构HadoopHadoop发展历程Hadoop起源Hadoop特点Hadoop应用现状不同版本Hadoop项目结构Hadoop集群的部署和使用集群硬件配置HDFSMapReduceHadoop
梦想是吃不完的格力高·2023-03-30 23:39

大数据技术原理与应用----大数据处理架构Hadoop

一、Hadoop简介及其应用现状1、Hadoop简介Hadoop（是大数据技术的集合体，一整套解决方案的统称）是由Java开发的，支持多种编程语言。2、Hadoop的理论基础（1）Hadoop的两大核心①分布式文件系统（HDFS）；②分布式并行编程框架（MapReduce）；（2）Hadoop的特性①高可靠性；②高效性；③高可扩展性；④高容错性；⑤成本低；⑥运行在Linux上；⑦支持多种编程语言；
wake D·2023-03-30 23:04

大数据技术原理与应用——大数据处理架构 Hadoop

大数据技术原理与应用——大数据处理架构Hadoop1.概述（1）Hadoop简介Hadoop是Apache软件基金会旗下的一个开源分布式计算平台，为用户提供了系统底层细节透明的分布式基础架构Hadoop
linjiayina·2023-03-30 23:47

大数据技术原理与应用（第二章 大数据处理架构Hadoop）

目录2.1Hadoop简介HDFS（分布式文件系统）MapReduce（分布式并行编程框架）Hadoop的特点Hadoop的应用编辑Hadoop版本的变化2.2Hadoop项目结构TezSparkHivePigOozieZookeeperHBaseFlumeSqoopAmbari2.3Hadoop集群的部署和使用NameNodeDataNodeJobTracker，TaskTracker备份Sec
m0_37607242·2023-03-30 22:58

Hadoop、Mapreduce、Spark概念

53334019https://blog.csdn.net/leanaoo/article/details/83153889mapreduce工作流程Spark基础知识详解Spark常考面试题背景目前按照大数据处理类型来分大致可以分为
弦歌Charlie·2023-03-30 20:22

高精度定位系统源码 使用UWB技术

UWB定位系统依托在移动通信，雷达，微波电路，云计算与大数据处理等专业领域的多年积累，自主研究，开发并产业化的一套
源码技术栈·2023-03-30 17:07

Linux常用命令汇总

目前超级计算机大都使用Linux系统，因此学习Linux系统的基本操作对大数据处理、数据分析等都非常重要。本文对常用的Linux命令进行了简要的介绍，仅供参考。
碧血洒长空·2023-03-30 01:32

现代数据栈MDS应用落地介绍—Vero营销自动化平台

DazdataMDS现代数据栈MDS的出现使得中小企业低成本获得大数据处理能力成为可能，技术的进步使得各种基于MDS的大数据应用如雨后春笋般涌现，不同于国内的数据中台更多强调数据处理技术，MDS注重落地和最后一公里的大数据应用
98加满·2023-03-29 19:00

人人都在谈的图数据库到底是个啥？

近些年来，在大数据处理过程中有一种被广泛提及和使用的数据库，那就是图数据库。那么图数据库究竟是什么呢？图数据库，如果是刚接触的人，可能会被其字面意思所误导。
Ultipa·2023-03-29 18:25

TDengine入驻Rainbond开源应用商店

TDengineTDengine是涛思数据面对高速增长的物联网大数据市场和技术挑战推出的创新性的大数据处理产品，它不依赖任何
Rainbond-开源云原生应用管理平台·2023-03-29 18:53

Spark架构原理和生态系统

AFault-TolerantAbstractionforIn-MemoryClusterComputing深入浅出理解Spark：环境部署与工作原理一文弄懂Spark基本架构和原理SparkvsHadoopHadoop是大数据处理领域的开创者
正则化·2023-03-29 17:26

Spark性能优化

Spark性能优化最新文章访问我的博客：http://bryce-loski.github.io/在大数据处理过程中，涉及到最多的就是性能优化。这个也是大数据场景的重点与难点。
Bryce_Loski·2023-03-29 14:16

深度解析大数据处理系统关键层次架构

在数据存储层，还有很多类似的系统和某些系统的变种，这里，仅仅列出较为出名的几个。一、数据存储层宽泛地讲，据对一致性(consistency)要求的强弱不同，分布式数据存储策略，可分为ACID和BASE两大阵营。ACID是指数据库事务具有的四个特性：原子性(Atomicity)、一致性(Consistency)、隔离性(Isolation)、持久性(Durability)。ACID中的一致性要求比较
程序の之道·2023-03-29 05:14

Hadoop框架简述

MapReduce、Spark等大数据处理框架要处理的数据源大部分都存储再HDFS上，Hive、HBase等框架的数据通常也存储在HDFS上。简而言之，H
DontCareOthers·2023-03-28 20:16

双维度剖析Flink整体架构

导读：从2014年开源到现在，Flink已经发展成一套非常成熟的大数据处理引擎，同时被很多公司作为流数据处理平台的底层技术。本文为大家介绍Flink的架构及其组成成分。
hzbooks·2023-03-28 19:01

比较两个大文本文件的差异并输出增量和减量

要求不能使用Spark或Hadoop这样的大数据处理框架。思路：首先使用外排序算法对A,B分别按字典序排序，输出a.sorted和b.sorted两个文件，然后再遵循以
司青玄·2023-03-28 03:12

研究方向

研究方向  研究所的研究方向主要包括自然语言处理、网络内容安全、大数据处理与分析、智能仓储与物流、人工智能与知识工程等。 
ssuzj·2023-03-27 17:22

DolphinDB C++ API 数据写入使用指南

一、场景介绍目前大数据技术已广泛应用到金融、物联网等行业，而海量数据的写入是大数据处理和分析的基础。在实际应用中，数据的产生方式和采集途径多种多样，DolphinDB作为轻量级的大数据平台，提供多种数
DolphinDB智臾科技·2023-03-27 08:03

Wxpython GUI - 爬取猫眼电影并写入Mysql，并进行查询

本次实战目的是为了更好地学习MySQL和mongoBD操作，需要从猫眼电影上爬取电影信息，加上简单的pythonGUI界面操作，效果图如下：picture.png废话不多说，首先导入本次项目需要导入的模块
勤勤恳恳的荔枝·2023-03-27 02:35

hbase 数据导出乱码_大数据技术怎么学习呢？给你一套全网最系统的自学路线+教程...

大数据处理技术怎么学习呢？首先我们要学习Python语言和Linux操作系统，这两个是学习大数据的基础，学习的顺序不分前后。
weixin_39606048·2023-03-25 17:20
上一页 13 14 15 16 17 18 19 20 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他