***大数据框架***

大数据技术之Hadoop

2006Cloudera内部集成了很多大数据框架，对应产品CDH。2008Hortonworks文档较好，对应产品HDP。2011Horton
骚戴·2023-10-10 02:41

大数据软件项目的数据清洗

以下是一些常见的数据清洗工具和库，可以与大数据框架（如Hadoop、Spark等）结合使用，希望对大家有所帮助。北京木奇移动技术有限公司，专业的软件外包开发公司，欢迎交流合作。
defdsdddev·2023-10-08 12:14

大数据框架对比：Hadoop、Storm、Samza、Spark和Flink

本文转自infoq：http://www.infoq.com/cn/articles/hadoop-storm-samza-spark-flink简介大数据是收集、整理、处理大容量数据集，并从中获得见解所需的非传统战略和技术的总称。虽然处理数据所需的计算能力或存储容量早已超过一台计算机的上限，但这种计算类型的普遍性、规模，以及价值在最近几年才经历了大规模扩展。在之前的文章中，我们曾经介绍过有关大数
quiterr·2023-10-04 17:38

Kafka线上集群部署方案怎么做？

说起操作系统，可能你会问Kafka不是JVM系的大数据框架吗？Java又是跨平台的语言，把Kafka安装到不同的操作系统上会有什么区别吗？其实区别相当大！
taj3991·2023-10-02 18:49

大数据框架之Hive： 第7章 综合案例练习（初级）

第7章综合案例练习（初级）一环境准备1.1建表语句hive>--创建学生表DROPTABLEIFEXISTSstudent;createtableifnotexistsstudent_info(stu_idstringCOMMENT'学生id',stu_namestringCOMMENT'学生姓名',birthdaystringCOMMENT'出生日期',sexstringCOMMENT'性别')
yiluohan0307·2023-10-01 11:04

100款大数据框架和工具汇总

本文列举出全球100款大数据工具，包括数据存储、数据计算、资源调度以及可视化等软件，这里面肯定有你需要的。如果你有更好的大数据软件推荐，欢迎留言啊。1、TalendOpenStudio是第一家针对的数据集成工具市场的ETL(数据的提取Extract、传输Transform、载入Load)开源软件供应商。Talend的下载量已超过200万人次，其开源软件提供了数据整合功能。其用户包括美国国际集团（A
羋学僧·2023-09-26 00:20

大数据思想与应用

认识大数据：1.海量数据:要进行大规模数据的存储、计算与分析,需要大数据框架和处理思想。2.分布式计算:采用集群方式进行大规模并行计算,提高性能与计算能力。
密斯特.张先生·2023-09-22 12:17

大数据快速入门开发环境篇：CentOS 7安装配置Hadoop大数据框架开发环境

注意：在开始安装之前，请确保您的CentOS7系统已经正确安装和配置了Java。Hadoop需要Java来运行。目录一、下载与配置Hadoop框架：1.1、下载与环境变量设置1.2、XML配置文件Hadoop设置1.3、格式化HDFS二、Hadoop3.x版本中hdfs命令的问题解决与配置方法2.1、问题描述与解决方法2.2、设置JAVA_HOME环境变量2.3、Hadoop3.x版本中某些脚本已
源代码杀手·2023-09-22 07:36

使用OpenAI CLIP进行文本到图像和图像到图像的搜索

需要快速检索和匹配大量的信息，找到嫌疑车辆进行布控；在物品和商品识别方面，需要进行相似性搜索，找到相关性证据，还有在一些重大节假日，安保问题以及重点人员的布控，以前我们只能基于结构化数据使用Flink或者Spark等大数据框架做海量大数据的实时比对
技术狂潮AI·2023-09-12 18:19

scala基础

scala基础1.scala简介scala是运行在JVM上的多范式编程语言，同时支持面向对象和面向函数编程早期scala刚出现的时候，并没有怎么引起重视，随着Spark和Kafka这样基于scala的大数据框架的兴起
zui初的梦想·2023-09-06 10:25

学习大数据应该掌握哪些基础语言

1、Java基础大数据框架90%以上都是使用Java开发语言，所以如果要学习大数据技术，首先要掌握Java基础语法以及JavaEE方向的相关知识。2、MySQL数据库这是学习大数据必须掌握的知识之一。
我想去吃ya·2023-09-02 16:36

如何处理 Flink 作业中的数据倾斜问题？

大数据框架的特性不怕数据大，怕数据倾斜
学一次·2023-09-01 09:33

大数据处理平台的架构演进：从批处理到实时流处理

文章目录批处理架构：实时流处理架构：混合架构：个人主页：程序员小侯CSDN新晋作者欢迎点赞✍评论⭐收藏✨收录专栏：大数据系列✨文章内容：大数据框架演进希望作者的文章能对你有所帮助，有不足的地方请在评论区留言指正
程序员 小侯·2023-08-28 23:41

大数据框架-Hadoop

大数据框架-Hadoop1.什么是大数据大数据是指由传统数据处理工具难以处理的规模极大、结构复杂或速度极快的数据集合。
学习才能变得强大·2023-08-28 06:02

大数据开发要学习什么？学完又能做什么

1、Java基础大数据框架90%以上都是使用Java开发语言，所以如果要学习大数据技术，首先要掌握Java基础语法以及JavaEE方向的相关知识。2、MySQL数据库这是学习大数据必须掌握的知识之一。
我想去吃ya·2023-08-26 12:07

Hadoop、Spark与Flink的基础架构及其关系和优异

Hadoop、Spark与Flink的基础架构及其关系和优异前言Hadoop基础架构优点不足Spark基础架构优点不足Flink基础架构优点不足结语：大数据框架的选择前言Hadoop、Spark和Flink
Lin-CT·2023-08-23 05:44

揭开神秘面纱，会stream流就会大数据

另一个流行的大数据框架flink同理。准备工作测试数据,以下列分别表示姓名，年龄，部门，职位。张三,20,研发部,普通员
2301_76429513·2023-08-20 15:44

k8s快速入门

1.k8s组件k8s和大多数大数据框架一样，为master-slave结构，其中master和node节点可以为一到多个，分为一主多从架构（平时玩）和多主多从架构（生产）master：kubectl：用户的控制命令
Object~·2023-08-19 23:30

MYSQL了解

1.掌握sql开发=》数据分析sql2.大数据为后续大数据框架hivesparksq
somarl·2023-08-10 11:24

Java初学笔记(第一章)

1.2Java领域可用于应用软件,服务器端程序，安卓应用，嵌入式，大数据框架。1.3Java语言的特点目前重点学到的两个特点：开源性：即源代码开放且
永无魇足·2023-08-09 23:41

基于大数据框架的协同过滤算法餐饮推荐系统【Update2023-6-25】

开始之前设计思路首先这位作者的推荐系统给了我很大的构思启发。Github地址：https://github.com/share23/Food_Recommender他的系统采用实时大数据技术组件，具体有SparkStreaming，HDFS分布式存储，Hbase存储计算，消息队列采用Kafka，Flume，其中的餐饮数据是用python生成，加上linux的contab模拟流式数据。推荐模块使用A
程序终结者·2023-08-08 06:47

Hadoop大数据框架研究（4）——Hive环境部署及使用

近期对hadoop生态的大数据框架进行了实际的部署测试，并结合ArcGIS平台的矢量大数据分析产品进行空间数据挖掘分析。本系列博客将进行详细的梳理、归纳和总结，以便相互交流学习。
gisxy·2023-08-06 11:03

[最新安全稳定，自带haddop生态]Hadoop伪分布式ubuntu虚拟镜像

ubuntu22.04稳定镜像，自带hadoop应用与破解pycharm版本查看：ubuntu22.04hadoop2.7.6hive2.3.6spark3.0.0pycharm20.3.41.介绍相信很多人在初入大数据框架学习的时候都被其复杂的环境配置所困扰
yasuo626·2023-08-05 01:34

零基础学习大数据需要什么基础么

1、Java基础大数据框架90%以上都是使用Java开发语言，所以如果要学习大数据技术，首先要掌握Java基础语法以及JavaEE方向的相关知识。2、MySQL数据库这是学习大数据必须掌握的知识之一。
我想去吃ya·2023-08-04 17:17

大数据开发的学习路线是什么样的

1、Java基础大数据框架90%以上都是使用Java开发语言，所以如果要学习大数据技术，首先要掌握Java基础语法以及JavaEE方向的相关知识。2、MySQL数据库这是学习大数据必须掌握的知识之一。
我想去吃ya·2023-08-04 17:47

大数据研究报告：Spark最受欢迎，机器学习库MLib采用率持续上涨

：DresnerAdvisoryServices近期发表了《2017年大数据分析市场研究》报告，报告指出：53%的公司已经开始使用大数据分析；Spark，MapReduce和Yarn是当今最流行的三种大数据框架
大数据05·2023-07-30 13:11

会 java 8 stream流就会大数据！

另一个流行的大数据框架flink同理。准备工作测试数据,以下列分别表示姓名，年龄，部门，职位。张三,20,研发部,普通员
python小小Q·2023-07-25 23:44

大数据就业方向有哪些

这意味着从大数据框架Hadoop开始。它是由ApacheFounda
千锋大数据·2023-07-25 14:25

04Hadoop分布式文件系统HDFS(入门)

2006Cloudera内部集成了很多大数据框架，对应产品CDH。2008Hortonworks文档较好，对应产品HDP。2011Horton
香帅_WQW·2023-07-23 14:13

大数据技术概述（二）——流处理

延迟与吞吐1.5.2窗口与时间1.5.2.1不同窗口模式1.5.2.2时间语义1.5.3状态与检查点1.5.4数据一致性保障1.5流处理基础概念1.5.1延迟和吞吐在流处理场景，数据源源不断地流入系统，大数据框架对每个数据的处理越快越好
ChlinRei·2023-07-18 09:43

hadoop 3.2.1 在windows10源码编译

一、HadoopHadoop是一个开源的大数据框架，是一个分布式计算的解决方案。Hadoop的两个核心解决了数据存储问题（HDFS分布式文件系统）和分布式计算问题（MapRe-duce）。
droxy·2023-07-15 14:23

零基础如何学习大数据？

1、Java基础大数据框架90%以上都是使用Java开发语言，所以如果要学习大数据技术，首先要掌握Java基础语法以及JavaEE方向的相关知识。2、MySQL数据库这是学习大数据必须掌握的知识之一。
我想去吃ya·2023-06-21 06:14

大数据测试基本知识

常用大数据框架结构1.大数据测试常用到的软件工具工具推荐，对于测试数据构造工具有：Datafaker、DbSchema、Onlinetestdatagenerator等；ETL测试工具有：RightData
小赖同学啊·2023-06-20 18:10

Java程序员必备的10个大数据框架

当今IT开发人员面对的最大挑战就是复杂性，硬件越来越复杂，OS越来越复杂，编程语言和API越来越复杂，我们构建的应用也越来越复杂。根据外媒的一项调查报告，小千列出了Java程序员在过去12个月内一直使用的一些工具或框架，或许会对初学Java的你有意义。1、MongoDB——最受欢迎，跨平台，面向文档的数据库MongoDB是一个基于分布式文件存储的数据库，使用C++语言编写。旨在为Web应用提供可扩
程序员的小傲娇·2023-06-18 21:15

Spark大数据处理技术

全球首部全面介绍Spark及Spark生态圈相关技术的技术书籍俯览未来大局，不失精细剖析，呈现一个现代大数据框架的架构原理和实现细节透彻讲解Spark原理和架构，以及部署模式、调度框架、存储管理及应用监控等重要模块
weixin_33935777·2023-06-16 02:15

大数据开发难学么

1、Java基础大数据框架90%以上都是使用Java开发语言，所以如果要学习大数据技术，首先要掌握Java基础语法以及J
我想去吃ya·2023-06-15 15:05

尚硅谷大数据项目【电商数仓5.0】学习笔记

大数据框架之Hive笔记目录一、用户行为采集平台第1章数据仓库概念第2章项目需求及架构设计第3章用户行为日志第4章用户行为数据采集模块二、业务采
yiluohan0307·2023-06-13 16:40

比ureport好用的报表引擎-VeryReport报表引擎

相比于其他报表引擎，VeryReport采用互联网热门技术，借鉴大数据框架底层设计优点，系统架构采用组件化设计，真正做到低耦合，高内聚。组件之间独立运行，高效通信。
VeryReport-非常报表软件·2023-06-12 11:17

Kafka Streams 还是 Spark Streaming

真-实时我个人在Hadoop之后接触的第一个大数据框架就是Spark，所以自然而然曾经对SparkStreaming有着特别的偏爱。但SparkStreaming作为micro-batch结构，
表现力·2023-06-11 07:40

flink-standalone部署。

flink大数据框架，官方推荐了三种集群模式：1.standalone2.kubernetes3.YARN本文
飘过的倦·2023-06-08 11:59

Kafka实战(七) - 优雅地部署 Kafka 集群

看一些考虑因素（以下顺序，可是分了顺序的哦）1操作系统-OS可能你会问Kafka不是JVM上的大数据框架吗？Java又是跨平台的语言，把Kafka安装到不同的操作系统上会有什么区别吗？区别相当大！
JavaEdge·2023-06-07 21:23

Hadoop教程第一章之Hadoop简介

2006年Cloudera内部集成了很多大数据框架，对应产品CDH,2008年Hortonworks文
爱吃糖的靓仔·2023-06-07 02:16

揭开神秘面纱，会stream流就会大数据

另一个流行的大数据框架flink同理。准备工作测试数据,以下列分别表示姓名，年龄，部门，职位。复制代码张三,20,研发部
·2023-06-06 21:50

面试题百日百刷-flink篇(二)

但是做为大数据的基础设施，Hadoop体系是任何大数据框架都绕不过去的。Flink可以集成众多Hadooop组件，例如Yarn、Hbase、HDFS等等。例如，Flink可以和Ya
·2023-04-21 21:41

离线数仓和实时数仓的区别

下面我们从7个方面来对比离线数仓和实时数仓的区别：1.架构选择方面，离线数仓采用传统大数据框架模式搭建，而实时数仓采用Kappa架构方式搭建。2.建设方法上两者都是采用传统数仓建模方式论。
冷艳无情的小妈·2023-04-20 03:27

新手必备：大数据框架Hadoop主要模块解析

hadoopCommon:包括Hadoop常用的工具类，由原来的Hadoopcore部分更名而来。主要包括系统配置工具Configuration、远程过程调用RPC、序列化机制和Hadoop抽象文件系统FileSystem等。它们为在通用硬件上搭建云计算环境提供基本的服务，并为运行在该平台上的软件开发提供了所需的API。HadoopDistributedFileSystem(HDFS™):分布式文
丨程序之道丨·2023-04-19 04:00

大数据面试经验分享

例：张三、男、25、123123、本科2、技术栈：编程语言（java、python、scala），数据库（mysql、redis、oracle），大数据框架（hadoop、spark、flink）3、工作经历按照时间顺序或倒叙罗列即可
你好，我叫罗鹏程·2023-04-18 01:18

MapReduce之WordCount案例

前言学习大数据框架通常都是从wordcount案例开始的，也是学习框架的基础，wordcount虽然简单，如果能彻底搞清楚其运行原理，对后续深入学习和掌握MapReduce非常有帮助的，本篇以一个wordcount
小码农叔叔·2023-04-16 17:41

大数据压力测试工具HiBench

压力测试工具选型：HiBenchHiBench测试工具说明：HiBench是一套基准测试套件，用于帮助我们评估不同的大数据框架性能指标（包括处理速度、吞吐等）的负载指标，可以评估Hadoop、Spark
suolemen·2023-04-16 03:04

大数据框架Hadoop基础入门模块

hadoopCommon:包括Hadoop常用的工具类，由原来的Hadoopcore部分更名而来。主要包括系统配置工具Configuration、远程过程调用RPC、序列化机制和Hadoop抽象文件系统FileSystem等。它们为在通用硬件上搭建云计算环境提供基本的服务，并为运行在该平台上的软件开发提供了所需的API。大数据HadoopDistributedFileSystem(HDFS™):分
大数据架构师·2023-04-16 01:31
上一页 1 2 3 4 5 6 7 8 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他