BigDATA

spark-submit命令总览

pyspark可以使用pyspark命令在服务器黑窗口中进行spark代码的编写pyspark--masterlocal[2]本地模式pyspark--masterspark://bigdata01:7077standalone

zmd-zk·2025-04-16 01:59

Prometheus+Kafka exporter+Grafana监控Kafka

部署规划主机名bigdata111bigdata112bigdata113服务部署Kafka、Prometheus、Grafana、KafkaexporterKafkaKafkaKafka部署目录/opt

ErbaoLiu·2025-04-10 18:17

SAAS多租户实现方案_springboot 实现多租户_基于共享数据库_共享schema_共享数据表_基于baomidou_mybatis_plus---springcloud工作笔记158

技术交流QQ群【JAVA,C++,Python,.NET,BigData,AI】：170933152前面的博文说了,多租户其实就是把一套系统,提供给多个用户用,让每个用户都像拥有自己的一套系统一样,这样我们就可以把一套系统部署在我们自己这里

添柴程序猿·2025-04-09 12:25

Big Data 流处理框架 Flink

BigData流处理框架Flink什么是FlinkFlink的主要特性典型应用场景AmazonElasticMapReduce(EMR)VSFlink架构和运行时环境实时处理能力开发和编程模型操作和管理应用场景总结

wumingxiaoyao·2025-04-05 23:47

Clickhouse集群集群安装

1.环境信息：[root@bigdata003clickhouse-server]#cat/etc/redhat-releaseCentOSLinuxrelease7.9.2009(Core)2.在/etc

大浪淘沙2023·2025-04-05 09:44

Utilizing DDR Memory Banks for Big Data Processing Performance

UtilizingDDRMemoryBanksforBigDataProcessingPerformanceTomaximizeperformancewhenprocessingbigdatausingDDRmemorybanks

东北豆子哥·2025-04-01 02:32

Java BigDecimal类 BigInter类简介及代码演示

BigDecimal类大数据中的大小数BigInter大数据中的大整数备注:如果除不尽程序会报错packagecom.BigData;importjava.math.BigDecimal;importjava.math.BigInteger

JayceHarris·2025-03-30 10:23

【区块链+乡村振兴】数字农业区块链系统 | FISCO BCOS应用案例

时代是以机械化生产为主、适度经营的“种植大户”时代，农业3.0时代则以现代科学技术为主要特征，而我们正在迈向的农业4.0时代，可以说是融合A(AI)、B(BlockChain)、C(Cloud)、D(BigData

FISCO_BCOS·2025-03-28 03:31

Linux多线程工作笔记0004---C语言中g++ -o -c -g 功能

技术交流QQ群【JAVA,C++,Python,.NET,BigData,AI】：170933152-o：指定生成可执行文件的名称。使用方法为：g++-oafilefile.cppfile.h...

添柴程序猿·2025-03-25 04:10

大一python期末总结

学期总结一.为什么选择大数据1.什么是大数据（bigdata）2.优秀的前景是什么二.关于这学期我收获了什么1.关于python的学习三.课堂初体验打印三角形99乘法表四.课堂练习五.最后的总结一.为什么选择大数据

wylrosewyl·2025-03-25 01:18

揭秘时空大数据：详细介绍、真实应用场景和数据示例解析

时空大数据(SpatialBigData)是指利用空间环境和时间环境信息，以及数字技术，从多种来源获取的海量、动态的、多维的数据，对空间环境和时间环境进行实时监测，并基于复杂的数据分析和挖掘，获取有价值的信息

陈书予·2025-03-21 19:21

Hadoop MapReduce 词频统计（WordCount）代码解析教程

二、代码结构packagecom.bigdata.wc;//Hadoop核心类库导入importorg.apache.hadoop.conf.Configuration;importorg.apache.hadoop.fs.Path

我不是少爷.·2025-03-18 17:07

Big Data (H/M) Assessed Exercise

BigData(H/M)AssessedExerciseTaskSheet2024/25–Individual–v107/02/25SummaryThegoalofthisexerciseistofamiliarizeyourselveswiththedesign

·2025-02-27 00:43

2025年计算机工程与大数据应用国际会议（CEBDA 2025）

2025年计算机工程与大数据应用国际会议2025InternationalConferenceonComputerEngineeringandBigDataApplications大会信息会议名称：2025

Yangxshy·2025-02-25 12:23

大数据安全项目

1.项目详情用python写一个大数据安全项目（使用tk，页面布局使用盒子模型，页面中各个按钮，主题要美观，按扭间的距离不要太进），需要连接数据库连接名是root（数据库名为bigdata_security

是小酒·2025-02-23 20:47

【软考高项】【英语知识】- 21 - 单词积累

Cloudcomputing2云存储Cloudstorage3云服务Cloudservice4软件即服务SaaS5平台即服务PaaS6基础设施即服务laaS7虚拟资源Virtualresources8大数据bigdata9

oo寻梦in记·2025-02-23 17:56

Ubuntu下配置安装Hadoop 2.2

参考资料：1.InstallingsinglenodeHadoop2.2.0onUbuntu：http://bigdatahandler.com/hadoop-hdfs/installing-single

weixin_30501857·2025-02-15 15:55

[转载] awesome big data

原文:https://github.com/onurakpolat/awesome-bigdata#graph-data-model作者把分布式领域相关的大部分开源项目和论文分类整理了一遍,造福人类啊.

weixin_30343157·2025-02-15 10:15

2014 6月，比较老了

AwesomeBigDataAcuratedlistofawesomebigdataframeworks,resourcesandotherawesomeness.Inspiredbyawesome-php

金金2019·2025-02-15 09:40

Centos7服务器运维服务系统安装过程中遇到的问题总结

机器域名机器别名xxx.xxx.xxx.xxxbigdata1xxx.xxx.xxx.xxxbigdata2xxx.xxx.xxx.xxxbigdata33台机器用户名和密码：用

阿卜力米提40·2025-02-11 22:34

【大数据治理】

大数据治理（BigDataGovernance）是指通过一系列策略、流程和技术手段，确保大数据的质量、安全性、合规性和可用性，从而最大化数据的价值。

局外人_Jia·2025-02-11 09:05

简记一段数据清洗项目经历

声明：该项目是从github上下载的，原项目地址在:https://github.com/TurboWay/bigdata_analyse这个数据分析项目选自其中的"Amoy_job",即"10万条厦门招聘数据分析

Jo乔戈里·2025-02-11 07:46

nginx+flume网络流量日志实时数据分析实战_日志数据分析(1)

得到visits模型hadoopjar/export/data/mapreduce/web_log.jarcn.itcast.bigdata.weblog.clickstream.ClickStreamVisit

2401_84182578·2025-02-07 11:22

探秘高效大数据处理：揭秘开源项目【BigData】

探秘高效大数据处理：揭秘开源项目【BigData】databaseBlazegraphHighPerformanceGraphDatabase项目地址:https://gitcode.com/gh_mirrors

温宝沫Morgan·2025-02-05 17:27

开源项目推荐：基于Lambda架构的大数据管道

柳旖岭·2025-02-05 16:53

Hadoop HDFS 安装详细步骤

Hadoop安装详细步骤安装前分别在master、slave1、slave2三台机器的root用户下的主目录下创建目录bigdata，即执行下面的命令：mkdir~/bigdataHadoop安装包下载检查

碟中碟山·2025-02-05 07:16

大数据治理体系构建与关键技术实践

因此，大数据治理（BigDataGovernance）成为企业和政府机构提升数据管理能力、优化决策支持的重要手段。本篇文章将深入探讨大数据治理的体系构建、核心技术及其在实际应

一ge科研小菜鸡·2025-02-05 07:45

Hive 整合 Spark 全教程（Hive on Spark）

hadoop.proxyuser.luanhao.groups*hadoop.proxyuser.luanhao.groups*2）HDFS配置文件配置hdfs-site.xmldfs.namenode.http-addressBigdata00

字节全栈_rJF·2025-02-02 02:56

centos7搭建flink1.18并以 standalone模式启动

版本组件版本scala2.12.20java1.8.0_181flink1.18.1关于scala和Java的安装参考：scala和java安装flink下载地址：flink下载链接集群规划bigdata01bigdata02bigdata03masterworkerworkerworker

咸鱼c君·2025-02-01 20:50

一文了解大数据概论

一.大数据概论1.1大数据概念大数据（bigdata）：指无法在一定时间范围内用常规软件工具进行捕捉、管理和处理的数据集合，是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产

·2025-01-29 23:54

ranger-kms安装

Ranger组件服务默认都在/opt/bigdata.test/core/ranger目录下安装。

蘑菇丁·2025-01-27 16:55

把hive中的数据导出到mysql

中的字段和类型也必须为stnamestring2.sqoopexport--connectjdbc:mysql://localhost:3306/xiandian--usernameroot--passwordbigdata

樱浅沐冰·2025-01-26 05:39

Django常用ORM

Coalesce(Sum('number'),0,output_field=CharField())跨表分组去重#B表中有一个外键表是A,即a=models.ForeignKey(A)a_queryset=BigData.objects.filter

程序猿_小天·2025-01-25 17:05

大数据治理：概念、框架与实践

个人主页：一ge科研小菜鸡-CSDN博客期待您的关注引言随着数据量的爆炸性增长，大数据治理（BigDataGovernance）成为数据管理领域的重要议题。

一ge科研小菜鸡·2025-01-24 06:06

【Springer斯普林格出版，Ei稳定，往届快速见刊检索】第四届电子信息工程、大数据与计算机技术国际学术会议（ EIBDCT 2025）

第四届电子信息工程、大数据与计算机技术国际学术会议（EIBDCT2025）20254thInternationalConferenceonElectronicInformationEngineering,BigDataandComputerTechnology

艾思科蓝 AiScholar·2025-01-24 05:59

分布式系统理论基础二-CAP

GitHub：https://github.com/wangzhiwubigdata/God-Of-BigData关注公众号,内推,面试,资源下载,关注更多大数据技术~大数据成神之路~预计更新500+篇文章

王知无(import_bigdata)·2025-01-20 10:41

使用java代码消费kafka数据

jar包org.apache.kafkakafka-clients3.0.0org.slf4jslf4j-log4j121.7.25示例一：使用java代码消费kafka所有数据packagecom.bigdata.day03

二进制_博客·2025-01-18 19:34

Hive 查看partition 以及msck 修复分区

可以适用下命令重新关联表和数据[MSCKREPAIRTABLE]全量修复分区hive>msckrepairtabletable_name;转载于:https://www.cnblogs.com/TendToBigData

dgsdaga3026010·2025-01-18 17:48

2024年总结：大转向

职业转向今年我在职业上尝试做了一个转向，具体的结果可能需要比较长的时间来检验我选择是否正确，所以转向的细节我就不全部展开了，可以确定是我依然会专注在Infra和BigData，比如今年我发布了SparkSQL

·2025-01-17 20:11

官宣开源阿里云与清华大学共建AI大模型推理项目Mooncake

2024年6月，国内优质大模型应用月之暗面Kimi与清华大学MADSys实验室（MachineLearning,AI,BigDataSystemsLab）联合发布了以KVCache为中心的大模型推理架构

·2025-01-17 19:03

Hadoop架构

一、案列分析1.1案例概述现在已经进入了大数据(BigData)时代，数以万计用户的互联网服务时时刻刻都在产生大量的交互，要处理的数据量实在是太大了，以传统的数据库技术等其他手段根本无法应对数据处理的实时性

henan程序媛·2024-09-16 00:14

echarts象形渐变柱状图

/bigdata/components/item.vue'exportdefault{components:{item}}.page-con{width:100%;height:100%;.main-con

星星跌入梦境*·2024-09-14 10:02

大数据（Big Data）：探索信息时代的海量数据世界

大数据（BigData）：探索信息时代的海量数据世界一、大数据的定义与特点大数据（BigData），或称巨量资料，是指那些在传统数据处理应用软件无法有效捕捉、管理和处理的数据集合。

hong161688·2024-09-06 05:19

Ingest Pipeline & Painless Script

DELETEtech_blogs#Blog数据，包含3个字段，tags用逗号间隔PUTtech_blogs/_doc/1{"title":"Introducingbigdata......","tags

折纸虚桐·2024-09-05 22:03

HIVE 数据模型

体系结构：元数据/HQL的执行安装：嵌入/远程/本地管理：CLI/web界面/远程服务数据类型：基本/复杂/时间数据模型：数据存储/内部表/分区表/外部表/桶表/视图WEB管理工具：http://tdxy-bigdata

HFDYCYY·2024-08-29 19:47

山东大学大数据管理与分析知识点总结

大数据概述大数据(bigdata)，或称巨量资料，指的是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产大数据指不用随机分析法（抽样调查）这样的捷径，而采用所有数据进行分析处理大数据四个本质特征大量化

weixin_51565263·2024-08-26 14:46

大数据-Big Data

大数据（BigData）是指规模庞大、多样化、高速度的数据集合。与传统数据相比，大数据具有一些显著的特点，并广泛应用于各个领域。

Dingdangr·2024-08-26 13:34

BigData学习日记

做一个简单的开篇说明从今天开始，每天定时更新当天所学知识，进行知识总结的同时进行一下日子的计算，也算为自己加油。

wsuan·2024-08-23 14:29

pyflink1.18.0 报错 TypeError: cannot pickle ‘_thread.lock‘ object

my_datastream.key_by(lambdax:x[0]).process(MyProcessFunction())#返回元组即:f0f1f2三列File"/Users/thomas990p/bigdataSoft

Thomas2143·2024-03-19 18:31

扩展学习|大数据，新的认识论和范式转变

文献来源：[1]KitchinR.BigData,NewEpistemologiesandParadigmShift[J].BigData&Society,2014,1(1):1-12.DOI:10.1177

封印师请假去地球钓鱼·2024-02-19 20:32

推荐频道