Bigdata

Sharding-Sphere，Sharding-JDBC_介绍_Sharding-Sphere，Sharding-JDBC分布式_分库分表工作笔记001

技术交流QQ群【JAVA,C++,Python,.NET,BigData,AI】：170933152因为公司最近在做多租户的智慧城市相关的产品,这里,偶然看到这个框架,应该是可以用到,所以就看了一些,记录下来

添柴程序猿·2025-06-24 18:03

OGG从oracle到KAFKA的增量数据表同步操作

的增量数据表同步操作需求oracle的库：cas库kfaka服务器：给与topic信息、以及服务器IP：端口同步表：cas.students环境在独立的服务器上面装oggfororacle11g以及oggforbigdata

Romona_J·2025-06-17 06:53

MapReduce 程序详解

第一个类WordcountMapperpackagecn.itcast.bigdata.mr.wcdemo;importjava.io.IOExcepti

·2025-06-16 08:52

【赛题样题】【大数据应用开发】2023年全国职业院校技能大赛高职组“大数据应用开发”第三套样题

2023年全国职业院校技能大赛赛题第03套赛项名称：大数据应用开发英文名称：BigDataApplicationDevelopment赛项组别：高等职业教育组赛项编号：GZ033背景描述大数据时代背景下

波比网络·2025-06-12 06:41

云平台领域新秀：百度云的崛起之路

云平台领域新秀：百度云的崛起之路关键词：百度云、云计算、云服务、技术架构、生态建设、市场竞争、行业智能化转型摘要：作为中国云计算市场的重要参与者，百度云通过独特的"ABC（AI+BigData+Cloud

AI云原生与云计算技术学院·2025-06-11 13:49

DataX的json配置文件，{}，[]讲解

通过DataX将文件系统迁移到MySQLpython/bigdata/datax/bin/datax.py-rtxtfilereader-wmysqlwriter配置文件如下，（json文件中是不允许有

WZMeiei·2025-05-25 13:12

手把手教你搭建 Hadoop Namenode 高可用集群（HA）

二、环境准备1.服务器规划节点角色软件依赖bigdata01Namenode1、JournalNode、ZooKeeperHadoo

线条1·2025-05-21 12:27

Nick_zcy·2025-05-11 18:34

zookeeper 单机安装

国内的下载地址：https://mirrors.tuna.tsinghua.edu.cn/apache/zookeeper/2.解压zookeeperterry@terry-VirtualBox:/opt/bigdata_platform

未来创世纪·2025-05-11 03:21

Shell中的sed命令(简单详细,一看就会,没一句废话)

sed可以用来实现过滤和替换1.可以进行查询操作sed可选项目标文件可选性：p打印$代表最后一行-n仅显示处理后的结果-e根据表达式进行处理2.列出txt文档中的数据catbigdata.txt|sed-n-e

线条1·2025-05-10 07:12

springboot 基于IDEA排查脏jar

励志重写JDK·2025-05-08 08:09

2024华为HCIP大数据考试总结&题库&提纲

目录关于华为HCIP大数据HCIP大数据题库题库介绍关于题库更新购买方式HCIP大数据考试介绍考试形式考试题型考试内容祝：逢考必过关于华为HCIP大数据HCIP大数据，HCIP-BigDataDeveloper

KwCoding·2025-05-06 16:35

bigdatareport

大数据技术体系深度解析（2025年版）一、大数据定义与核心特征（5V+扩展）传统5V模型升级Volume（体量）：从TB级到EB/ZB级，2025年全球数据总量预计达180ZB，其中非结构化数据（日志、视频、文本）占比超80%，推动存储架构向分层弹性扩展（冷热温数据分级，蓝光存储应用率提升至45%）。Velocity（速度）：实时数据流处理延迟要求从秒级（Kafka）进化到亚毫秒级（FlinkSQ

chennalC#c.h.JA Ptho·2025-05-05 19:50

Spark-小练试刀

任务1：HDFS上有三份文件，分别为student.txt（学生信息表）result_bigdata.txt（大数据基础成绩表），result_math.txt（数学成绩表）。

o不ok!·2025-05-03 20:11

Hive4.0.1集群安装部署（Hadoop版本为3.3.6）(详细教程)

详细教程）-CSDN博客MySQL8.0.40离线安装（详细教程）_mysql8.0.40ftp-CSDN博客Hadoop3.3.6官网下载链接地址部署规划服务器节点MetaStoreHiveServer2bigdata01

大数据探索者·2025-04-29 01:06

【ATU Book-MemryX 系列】MemryX 推出浮点运算 AI 芯片，引领精准运算新时代

过去，图像处理大多依赖像素级别的逐一运算，而现在，通过大数据(BigData)的支撑以及深度学习(DeepLearning)随着AI模型的成熟，它能够通过固定的学习模式从海量数据中快速创造出各种各样的应用

WPG大大通·2025-04-24 01:58

spark-submit命令总览

pyspark可以使用pyspark命令在服务器黑窗口中进行spark代码的编写pyspark--masterlocal[2]本地模式pyspark--masterspark://bigdata01:7077standalone

zmd-zk·2025-04-16 01:59

Prometheus+Kafka exporter+Grafana监控Kafka

部署规划主机名bigdata111bigdata112bigdata113服务部署Kafka、Prometheus、Grafana、KafkaexporterKafkaKafkaKafka部署目录/opt

ErbaoLiu·2025-04-10 18:17

SAAS多租户实现方案_springboot 实现多租户_基于共享数据库_共享schema_共享数据表_基于baomidou_mybatis_plus---springcloud工作笔记158

技术交流QQ群【JAVA,C++,Python,.NET,BigData,AI】：170933152前面的博文说了,多租户其实就是把一套系统,提供给多个用户用,让每个用户都像拥有自己的一套系统一样,这样我们就可以把一套系统部署在我们自己这里

添柴程序猿·2025-04-09 12:25

Big Data 流处理框架 Flink

BigData流处理框架Flink什么是FlinkFlink的主要特性典型应用场景AmazonElasticMapReduce(EMR)VSFlink架构和运行时环境实时处理能力开发和编程模型操作和管理应用场景总结

wumingxiaoyao·2025-04-05 23:47

Clickhouse集群集群安装

1.环境信息：[root@bigdata003clickhouse-server]#cat/etc/redhat-releaseCentOSLinuxrelease7.9.2009(Core)2.在/etc

大浪淘沙2023·2025-04-05 09:44

Utilizing DDR Memory Banks for Big Data Processing Performance

UtilizingDDRMemoryBanksforBigDataProcessingPerformanceTomaximizeperformancewhenprocessingbigdatausingDDRmemorybanks

东北豆子哥·2025-04-01 02:32

Java BigDecimal类 BigInter类简介及代码演示

BigDecimal类大数据中的大小数BigInter大数据中的大整数备注:如果除不尽程序会报错packagecom.BigData;importjava.math.BigDecimal;importjava.math.BigInteger

JayceHarris·2025-03-30 10:23

【区块链+乡村振兴】数字农业区块链系统 | FISCO BCOS应用案例

时代是以机械化生产为主、适度经营的“种植大户”时代，农业3.0时代则以现代科学技术为主要特征，而我们正在迈向的农业4.0时代，可以说是融合A(AI)、B(BlockChain)、C(Cloud)、D(BigData

FISCO_BCOS·2025-03-28 03:31

Linux多线程工作笔记0004---C语言中g++ -o -c -g 功能

技术交流QQ群【JAVA,C++,Python,.NET,BigData,AI】：170933152-o：指定生成可执行文件的名称。使用方法为：g++-oafilefile.cppfile.h...

添柴程序猿·2025-03-25 04:10

大一python期末总结

学期总结一.为什么选择大数据1.什么是大数据（bigdata）2.优秀的前景是什么二.关于这学期我收获了什么1.关于python的学习三.课堂初体验打印三角形99乘法表四.课堂练习五.最后的总结一.为什么选择大数据

wylrosewyl·2025-03-25 01:18

揭秘时空大数据：详细介绍、真实应用场景和数据示例解析

时空大数据(SpatialBigData)是指利用空间环境和时间环境信息，以及数字技术，从多种来源获取的海量、动态的、多维的数据，对空间环境和时间环境进行实时监测，并基于复杂的数据分析和挖掘，获取有价值的信息

陈书予·2025-03-21 19:21

Hadoop MapReduce 词频统计（WordCount）代码解析教程

二、代码结构packagecom.bigdata.wc;//Hadoop核心类库导入importorg.apache.hadoop.conf.Configuration;importorg.apache.hadoop.fs.Path

我不是少爷.·2025-03-18 17:07

Big Data (H/M) Assessed Exercise

BigData(H/M)AssessedExerciseTaskSheet2024/25–Individual–v107/02/25SummaryThegoalofthisexerciseistofamiliarizeyourselveswiththedesign

·2025-02-27 00:43

2025年计算机工程与大数据应用国际会议（CEBDA 2025）

2025年计算机工程与大数据应用国际会议2025InternationalConferenceonComputerEngineeringandBigDataApplications大会信息会议名称：2025

Yangxshy·2025-02-25 12:23

大数据安全项目

1.项目详情用python写一个大数据安全项目（使用tk，页面布局使用盒子模型，页面中各个按钮，主题要美观，按扭间的距离不要太进），需要连接数据库连接名是root（数据库名为bigdata_security

是小酒·2025-02-23 20:47

【软考高项】【英语知识】- 21 - 单词积累

Cloudcomputing2云存储Cloudstorage3云服务Cloudservice4软件即服务SaaS5平台即服务PaaS6基础设施即服务laaS7虚拟资源Virtualresources8大数据bigdata9

oo寻梦in记·2025-02-23 17:56

Ubuntu下配置安装Hadoop 2.2

参考资料：1.InstallingsinglenodeHadoop2.2.0onUbuntu：http://bigdatahandler.com/hadoop-hdfs/installing-single

weixin_30501857·2025-02-15 15:55

[转载] awesome big data

原文:https://github.com/onurakpolat/awesome-bigdata#graph-data-model作者把分布式领域相关的大部分开源项目和论文分类整理了一遍,造福人类啊.

weixin_30343157·2025-02-15 10:15

2014 6月，比较老了

AwesomeBigDataAcuratedlistofawesomebigdataframeworks,resourcesandotherawesomeness.Inspiredbyawesome-php

金金2019·2025-02-15 09:40

Centos7服务器运维服务系统安装过程中遇到的问题总结

机器域名机器别名xxx.xxx.xxx.xxxbigdata1xxx.xxx.xxx.xxxbigdata2xxx.xxx.xxx.xxxbigdata33台机器用户名和密码：用

阿卜力米提40·2025-02-11 22:34

【大数据治理】

大数据治理（BigDataGovernance）是指通过一系列策略、流程和技术手段，确保大数据的质量、安全性、合规性和可用性，从而最大化数据的价值。

局外人_Jia·2025-02-11 09:05

简记一段数据清洗项目经历

声明：该项目是从github上下载的，原项目地址在:https://github.com/TurboWay/bigdata_analyse这个数据分析项目选自其中的"Amoy_job",即"10万条厦门招聘数据分析

Jo乔戈里·2025-02-11 07:46

nginx+flume网络流量日志实时数据分析实战_日志数据分析(1)

得到visits模型hadoopjar/export/data/mapreduce/web_log.jarcn.itcast.bigdata.weblog.clickstream.ClickStreamVisit

2401_84182578·2025-02-07 11:22

探秘高效大数据处理：揭秘开源项目【BigData】

探秘高效大数据处理：揭秘开源项目【BigData】databaseBlazegraphHighPerformanceGraphDatabase项目地址:https://gitcode.com/gh_mirrors

温宝沫Morgan·2025-02-05 17:27

开源项目推荐：基于Lambda架构的大数据管道

柳旖岭·2025-02-05 16:53

Hadoop HDFS 安装详细步骤

Hadoop安装详细步骤安装前分别在master、slave1、slave2三台机器的root用户下的主目录下创建目录bigdata，即执行下面的命令：mkdir~/bigdataHadoop安装包下载检查

碟中碟山·2025-02-05 07:16

大数据治理体系构建与关键技术实践

因此，大数据治理（BigDataGovernance）成为企业和政府机构提升数据管理能力、优化决策支持的重要手段。本篇文章将深入探讨大数据治理的体系构建、核心技术及其在实际应

一ge科研小菜鸡·2025-02-05 07:45

Hive 整合 Spark 全教程（Hive on Spark）

hadoop.proxyuser.luanhao.groups*hadoop.proxyuser.luanhao.groups*2）HDFS配置文件配置hdfs-site.xmldfs.namenode.http-addressBigdata00

字节全栈_rJF·2025-02-02 02:56

centos7搭建flink1.18并以 standalone模式启动

版本组件版本scala2.12.20java1.8.0_181flink1.18.1关于scala和Java的安装参考：scala和java安装flink下载地址：flink下载链接集群规划bigdata01bigdata02bigdata03masterworkerworkerworker

咸鱼c君·2025-02-01 20:50

一文了解大数据概论

一.大数据概论1.1大数据概念大数据（bigdata）：指无法在一定时间范围内用常规软件工具进行捕捉、管理和处理的数据集合，是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产

·2025-01-29 23:54

ranger-kms安装

Ranger组件服务默认都在/opt/bigdata.test/core/ranger目录下安装。

蘑菇丁·2025-01-27 16:55

把hive中的数据导出到mysql

中的字段和类型也必须为stnamestring2.sqoopexport--connectjdbc:mysql://localhost:3306/xiandian--usernameroot--passwordbigdata

樱浅沐冰·2025-01-26 05:39

Django常用ORM

Coalesce(Sum('number'),0,output_field=CharField())跨表分组去重#B表中有一个外键表是A,即a=models.ForeignKey(A)a_queryset=BigData.objects.filter

程序猿_小天·2025-01-25 17:05

大数据治理：概念、框架与实践

个人主页：一ge科研小菜鸡-CSDN博客期待您的关注引言随着数据量的爆炸性增长，大数据治理（BigDataGovernance）成为数据管理领域的重要议题。

一ge科研小菜鸡·2025-01-24 06:06

推荐频道