【BigData】第2页

二、 Flume-案例一：监控端口数据

Agenta1.sources=r1a1.sinks=k1a1.channels=c1#定义netcatsourcea1.sources.r1.type=netcata1.sources.r1.bind=bigdata111a1

一种依耐丶从未离开·2024-01-24 20:39

大数据学习之Flink算子、了解（Source）源算子（基础篇二）

方法直接读取列表也可以使用代码中的fromElements()方法直接列出数据获取3.从文件中读取数据说明：4.从Socket读取数据（1）编写StreamWordCount（2）在Linux环境的主机bigdata1

十二点的泡面·2024-01-23 14:22

2024年图像处理与大数据信息应用国际会议(ICIPCDIA 2024)

2024年图像处理与大数据信息应用国际会议(ICIPCDIA2024)2024InternationalConferenceonImageProcessingandBigDataInformationApplications

论文发表-征稿咨询·2024-01-22 17:53

transdata笔记：手机数据处理

1mobile_stay_duration每个停留点白天和夜间的持续时间transbigdata.mobile_stay_duration(staydata,col=['stime','etime'],

UQI-LIUWJ·2024-01-22 10:22

Flume安装配置（超详细，傻瓜式安装）

Flume安装配置使用的三台主机名称分别为bigdata1，bigdata2，bigdata3。

佛系爱学习·2024-01-21 17:11

spark on yarn安装部署

sparkonyarn安装部署使用的三台主机名称分别为bigdata1，bigdata2，bigdata3。

佛系爱学习·2024-01-21 17:11

在Centos7上进行Trino 377的集群安装部署

节点配置etc/node.properties4.3JVM配置etc/jvm.config4.4日志配置etc/logging.properties5.启动6.关闭7.查看WebUI1.集群规划主机名服务bigdata001coordinatorbigdata002workerbig

Bulut0907·2024-01-20 22:20

【HCIE-BigData-Data Mining课程笔记（三）】预备知识-Python基础

Python基础文章目录Python基础一、Python1.什么是Python2.Python基础知识3.python数据类型4.判断与循环语句5.函数和面向对象6.Python常用模块7.正则表达式8.文件操作二、数据采集1.什么是爬虫2.爬虫的作用及工作流程3.爬虫常用的工具4.数据提取与存储5.常见的反爬机制和应对措施6.爬虫程序的实现三、数据可视化一、Python1.什么是PythonPy

CPScienceMFQ·2024-01-20 10:58

md5值获取方法

md5值获取方法:用途：验证发布包唯一值，避免发布包名称重复Linux系统下md5值验证方法：将待验证安装包上传Linux服务器进入相关目录，执行命令：#md5sum安装包名md5sumbigdata_x.x.x

坐在风口上de猪·2024-01-20 10:53

四.KafkaAPI实战

4）启动zk和kafka集群，在kafka集群中打开一个消费者[itstar@bigdata11kafka]$bin/kafka-console-consumer.sh--zookeeperbigda

临时_01e2·2024-01-19 13:23

hbase学习笔记-hbase集群安装部署

archive.apache.org/dist/hbase2、规划安装目录/opt/hbase3、上传安装包到服务器4、解压安装包到指定的规划目录tar-zxvfhbase-2.0.0-bin.tar.gz-C/opt/bigdata5

陈同学：·2024-01-19 00:22

transbigdata笔记：栅格参数优化

在transbigdata中，栅格参数有如下几个params=(lonStart,latStart,deltaLon,deltaLat,theta)如何选择合适的栅格参数是很重要的事情，这会对最终的分析结果产生很大的影响

UQI-LIUWJ·2024-01-17 04:49

transbigdata 笔记：官方文档示例3：车辆轨迹数据处理

1读取数据+轨迹数据质量分析这一部分和transbigdata笔记：data_summary轨迹数据质量/采样间隔分析-CSDN博客的举例是一样的importpandasaspdimportgeopandasasgpdimporttransbigdataastbddata

UQI-LIUWJ·2024-01-17 04:19

transbigdata笔记：轨迹切片

1方法介绍在transbigdata笔记：轨迹停止点和行程提取-CSDN博客中，已经可以把轨迹点拆分成停止点和行程点，但是行程点只有起止位置，不包含行程轨迹信息为了进一步分析车辆的行驶轨迹，需要从每次行程的时间段中提取轨迹数据根据行驶信息的起止位置

UQI-LIUWJ·2024-01-17 04:19

transbigdata 笔记：轨迹密集化/稀疏化 & 轨迹平滑

1密集化transbigdata.traj_densify(data,col=['Vehicleid','Time','Lng','Lat'],timegap=15)轨迹致密化，保证至多每隔timegap

UQI-LIUWJ·2024-01-17 04:47

基于SPARK的淘宝用户购物行为可视化分析

数据来源数据集：淘宝用户购物行为数据集_数据集-阿里云天池(aliyun.com)下载到：/opt/module/taobao/UserBehavior.csv商品类目纬度数据来源：bigdata_analyse

番茄薯仔·2024-01-17 02:14

001 大数据爱好者的 Hadoop 教程-学习 Hadoop 的最佳方式

000HadoopTutorialforBigDataEnthusiasts–TheOptimalwayofLearningHadoopHadoopTutorial–Oneofthemostsearchedtermsontheinternettoday.Doyouknowthereason

胡巴Lei特·2024-01-16 09:27

geopandas 笔记：plot 的scheme

transbigdata笔记：官方文档案例1（出租车GPS数据处理）-CSDN博客3.3.1节的内容的拓展，这里主要是比较各个scheme的效果主代码为：修改的就是第二行scheme的内容plt.figure

UQI-LIUWJ·2024-01-15 17:55

【曝光】Gemini双子新约暗网项目实际是等待收割的黑洞陷阱!

Gemini是由HalFinney的追随者自发成立的发源匿名社区历时6年研发而成的信任社会基石操作系统，它不是一条传统意义上的公有链，而是一个以区块链为底层的，能够结合5G，AI，BigData，VR等技术的第四代区块链技术群多维科技集合体

区块仙人·2024-01-15 10:49

【EI会议征稿通知】第五届计算机信息和大数据应用国际学术会议（CIBDA 2024）

第五届计算机信息和大数据应用国际学术会议（CIBDA2024）20245thInternationalConferenceonComputerInformationandBigDataApplications

搞科研的小刘选手·2024-01-15 05:14

C语言--函数-输入两个整数，取出较大的数

#includeintgetBigDataFromTwo(intx,inty){returnx>y?

小小的个子·2024-01-14 21:05

大数据容器化

记录知乎容器平台演进及与大数据融合实践http://www.sykv.cn/cat/bigdata/4140.htmlBuildingonlineHBaseclusterofZhihubasedonKuberneteshttps

bigdata-余建新·2024-01-14 21:23

模块预制式数据中心方案评估与建议

我国数据中心的发展概况大数据(bigdata,megadata)信息技术产业是国家重点扶持的七大战略性新兴产业之一、在麦肯锡全球研究所McKinseyGlobalInstitute给出的定义是：一种规模大到在获取

Danny Chen D.C.·2024-01-14 04:44

专业的数据库连接工具：DBeaverEE for Mac中文版

深海___·2024-01-13 10:40

starrocks权限管理-2.3.2版本

如果172.25.20.1被%替换就是所有ip都可以访问CREATEUSERbigdata@'172.25.20.1'IDENTIFIEDWITHmysql_native_passwordBY'Zhengda

远方有海，小样不乖·2024-01-12 08:50

Flink异步IO

本文代码gitee地址：https://gitee.com/ddxygq/BigDataTechnical/blob/main/Flink/src/main/java/operator/AsyncIODemo.java

大数据技术派·2024-01-12 07:00

transbigdata笔记：数据栅格化

1area_to_grid在边界或形状中生成矩形栅格1.1主要使用方法transbigdata.area_to_grid(location, accuracy=500, method='rect', params

UQI-LIUWJ·2024-01-11 18:16

【大数据进阶第三阶段之ClickHouse学习笔记】ClickHouse的简介和使用

开源地址：GitHub-ClickHouse/ClickHouse:ClickHouse®isafreeanalyticsDBMSforbigdata1.1优点灵活的MPP

Allen_lixl·2024-01-10 20:41

transbigdata 笔记：官方文档案例1（出租车GPS数据处理）

1读取数据官方文档中给定的出租车数据在transbigdata/docs/source/gallery/data/TaxiData-Sample.csvatmain·ni1o1/transbigdata

UQI-LIUWJ·2024-01-10 20:30

pandas笔记：找出在一个dataframe但不在另一个中的index

1问题描述假设我们有两个dataframe（这一段代码）来自transbigdata笔记：官方文档案例1（出租车GPS数据处理）-CSDN博客data=tbd.clean_outofshape(data

UQI-LIUWJ·2024-01-10 20:30

transbigdata笔记：数据预处理

0数据使用transbigdata/docs/source/gallery/data/TaxiData-Sample.csvatmain·ni1o1/transbigdata(github.com)和transbigdata

UQI-LIUWJ·2024-01-10 20:57

2024年第九届大数据分析国际会议（ICBDA2024）即将召开！

会议官网：ICBDA-BigData@Tokyohtt

爱科会易·2024-01-10 05:13

mysql单表的多种查询之DQL操作

DQL操作简单查询--1、准备查询的数据#创建商品表droptableifexistsbigdata_db.product;CREATETABLEbigdata_db.product(pidINTPRIMARYKEY

爱学习的小su·2024-01-09 01:41

springboot集成jedis

falseconfig:maxIdle:100maxTotal:1000minIdle:50maxWaitMillis:1000testOnBorrow:true2创建jedis连接池packagecom.bigdata.admin.util

西门不止会吹雪·2024-01-09 00:30

成功法则:成功学的学习法则

本文来源：公众号“大数据文摘”（ID：BigDataDigest）。“蓝橡树”获授权转载。........................................持续学习者通常具备两项特

拼搏奋斗者·2024-01-08 12:06

DataOps：数据中台的必备底座

DataOps的历史2014年，LennyLiebmann提出DataOps[1]的概念，在《3reasonswhyDataOpsisessentialforbigdatasuccess》这篇文章中，Lenny

灯惉·2024-01-07 15:32

Lambda常用表达式

还有toSet()，toMap()等filter过滤筛选max和min在集合中求最大或最小值count统计，结合filter使用sorted排序默认升序importcom.bigdata.bigdata.entity.User

战战的坚果·2024-01-07 00:38

python写入kafka数据时报错解决方案

报错如下：Traceback(mostrecentcalllast):File"/mnt/disk1/cdp/icu/icu_reades2kafka_v4_bigdata_v4_shuashu.py"

pekingK·2024-01-06 08:38

BigData~05：HBase

东西真多，有木有？https://www.cnblogs.com/ityouknow/p/7344001.html一、简介HBASE是一个高可靠性、高性能、面向列、可伸缩的分布式存储系统，利用HBASE技术可在廉价PCServer上搭建起大规模结构化存储集群。HBASE的目标是存储并处理大型的数据，更具体来说是仅需使用普通的硬件配置，就能够处理由成千上万的行和列所组成的大型数据。HBase是Had

帅可儿妞·2024-01-06 07:29

知虾大数据Shopee平台有：为什么它对用户和卖家都如此重要？

这些数据被称为知虾大数据（ShopeeBigData），它对于Shopee平台和卖家来说都具有重要的应用和价值。本文将深入探讨知虾大数据的应用领域和它对Shopee平台和用户的重要意义。

duoduocanmou·2024-01-06 05:59

EBDP：解锁大数据的奥秘✨

EBDP：大数据的“敲门砖”EBDP，全称为EnterpriseBigDataProfessional，即大数据专家认证。

IT课程顾问·2024-01-05 18:05

修改 docker /dev/shm 的大小

--shm-size="1g"--name001busybox:latest/bin/sh容器启动后修改1.dockerps|grepcontainerName2.获取完整Id[root@linfs-bigdatacontainers

也许就是这样·2024-01-05 02:33

什么是大数据？大数据就业方向分析

大数据(bigdata)，指无法在一定时间范围内用常规软件工具进行捕捉、管理和处理的数据集合，是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产。

yoku酱·2024-01-04 00:23

HBase从入门到精通11：HBase数据保存过程和Region分裂

假如我们有一张表Bigdata，该表有一个列族Info，该列族下有一个列Name，且为了便于说明，假设行键和Name相同，按照

金字塔下的小蜗牛·2024-01-03 07:35

大数据如何影响课堂教学？

“大数据”（BIGDATA）这个词，是2008年在维克托·迈尔-舍恩伯格及肯尼斯·库克耶编写的《大数据时代》这本书中首次提出的。

海韵互联·2024-01-01 21:54

文件预览

packageorg.bigdata.framework.docmg.util;importjava.awt.image.BufferedImage;importjava.io.BufferedReader

青风行·2024-01-01 15:51

大数据的缘起、发展和未来构思

大数据（bigdata）的定义无法在可承受的时间范围内用常规软件工具进行捕捉、管理和处理的数据集合。

IT转型指北·2024-01-01 14:54

大数据 - 大数据入门第一篇 | 关于大数据你了解多少？

1.1概述大数据（BigData):指无法在一定时间范围内用常规软件工具进行捕捉、管理和处理的数据集合，是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产。

王哪跑nn·2023-12-31 22:48

01大数据导论和计算机组成

大数据（bigdata），是指无法在一定时间范围内用常规软件工具进行捕捉、管理和处理的数据集合，因此需要新处理模式，该处理模式就是大数据大数据处的数据量有多大?

PGl63·2023-12-31 22:40

大数据与BI

大数据（BigData）是从收集的海量数据中，通过算法将这些来自不同渠道、格式的数据进行直接分析，从中找到数据之间的相关性。简而言之，大数据更偏重于发现，以及猜测并印证的循环逼近过程。BI又是什么呢？

回到地面·2023-12-31 14:10

推荐频道

【BigData】