BigData学习日志

Linux多线程工作笔记0004---C语言中g++ -o -c -g 功能

技术交流QQ群【JAVA,C++,Python,.NET,BigData,AI】：170933152-o：指定生成可执行文件的名称。使用方法为：g++-oafilefile.cppfile.h...

添柴程序猿·2025-03-25 04:10

大一python期末总结

学期总结一.为什么选择大数据1.什么是大数据（bigdata）2.优秀的前景是什么二.关于这学期我收获了什么1.关于python的学习三.课堂初体验打印三角形99乘法表四.课堂练习五.最后的总结一.为什么选择大数据

wylrosewyl·2025-03-25 01:18

揭秘时空大数据：详细介绍、真实应用场景和数据示例解析

时空大数据(SpatialBigData)是指利用空间环境和时间环境信息，以及数字技术，从多种来源获取的海量、动态的、多维的数据，对空间环境和时间环境进行实时监测，并基于复杂的数据分析和挖掘，获取有价值的信息

陈书予·2025-03-21 19:21

疯狂python讲义学习日志06——异常处理

疯狂python讲义学习日志06——异常处理引言1异常处理机制1.1使用try...except处理异常1.2异常类的继承体系1.3多异常捕获1.4访问异常信息1.5else块1.6使用finally回收资源

静笃归心方得平和心气·2025-03-20 12:59

Hadoop MapReduce 词频统计（WordCount）代码解析教程

二、代码结构packagecom.bigdata.wc;//Hadoop核心类库导入importorg.apache.hadoop.conf.Configuration;importorg.apache.hadoop.fs.Path

我不是少爷.·2025-03-18 17:07

Python学习日志3-复合类型

python支持多种复合类型，可以将不同的值组合在一起一、列表列表（list）是用方括号标注、逗号隔开的一组值，可以包含不同类型的元素（但最好不要这么做），列表有以下特点：列表内的顺序有先后顺序列表的值可变1.创建列表列表有两种创建方式，一是直接用方括号把表达式括起来，而是用构造函数list()表达式list1=[]#创建了一个空列表list2=["a","b","c"]#创建了一个字符串列表li

可惜还不下雨·2025-03-14 18:34

Big Data (H/M) Assessed Exercise

BigData(H/M)AssessedExerciseTaskSheet2024/25–Individual–v107/02/25SummaryThegoalofthisexerciseistofamiliarizeyourselveswiththedesign

·2025-02-27 00:43

2025年计算机工程与大数据应用国际会议（CEBDA 2025）

2025年计算机工程与大数据应用国际会议2025InternationalConferenceonComputerEngineeringandBigDataApplications大会信息会议名称：2025

Yangxshy·2025-02-25 12:23

大数据安全项目

1.项目详情用python写一个大数据安全项目（使用tk，页面布局使用盒子模型，页面中各个按钮，主题要美观，按扭间的距离不要太进），需要连接数据库连接名是root（数据库名为bigdata_security

是小酒·2025-02-23 20:47

【软考高项】【英语知识】- 21 - 单词积累

Cloudcomputing2云存储Cloudstorage3云服务Cloudservice4软件即服务SaaS5平台即服务PaaS6基础设施即服务laaS7虚拟资源Virtualresources8大数据bigdata9

oo寻梦in记·2025-02-23 17:56

UE学习日志#14 GAS--ASC源码简要分析10 GC相关

注：1.这个分类是按照源码里的注释分类的2.本篇是通读并给出一些注释形式的，并不涉及结构性的分析3.看之前要对UE的GAS系统的定义有初步了解4.因为都是接口函数，有些没细看的研究那一部分的时候会细看1一些接口函数，但是注释说不要直接调用要通过GameplayCueManager调用//Donotcallthesefunctionsdirectly,callthewrappersonGamepla

学游戏开发的·2025-02-16 12:07

Ubuntu下配置安装Hadoop 2.2

参考资料：1.InstallingsinglenodeHadoop2.2.0onUbuntu：http://bigdatahandler.com/hadoop-hdfs/installing-single

weixin_30501857·2025-02-15 15:55

[转载] awesome big data

原文:https://github.com/onurakpolat/awesome-bigdata#graph-data-model作者把分布式领域相关的大部分开源项目和论文分类整理了一遍,造福人类啊.

weixin_30343157·2025-02-15 10:15

2014 6月，比较老了

AwesomeBigDataAcuratedlistofawesomebigdataframeworks,resourcesandotherawesomeness.Inspiredbyawesome-php

金金2019·2025-02-15 09:40

【个人学习日志-前端】浏览器窗口大小改变后，超出视窗部分的导航栏div标签背景色丢失问题

项目场景：复刻小米商城前端html。问题描述浏览器窗口宽度改变后，导航栏div标签超出视图的部分背景色丢失。问题如图：原因分析：导航栏的宽度是基于其子元素的宽度计算的，当窗口宽度较小时，子元素可能会换行或超出视窗，导致背景色无法覆盖整个导航栏。如果导航栏的布局没有正确处理响应式设计，当窗口宽度较小时，布局可能会塌陷，导致背景色丢失。min-width属性用于设置元素的最小宽度，确保元素在窗口宽度较

雲海夢·2025-02-14 03:30

Centos7服务器运维服务系统安装过程中遇到的问题总结

机器域名机器别名xxx.xxx.xxx.xxxbigdata1xxx.xxx.xxx.xxxbigdata2xxx.xxx.xxx.xxxbigdata33台机器用户名和密码：用

阿卜力米提40·2025-02-11 22:34

【大数据治理】

大数据治理（BigDataGovernance）是指通过一系列策略、流程和技术手段，确保大数据的质量、安全性、合规性和可用性，从而最大化数据的价值。

局外人_Jia·2025-02-11 09:05

简记一段数据清洗项目经历

声明：该项目是从github上下载的，原项目地址在:https://github.com/TurboWay/bigdata_analyse这个数据分析项目选自其中的"Amoy_job",即"10万条厦门招聘数据分析

Jo乔戈里·2025-02-11 07:46

UE学习日志#23 C++笔记#9 编码风格

注：此文章为学习笔记，只记录个人不熟悉或备忘的内容1为代码编写文档1.1使用注释的原因1.说明用途的注释应该注释的信息：输入，输出含义，参数的类型含义，错误条件和处理，预期用途，性能保证。一些明显能看出的信息不必加到注释。2.用来说明复杂代码的注释一些算法的用途，具体一行的作用等等。例如，一些复杂代码的循环不变量，比如插入排序中要一直保证当前遍历索引i之前的数组元素是有序的。3.传递元信息的注释例

学游戏开发的·2025-02-08 08:41

UE学习日志#9 GAS--ASC源码简要分析7 GameplayEffects: Primary outward facing API for other systems P3

注：1.这个分类是按照源码里的注释分类的2.本篇是通读并给出一些注释形式的，并不涉及结构性的分析3.看之前要对UE的GAS系统的定义有初步了解4.因为都是接口函数，有些没细看的研究那一部分的时候会细看15GetGameplayEffectMagnitude注释的大致翻译：原始访问器，用于查询游戏效果的强度，但结果并不总是准确的。外部代码（如UI等）如何询问类似“这个游戏效果会将我的伤害修改多少”这

学游戏开发的·2025-02-08 08:41

nginx+flume网络流量日志实时数据分析实战_日志数据分析(1)

得到visits模型hadoopjar/export/data/mapreduce/web_log.jarcn.itcast.bigdata.weblog.clickstream.ClickStreamVisit

2401_84182578·2025-02-07 11:22

inux学习日志前传_基础命令

Linux学习日志_基础命令Linux哲学：测试shell脚本是否有语法错误bash单步执行脚本hwclock（一般使用：hwclock-r读取硬件时间）文件系统：rm:删除cp:copy（默认只复制文件

stevenux·2025-02-05 21:58

探秘高效大数据处理：揭秘开源项目【BigData】

探秘高效大数据处理：揭秘开源项目【BigData】databaseBlazegraphHighPerformanceGraphDatabase项目地址:https://gitcode.com/gh_mirrors

温宝沫Morgan·2025-02-05 17:27

开源项目推荐：基于Lambda架构的大数据管道

柳旖岭·2025-02-05 16:53

Hadoop HDFS 安装详细步骤

Hadoop安装详细步骤安装前分别在master、slave1、slave2三台机器的root用户下的主目录下创建目录bigdata，即执行下面的命令：mkdir~/bigdataHadoop安装包下载检查

碟中碟山·2025-02-05 07:16

大数据治理体系构建与关键技术实践

因此，大数据治理（BigDataGovernance）成为企业和政府机构提升数据管理能力、优化决策支持的重要手段。本篇文章将深入探讨大数据治理的体系构建、核心技术及其在实际应

一ge科研小菜鸡·2025-02-05 07:45

UE学习日志#21 C++笔记#7 基础复习7 string和string_view1

注：本文内容来自《C++20高级编程》，作为笔记1动态字符串1.1C风格的字符串1.C语言中，字符串的最后一个字符是null字符（\0），官方将这个null字符定义为NUL，只有一个L。2.中，strlen()返回的是字符串的长度，而不是实际内存的长度，实际内存在字符串长度的基础上加1，因为结尾的'\0'。3.若char[]的字符串，sizeof()返回实际内存大小，而char*存储的字符串siz

学游戏开发的·2025-02-05 07:44

UE学习日志#19 C++笔记#5 基础复习5 引用1

C++中的引用（reference）是另一个变量的别名。对引用的所有修改都会更改其引用的变量的值。可以将引用视为隐式指针，它省去了获取变量地址和解引用指针的麻烦。另外，可以将引用视为原始变量的另一个名称。可以创建独立的引用变量，在类中使用引用数据成员，接受引用作为函数和方法的参数，并从函数和方法返回引用。1引用变量1.1引用变量必须总是在创建时被初始化引用变量必须在创建时被初始化，例如：intx{

学游戏开发的·2025-02-04 23:18

UE学习日志#18 C++笔记#4 基础复习4 指派初始化器和指针

1指派初始化器C++20引入了指派初始化器，以使用他们的名称初始化所谓聚合的数据成员。聚合类型是满足以下限制的数组类型的对象或结构或类的对象：1.仅public数据成员，2.无用户声明或继承的构造函数，3.无虚函数和无虚基类、private或protected的基类指派初始化的顺序必须与声明顺序相同，不允许混合使用指派初始化器和非指派初始化器。未使用指派初始化器初始化的任何数据成员都将使用其默认值

学游戏开发的·2025-02-04 01:24

学习日志009--面向对象的编程

一、面向对象面向对象编程（Object-OrientedProgramming，简称OOP）是一种编程范式，它使用“对象”来设计应用程序和计算机程序。它利用了抽象、封装、继承和多态这些概念。一、面向对象编程的核心概念封装（Encapsulation）封装是面向对象编程的一个主要特征，它将对象的数据（属性）和操作这些数据的方法（行为）结合在一起，形成一个独立的对象。这样做的好处是可以隐藏内部的复杂性

Z211613347·2025-02-02 18:16

学习日志011--模块，迭代器与生成器，正则表达式

一、python模块在之前学习c语言时，我们学了分文件编辑，那么在python中是否存在类似的编写方式？答案是肯定的。python中同样可以实现分文件编辑。甚至还有更多的好处：‌提高代码的可维护性‌：当代码被分成多个文件时，每个文件可以专注于实现特定的功能或模块。这使得查找和修复错误变得更加容易。可以更方便地对代码进行局部修改，而不需要浏览整个项目的代码。‌增强代码的可读性‌：分文件编程允许开发者

Z211613347·2025-02-02 18:16

Hive 整合 Spark 全教程（Hive on Spark）

hadoop.proxyuser.luanhao.groups*hadoop.proxyuser.luanhao.groups*2）HDFS配置文件配置hdfs-site.xmldfs.namenode.http-addressBigdata00

字节全栈_rJF·2025-02-02 02:56

centos7搭建flink1.18并以 standalone模式启动

版本组件版本scala2.12.20java1.8.0_181flink1.18.1关于scala和Java的安装参考：scala和java安装flink下载地址：flink下载链接集群规划bigdata01bigdata02bigdata03masterworkerworkerworker

咸鱼c君·2025-02-01 20:50

一文了解大数据概论

一.大数据概论1.1大数据概念大数据（bigdata）：指无法在一定时间范围内用常规软件工具进行捕捉、管理和处理的数据集合，是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产

·2025-01-29 23:54

2022-02-09大数据学习日志——PySpark——Spark快速入门&Standalone集群

第一部分Spark快速入门01_Spark快速入门【Anaconda软件安装】[掌握]使用Python编写Spark代码，首先需要安装Python语言包，此时安装Anaconda科学数据分析包。Anaconda指的是一个开源的Python发行版本，其包含了conda、Python等180多个科学包及其依赖项。Anaconda是跨平台的，有Windows、MacOS、Linux版本。#下载地址：ht

王络不稳定·2025-01-27 17:28

ranger-kms安装

Ranger组件服务默认都在/opt/bigdata.test/core/ranger目录下安装。

蘑菇丁·2025-01-27 16:55

把hive中的数据导出到mysql

中的字段和类型也必须为stnamestring2.sqoopexport--connectjdbc:mysql://localhost:3306/xiandian--usernameroot--passwordbigdata

樱浅沐冰·2025-01-26 05:39

Django常用ORM

Coalesce(Sum('number'),0,output_field=CharField())跨表分组去重#B表中有一个外键表是A,即a=models.ForeignKey(A)a_queryset=BigData.objects.filter

程序猿_小天·2025-01-25 17:05

SQL记录学习日志

删除表DROPTABLE：彻底删除表和其数据，无法恢复。DROPTABLEIFEXISTS：在删除之前检查表是否存在。TRUNCATETABLE：删除所有数据，但保留表的结构。DELETE：删除表中的所有数据，但保留表的结构和约束。

柠檬无糖可乐·2025-01-24 18:14

大数据治理：概念、框架与实践

个人主页：一ge科研小菜鸡-CSDN博客期待您的关注引言随着数据量的爆炸性增长，大数据治理（BigDataGovernance）成为数据管理领域的重要议题。

一ge科研小菜鸡·2025-01-24 06:06

【Springer斯普林格出版，Ei稳定，往届快速见刊检索】第四届电子信息工程、大数据与计算机技术国际学术会议（ EIBDCT 2025）

第四届电子信息工程、大数据与计算机技术国际学术会议（EIBDCT2025）20254thInternationalConferenceonElectronicInformationEngineering,BigDataandComputerTechnology

艾思科蓝 AiScholar·2025-01-24 05:59

UE学习日志#8 GAS--ASC源码简要分析5 GameplayEffects: Primary outward facing API for other systems P2

注：1.这个分类是按照源码里的注释分类的2.本篇是通读并给出一些注释形式的，并不涉及结构性的分析3.看之前要对UE的GAS系统的定义有初步了解4.因为都是接口函数，有些没细看的研究那一部分的时候会细看8OnPredictiveGameplayCueCatchupCall预测性添加的GC，移除标签并尝试InvokeGC事件ByTag/**Calledforpredictivelyaddedgamep

学游戏开发的·2025-01-22 21:53

分布式系统理论基础二-CAP

GitHub：https://github.com/wangzhiwubigdata/God-Of-BigData关注公众号,内推,面试,资源下载,关注更多大数据技术~大数据成神之路~预计更新500+篇文章

王知无(import_bigdata)·2025-01-20 10:41

使用java代码消费kafka数据

jar包org.apache.kafkakafka-clients3.0.0org.slf4jslf4j-log4j121.7.25示例一：使用java代码消费kafka所有数据packagecom.bigdata.day03

二进制_博客·2025-01-18 19:34

Hive 查看partition 以及msck 修复分区

可以适用下命令重新关联表和数据[MSCKREPAIRTABLE]全量修复分区hive>msckrepairtabletable_name;转载于:https://www.cnblogs.com/TendToBigData

dgsdaga3026010·2025-01-18 17:48

2024年总结：大转向

职业转向今年我在职业上尝试做了一个转向，具体的结果可能需要比较长的时间来检验我选择是否正确，所以转向的细节我就不全部展开了，可以确定是我依然会专注在Infra和BigData，比如今年我发布了SparkSQL

·2025-01-17 20:11

官宣开源阿里云与清华大学共建AI大模型推理项目Mooncake

2024年6月，国内优质大模型应用月之暗面Kimi与清华大学MADSys实验室（MachineLearning,AI,BigDataSystemsLab）联合发布了以KVCache为中心的大模型推理架构

·2025-01-17 19:03

大一软件工程学习日志3

哈哈ヾﾉ≧∀≦)o，考完离散了，挺简单的，而且是老师手改，知道成分了吧今天熬了一个通宵，五点睡得，十一点起的。实话实说离散数学期末花个一两天就行了。主要是做题，而且是一种只要一道例题就可以记得方法的科目。加油✊，持续更新

自由-之翼·2025-01-17 05:24

UE学习日志#2 GAS--GA中的Tag2

3用标签阻止能力BlockAbilitiesWithTag这个翻译还是比较准确的（我觉得），跟前面的取消同理，而且本类的调用都在写在了同一个函数里，就是前边的那个ApplyAbilityBlockAndCancelTags，还有一个尖锐的问题：我自己阻塞自己会怎么样，哎这个问题还得看调用的流程，留个坑之后研究运行流程会补。定义：/**Abilitieswiththesetagsareblocked

学游戏开发的·2025-01-16 20:02

Hadoop架构

一、案列分析1.1案例概述现在已经进入了大数据(BigData)时代，数以万计用户的互联网服务时时刻刻都在产生大量的交互，要处理的数据量实在是太大了，以传统的数据库技术等其他手段根本无法应对数据处理的实时性

henan程序媛·2024-09-16 00:14

推荐频道