大数据寒假学习笔记

【Linux】shell语法入门手册语法大全

shell学习笔记yxc的linuxshell语法目录概论运行方式直接用解释器执行作为可执行文件运行注释单行注释多行注释变量定义变量引用变量只读变量删除变量变量类型字符串默认变量文件参数变量其他参数相关变量数组定义调用数组元素中的值数组长度

Genevieve_xiao·2025-01-21 00:24

洞见数据未来，StarRocks Summit Asia 2024 即将启幕！

这一切构成了当前大数据领域的核心难题。今年12月，StarRocksSummitAsia重磅启动！

·2025-01-20 22:45

国产海光CPU平台兼容性指南-基础软件分册-20231013（附各系统下载链接）

2.2.1VMwarevSphere上的虚拟机操作系统2.2.2KVM上的虚拟机操作系统2.2.3WindowsHyper-V上的虚拟机操作系统2.2.4VirtualBox上的虚拟机操作系统三、分布式存储四、数据库五、中间件六、大数据七

技术瘾君子1573·2025-01-20 20:59

kafka 学习笔记3-传统部署Kraft模式集群——筑梦之路

部署kafka集群规划一般模式下，元数据在zookeeper中，运行时动态选举controller，由controller进行Kafka集群管理。kraft模式架构下，不再依赖zookeeper集群，而是用三台controller节点代替zookeeper，元数据保存在controller中，由controller直接进行Kafka集群管理。ip主机名角色nodeid192.168.100.131

筑梦之路·2025-01-20 19:10

免费下载：汽车SoC学习笔记（含安全岛）

文末附下载方法目录1SoC是什么...31.1SoC历史发展...31.2SoC定义...41.3SoC的特征...61.4SoC的优点...61.5SoC的缺点...72SoC需求来源...73SoC架构...83.1SoC架构...83.2SoC芯片分类...93.2.1模拟SoC(AnalogSoC)：...93.2.2数字SoC(DigitalSoC)：...93.2.3混合SoC(Mix

不懂汽车的胖子·2025-01-20 18:02

数据驱动销售预测的未来：ScriptEcho赋能高效决策

然而，随着大数据的兴起和人工智能技术的飞速发展，数据驱动决策正成为现代企业提升竞争力的关键。

·2025-01-20 18:27

学习笔记：UART（二）

设计一包数据可以参考这样设计intfputc(intch,FILE*f){usart_data_transmit(g_uartHwInfo.uartNo,(uint8_t)ch);while(RESET==usart_flag_get(g_uartHwInfo.uartNo,USART_FLAG_TBE));returnch;}这是重定向，然后就可以使用printf打印调试。voidUSART0_

weixin_58038206·2025-01-20 17:27

【黑马-SpringCloudAlibaba】学习笔记10-Seata：实现分布式事务控制

Seata介绍2019年1月，阿里巴巴中间件团队发起了开源项目Fescar（Fast&EaSyCommitAndRollback），其愿景是让分布式事务的使用像本地事务的使用一样，简单和高效，并逐步解决开发者们遇到的分布式事务方面的所有难题。后来更名为Seata，意为：SimpleExtensibleAutonomousTransactionArchitecture，是一套分布式事务解决方案。Se

言谶·2025-01-20 17:20

学习python的第一天

第一次用这种方式学习一门知识，对于自己来说既是一种全新的体验，也可以作为学习笔记，日后也有足迹。学习资料暂定为《笨办法学Python》。如果有新手看到此文章，还希望只当参考中的

简讯Alfred·2025-01-20 16:10

【STM32-学习笔记-11-】RTC实时时钟

文章目录RTC实时时钟一、RTC简介二、RTC框图三、RTC基本结构四、RTC操作注意事项五、RTC函数六、配置RTCMyRTC.c七、示例：实时时钟①、main.c②、MyRTC.c③、MyRTC.hRTC实时时钟一、RTC简介RTC（RealTimeClock）实时时钟RTC是一个独立的定时器，可为系统提供时钟和日历的功能RTC和时钟配置系统处于后备区域，系统复位时数据不清零，VDD（2.0~

隼玉·2025-01-20 14:33

【LeetCode 刷题】字符串-反转字符串

此博客为《代码随想录》字符串章节的学习笔记，主要内容为反转字符串相关的题目解析。

Bran_Liu·2025-01-20 14:20

minio免费文件管理器（windows版本），若依RuoYi-Vue-Plus框架使用，有需要的可以下载，因为官网下载特别慢

MinIO设计为高性能、安全且易于使用，适合存储大量的非结构化数据，如图片、文档、视频以及大数据分析中的日志文件等。

程序员WANG·2025-01-20 10:43

分布式系统理论基础二-CAP

GitHub：https://github.com/wangzhiwubigdata/God-Of-BigData关注公众号,内推,面试,资源下载,关注更多大数据技术~大数据成神之路~预计更新500+篇文章

王知无(import_bigdata)·2025-01-20 10:41

大数据湖仓一体架构未来思考

湖仓一体架构是最近1-2年时间开始频繁出现在数据开发领域的新名词。也是各大公司竞相投入的对象。网络上关于湖仓一体架构的实践文章很多，看得也很眼花缭乱。我们今天站在一个「接地气」的角度，来说一说湖仓一体架构中未来需要关注的核心框架有哪些。文章内容也没有经过仔细的斟酌，完全是一点不成熟的想法，而且站的角度不是高屋建瓴的而是从下往上的。一个基本判断是湖仓一体架构在形式上不止一种大家可以从网上看到很多关于

王知无(import_bigdata)·2025-01-20 09:27

大数据是什么？用浅显的语言揭开神秘面纱

大数据是什么？用浅显的语言揭开神秘面纱在我们生活的时代，“大数据”已经从一个技术术语，成为了街头巷尾时常听到的词汇。然而，究竟什么是大数据？它离我们有多远？我们该如何理解这个复杂又常用的概念？

Echo_Wish·2025-01-20 08:23

在 Python 中使用 Ollama API

无论你是想进行简单的聊天对话、使用流式响应处理大数据、还是希望在本地进行模型的创建、复制、删除等操作，本文都可以为你提供指导。

一路追寻·2025-01-20 06:05

电磁兼容学习笔记12-电子设备中的主要骚扰源

跟杨老师学习电磁兼容电子设备中的主要骚扰源#第16课典型的骚扰源（找du/dt、di/dt比较大的电路）：骚扰源1：二次电源（几乎所有的电路都需要DC/DC），传导骚扰骚扰源2：数字电路，传导骚扰和辐射骚扰DC/DC模块骚扰产生原理：du/dt：开关导通时，直流电压直接传送到输出端；开关断开时，电流无法传送到输出端，依靠输出端电容进行供电。开关导通时，输出电压为0；断开时电容放电，开关上电压为输入

胡你一脸团团团·2025-01-20 06:58

如何学懂C++语言：C++从入门到精通的全面指南（完整C++学习笔记）

数字人助手猿小美带你一起学编程一、引言作为一名拥有多年开发经验的技术人员，我的职业生涯涵盖了多种编程语言，包括C语言、C++、C#和JavaScript等。在我多年的编程生涯中，这些语言不仅丰富了我的知识储备，还极大地拓展了我的视野和技能。出于对编程的热爱，以及希望帮助更多编程爱好者的目的，我决定利用业余时间整理一套全面的C++语言学习指南。这套指南旨在为C++语言编程爱好者提供一个清晰的学习路线

猿享天开·2025-01-20 05:57

AI与API的融合：构建智能互联技术世界的基石

一、AI与API融合的背景随着大数据、云计算、物联网等技术的快速发展，人工

IT数据V+I7809804594·2025-01-20 05:55

PAT (Basic Level) Practice 乙级1001-1020

由于这些题全是大一寒假刷的，部分还是c语言，部分的解题方法比较复杂，希望大家体谅。有问题欢迎大家在评论区讨论，有不足也请大家指出，谢谢大家！温馨提示：可以点目录跳转到相应题目哦。

今天_也很困·2025-01-20 05:54

Hadoop 和 Spark 的内存管理机制分析

大数据技术：涵盖Hadoop（HDFS）、Hive、Spark、Fli

王子良.·2025-01-20 03:27

2025最新大数据毕业设计选题汇总：创新课题推荐

HaiLang_IT·2025-01-20 02:51

PL/SQL语言的文件操作

PL/SQL语言的文件操作引言PL/SQL（ProceduralLanguage/SQL）是Oracle数据库提供的一种过程化编程语言，它结合了SQL的强大数据处理能力和过程性编程的灵活性。

云端架构师·2025-01-20 01:41

MySQL学习笔记11：limit 分页查询

简介本系列（MySQL学习笔记）是我基于B站上SQL播放量第一的MySQL基础+高级篇-数据库-sql-尚硅谷视频所做的笔记，方便大家学习和掌握MySQL。

AsajuHuishi·2025-01-20 00:00

学习笔记078——Java Properties类使用详解

文章目录概述常见方法写入读取遍历概述Properties继承于Hashtable。表示一个持久的属性集，属性列表以key-value的形式存在，key和value都是字符串。Properties类被许多Java类使用。例如，在获取环境变量时它就作为System.getProperties()方法的返回值。我们在很多需要避免硬编码的应用场景下需要使用properties文件来加载程序需要的配置信息，

上下求索.·2025-01-19 23:54

学习笔记040——如何定时备份服务器中的数据库？

目录1、编写备份脚本：2、创建crontab定时任务需求前景：Ubuntu系统的服务器中，需要定时备份MySQL数据库中的数据。确保数据能够得到安全保障。我的方法：1、写一个备份数据库的脚本2、利用Ubuntu的crontab每日定时执行脚本。下面是我的实现方式：1、编写备份脚本：#!/bin/bash#设置数据库名，用户和密码DB_NAME="数据库名"DB_USER="账号"DB_PASSWO

上下求索.·2025-01-19 23:24

mysql学习笔记(八):分页查询

应用场景：当要显示的数据，一页显示不全，需要分页提交sql请求语法：select查询列表from表【jointypejoin表2on连接条件where筛选条件groupby分组字段having分组后的筛选orderby排序的字段】limit【offset,】size;offset要显示条目的起始索引（起始索引从0开始）size要显示的条目个数特点：①limit语句放在查询语句的最后②公式要显示的页

代码魔法师Sunny·2025-01-19 23:22

学习笔记081——如何备份服务器中MySQL数据库数据？

方法：可以通过编写sh脚本的方式，结合Linux中的crontab定时任务来实现定时备份数据的功能。sh脚本如下：#!/bin/bash#要备份的数据库DB_NAME="wms"#数据库账号DB_USER="root"#数据库密码DB_PASSWORD="123456"#数据备份存放目录BACKUP_DIR="/home/htl/backup"mkdir-p$BACKUP_DIR#备份文件名BAC

上下求索.·2025-01-19 22:46

大数据学习（五）：如何使用 Livy提交spark批量任务--转载

Livy是一个开源的REST接口，用于与Spark进行交互，它同时支持提交执行代码段和完整的程序。Livy封装了spark-submit并支持远端执行。启动服务器执行以下命令，启动livy服务器。./bin/livy-server这里假设spark使用yarn模式，所以所有文件路径都默认位于HDFS中。如果是本地开发模式的话，直接使用本地文件即可（注意必须配置livy.conf文件，设置livy.

zuoseve01·2025-01-19 22:15

隐语课程隐语架构概览学习笔记

隐语架构包含：产品层、算法层、计算层、资源层和硬件层隐语产品：定位：通过可视化产品，降低终端用户的体验和演示成本。通过模块化API降低技术集成商的研发成本。人群画像：作为隐语的直观入口，隐语保护计算从业者均应该关注产品：SecretPad：轻量化安装、快速验证POC、可定制集成；多部署形态：中心模式、P2P模式全栈产品：MPC、TEE、SCQLSecretNote：Notebook形式、交互式建模

皓月雪·2025-01-19 22:43

Spark Livy 指南及livy部署访问实践

背景：ApacheSpark是一个比较流行的大数据框架、广泛运用于数据处理、数据分析、机器学习中，它提供了两种方式进行数据处理，一是交互式处理：比如用户使用spark-shell，编写交互式代码编译成spark

house.zhang·2025-01-19 22:40

大数据学习（四）：Livy的安装配置及pyspark的会话执行

一个基于Spark的开源REST服务，它能够通过REST的方式将代码片段或是序列化的二进制代码提交到Spark集群中去执行。它提供了以下这些基本功能：提交Scala、Python或是R代码片段到远端的Spark集群上执行；提交Java、Scala、Python所编写的Spark作业到远端的Spark集群上执行；提交批处理应用在集群中运行。从Livy所提供的基本功能可以看到Livy涵盖了原生Spar

猪笨是念来过倒·2025-01-19 21:08

MyBatis学习笔记

MyBatis学习笔记MyBatis绪论功能：访问数据库相当于增强版JDBC官网：mybatis–MyBatis3|简介MyBatis环境JDK1.8MySQL5.7/8.0（经典！）

繁星依月·2025-01-19 19:16

sed学习笔记1

0.引用《Linux命令行与shell脚本编程大全.第3版by布鲁姆，布雷斯纳汉》第19章，第21章1.今晚回家学习总结

我要精通C++·2025-01-19 19:16

网络爬虫——分布式爬虫架构

分布式爬虫在现代大数据采集中是不可或缺的一部分。随着互联网信息量的爆炸性增长，单机爬虫在性能、效率和稳定性上都面临巨大的挑战。

好看资源分享·2025-01-19 18:40

Python-玩转数据-数据分析之分析思维

二、大数据思维自从几年前大数据开始兴起，大数据思维已经逐渐被更动的人接受，随着其进一步发展，产生了巨大的生产效果。

人猿宇宙·2025-01-19 17:33

golang学习笔记08——如何调用阿里oss sdk实现访问对象存储？

应用级os框架使用案例，欢迎star案例：基于golang开发的一款超有个性的旅游计划app经历golang实战大纲golang优秀开发常用开源库汇总想学习更多golang知识，这里有免费的golang学习笔记专栏首先确保安装了阿里云

GoppViper·2025-01-19 16:17

芝法酱学习笔记（2.5）——elastic-search 8.x初探（自用）

一、elastic-search的下载官网的下载地址在这里。官网文档地址在这里访问路径是doc/search让人惊呆了，新版的elastic-search竟然需要JDK23。ThelocaledatabaseusedbyElasticsearch,usedtomapfromvariousdateformatstotheunderlyingdatestorageformat,dependsonthe

芝法酱·2025-01-19 14:07

ESP32学习笔记_FreeRTOS(6)——Event and Notification

博客提供了多个代码示例，展示了如何使用事件组和任务通知在多任务环境中实现任务同步，特别适用于任务间的依赖关系和信号传递前言：本文档是本人在依照B站UP：Michael_ee的视频教程进行学习时所做的学习笔记

flashier·2025-01-19 14:07

火星数据电竞数据，世界杯数据接口api，足球数据资料库

电竞数据包含的内容有很多，比如说基础数据（实时比分，关键事件，赛后数据等等），统计数据（阵容分析，选手分析，地图分析等），还有资料库数据（赛事战队，赛程赛果，赛况榜单等等），众多的数据组合而成形成如今的电竞大数据

Tina0898·2025-01-19 14:04

2024年软考信息安全工程师备考学习笔记汇总

信息安全工程师分属“信息系统”专业，位处中级资格，2016年下半年，第一次开考信息安全工程师（中级）考试。目前每年考试一次。已开考六次，2016年11月12日，2017年5月20日，2018年5月26日，2019年5月25日，2020年11月7日，2021年11月6日，2022年11月5日，2023年11月4日为第八次考试。第五次至第八次考试，采用第二版教材。信安精品课|月梦工作室(moondre

月梦工作室·2025-01-19 13:59

自强学堂mysql_Django ——自强学堂学习笔记

(一)、启动服务器E:\ScienceSoft\Python\Django\Django_project>pythonmanage.pyrunserver0.0.0.0:8000Performingsystemchecks...Systemcheckidentifiednoissues(0silenced).July22,2017-17:00:33Djangoversion1.11.3,using

weixin_39792049·2025-01-19 13:27

Django几条命令，一定要牢记(Python学习笔记)

Django项目搭建流程流程（切记使用中文）安装包安装下载安装包，解压运行pythonsetup.pyinstall命令安装python-mpipinstalldjango新建一个djangoprojectdjango-admin.pystartprojectproject_name特别是在windows上;如果报错，尝试用django-admin代替django-admin.py试试JetBra

代码帮·2025-01-19 11:48

构建高效GPU算力平台：挑战、策略与未来展望

引言随着深度学习、高性能计算和大数据分析等领域的快速发展，GPU（图形处理器）因其强大的并行计算能力和浮点运算速度而成为首选的计算平台。

Mr' 郑·2025-01-19 11:43

Databricks:打造数据国度的“金砖四国”

Databricks，一个并不算熟悉的名字，是大数据国度的后起之星。成立不够一年，但却阵容强大，创始人都是开源圈子里面的重要级人物，值得关注。

weixin_33832340·2025-01-19 11:40

一文详解大厂数据中台架构

在大数据发展的黄金期，几乎所有的高科技企业都在思考一个问题：海量数据作为大多数企业发展不可避免的一个趋势之后，企业该怎么去应用这部分数据资产，会对其商业产生什么影响，如何使数据对企业产生正面的推动而不是成为企业的负担

isNotNullX·2025-01-19 10:06

大数据公司 Databricks 详解

Databricks是一家在大数据和人工智能领域具有重要影响力的美国企业软件公司，以下是关于它的详细技术解析：1.起源与背景：Databricks成立于2013年，由来自加州大学伯克利分校AMP实验室的

Bj陈默·2025-01-19 10:00

hive小文件合并机制_hive小文件的问题弊端以及合并

，包括位置大小分块信息等，都保存在NN内存中，在小文件数较多的情况下，会造成占用大量内存空间，导致NN性能下降；2、在读取小文件多的目录时，MR会产生更多map数，造成GC频繁，浪费集群资源；3、现在大数据平台文件总数超过

做生活的创作者·2025-01-19 08:49

数仓建模（五）选择数仓技术栈：Hive & ClickHouse & 其它

在大数据技术的飞速发展下，数据仓库（DataWarehouse，简称数仓）成为企业处理和分析海量数据的核心工具。

昊昊该干饭了·2025-01-19 08:45

Hive 数据类型全解析：大数据开发者的实用指南

在大数据处理领域，Hive作为一款基于Hadoop的数据仓库工具，被广泛应用于数据的存储、查询和分析。

大鳥·2025-01-19 08:42

推荐频道