大数据折腾记第3页

数据库优化与分库分表策略：提升高并发应用的性能

传统的单库单表架构往往面临着性能瓶颈，尤其在高并发、大数据量的场景下，数据库容易出现响应缓慢、查询效率低下、写入压力过大等问题。为了应对这些挑战，分库分表策略成为了后端开发中重要的优化手段之一。

桂月二二·2025-02-12 00:21

大数据开发语言Scala入门

大数据开发语言Scala的详解一、引言在大数据和云计算时代，数据的处理和分析变得尤为重要。为了有效地处理和分析这些数据，需要一种强大的编程语言。

编程小郭·2025-02-11 22:04

✅毕业设计：python商品推荐系统+协同过滤推荐算法+网络爬虫 2种推荐算法计算机毕业设计大数据（附源码）✅

博主介绍：✌全网粉丝10W+,前互联网大厂软件研发、集结硕博英豪成立工作室。专注于计算机相关专业项目实战6年之久，选择我们就是选择放心、选择安心毕业✌>想要获取完整文章或者源码，或者代做，拉到文章底部即可与我联系了。点击查看作者主页，了解更多项目！感兴趣的可以先收藏起来，点赞、关注不迷路，大家在毕设选题，项目以及论文编写等相关问题都可以给我留言咨询，希望帮助同学们顺利毕业。1、毕业设计：2025年

vx_biyesheji0004·2025-02-11 21:29

Nginx反向代理WebSocket服务连接报错：WebSocket connection to “wssxxxxxx“ failed

浏览器控制台报错：WebSocketconnectionto'wss://tiven.cn/ws/xxx'failed:，经过一般折腾，终于成功了这个报错。

web18534207985·2025-02-11 17:34

第四届电子信息工程、大数据与计算机技术国际学术会议（ EIBDCT 2025）

通信和信息系统、信号和信息处理、并行与分布式计算、电子与通信工程、电力电子与电力驱动、光电信息工程、物理电子学、电子系统、半导体器件、微处理器、光子技术、电磁场与微波、信息处理、测量和测试技术与仪器等）2、大数据

程序员奇奇·2025-02-11 17:32

AI4Science之分子材料成像调研洞察

分子成像技术与大数据和AI的结合可以更深入地理解材料的本质特性，为解决能源、环境等领域的关键问题提供新的思路和解决方案。相比传统的深度学习任务，分子材料成像任务庞大繁杂，

·2025-02-11 16:33

技术改变生活：未来的趋势与展望

大数据分析在精准营销中非常重要。它能帮助企业更好地了解客户，提升营销效果。通过分析大量数据，企业可以了解到用户的需求、兴趣和消费行为。这些信息对制定营销策略非常关键。

火龙果wa·2025-02-11 15:18

大数据安全

引言大数据时代来临，各行业数据规模呈TB级增长，拥有高价值数据源的企业在大数据产业链中占有至关重要的核心地位。

w程序員·2025-02-11 15:17

HiveQL命令（三）- Hive函数

文章目录前言一、Hive内置函数1.数值函数2.字符串函数3.日期与时间函数4.条件函数5.聚合函数6.集合函数7.类型转换函数8.表生成函数(UDTF)前言在大数据处理和分析的过程中，数据的转换和处理是至关重要的环节

BigDataMagician·2025-02-11 12:00

python3.8，Anaconda安装、配置以及与VSCODE的集成

本人小白一个，折腾了一周时间，把一些心得写在下面，供自己和同样有困扰的朋友参看。

weixin_40404189·2025-02-11 12:58

deepseek:三个月备考高级系统架构师

网络通信、分布式系统、云计算、大数据等新兴技术。学习方法：阅读《系统架构设计师教程》或精简版教材，快速过一遍知识点。观看视频课程（如慕课网、腾讯课堂

wujiada001·2025-02-11 11:54

全知科技入选2024年数据安全“星熠”案例

在经历四个多月的征集、初评、终评工作后，全知科技和光大证券股份有限公司联合申报的“基于大数据与AI的证券业务API智能防护与数据安全平台”成功入选2024年数据安全“星熠”案例。

·2025-02-11 11:09

【大数据治理】

大数据治理（BigDataGovernance）是指通过一系列策略、流程和技术手段，确保大数据的质量、安全性、合规性和可用性，从而最大化数据的价值。

局外人_Jia·2025-02-11 09:05

Python类工厂奇遇记：当代码开始创造代码

在Python世界深处，有一个能生产类的神秘工厂：classMeta(type):def__new__(cls,name,bases,dct):dct['secret_code']=42returnsuper().__new__(cls,name,bases,dct)classMagicClass(metaclass=Meta):passprint(MagicClass.secret_code)#

虫洞没有虫·2025-02-11 09:01

性能测试架构：选择与优化的关键

通过模拟不同的负载情况，如高并发用户访问、大数据量处理等，性能测试架构能够揭示系统在各种压力下的表现，从而让开发团队有针对性地进行优化。例如，使用JMeter等负载测试工

老黄浅谈质量·2025-02-11 07:15

Scala语言的循环实现

Scala语言中的循环实现Scala是一种现代编程语言，它结合了面向对象和函数式编程的特点，广泛应用于大数据处理、分布式计算和Web开发等领域。

赵旖琅·2025-02-11 07:45

2025年智慧城市解决方案下载：AI-超脑中台，体系架构整体设计

2025年，随着人工智能、物联网、大数据等新兴技术的深度融合，智慧城市解决方案正迈向更高层次的智能化和协同化阶段。其中，AI-超脑中台作为核心架构的一部分，为城市智能化运行提供了强大支撑。

百家方案·2025-02-11 06:09

安装mariadb+galera搭建数据库集群

记一次安装mariadb+galera搭建数据库集群过程。背景：使用单机mariadb数据库提供服务，存在数据无实时备份，数据服务器无切换等问题，无法应对服务器故障停服，无法持续提供数据服务的情况。

一个高效工作的家伙·2025-02-11 05:32

十字路口的抉择：2025届计算机毕业生的突围指南

博主介绍：作为一位计算机老学长和全栈开发人员，一直专注于Java、小程序/APP、python、大数据等技术领域，致力于大学生毕业程序、实践项目的开发、指导和咨询。

小小程序老猿·2025-02-11 04:56

gitblit如何迁移入gitlab合并迁移_Git 仓库迁移历险记

作者：wiLdGoose发布时间：2018年12月17日分类：技术Technology前阵子折腾了一个Git仓库迁移，觉得有必要自行马克一下。

weixin_39847728·2025-02-11 04:22

【大数据技术】搭建完全分布式高可用大数据集群（Flume）

搭建完全分布式高可用大数据集群（Flume）apache-flume-1.11.0-bin.tar.gz注：请在阅读本篇文章前，将以上资源下载下来。

Want595·2025-02-11 03:44

旧手机建立自己的博客网站之踩坑记||在旧手机上建立自己的服务器（2）||2020年新货

接上一篇接下来配置LNPM环境。方案一根据大佬的博文安装时会出现以下情况网站搜索无果，全是让改软件源的，改完后问题依然，其实分析后可知，无法定位就是源里面没有软件或者源错误，所以这里不指定版本安装。这里附上清华的软件源，仅适用于ubuntubionicforarm64/armhf。#默认注释了源码镜像以提高aptupdate速度，如有需要可自行取消注释debhttps://mirrors.tuna

一世愚·2025-02-11 03:13

初识Flink

Flink是什么Flink是Apache基金会旗下的一个开源大数据处理框架。

四维大脑·2025-02-11 01:03

关于阿里云DataWorks的20道面试题

阿里云DataWorks是一个全链路的大数据开发治理平台，其主要功能包括数据集成、数据建模与开发、数据地图、数据质量和数据服务等。

编织幻境的妖·2025-02-11 01:31

druid与pgsql结合踩坑记

最近项目里面突然出现一个怪问题，数据库是pgsql，jdbc连接池是alibaba开源的druid，idea里面直接启动没问题，打完包放在centos上和windows上cmd窗口都能直接用java-jar命令启动，但是放到国产信创系统上就是报错，报错信息如下图：从图中错误我们知道意思大概是jdbc连接的url中多了一个无效的TimeZone参数，但是明明在url里面没有配置这个参数，我们知道my

时间的痕迹01·2025-02-10 23:12

掌握大数据--Hive全面指南

1.Hive简介2.Hive部署方式3.Hive的架构图4.Hive初体验5.HiveSQL语法--DDL操作数据库1.Hive简介ApacheHive是建立在Hadoop之上的一个数据仓库工具，它提供了一种类似于SQL的查询语言，称为HiveQL，用于查询和分析存储在Hadoop分布式文件系统（HDFS）中的大规模结构化数据。以下是Hive的一些主要特点和介绍：1.类SQL查询语言：HiveSQ

纪祥_ee1·2025-02-10 22:40

leetcode102. 二叉树的层序遍历python

取出queue第一个节点记node将node.val加入res如果node左子节点不为空，加入queue。如果node右子节点不为空，加入queu

岗岗ganggang·2025-02-10 19:14

未来AI医院蓝图：源码、机器人与数字孪生如何打造智能医疗APP？

在人工智能（AI）、物联网（IoT）和大数据技术的推动下，医疗行业正在经历一场深刻的变革。

万岳科技程序员小金·2025-02-10 18:40

实战大数据：分布式大数据分析处理系统的开发与应用

想寻找共同学习交流，摸鱼划水的小伙伴，请点击【全栈技术交流群】1.引言在数据驱动的时代，大数据技术已经成为企业和组织获取竞争优势的关键。

m0_74824574·2025-02-10 17:04

WC2025 Ag 记

WC2025Ag记前一日下午到达绍兴。学校就在酒店对面。晚上去万达广场吃烤鱼。PrinceX：你和yjx都拿银牌好啊。报到日早上去鲁迅故居、绍兴博物馆、仓桥直街。

deng_cheng_yu·2025-02-10 17:03

大数据技术Kafka详解 ③ | Kafka集群操作与API操作

目录1、Kafka集群操作1.1、创建topic1.2、查看主题命令1.3、生产者生产1.4、消费者消费数据1.5、运行describetopics命令1.6、增加topic分区数1.7、增加配置1.8、删除配置1.9、删除topic2、Kafka的JavaAPI操作2.1、生产者代码2.2、消费者代2.2.1、自动提交offset2.2.2、手动提交offset2.2.3、消费完每个分区之后手动

dvlinker·2025-02-10 15:43

云计算：从基础架构原理到最佳实践之：云计算架构设计与规划

云计算的核心技术包括：云平台、云服务、虚拟化技术、云计算中间件、大数据分析技术以及云计算管理工具等。它使得用户不再需要购买、维护和管理独立的服务器和硬件设备，只需租用、消

AI天才研究院·2025-02-10 09:59

2024最强Java面试八股文（精简、纯手打）

m0_74823021·2025-02-10 06:23

大数据环境搭建（4）——Ubuntu启用root用户

前面博文我已已经安装好Ubuntu操作系统看到图形界面了。但Ubuntu的默认登陆是使用安装时配置的普通用户，没有管理员权限，下面我们开始配置启动权限，分为四个步骤：1.启用root用户设置密码2.修改50-ubuntu.conf文件3.修改gdm-autologin和gdm-passwd文件4.修改/root/.profile文件一、启用root用户设置密码首先，新安装的操作系统没有启用root

祁峰sunny·2025-02-10 05:10

Access数据库大数据导出技巧

我们希望将这些数据导出到多个文本文件中，每个文件至少包含500条记

t0_54coder·2025-02-10 02:17

记Docker启动异常的排查与修复

问题deployingWSL2distributionsprovisioningdockerWSLdistros:ensuringmaindistroisdeployed:deploying"docker-desktop":importingWSLdistro"当前计算机配置不支持WSL2。\r\n请启用“虚拟机平台”可选组件，并确保在BIOS中启用虚拟化。\r\n通过运行以下命令启用“虚拟机平台

CQU_JIAKE·2025-02-10 00:30

开启oracle安全审计功能,关于数据库安全审计功能

二、审记记录的存储方式分为两种：一种是存储在操作系统文件中，一种是存储在system表空间中的SYS.AUD$表中。

weixin_39995774·2025-02-09 23:24

数据库审计：保障数据安全的重要措施

随着大数据和云计算等技术的快速发展，数据库成为了存储和处理大量敏感数据的重要工具。为了确保数据的机密性、完整性和可用性，数据库审计成为了一项必要的措施。

QoTypescript·2025-02-09 23:52

尚硅谷课程【笔记】——大数据之Linux【一】

课程视频链接：尚硅谷大数据Linux课程一、Linux发行版Linux的主要发行版有：Ubuntu（乌班图）、RedHat（红帽）、CentOS、Debain（蝶变）、SuSE等。

赶紧写完去睡觉·2025-02-09 22:15

计算机毕业设计hadoop+spark+hive新能源汽车数据分析可视化大屏汽车推荐系统新能源汽车推荐系统汽车爬虫汽车大数据机器学习大数据毕业设计深度学习知识图谱人工智能

（1）设计目的本次设计一个基于Hive的新能源汽车数据仓管理系统。企业管理员登录系统后可以在汽车保养时，根据这些汽车内置传感器传回的数据分析其故障原因，以便维修人员更加及时准确处理相关的故障问题。或者对这些数据分析之后向车主进行预警提示车主注意保养汽车，以提高汽车行驶的安全系数。（2）设计要求利用Flume进行分布式的日志数据采集，Kafka实现高吞吐量的数据传输，DateX进行数据清洗、转换和整

qq+593186283·2025-02-09 21:35

JS---用js敲代码，到底加不加分号

你想少敲几下键盘，省点儿可以忽略不记的存储空间，那就不写分号；你说不加分号的代码我看着就不爽，就读不下去，那你就

·2025-02-09 18:36

大数据Lambda 架构和Kappa 架构的优缺点和使用场景

Lambda架构和Kappa架构是用于处理大数据的两种架构设计模式，针对不同的数据处理需求提供了不同的方案。它们各自有优缺点，并适用于不同的使用场景。

胶水代码·2025-02-09 18:15

深入解析 GBase 数据库集群架构：高可用与高性能的结合

引言在当今大数据和云计算的时代，企业级应用对数据库的需求不仅局限于数据存储，还需要满足高可用性、可扩展性和高性能等要求。GBase数据库以其强大的集群架构在行业内备受关注。

big crab·2025-02-09 17:43

【大数据技术】Kafka实时分析用户行为日志（python+zookeeper+kafka）

Kafka实时分析用户行为日志（python+zookeeper+kafka）搭建完全分布式高可用大数据集群（ZooKeeper）搭建完全分布式高可用大数据集群（Kafka）本机PyCharm远程连接虚拟机

Want595·2025-02-09 17:13

在Jupyter Notebook中进行大数据分析：集成Apache Spark

在JupyterNotebook中进行大数据分析：集成ApacheSpark介绍JupyterNotebook是一款广泛使用的数据科学工具，结合ApacheSpark后，能够处理和分析大规模数据。

范范0825·2025-02-09 17:42

R语言文本分析天龙八部

起因，目的:前面有人对“倚天屠龙记”进行分析，我这里只是进行模仿而已。完整的文件，已经绑定了，反正读者可以找一下。案例背景小说《天龙八部》是金庸先生所著的武侠小说，也是“射雕三部曲”的前传。

waterHBO·2025-02-09 15:03

第八届大数据与应用统计国际学术研讨会（ISBDAS 2025）

重要信息官网：www.is-bdas.org时间：2025年2月28-3月2日地点：中国·广州主办单位：广东省高等教育学会人工智能与高等教育研究分会协办单位：北京师范大学人工智能与未来网络研究院、人工智能与大数据科研基地简介第八届大数据与应用统计

禁默·2025-02-09 15:58

基于行为分析的企业内网安全防护系统设计

基于行为分析的安全防护系统通过采集网络中的行为数据，利用机器学习和大数据分析技术对用户和设备的行为进行建模，识别异常行为和潜在威胁。本文将设计

计算机毕业设计指导·2025-02-09 12:38

大数据笔记（二）：HDFS原理知识

目录HDFS原理知识一、前言二、思考三、理论知识点四、存储模型五、架构设计六、角色功能NameNodeDataNode七、元数据持久化八、安全模式九、HDFS中的SNN十、Block的副本放置策略十一、HDFS写流程十二、HDFS读流程HDFS原理知识一、前言博主语录：一文精讲一个知识点，多了你记不住，一句废话都没有经典语录：张牙舞爪的人，往往是脆弱的。因为真正强大的人，是自信的，自信就会温和，温

Lansonli·2025-02-09 10:50

【update 更新数据语法合集】.NET开源ORM框架 SqlSugar 系列

一、实体对象更新1.1单条与批量1.2不更新某列1.3只更新某列1.4NULL列不更新1.5无主键/指定列1.6更新添加条件1.7大数据更新1.8重新赋值1：list中的值修改1.9重新赋值2:列中的值

web15117360223·2025-02-09 09:18

推荐频道

大数据折腾记