大数据-随记第13页

全面解析湖仓一体与大数据演进历程｜内含技术工具选型策略

大数据架构的演进历程对于大部分人来说，大数据架构所涉及的概念及术语繁多且复杂。如何将这些混乱的词汇转化

云智慧AIOps社区·2024-02-20 17:32

互联网时代的文学复兴：中文诗词大数据分析 | 开源日报 No.170

chinese-poetry/chinese-poetryStars:45.4kLicense:MIT最全的中文诗歌古典文集数据库，包含5.5万首唐诗、26万首宋诗、2.1万首宋词和其他古典文集。数据来源于互联网。该开源项目旨在通过JSON格式分发，方便用户开始自己的项目，并借助技术生成格式化(JSON)数据来构建诗词类应用程序。案例展示了一些基于该仓库创建的相关应用。数据集丰富古代中国各种经典作

开源服务指南·2024-02-20 17:29

大概率思维，助你找到问题的最优解

身处大数据时代，我们习惯于买书前浏览评分、旅游前查看攻略、购物时货比三家、炒股时分析指标......这些辅助决策的参考不就都是数据吗？数据对于我们做出选择时的帮助是巨大的。

匣子李话·2024-02-20 17:46

寒假过半，深夜随记

以前总觉得只要快乐的待在自己的世界里就好，可人生总是要面对现实。太昏沉了不好，太清醒了也难免受累。总觉得自己不争不斗乐的清闲，凡事都先退让，有什么就直说。可这些似乎在这个人情社会里不太好使。有人觉得我不争就是无理，不说话就是高冷，退让就是懦弱。但我还是宁愿守拙嘴笨。只求心中有一片清静天地，静默幻化出无限希望。天道酬勤，安守本分。

虾卍米·2024-02-20 17:15

openai公司的chatgpt-3.5参数库内还未增加sora的语料信息

以后我会陆续和大家分享，各种前言的大数据模型技术信息，以及和人工智能，神经网络技术有

yrldjsbk·2024-02-20 17:46

《定投改变命运》2.5 在趋势之中符合趋势

就未来行业发展来看，人工智能崛起，大数据时代，哪些公司掌握

文倩定投人生·2024-02-20 17:07

基于腾讯云基础，如何最大限度的提升出海效率？

在出海过程中，大部分企业都会为接收国内外的庞大数据以及资源如何安全管理而苦恼，这其中的成本控制、数据管理与运维、如何达成高效率、安全稳定等一直都是出海企业的痛点之一。

九河云·2024-02-20 17:05

基于人工智能的期权量化交易

基于实时/历史期权行情大数据挖掘,通过自行开发的人工智能多agent强化学习模型及评估系统(基于Python/Linux),对接实时交易接口进行了实盘环境的交易回测和评估。

阿岛格·2024-02-20 17:23

摆烂的人生

毕竟我还曾经说要当个大数据总监的。。。越来越睡不着了。。。

阿拉斯加小宇·2024-02-20 16:26

功能上线流程步骤优化

随记：接了一个新的项目组，发现版本控制有点混乱，啥时候开发好，啥时候代码提交主干，啥时候提测。存在上线版本缺少控制，提测时间可能来不及或者测试不够充分，导致无法按时上线。

中年老IT·2024-02-20 16:42

大数据Map Reduce (Hadoop) 和 MPP数据库的区别

原理的角度出发,mapreduce其实就是二分查找的一个逆过程,不过因为计算节点有限,所以map和reduce前都预先有一个分区的步骤.二分查找要求数据是排序好的,所以MapReduce之间会有一个shuffle的过程对Map的结果排序.Reduce的输入是排好序的.MR分而治之的策略和数据库行业中另一种数据库MassivelyParallelProcessor即大规模并行处理数据库(典型代表AW

山哥Samuel·2024-02-20 15:05

态势感知是什么？为何需要态势感知？

它以安全大数据为基础，从全局的角度，提高对安全威胁的发现识别、理解分析和处理反应能力。目的在于在大规模网络环境下，对能够引起网络

·2024-02-20 15:52

2018中国公有云厂商排名第一：中国电信 482亿元

43家中国公有云厂商2018年收入利润深度分析｜系列报道排名第一：中国电信482亿元在2018上半年中国电信公布的财报显示，IDC收入保持20%的增速，云和大数据收入合计增幅达120%。

阿明观察·2024-02-20 15:40

民安智库开展景区游客满意度调查

广东省景区行业协会发布了2021年度广东省旅游景区游客满意度大数据调查报告显示，游客选择旅游目的地倾向于深圳、广州、珠海等城市，同时休闲度假与城市公园型景区更受游客青睐，其中，广州市长隆旅游度假区、深圳市华侨城旅游度假区

民安汇智·2024-02-20 14:37

Hadoop 大数据的入门学习

由于所做的银行项目与大数据有关，所以个人学习下hadoop的知识，希望能对大数据有所了解，不喜勿喷，哪里有不对的希望大神指点Hadoop百度百科：Hadoop是一个由Apache基金会所开发的分布式系统基础架构

heybo_zhang·2024-02-20 14:36

计算机毕业设计选什么题目好？springboot 高校汉服租赁网站

专业做Java、Python、微信小程序、安卓、大数据、爬虫、Golang、大屏等实战项目。⛽⛽实战项目：有源码或者技术上的问题欢迎在评论区一起讨论交流！

计算机毕业编程指导师·2024-02-20 14:24

基于SpringBoot高校汉服租赁网站的设计与实现

主要内容：毕业设计，SpringBoot、Vue、SSM、HLMT、Jsp、PHP、Python、Nodejs、小程序、安卓app、大数据等设计与开发感兴趣的可以先收藏起来，还有大家在毕设选题，项目以及论文编写等相关问题都可以和博主沟通

一点教程·2024-02-20 14:53

网络安全防御中不可或缺的基线分析

网络安全问题日益突显，随着大数据、云计算、物联网、人工智能等技术的飞速发展，我们面临的网络环境变得越来越复杂，应用系统不断增多，API、组件、微服务等也变得越来越庞大。

酒酿小小丸子·2024-02-20 13:06

《教育正悄悄发生一场革命》｜一场数据驱动的教育革命

由于大数据的应用，大量同类的学习行为被分析和用到教育后，对于金字塔底端的人才的培养和教育资源匮乏情况下的学习，在线教育确实有效，由于合村并校，乡村教育资源异常紧缺，在此情况下，教育技术确实能够大大降低教育的成本

张英俊黑龙江拜泉爱农乡中心学校·2024-02-20 13:20

【天衍系列 01】深入理解Flink的 FileSource 组件：实现大规模数据文件处理

4.2maven依赖4.3StreamFormat读取文件数据4.4BulkFormat读取文件数据4.5使用小结05数据源比较06总结01基本概念ApacheFlink是一个流式处理框架，被广泛应用于大数据领域的实时数据处理和分析任务中

浅夏的猫·2024-02-20 12:01

精彩回顾 | 迅易科技受邀出席腾讯产业集群数字化发展大会

本次展会邀请了涵盖物联网、人工智能、云计算、大数据等200+数字化转型的行业专家及企业齐聚大会，共同探讨大模型时代下数智融合的新需求、新趋势、新路径。

·2024-02-20 12:35

libcurl如何设置HTTP代理？HTTP代理有什么用？

快代理专注为先进的企业大数据采集团

·2024-02-20 12:35

开源大数据集群部署（十）Ranger usersync部署

作者：櫰木rangerusersync部署解压包[[email protected]]#pwd/opt/ranger[[email protected]]#tar-zxvfranger-2.3.0-usersync.tar.gz-C/opt/[[email protected]]#cdranger-2.3.0-usersync修改配置insta

·2024-02-20 12:27

STL源码分析之vector

vector容器有已使用空间和可用空间，已使用空间是指vector容器的大小，可用空间是指vector容器可容纳的最大数据空间capacity。vector的实

小鱼的编程之路·2024-02-20 11:14

互联网对信息的传输

因为我们现在每天都在无时无刻的接触大数据或联网信息。我们每天都要处理以亿为单位的数据信息量。那么如果说没有大数据的互联网的存在，那么我们的数据可能会崩溃。就是因为有了互联网大数据的存在。

深度链的新鲜事·2024-02-20 11:08

大数据 - Spark系列《六》- RDD详解

Spark系列文章：大数据-Spark系列《一》-从Hadoop到Spark：大数据计算引擎的演进-CSDN博客大数据-Spark系列《二》-关于Spark在Idea中的一些常用配置-CSDN博客大数据

王哪跑nn·2024-02-20 10:55

大数据 - Spark系列《七》- 分区器详解

Spark系列文章：大数据-Spark系列《一》-从Hadoop到Spark：大数据计算引擎的演进-CSDN博客大数据-Spark系列《二》-关于Spark在Idea中的一些常用配置-CSDN博客大数据

王哪跑nn·2024-02-20 10:55

透彻理解实时数仓的支撑技术：Upsert Kafka 和 Flink 动态表（Dynamic Table）

博主历时三年精心创作的《大数据平台架构与原型实现：数据中台建设实战》一书现已由知名IT图书品牌电子工业出版社博文视点出版发行，点击《重磅推荐：建大数据平台太难了！给我发个工程原型吧！》

　Laurence·2024-02-20 10:23

2022-01-07

真的为祖国自豪，大数据一刷就知道你去哪哪哪了。回来把我把我乱糟糟的头发剪了一下瞬间感觉自己年轻了。剪断烦恼丝，明天应该可以全身心的去加人了。

久睡成瘾的范·2024-02-20 10:32

在最深的红尘里重逢

流年日深，多少事都被我们一一放归红尘，随记忆的河流慢慢远去。我们总是喜欢说，如果没有遇见你，或许日子会不会很平淡无奇，而又宁静美好。这就是人间的宿命，从一出生，上帝便安排得好好的。每个都是一本书

莫晓妖·2024-02-20 09:35

如何利用空号检测 API 降低企业的业务成本

空号检测API的工作原理技术原理和流程空号检测API是一种基于云计算的人工智能技术，它可以通过大数据

API小百科_APISpace·2024-02-20 09:29

晚间随笔｜有些书想读就去读吧

三合燕子·2024-02-20 09:40

MySQL系列之数据导入导出

前言大数据与云计算作为当今时代，数据要素发展的“动力引擎”，已经走进了社会生活的方方方面。而背后承载的云服务或数据服务的高效运转，起了决定作用。作为数据存储的重要工具，数据库的品类和特性也日新月异。

ZHOU西口·2024-02-20 09:00

干货分享！7个方向下手，一步步学会精益管理

引言：近年来生产智造、大数据、商业智能等概念越来越火，许多企业纷纷加入了智造变革的大军，但往往因为忽略了精益管理而烂尾无数，企业智造之路仿佛陷入了困境。

一帆简书·2024-02-20 09:15

测试环境搭建整套大数据系统（三：搭建集群zookeeper，hdfs，mapreduce，yarn，hive）

一：搭建zkhttps://blog.csdn.net/weixin_43446246/article/details/123327143二：搭建hadoop，yarn，mapreduce。1.安装hadoop。sudotar-zxvfhadoop-3.2.4.tar.gz-C/opt2.修改java配置路径。cd/opt/hadoop-3.2.4/etc/hadoopvimhadoop-env.

宇智波云·2024-02-20 08:05

物联网水域信息化：水质监测智慧云平台

且传统水务行业信息化手段单一，缺乏对大数据等新技术的应用，一定程度上影响了水务工作的精细化和智能化程度。系统特点为解决传统水质自动监测站建设占地大、运维成本高等等问题。

郭靖守襄阳【软芯民用】·2024-02-20 08:01

大数据分析学习第十五课自建云服务器集群离线安装Ambari2.7.5和HDP3.1.5(一)

之前了解了很多关于大数据平台一站式部署管理的工具，比如ApacheAmbari和CDH，目前最新的CDH已经没有了社区版，也就是说以后使用新版本的ClouderaManager和CDH都是要收费的，这对于很多小公司来说

猫头鹰数据分析·2024-02-20 08:29

数字化转型导师坚鹏：政府数字化转型之数字化技术

政府数字化转型之数字化技术——物联网、云计算、大数据、人工智能、虚拟现实、区块链、数字孪生、元宇宙等综合解析及应用课程背景：数字化背景下，很多政府存在以下问题：Ø 不清楚新技术的发展现状？

银行数字化转型导师坚鹏·2024-02-20 07:24

作业帮 x TiDB丨多元化海量数据业务的支撑

经过近十年的积累，作业帮运用人工智能、大数据等技术，为学生、老师、家长提供学习、教育解决方案，智能硬件产品等。随着公司产品和业务场景越来越丰富，数据量越来越大，业务方对数据库的使用需求也越来越多元化。

TiDB_PingCAP·2024-02-20 07:46

Elasticsearch查询报错 Result window is too large

一现象：es数据分页查询前端提示系统异常，后端报错日志二根本原因：默认情况下，Elasticsearch限制了from+size参数的组合不能超过10,000条记录，用于防止查询大数据集时对系统资源的过度消耗三解决办法

wit_cx·2024-02-20 07:00

日更76：【随记】离婚，真的这么容易吗

曾经看到电视里面有人为了买房而用所谓“假离婚”的方式让自己获利，今天和朋友聊天也说他有朋友也因为想多买两套房从而假离婚，他佩服他们的勇气。而假离婚是什么呢？事实是，只要去民政局登记过，就没有所谓的假离婚。所谓的假，不过是自己对自己说而已。离婚之后，若一方不选择复婚，那么这个假，就没有任何意义。晚饭到家后，忽然收到一个朋友的微信，说我们高中时候的老师离婚了。我们每年过年都会去老师家里拜年，从未看到他

小妖99·2024-02-20 07:52

大数据技术之 Kafka

大数据技术之Kafka文章目录大数据技术之Kafka第1章Kafka概述1.1定义1.2消息队列1.2.1传统消息队列的应用场景1.2.2消息队列的两种模式1.3Kafka基础架构第2章Kafka快速入门

efzy·2024-02-20 07:26

Python招聘信息爬虫+数据分析+可视化系统+薪资预测+岗位推荐（大数据项目）计算机毕业设计源码下载

boss直聘招聘信息爬虫+数据分析+可视化系统+薪资预测+岗位推荐（大数据项目）计算机毕业设计源码下载一、开发技术pycharm、MySQL数据库/sqlite3数据库、Python3.x版本、Flask

计算机毕业设计指导·2024-02-20 06:39

Flink Catalog 解读与同步 Hudi 表元数据的最佳实践

博主历时三年精心创作的《大数据平台架构与原型实现：数据中台建设实战》一书现已由知名IT图书品牌电子工业出版社博文视点出版发行，点击《重磅推荐：建大数据平台太难了！给我发个工程原型吧！》

　Laurence·2024-02-20 06:28

随记│放假158日

放假第一百五十八天哇，今天天气也还可以啦，然后早上乖乖起床（每天都有呀，然后起床的时间依旧是很尴尬哈哈哈哈哈，老老实实早午餐走你，然后就是说中途出了趟门，倒是只喝了杯椰奶哇。去买点肉肉，就是说如何在川渝地区感受到快过年，那必然是家家户户开始准备香肠腊肉，就是说好多人买呀，真绝了，但是香肠腊肉真的香香嗷！顺带着买了点拌菜，午饭就可以很快好啦！吃完饭收拾后就是很困的呀，不过没睡午觉啦，毕竟早上起得不算

Silence的小茶馆·2024-02-20 06:53

美丽链——三星推出了基于区块链的数字金融平台Nexfinance

三星集团IT子公司三星SDS对外推出了一种新的数字金融平台Nexfinance，Nexfinance上应用了人工智能、生物识别、区块链、大数据分析及流程自动化等全新的IT技术。

热情A·2024-02-20 06:09

生活随记（五）

明天上午，我将坐上飞往桂林的航班，去参加毕业15周年的同学聚会。心情非常的激动，本来我是不打算去的，一是宝宝太小，二是自己身体不好。但是由于我是可能是唯一一个在线又不去的，当看到大家都去的时候，我是非常的纠结的。前两天看到他们在班级群里发的照片，我就更纠结了，真的很想去。于是乎，我就开始疯狂的查各种票，列了不下五种方案，最终选了明天去，后天回的方案，虽然很折腾，但心里感觉很舒服。好期待明天，很久没

蓝川随记·2024-02-20 06:06

bypy：使用Linux命令行上传及下载百度云盘文件（远程服务器大文件传输必备）

诸神缄默不语-个人CSDN博文目录由于众所周知的原因，国内不方便上谷歌云盘，所以很多开源项目的大数据集、预训练模型等也会同时提供百度网盘形式存储的下载链接。

诸神缄默不语·2024-02-20 06:25

ADO.NET大数据查询内存分页处理

ADO.NET大数据查询内存分页处理在ADO.NET中处理大数据查询时，如果直接在客户端应用程序中进行内存分页，可能会导致内存使用量激增，特别是在处理数十万甚至数百万条记录时。

管理大亨·2024-02-20 06:47

《一闪一闪亮星星》观后感

大数据推测到了我的想法，把关于这事不实的消息又推送给了我。于是乎，就秉持着随便看一看的想法打开了第一集。好家伙，真香虽迟但到！女主虽然已经30+了，但是看着还是很嫩，很可爱，扮演高中生，毫无违和感。

采蘑菇的小Timor·2024-02-20 06:47

推荐频道

大数据-随记