大数据技术栈-hadoop

如何在十几秒内高效实现几十万条数据的快速插入

本文主要讲述通过MyBatis、JDBC等做大数据量数据插入的案例和结果。
zy_zeros·2024-03-06 09:02

前后端分离开发

目录前言一、前后端分离开发1.介绍2.开发流程3.前端技术栈（1）开发工具:（2）技术框架:二、Yapi1.介绍2.使用（1）准备（2）定义接口（3）导出接口文档（4）导入接口文档三、Swagger1.
待╮续·2024-03-06 03:55

关于程序员如何选择职业赛道

在编程这个领域，有很多不同的方向和技术栈，例如前端开发、后端开发、移动端开发、数据分析等。每个方向都有不同的要求和发展前景，所以程序员应该首先确定自己的兴趣所在，再选择
猿小白klp·2024-03-05 23:20

真快！几分钟就把视频语音识别为文本了，不到10行代码

听说有的公司为了抓取训练数据，已经把抖音、快手这些短视频平台上的视频扒了个遍，然后将其中的音频提取成文本，用作大数据模型的训练语料
诗者才子酒中仙·2024-03-05 23:19

2019-06-07

但于此同时，做公众号编辑器的（如135编辑器），做公众号大数据的
3624土锤·2024-03-05 15:12

深入探究Java中equals()和==的区别是什么

=="判断基本类型是否相等.首先基本数据类型指的是Java中的八大数据类型:byte,short,int,long,float,double,char,boolean这八大基本数据类型有个共同的特点是它们在内存中是有具体值的
4553675200ad·2024-03-05 09:30

2019-8-10晨间日记

习惯养成：背诵100个考研英语单词督促雅淇练习汉字专注读书30分钟学习·信息·阅读今天全世界最看好的三种技术：AI，大数据，云计算。这其实是谷歌提出的技术哲学，还存在其他的演进路径。
VisualField·2024-03-04 17:47

NTP网络校时服务器（GPS北斗卫星校时系统）应用场景

NTP网络校时服务器（GPS北斗卫星校时系统）应用场景NTP网络校时服务器（GPS北斗卫星校时系统）应用场景随着大数据、云计算时代的到来,各行业信息化建设的不断提升,信息化下的各个系统不再单独处理各自业务
安徽京准·2024-03-04 16:39

做过这三件事的女人，才算真正“见过世面”

不久前，2018中国结婚大数据曝光，全国结婚率再创新低。南开大学教授原新表示，2015年全国30～34岁女性不结婚比例在6%左右，比1990年提高了10倍左右。
Yjxr·2024-03-03 22:11

【Hadoop】在spark读取clickhouse中数据

读取clickhouse数据库数据importscala.collection.mutable.ArrayBufferimportjava.util.Propertiesimportorg.apache.spark.sql.SaveModeimportorg.apache.spark.sql.SparkSessiondefgetCKJdbcProperties(batchSize:String="
方大刚233·2024-03-03 06:54

【Hadoop】使用Metorikku框架读取hive数据统计分析写入mysql

一、定义作业文件作业文件该文件将包括输入源、输出目标和要执行的配置文件的位置，具体内容如下metrics:-/user/xrx/qdb.yaml#此位置为hdfs文件系统目录inputs:output:jdbc:connectionUrl:"jdbc:mysql://233.233.233.233:3306/sjjc"user:"root"password:"123456"driver:"com.
方大刚233·2024-03-03 06:23

让数据用起来：数据中台建设的评估与选择（第4章）

加强业务与数据融合，利用大数据、机器学习、深度学习等技术进行精准营销、信用风险控制等。第四个阶段：运营优化。开始建设数据中台，快速生产定制化数据服务。企业数据应用能力成熟度可以从
小阳阳兄·2024-03-03 02:20

Spark-sql Adaptive Execution动态调整分区数量，调整输出文件数

看看这个参数如何运用：我们的spark-sql版本：[hadoop@666~]$spark-sql--versionWelcometo______/__
不想起的昵称·2024-03-02 15:03

hadoop里需要的libhadoop.so版本不一致导致问题及解决办法

$HADOOP_HOME/lib/native/Linux-amd64-64(64位操作系统)$HADOOP_HOME/lib/native/Linux-i386-32（32位操作系统）文件夹中的libhadoop.so
weixin_34304013·2024-03-02 09:23

hadoop启动报错处理

1.hadoop启动报错1.1.问题1util.NativeCodeLoader:Unabletoloadnative-hadooplibraryforyourplatform...usingbuiltin-javaclasseswhereapplicable
akuibpt23191·2024-03-02 08:51

数据服务安全的重要性

随着大数据、云计算、人工智能等技术的飞速发展，数据已经成为企业和组织的核心资产，数据服务安全也面临着前所未有的挑战。本文将从数据服务安全的重要性、常见威胁、防护策略以及未来发展趋势等方面进行探讨。
SafePloy安策·2024-03-02 06:49

CSP-防疫大数据

是不是最简单的！60行AC！解题思路首先：每日的风险地区是实时更新，所以直接将该region放到Today~Today+7之内；然后：咱采取的思路就是将每条message给他存到每天去。比如这条message是第0天发来的，那么它被存到0~6天的Msg中。比如是第7天来的，那么存到7~(5+7-1)天之中。虽然这样会增加计算判断的message量，但反正这个题也不在乎性能（）代码#includeu
Schwertlilien·2024-03-01 21:06

【大数据】Flink SQL 语法篇（七）：Lookup Join、Array Expansion、Table Function

《FlinkSQL语法篇》系列，共包含以下10篇文章：FlinkSQL语法篇（一）：CREATEFlinkSQL语法篇（二）：WITH、SELECT&WHERE、SELECTDISTINCTFlinkSQL语法篇（三）：窗口聚合（TUMBLE、HOP、SESSION、CUMULATE）FlinkSQL语法篇（四）：Group聚合、Over聚合FlinkSQL语法篇（五）：RegularJoin、I
G皮T·2024-03-01 02:40

从玩游戏到写外挂，C语言/C++程序员大神是怎样做到的！

C语言是面向过程的，而C＋＋是面向对象的这些是C/C++能做的服务器开发工程师、人工智能、云计算工程师、信息安全（黑客反黑客）、大数据、数据平台、嵌入式工程师、流媒体服务器、数据控解、图像处理、音频视频开发工程师
小辰带你看世界·2024-02-29 12:58

Spark整合hive（保姆级教程）

准备工作：1、需要安装配置好hive，如果不会安装可以跳转到Linux下编写脚本自动安装hive2、需要安装配置好spark，如果不会安装可以跳转到Spark安装与配置（单机版）3、需要安装配置好Hadoop
万家林·2024-02-29 09:47

挑战杯 基于机器学习与大数据的糖尿病预测

4.4正则化5机器学习模型建立与评价5.1评价方式的选择5.2模型的建立与评价5.3模型参数调优5.4将调参过后的模型重新进行训练并与原模型比较6总结1前言优质竞赛项目系列，今天要分享的是基于机器学习与大数据的糖尿病预测该项目较为新颖
laafeer·2024-02-29 07:45

补水保湿的面膜什么牌子好用？2022最受欢迎的十大品牌面膜

基于全网大数据，根据品牌评价和销量，评选出2022年面膜十大品牌。
优惠券高省·2024-02-28 19:46

Hadoop-Yarn-NodeManager是如何监控容器的

一、源码下载下面是hadoop官方源码下载地址，我下载的是hadoop-3.2.4，那就一起来看下吧Indexof/dist/hadoop/core二、上下文在我的博客中的ContainerLaunchprepareForLaunch
隔着天花板看星星·2024-02-28 06:15

国内有实力的三防加固平板厂家｜亿道三防onerugged

无论是多任务处理还是大数据计算，这些平板电脑都能保持流畅和高效的运行。此外
emdoorrugged·2024-02-27 22:35

计算机设计大赛 深度学习大数据物流平台 python

文章目录0前言1课题背景2物流大数据平台的架构与设计3智能车货匹配推荐算法的实现**1\.问题陈述****2\.算法模型**3\.模型构建总览**4司机标签体系的搭建及算法****1\.冷启动**2\.
iuerfee·2024-02-27 17:28

在 Spark 数据导入中的一些实践细节

best-practices-import-data-spark-nebula-graph本文由合合信息大数据团队柳佳浩撰写1.前言图谱业务随着时间的推移愈发的复杂化，逐渐体现出了性能上的瓶颈：单机不足以支持更大的图谱
NebulaGraph·2024-02-27 07:53

Java架构师之路十三、项目实战：通过实际项目的经验，提高架构师的实战能力和经验

：具备团队管理和技术领导能力，能够带领团队完成复杂的技术项目-CSDN博客通过实际项目的经验可以提高架构师的实战能力和经验，以下是一些建议：参与多样化项目：尽可能参与各种不同类型的项目，包括规模大小、技术栈
述清-架构师之路·2024-02-26 20:34

Zookeeper实现分布式锁

首先需要确保有hadoop102，hadoop103，hadoop104三台虚拟机并且都安装成功且配置成功了zookeeper。
正在绘制中·2024-02-25 23:35

左小青离婚：比起离婚，其实最伤害孩子的是.......

据大数据显示，2019全国婚姻登记机关共办理离婚登记415.4万
孙小狸·2024-02-25 21:45

java毕业设计二手图书回收销售网站Mybatis+系统+数据库+调试部署

java毕业设计二手图书回收销售网站Mybatis+系统+数据库+调试部署java毕业设计二手图书回收销售网站Mybatis+系统+数据库+调试部署本源码技术栈：项目架构：B/S架构开发语言：Java语言开发软件
沪港·2024-02-25 18:30

《福州市推进大数据发展三年行动计划（2018-2020年）》

七、保障措施(一)加强组织领导福州市大数据产业发展工作领导小组直接领导本行动计划的实施,由市大数据办负责具体推进。
追求财务自由的中年人·2024-02-25 16:19

API接口开发采集淘宝商品详情页数据优惠券sku价格销量信息等可支持高并发接入演示

选择技术栈:根据你的技术背景和项目需求选择合适的编程语言和框架，比如Python、Node.js等
APItesterCris·2024-02-25 14:24

互联网加竞赛 机器学习股票大数据量化分析与预测系统 - python 互联网加竞赛

文章目录0前言1课题背景2实现效果UI界面设计web预测界面RSRS选股界面3软件架构4工具介绍Flask框架MySQL数据库LSTM5最后0前言优质竞赛项目系列，今天要分享的是机器学习股票大数据量化分析与预测系统该项目较为新颖
Mr.D学长·2024-02-25 10:49

关于学习大数据最受关注的五大问题

随着大数据的爆发，中国IT业内环境也将面临新一轮的洗牌，不仅是企业，更是从业人员转型可遇而不可求的机遇。如果将IT人士统一比作一条船上的海员，大数据就是最大的浪潮，借浪潮之势而为之。
Alukar·2024-02-25 08:19

开源大数据管理平台选型

一apachebigtop项目地址：https://bigtop.apache.orgApacheBigtop是一个开源项目，旨在提供一套完整的开源软件栈，用于构建、测试和部署大数据应用程序。
大数据AI·2024-02-25 02:41

数据中心网络方案设计

云计算、大数据、人工智能等技术的快速发展，对承载数据流量的数据中心网络提出了更高的要求，高吞吐量、高可靠性、低时延、适应服务器虚拟化等都是业务对数据中心网络提出的要求。
城北楠哥·2024-02-25 02:11

java计算机毕业设计同学录网站源码+数据库+系统+lw文档+mybatis+运行部署

java计算机毕业设计同学录网站源码+数据库+系统+lw文档+mybatis+运行部署java计算机毕业设计同学录网站源码+数据库+系统+lw文档+mybatis+运行部署本源码技术栈：项目架构：B/S
游游科技·2024-02-24 17:59

java毕业设计网络招聘系统源码+lw文档+mybatis+系统+mysql数据库+调试

java毕业设计网络招聘系统源码+lw文档+mybatis+系统+mysql数据库+调试java毕业设计网络招聘系统源码+lw文档+mybatis+系统+mysql数据库+调试本源码技术栈：项目架构：B
銮銮科技·2024-02-24 17:29

java毕业设计物资租赁管理系统mybatis+源码+调试部署+系统+数据库+lw

java毕业设计物资租赁管理系统mybatis+源码+调试部署+系统+数据库+lwjava毕业设计物资租赁管理系统mybatis+源码+调试部署+系统+数据库+lw本源码技术栈：项目架构：B/S架构开发语言
銮銮科技·2024-02-24 17:58

java毕业设计酒店管理信息系统mybatis+源码+调试部署+系统+数据库+lw

java毕业设计酒店管理信息系统mybatis+源码+调试部署+系统+数据库+lwjava毕业设计酒店管理信息系统mybatis+源码+调试部署+系统+数据库+lw本源码技术栈：项目架构：B/S架构开发语言
雪夜科技·2024-02-24 17:58

【云学院干货】数据仓库服务：在冗余海量数据中找到正确决策

传统数据仓库在大数据时代处于劣势，用户需要自己搭建软硬件，运维维护的成本非常大，投入高周期长，而且如果数据量大，扩容的工作非常难以实现。业务数据上云，在公有云上托管成为必然趋势。
舒意从生·2024-02-24 07:21

智能科技助力服装业：商品计划管理系统的革命性变革

而智能系统通过运用大数据分析和人工智能算法，能够实
第七在线（7thonline）·2024-02-23 12:30

【业务功能篇135】多线程+countDownLatch执行大数据量定时任务

对于业务中存在一些功能需求，业务逻辑复杂且数据量大，过程处理也就比较繁琐，如果直接在单线程同步执行，效率就比较低了，所以我们需要利用多线程，开启多个线程去把任务分线程异步执行，这些效率就有显著提升多线程+countDownLatchCountDownLatch概念CountDownLatch是一个同步工具类，用来协调多个线程之间的同步，或者说起到线程之间的通信（而不是用作互斥的作用）。CountD
studyday1·2024-02-23 04:21

大数据计算技术秘史（上篇）

在之前的文章《2024年，一个大数据从业者决定……》《存储技术背后的那些事儿》中，我们粗略地回顾了大数据领域的存储技术。在解决了「数据怎么存」之后，下一步就是解决「数据怎么用」的问题。
·2024-02-22 20:33

新来一00后，给我卷崩溃了..

在此展示一套学习笔记/面试手册，年后跳槽的朋友可以好好刷一刷，还是挺有必要的，它几乎涵盖了所有的软件测试技术栈，非常珍贵，肝完进大厂！妥妥的。
程序员二 黑·2024-02-22 15:33

可视化大屏前端开发：GIS开发技术栈

GIS前端开发技术栈通常包括以下几个方面：前端框架：GIS前端开发通常使用Vue、React或Angular等前端框架来构建应
千汇数据的老司机·2024-02-20 23:47

MySql中几种批量更新/新增/删除的方法

语句来更新字段值：UPDATEmytableSETmyfield='value'WHEREother_field='other_value';这种方法并没有什么任何错误，并且代码简单易懂，MySQL批量更新大数据是困难的事情
@航空母舰·2024-02-20 22:26

人工智能对教育行业的影响

所谓人工智能（Artificial Intelligence）是一门较新的科学技术，是计算机科学的一个分支，通过大数据的收集和分析，生产出一种类似人类反应的智能机器，比如机器人，语言语音图像识别等。
Nanatyan·2024-02-20 22:38

docker搭建hadoop hdfs完全分布式集群

1制作hadoop镜像参见https://www.cnblogs.com/rmxd/p/12051866.html该博客中只参考制作镜像部分，固定IP及启动集群的部分应该跳过。
shangcunshanfu·2024-02-20 22:08

基于docker安装HDFS

1.docker一键安装见docker一键安装2.拉取镜像sudodockerpullkiwenlau/hadoop:1.03.下载启动脚本gitclonehttps://github.com/kiwenlau
core512·2024-02-20 22:02
上一页 11 12 13 14 15 16 17 18 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他