大数据云原生hadoop 第54页

泰迪智能科技大模型微调项目训练营已开营

泰迪智能科技大模型微调项目训练营开营跟张良均老师学大数据人工智能项目一：医疗诊疗对话意图识别项目二：中医问答系统项目三：某平台股票评论情感识别学习流程：项目一：医疗诊疗对话意图识别项目背景:“互联网+医疗

泰迪智能科技·2024-02-01 08:40

开门见“山”｜24年我们去火山引擎转了转

随着大数据、物联网、云计算、5G等关键技术的不断突破发展，企业的云上业务规模增长迅猛，混合云、多云逐渐成为企业普遍选择的部署方式。云安全正伴随着云计算，逐步嵌入到各类应用场景之中。

FreeBuf_·2024-02-01 08:35

实战Vue.js与MySQL：爱心商城项目开发指南

专业做Java、Python、微信小程序、安卓、大数据、爬虫、Golang、大屏等实战项目。⛽⛽实战项目：有源码或者技术上的问题欢迎在评论区一起讨论交流！

计算机编程指导师·2024-02-01 08:35

测试开发：一文教你从0到1搞懂大数据测试！

1.什么是大数据大数据是一个大的数据集合，通过传统的计算技术无法进行处理。这些数据集的测试需要使用各种工具、技术和框架进行处理。

测试开发技术·2024-02-01 08:22

为什么 K8s 在阿里能成功？| 问顶中国 IT 技术演进

从2015年Google牵头成立CNCF以来，云原生技术开始进入公众的视线并取得快速的发展，到2018年包括Google、AWS、Azure、AlibabaCloud等大型云计算供应商都加入了CNCF，

cuixiaoyan·2024-02-01 07:31

大数据 - Spark系列《二》- 关于Spark在Idea中的一些常用配置

上一篇：大数据-Spark系列《一》-从Hadoop到Spark：大数据计算引擎的演进-CSDN博客目录1.Idea中配置LiveTemplates来快速生成代码片段2.Idea中配置文件模板自定义初始代码

王哪跑nn·2024-02-01 07:53

大数据 - Spark系列《一》- 从Hadoop到Spark：大数据计算引擎的演进

目录1.1Hadoop回顾1.2spark简介1.3Spark特性1.通用性2.简洁灵活3.多语言1.4SparkCore编程体验1.4.1spark开发工程搭建1.开发语言选择：2.依赖管理工具：1.4.2Spark

王哪跑nn·2024-02-01 07:43

多线程事务如何回滚？

背景介绍1，最近有一个大数据量插入的操作入库的业务场景，需要先做一些其他修改操作，然后在执行插入操作，由于插入数据可能会很多，用到多线程去拆分数据并行处理来提高响应时间，如果有一个线程执行失败，则全部回滚

码出天空·2024-02-01 07:07

关于MongoDB大数据量下远程备份本地恢复操作

背景需要将远程服务的MongoDB数据拷贝到本地环境数据量很大，单表数据在100亿，占用硬盘存储空间270G左右没有远程服务器的操作权限，但是可以连接远程mongo备份操作使用mongodump远程服务和本地环境的MongoDB环境一致，或者本地环境的为高版本./mongodump--uri="mongodb://user:passWord@host:port/database?ssl=false

夜白宋·2024-02-01 07:07

智能运维之告警聚合技术介绍

网络运维的告警风暴挑战随着云计算、大数据、物联网等技术的快速发展，IT基础设施开始云化、应用运行环境容器化、系统架构开始微服务化，新的IT系统规模不断扩大升级，每天都可能产生海量的数据，这使得运维工作量越来越大

H3C-Navigator·2024-02-01 07:35

大数据（Bigdata）数据集

一.京东消费者数据分析二.世界杯数据集三.淘宝用户购物行为分析四.物流行业数据分析五.星巴克全球位置信息数据集六.抑郁症数据集分析

py爱好者~·2024-02-01 07:03

实战教程：使用Spring Boot和Vue.js开发社区团购管理系统

专业做Java、Python、微信小程序、安卓、大数据、爬虫、Golang、大屏等实战项目。⛽⛽实战项目：有源码或者技术上的问题欢迎在评论区一起讨论交流！

计算机编程指导师·2024-02-01 06:24

海量微服务关联关系挖掘与告警拓扑展示

一、前言1、微服务关联复杂性在当前云原生与DevOps、PaaS技术应用背景下，微服务化是一个显著的特征。

WhiteJunior·2024-02-01 06:53

语言革命：NLP与GPT-3.5如何改变我们的世界

技术进步1.2应用场景二、挑战与前景三、伦理和社会影响四、实践经验五、总结与展望前言自然语言处理（NaturalLanguageProcessing，NLP）是人工智能领域的一个重要分支，随着深度学习和大数据技术的进步

屿小夏·2024-02-01 06:51

云原生之steam游戏幻兽帕鲁私服部署

由于这款游戏存在内存泄漏问题，运行一段时间就需重启，小编考虑将游戏部署到云原生中，通过k8s的自愈能力保证游戏的持续正常运行。这款游戏属于BS架构，容器部署服务端，好处在于方便迁移部署简单。

野心与梦·2024-02-01 06:45

私有云+云原生能力模型

文章目录对比运维、基础架构、私有云、云原生适合岗位运维体系技能树Ansible、Puppet介绍防火墙配置和安全策略的实施，保护网络安全虚拟化的原理和技术，如VMware、KVM公有云和私有云平台的使用和管理

野心与梦·2024-02-01 06:45

科技云报道：云原生PaaS，如何让金融业数字化开出“繁花”？

科技云报道原创。在中国金融业数字化转型的历史长卷中，过去十年无疑是一部磅礴的史诗。2017年，南京银行第一次将传统线下金融业务搬到了线上。那一年，它的互联网金融信贷业务实现了过去10年的业务总额。2021年，富滇银行通过数字化转型，将整体业务全面线上化，再造了一个“线上富滇”。那一年，它的整体业务实现了过去7年首次超过两位数的增长。一个个鲜活的案例，见证了中国金融业从互联网化迈向全面数字化的进程，

科技云报道·2024-02-01 06:14

HBase介绍

一、HBase简介1.1、HBase是什么Google在200-2006发表了GFS、MapReduce、BigTable三篇论文，号称“三驾马车”，开启了大数据的时代。

M.Rambo·2024-02-01 06:09

[云原生] Docker 安全

尽量别做的事：尽量不用--privileged运行容器（授权容器root用户拥有宿主机的root权限）尽量不用--networkhost运行容器（使用host网络模式共享宿主机的网络命名空间）尽量不在容器中运行ssh服务尽量不把宿主机系统的关键敏感目录挂载到容器中尽量要做的事：尽量使用较小体积的镜像尽量以单一应用进程运行容器尽量在容器中使用最新稳定版本的应用尽量安装使用最新稳定版本的docker尽

为什么老是名字被占用·2024-02-01 06:03

Android性能优化-缓存的使用

考虑极端环境下的用户体验断网情况网速慢的情况节省客户端流量减少服务器压力什么样的数据需要缓存首先最需要缓存的就是图片了(这个不多说)其次就是一些非常重要的数据(如app首页数据)常见的数据缓存方法以及优缺点文件缓存优点可以缓存超大数据

wfunny·2024-02-01 06:19

2019/2/20Hbase单节点安装

hbase（hbase-2.0.0-bin.tar.gz）解压过程即为安装过程解压=》为了让hbase的存放路径指定ns这个组名（防止出先不认识“ns”的错误）[root@zhiyou01~]#cp/usr/hadoop

阳光正好微风不燥_c509·2024-02-01 05:39

zookeeper集群群起脚本

所以要写个脚本，我的主机名是有规律的hadoop101;hadoop102;hadoop103所以创建脚本的过程如下：到/usr/local/bin目录下touch一个文件，这里我叫zkstartUtil.sh

小北觅·2024-02-01 05:01

商机 | 大数据/政务云采购清单招标4起，最高招标价为2642.7万（10.14-10.17）

文|36大数据奥兰多一、政府、企事业单位大数据/政务云中标成交清单，一共6起，最高成交价为678.9万二、政府、企事业单位大数据/政务云招标清单一共4起，最高招标价为2642.7万【招标】【363.6万

36大数据·2024-02-01 05:57

DB之家：数据库开发工程师的衣柜（云原生时代数据库性能优化点子集合）

基础数据结构布隆过滤器：modularbloomfilter减少布隆过滤器所需要的内存。参考文献：Mun,J.H.,Zhu,Z.,Raman,A.,&Athanassoulis,M.(n.d.).LSM-TreesUnder(Memory)Pressure.基础算法字符串压缩FSST算法利用向量化计算加速字符串压缩和解压缩，支持在压缩数据中定位某一个字符串，性能略好于lz4。Boncz,P.,Ne

archimekai·2024-02-01 04:16

大数据挖掘培训就业前景怎么样？好找工作吗？

众所周知，大数据已经不简简单单是数据大的事实了，而最重要的现实是对大数据进行分析挖掘，只有通过分析才能获取很多智能的，深入的，有价值的信息。

kuntoria·2024-02-01 04:52

也谈抖音

抖音的风行正是这个道理，打开抖音，大数据根据你上一次浏览查找你喜爱的，不知不觉时间就过去了。打开两次抖音，不知不觉就陷进去了，回头一看，一个小时过去了，两个小时过去了。

美女米豆·2024-02-01 04:33

Hadoop 大数据技术原理与应用

Hadoop大数据技术原理与应用大数据概述定义特征大量，多样，高速，价值研究意义应用场景医疗，金融，零售Hadoop概述历史优势扩容能力强，成本低，高效率，可靠性，高容错Hadoop生态分布式存储系统（

kk8_·2024-02-01 04:33

【云原生】docker安全与https加密的超文本传输协议CA证书生成

目录一、docker安全二、http与https的区别三、为什么要使用SSL证书？四、https证书认证的过程https单向认证的访问流程https双向认证的访问流程五、如何获取证书？六、实操获取证书并验证1、通过阿里云获取证书2、通过mkcert获取证书3、通过openssl获取证书一、docker安全docker容器使用安全注意点：尽量别做的事：尽量不用--privileged运行容器（授权容

liu_xueyin·2024-02-01 03:04

[绝对要收藏]配置hadoop完全分布式环境

##环境：hadoop-2.7.2，jdk1.8.0_144，CentOS-7-x86_64-Minimal-2009.iso1先创建一个主机2修改id，hostname，hosts3关闭防火墙4连接xshell5

Java小白中的菜鸟·2024-02-01 03:04

【云原生】docker容器实现https访问

目录步骤一：在宿主机生成服务端的公钥证书和私钥文件步骤二：准备Dockerfile文件构建镜像步骤三：dockerrun启动容器并将其映射到443端口步骤一：在宿主机生成服务端的公钥证书和私钥文件//生成ca证书（1）创建ca私钥opensslgenrsa-aes256-outca-key.pem4096#输入123123--------------------------------------

liu_xueyin·2024-02-01 03:00

Sqoop数据迁移工具

概述ApacheSqoop（SQL-to-Hadoop）项目旨在协助RDBMS与Hadoop之间进行高效的大数据交流。

小希 fighting·2024-02-01 03:55

Hadoop 生产调优 (七) --------- MapReduce 与 Yarn 生产经验

目录一、MapReduce生产经验1.MapReduce跑的慢的原因2.MapReduce常用调优参数3.MapReduce数据倾斜问题二、Yarn生产经验1.常用的调优参数2.三种调度器的使用一、MapReduce生产经验1.MapReduce跑的慢的原因MapReduce程序效率的瓶颈在于两点：计算机性能CPU、内存、磁盘、网络I/O操作优化数据倾斜Map运行时间太长，导致Reduce等待过久

在森林中麋了鹿·2024-02-01 03:17

2023年全国职业院校技能大赛（高职组）“云计算应用”赛项赛卷9

某企业根据自身业务需求，实施数字化转型，规划和建设数字化平台，平台聚焦“DevOps开发运维一体化”和“数据驱动产品开发”，拟采用开源OpenStack搭建企业内部私有云平台，开源Kubernetes搭建云原生服务平台

忘川_ydy·2024-02-01 03:09

2023年全国职业院校技能大赛（高职组）“云计算应用”赛项赛卷10

某企业根据自身业务需求，实施数字化转型，规划和建设数字化平台，平台聚焦“DevOps开发运维一体化”和“数据驱动产品开发”，拟采用开源OpenStack搭建企业内部私有云平台，开源Kubernetes搭建云原生服务平台

忘川_ydy·2024-02-01 03:09

法律视角下的数据出境《2023年数据出境合规年鉴》

关注国际云安全联盟CSA公众号，回复关键词“数据安全”获取报告在全球数字产业以及大数据和云计算技术快速发展的背景下，数据流动对世界经济的影响日益显著。

云安全联盟大中华区·2024-02-01 02:00

windows 下面Exception in thread "main" java.lang.UnsatisfiedLinkError: org.apache.hadoop.io.nativei...

本地运行，注意两点,配置本地的hadoop环境变量，注意hadoop版本是windows版本，在本地跑的时候遇到Exceptioninthread"main"java.lang.UnsatisfiedLinkError

smartjiang·2024-02-01 02:20

《区块链简易速速上手小册》第10章：区块链的未来与趋势（2024 最新版）

区块链在身份管理和隐私保护中的应用10.2新兴技术与区块链的融合10.2.1基础知识10.2.2主要案例：AI与区块链的结合10.2.3拓展案例1：区块链与物联网（IoT）10.2.4拓展案例2：区块链与大数据

江帅帅·2024-02-01 02:53

未来软件测试行业发展的10大趋势，&就业钱景

特别是在软件开发和测试领域在不断创新，并可能将人工智能、机器学习、大数据等新兴技术结合起来的当下。

不是Y君·2024-02-01 02:26

夏天

大数据工程学院龙英2020402067树上的知了叫个不停，一群孩子，嘴里吸着果味的汽水，从我面前嘻嘻哈哈地走过。闭上眼睛，深深吸口气,夏日的气味弥漫在我鼻子周围。放眼望去,绿油油的稻田，叮咚的泉水。

没有春秋_b270·2024-02-01 02:24

大数据高频面试题一：hive和Oracle的区别

Hive和Oracle数据库最大的区别在于存储和计算方面：Hive存储在hdfs上（Hadoop分布式文件系统容错性高），Oracle将数保存在本地文件系统中。

半亩书田·2024-02-01 02:47

存内计算——发展史与近期成果

随着大数据时代的到来，存内计算由于其结构特点以及摩尔定律的“失效”，被认为是提升处理器能效和性能以及加速神经网络运算的新出路。接下来我们将从存内计算的源头出发，介绍它的发展史与近期取得的成果。

存内计算开发者·2024-02-01 02:16

大数据分析利器ElasticSearch入门(一)

1为什么要学习ElasticSearch?1.1为什么要学习ElasticSearchElasticSearch（ES）作为一款优秀的分布式搜索分析引擎，越来越收到很多大型互联网公司的关注，像小米、滴滴出行、携程旅游、阿里云和腾讯云都在使用ElasticSearch。最著名的公司就是github，它采用ES作为搜素引擎对代码进行搜索，虽然它是一款分布式搜索引擎，但是它强大的查询、分析和聚合能力使他

heshengfu1211·2024-02-01 02:37

数字奇观：普通人如何通过数据可视化驾驭大数据时代

在迅速发展的大数据时代，数据可视化为普通人提供了一副魔法镜，让我们得以更轻松、更直观地适应这个充满数字信息的世界。下面我就以可视化从业者的角度，来简单聊聊这个话题。

希艾席蒂恩·2024-02-01 01:44

数字巨轮航行大数据海洋：数据可视化引领时代潮流

在大数据时代的潮流中，数据可视化如同一艘畅行无阻的科技巨轮，引领我们穿越数字浩瀚的大海，使我们在信息的航程中游刃有余。