架构设计大数据hdfs

干货分享！7个方向下手，一步步学会精益管理

引言：近年来生产智造、大数据、商业智能等概念越来越火，许多企业纷纷加入了智造变革的大军，但往往因为忽略了精益管理而烂尾无数，企业智造之路仿佛陷入了困境。
一帆简书·2024-02-20 09:15

淘宝的十年「架构变迁」

前言本文以淘宝作为例子，介绍从一百个到千万级并发情况下服务端的架构的演进过程，同时列举出每个演进阶段会遇到的相关技术，让大家对架构的演进有一个整体的认知，文章最后汇总了一些架构设计的原则。
程序员xysam·2024-02-20 08:18

测试环境搭建整套大数据系统（三：搭建集群zookeeper，hdfs，mapreduce，yarn，hive）

一：搭建zkhttps://blog.csdn.net/weixin_43446246/article/details/123327143二：搭建hadoop，yarn，mapreduce。1.安装hadoop。sudotar-zxvfhadoop-3.2.4.tar.gz-C/opt2.修改java配置路径。cd/opt/hadoop-3.2.4/etc/hadoopvimhadoop-env.
宇智波云·2024-02-20 08:05

物联网水域信息化：水质监测智慧云平台

且传统水务行业信息化手段单一，缺乏对大数据等新技术的应用，一定程度上影响了水务工作的精细化和智能化程度。系统特点为解决传统水质自动监测站建设占地大、运维成本高等等问题。
郭靖守襄阳【软芯民用】·2024-02-20 08:01

大数据分析学习第十五课 自建云服务器集群离线安装Ambari2.7.5和HDP3.1.5(一)

之前了解了很多关于大数据平台一站式部署管理的工具，比如ApacheAmbari和CDH，目前最新的CDH已经没有了社区版，也就是说以后使用新版本的ClouderaManager和CDH都是要收费的，这对于很多小公司来说
猫头鹰数据分析·2024-02-20 08:29

数字化转型导师坚鹏：政府数字化转型之数字化技术

政府数字化转型之数字化技术——物联网、云计算、大数据、人工智能、虚拟现实、区块链、数字孪生、元宇宙等综合解析及应用课程背景：数字化背景下，很多政府存在以下问题：Ø 不清楚新技术的发展现状？
银行数字化转型导师坚鹏·2024-02-20 07:24

作业帮 x TiDB丨多元化海量数据业务的支撑

经过近十年的积累，作业帮运用人工智能、大数据等技术，为学生、老师、家长提供学习、教育解决方案，智能硬件产品等。随着公司产品和业务场景越来越丰富，数据量越来越大，业务方对数据库的使用需求也越来越多元化。
TiDB_PingCAP·2024-02-20 07:46

Hadoop Streaming原理

Streaming简介•MapReduce和HDFS采用Java实现，默认提供Java编程接口•Streaming框架允许任何程序语言实现的程序在HadoopMapReduce中使用•Streaming
可乐加冰丶丶·2024-02-20 07:18

Elasticsearch查询报错 Result window is too large

一现象：es数据分页查询前端提示系统异常，后端报错日志二根本原因：默认情况下，Elasticsearch限制了from+size参数的组合不能超过10,000条记录，用于防止查询大数据集时对系统资源的过度消耗三解决办法
wit_cx·2024-02-20 07:00

大数据技术之 Kafka

大数据技术之Kafka文章目录大数据技术之Kafka第1章Kafka概述1.1定义1.2消息队列1.2.1传统消息队列的应用场景1.2.2消息队列的两种模式1.3Kafka基础架构第2章Kafka快速入门
efzy·2024-02-20 07:26

300分钟吃透分布式缓存-03讲：设计缓存架构时需要考量哪些因素？

缓存的引入及架构设计缓存组件选择在设计架构缓存时，你首先要选定缓存组件，比如要用Local-Cache，还是Redis、Memcached、Pika等开源缓存组件，如果业务缓存需求比较特殊，你还要考虑是直接定制开发一个新的缓存组件
机智阳·2024-02-20 07:55

微服务day01-认识微服务与Eureka注册中心

微服务≠springcloud，是一种经过良好架构设计的分布式解决方案，微服务架构特征单一职责：微服务拆分力度更小，每一个服务都对应唯一的业务能力，做到单一职责，避免重复业务开发面向服务：微服务对外暴露业务接口自治
黒猫.·2024-02-20 07:49

安全架构设计理论与实践

一、考点分布安全架构概述（※※）安全模型（※※※）信息安全整体架构设计网络安全体系架构设计区块链技术（※※）二、安全架构概述被动攻击：收集信息为主，破坏保密性主动攻击：主动攻击的类别主要有：中断（破坏可用性
一心猿·2024-02-20 07:37

2024.2.19 阿里云Flink

两大问题,乱序和延迟Stateful:有状态Flink的三个部分Source:Transactions,logs,iot,clicksTransformation:事件驱动,ETL,批处理Sink:输出HDFS
白白的wj·2024-02-20 07:05

生产环境下，应用模式部署flink任务，通过hdfs提交

前言  通过通过yarn.provided.lib.dirs配置选项指定位置，将flink的依赖上传到hdfs文件管理系统1.实践  （1）生产集群为cdh集群，从cm上下载配置文件，设置环境exportHADOOP_CONF_DIR
但行益事莫问前程·2024-02-20 07:04

Python招聘信息爬虫+数据分析+可视化系统+薪资预测+岗位推荐（大数据项目）计算机毕业设计 源码下载

boss直聘招聘信息爬虫+数据分析+可视化系统+薪资预测+岗位推荐（大数据项目）计算机毕业设计源码下载一、开发技术pycharm、MySQL数据库/sqlite3数据库、Python3.x版本、Flask
计算机毕业设计指导·2024-02-20 06:39

Flink Catalog 解读与同步 Hudi 表元数据的最佳实践

博主历时三年精心创作的《大数据平台架构与原型实现：数据中台建设实战》一书现已由知名IT图书品牌电子工业出版社博文视点出版发行，点击《重磅推荐：建大数据平台太难了！给我发个工程原型吧！》
　Laurence·2024-02-20 06:28

美丽链——三星推出了基于区块链的数字金融平台Nexfinance

三星集团IT子公司三星SDS对外推出了一种新的数字金融平台Nexfinance，Nexfinance上应用了人工智能、生物识别、区块链、大数据分析及流程自动化等全新的IT技术。
热情A·2024-02-20 06:09

bypy：使用Linux命令行上传及下载百度云盘文件（远程服务器大文件传输必备）

诸神缄默不语-个人CSDN博文目录由于众所周知的原因，国内不方便上谷歌云盘，所以很多开源项目的大数据集、预训练模型等也会同时提供百度网盘形式存储的下载链接。
诸神缄默不语·2024-02-20 06:25

ADO.NET大数据查询内存分页处理

ADO.NET大数据查询内存分页处理在ADO.NET中处理大数据查询时，如果直接在客户端应用程序中进行内存分页，可能会导致内存使用量激增，特别是在处理数十万甚至数百万条记录时。
管理大亨·2024-02-20 06:47

《一闪一闪亮星星》观后感

大数据推测到了我的想法，把关于这事不实的消息又推送给了我。于是乎，就秉持着随便看一看的想法打开了第一集。好家伙，真香虽迟但到！女主虽然已经30+了，但是看着还是很嫩，很可爱，扮演高中生，毫无违和感。
采蘑菇的小Timor·2024-02-20 06:47

打造AI时代竞争力：全面解析学习人工智能所需的硬核实力与软实力

随着大数据的爆发增长、算力的飞速提升和算法的不断创新，投身于AI领域不仅是职业发展的明智选择，也是实现技术改变世界愿景的重要途径。
极客代码·2024-02-20 06:35

ETL数据集成工具DataX、Kettle、ETLCloud特点对比

ETL数据集成工具对于数据仓库，大数据集成类应用，通常会采用ETL工具辅助完成。
RestCloud·2024-02-20 05:28

未来十年

贵阳大数据世博会圆满成功，给贵阳经济发展带来很多发展机遇。
IT蜂盾·2024-02-20 05:26

【研究生复试】计算机&软件工程&人工智能研究生复试——资料整理（速记版）——计算机体系结构

1、JAVA2、计算机网络3、计算机体系结构4、数据库5、计算机租场原理6、软件工程7、大数据8、英文自我介绍3.计算机体系结构1.基本概念2.指令与寻址3.输入输出系统、贮存体系现代：存储器为中心冯诺依曼
沐风—云端行者·2024-02-20 05:16

【研究生复试】计算机&软件工程&人工智能研究生复试——资料整理（速记版）——JAVA

1、JAVA2、计算机网络3、计算机体系结构4、数据库5、计算机租场原理6、软件工程7、大数据8、英文自我介绍1.Java1.
沐风—云端行者·2024-02-20 05:46

【研究生复试】计算机&软件工程&人工智能研究生复试——资料整理（速记版）——数据库

1、JAVA2、计算机网络3、计算机体系结构4、数据库5、计算机租场原理6、软件工程7、大数据8、英文自我介绍4.数据库1.B+树相对于B树的区别及优势B树中有重复元素，B树没有重复元素B树种每个节点都存储了
沐风—云端行者·2024-02-20 05:46

【研究生复试】计算机&软件工程&人工智能研究生复试——资料整理（速记版）——自我介绍（英文）

1、JAVA2、计算机网络3、计算机体系结构4、数据库5、计算机租场原理6、软件工程7、大数据8、英文自我介绍自我介绍英文自我介绍英文第一段：Goodafternoon,dearprofessors,thankyouforthechancetointroducemyself.MynameisYanZhenXing
沐风—云端行者·2024-02-20 05:45

【研究生复试】计算机&软件工程&人工智能研究生复试——资料整理（速记版）——计算机网络

1、JAVA2、计算机网络3、计算机体系结构4、数据库5、计算机租场原理6、软件工程7、大数据8、英文自我介绍2.计算机网络1.TCP如何解决丢包和乱序？
沐风—云端行者·2024-02-20 05:13

医药零售企业运营BI解决方案 连锁药房大数据解决方案 药店大数据解决方案

一、项目背景连锁药店大数据项目建设的背景可以从以下几个方面进行分析：行业趋势：随着医药行业的快速发展，连锁药店已成为药品零售的主要渠道。然而，随着市场竞争的加剧，连锁药店需要寻找新的竞争优势。
Data-Miner·2024-02-20 05:40

数据仓库、大数据平台、数据中台的区别

2、数据仓库、大数据平台、数据中台都是什么？3、大数据平台硬件架构如何设计？4、数据仓库、大数据平台、数据中台架构如何理解？
000X000·2024-02-20 05:30

我该建数仓、大数据平台还是数据中台？看完脑子终于清醒了

一、层出不穷的新名词现在各种新名词层出不穷：顶层的有数字城市、智慧地球、智慧城市、城市大脑；企业层面的有数字化转型、互联网经济，数字经济、数字平台；平台层面的有物联网，云计算，大数据，5G，人工智能，机器智能
zl1zl2zl3·2024-02-20 05:30

【30秒看懂大数据】数据标准

点击上方「蓝字」关注我们30秒看懂大数据专栏让您在有限的碎片化时间，快速看懂最火热的大数据简单说：数据标准数据标准是指对数据具有一定约束的规范，用以保证数据的一致性及准确性。
风姑娘数据说·2024-02-20 05:00

数据指标体系实战：社区团购浪潮下叮咚买菜如何运营突围

文章同步公众号：数据新商业专业有深度的实战文章带你晋升高阶岗位作者介绍：数分团队leader专业书籍《数据实践之美》作者之一欢迎通过公号联系我加入大数据交流群最近民生一大热点，社区团购。
风姑娘数据说·2024-02-20 05:29

【30秒看懂大数据】什么是数据运营

简单说数据运营是对企业数据进行一定的整理和分析，以便帮助企业解决业务难和决策难的问题。举例理解我们以做饭为例子做个简单的解释。妈妈说周末她的闺蜜来串门，因为她后面还有事所以能待的时间很短，让我准备一些菜来招待她，时间比较紧张，让我注意点，并且不能丢她的人。1、在有限的时间做好菜且味道可口是一个难题=数据运营中的业务问题。2、为了充分利用好时间和预算我先拟定了一个流程计划=数据运营制定策略。3、我决
风姑娘数据说·2024-02-20 05:29

【30秒看懂大数据】变量

简单说变量是指研究或观察中可能发生变化的事物、属性或特征，它们可以用来描述数据或现象的不同方面。举例理解一位热衷于烹饪的大厨老李，经常尝试不同的菜肴来满足不同顾客的口味。1.老李明白，每种食材都等同于一个重要的变量。他不仅关注食材的种类，还注重新鲜程度、产地和季节性。这些变量决定了菜肴的味道和质量。2.老李也认识到不同的烹饪方法属于另一组重要的变量。烹饪时间、温度和烹饪器具都会影响菜肴的口感和外观
风姑娘数据说·2024-02-20 05:29

【30秒看懂大数据】数据中台

点击上方「蓝字」关注我们30秒看懂大数据专栏让您在有限的碎片化时间，快速看懂最火热的大数据简单说：描述性分析中台是相对于前台和后台而言，数据中台就是对于数据进行加工、整理、分析、应用的一个中间平台，较于数据中台而言
风姑娘数据说·2024-02-20 05:58

以内存为核心的开源分布式存储系统

是一个以内存为核心的开源分布式存储系统，也是目前发展最迅速的开源大数据项目之一。
这次靠你了·2024-02-20 05:26

得物多活架构设计之路由服务设计

一、背景随着公司的业务发展，每次稳定性故障带来的影响越来越大，提供稳定的服务，保证系统的高可用已经变成了整个技术部面对的问题。基于这种背景，公司开展了多云/多活的技术项目，本人有幸参与了“次日达”项目【1】的异地双活改造方案的设计。想以此来浅谈一下我对多活乃至全球化的一些技术方案的认知。多活架构系列的文章我会按照总体技术方案、双活/全球区域化部署技术、网络调度技术、性能优化以及SRE五大部分来展开
得物技术·2024-02-20 05:24

我的创作纪念日

机缘读大二的时候开始尝试记录学习笔记，刚开始再到仅仅为了对自己学习内容做回顾，后来发现可以帮助身边其他人，再到后来随着粉丝增多，陆续接到合作及平台邀请，期间自己的技术方向也从大数据开发转为算法领域，这一路走来并不容易
GoAI·2024-02-20 05:52

Java和人工智能哪个好？

在Java开发方向，像Java后端开发、大数据开发、微服务架构师、云计算架构师等高级岗位，收入会相对较高。而在人工智能领域，像机器学习工程师、深度学习工程师、自然语言处理工程师、数据科学家等方向的
华清远见成都中心·2024-02-20 04:50

redis(二) NoSql入门和概述(中)

2.3V+3高2.1)大数据时代的3V海量Volume多样Variety实时Velocity2.2)互联网需求的3高高并发高可扩高性能3.当下的NoSql经典应用3.1)当下的应用是sql和nosql一起使用
21号新秀_邓肯·2024-02-20 04:43

什么是数字中国？

数字中国是新时代国家信息化发展的新战略，是满足人民日益增长的美好生活需要的新举措，是驱动引领经济高质量发展的新动力，涵盖经济、政治、文化、社会、生态等各领域信息化建设，包括“宽带中国”、“互联网+”、大数据
30b0a35df674·2024-02-20 04:54

HBase——基础概念介绍

HBase底层存储基于HDFS实现，集群的管理基于ZooKeeper实现。
zhanglf1016·2024-02-20 04:43

大数据告诉你答案！

大数据为我们揭示了答案。腕表咨询微信：10428850一、复刻表市场现状近年来，随着互联网的普及，复刻表市场也日益繁荣。各种品牌、各种款式的复刻表层出不穷，价格也从几百元到上千元不等。然
腕表大师·2024-02-20 03:45

《A++ 敏捷开发》- 7 估算工作量

这几年大数据很火，很多高科技公司都推相关的工具或者方案，很多软件开发项目经理觉得应该也用数据分析，分析历史数据，准确预估项目工作量、工期。
EdmondSung·2024-02-20 03:30

Python近似最近邻搜索库之annoy使用详解

概要在大数据时代，处理高维数据集的需求越来越迫切，尤其是在机器学习、推荐系统和自然语言处理等领域。高维数据集中的一个常见问题是最近邻搜索，即找到与给定数据点最接近的数据点。
Rocky006·2024-02-20 02:58

（三十九）大数据实战——Prometheus监控平台的部署搭建

前言Prometheus监控（PrometheusMonitoring）是一种开源的系统监控和警报工具。它最初由SoundCloud开发并于2012年发布，并在2016年加入了云原生计算基金会（CNCF）。Prometheus监控旨在收集、存储和查询各种指标数据，以帮助用户监视其应用程序和系统的性能和运行状态。Prometheus是一个开源的完整监控解决方案，其对传统监控系统的测试和告警模型进行了
厉害哥哥吖·2024-02-20 02:52

新生代的开源监控系统Prometheus，一线开发者教你如何活学活用

新书速递从互联网、移动计算到云计算、大数据、人工智能，十多年来，信息技术的日新月异催生了不断涌现的互联网新业态，也推动了传统行业投身于数字化转型的创新浪潮。
hzbooks·2024-02-20 02:21

基于 Python 的大数据的电信反诈骗系统

博主介绍：✌程序员徐师兄、7年大厂程序员经历。全网粉丝12w+、csdn博客专家、掘金/华为云/阿里云/InfoQ等平台优质作者、专注于Java技术领域和毕业项目实战✌文末获取源码联系精彩专栏推荐订阅不然下次找不到哟2022-2024年最全的计算机软件毕业设计选题大全：1000个热门选题推荐✅Java项目精品实战案例《100套》Java微信小程序项目实战《100套》感兴趣的可以先收藏起来，还有大家
IT徐师兄·2024-02-20 02:39
上一页 13 14 15 16 17 18 19 20 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他