040-大数据技术

《PySpark大数据分析实战》-07.Spark本地模式安装

对大数据技术栈Hadoop、Hive、Spark、Kafka等有深入研究，对Data
wux_labs·2023-12-15 07:31

Hadoop集群部署实战指南

一、大数据简介1、为什么使用大数据技术？数据量越来越大数据分析的实时性越来越强数据结果的应用越来越广泛结论：我们需要使用大数据技术。
wespten·2023-12-15 07:53

《PySpark大数据分析实战》-03.了解Hive

对大数据技术栈Hadoop、Hive、Spark、Kafka等有深入研究，对Data
wux_labs·2023-12-15 06:42

探索AIGC未来：CPU源码优化、多GPU编程与中国算力瓶颈与发展

★人工智能；大数据技术;AIGC;Turbo;DALL·E3;多模态大模型；MLLM；LLM；Agent；Llama2；国产GPU芯片；GPU;CPU；高性能计算机；边缘计算；大模型显存占用；5G;深度学习
高性能服务器·2023-12-15 04:30

大数据存储技术（1）—— Hadoop简介及安装配置

Hadoop的优势二、Hadoop的组成（一）Hadoop1.x和Hadoop2.x的区别编辑（二）Hadoop的三种运行模式（三）HDFS架构概述（四）YARN架构概述（五）MapReduce架构概述（六）大数据技术生态体系三
Francek Chen·2023-12-14 19:08

GPT-4V 在保险行业的应用

在科技的进步中，人工智能与大数据技术的结合产生了巨大的能量，推动了各行各业的创新与变革。
小文智能·2023-12-14 15:32

数字化时代的到来，IT运维产业正在发生深刻的变革

其中，大数据技术的广泛应用和数据资源的日益丰富，正在对IT运维产业产生深远的影响。首先，大数据技术的应用使得IT运维更加智能化和自动化。
MXsoft618·2023-12-14 12:42

0基础如何学好大数据

当前大数据技术备受各行各业朋友的青睐，那么作为0基础的学员，到底应该怎么样才能学好大数据技术了，具体要学些什么了？我相信这是大多数转行大数据的朋友比较关注的问题，下面就由科多大数据的老师为大家答疑吧。
在DT时代的路上·2023-12-06 07:59

【读书笔记】《大数据技术体系详解：原理、架构与实践》03.分布式文件系统

在大数据场景中，大量数据是以文件形式保存的，典型代表是行为日志数据（用户搜索日志、购买日志、点击日志，以及机器操作日志等）。这些文件形式的数据具有价值高、数据大、流式产生等特点，需要一个分布式文件系统存储它们，该文件系统应具有良好的容错性、扩展性和易用的API，而HDFS（HadoopDistributedFileSystem）便是一个较为理想的解决方案。HDFSHDFS是一种块级别的分布式文件系
粥一样温柔·2023-12-06 05:40

大数据技术1：大数据架构设计理论

1、传统数据处理系统存在的问题随着信息时代互联网技术爆炸式的发展，人们对于网络的依赖程度日渐加深，在业务中需要处理的数据量快速增加，逐渐飙升到了一个惊人的数量级。并且数据产生的速度随着采集与处理技术的更新仍在加快。数据量从兆字节(MB)、吉字节(GB)的级别到现在的太字节(TB)、柏字节(PB)级别，数据量的变化促使数据管理系统(DBMS)和数据仓库(DataWarehouse,DW)系统也在悄然
Java架构何哥·2023-12-06 03:16

基于现代学徒制的大数据技术与应用人才培养模式探讨

1.学生可以通过实践项目来学习大数据技术与应用。学校可以与相关企业或组织合作，为学生提供实际的大数据项目。学生在实践项目中，可以学
泰迪智能科技·2023-12-06 03:22

分享2024年第一期！全国高校大数据与人工智能师资研修班

全国高校大数据与人工智能师资研修班2024年第一期上海线下班：数据采集与机器学习实战广州线下班：大数据技术应用实战（Hadoop+Spark）线上班（十一大专题）PyTorch深度学习与大模型应用实战数据采集与处理实战大数据分析与机器学习实战大数据技术应用实战
泰迪智能科技·2023-12-06 03:22

生产实践：基于K8S的私有化部署解决方案

公众号「架构成长指南」，专注于生产实践、云原生、分布式系统、大数据技术分享。
架构成长指南·2023-12-06 02:32

什么是革命性技术eBPF？为什么可观测性领域都得用它

公众号「架构成长指南」，专注于生产实践、云原生、分布式系统、大数据技术分享。如果有一种技术可以监控和采集任何应用信息，支持任何语言，并且应用完全无感知，零侵入，想想是不是很激动，那么这个技术是什么呢？
架构成长指南·2023-12-06 02:02

Spring Bean 命名各种方式，看着一篇就够了

公众号「架构成长指南」，专注于生产实践、云原生、分布式系统、大数据技术分享。在Spring框架中，每个bean必须至少有一个唯一的名称。
架构成长指南·2023-12-06 02:32

国内在线客服系统 TOP 7 排行榜

1、智齿客服智齿客服是一体化客户联络平台，不断整合前沿的人工智能及大数据技术，基于客户联络提供呼叫中心、在线机器人、语音机器人、人工在线客服、
代码狂人日记·2023-12-05 21:28

深度探索大数据分析：挖掘价值与洞察力

目录写在开头1.导论1.1大数据的定义与特征1.2大数据对业务和决策的影响1.3大数据分析的基本原则2.大数据技术与工具2.1分布式计算框架2.2数据存储与管理2.3大数据处理与分析工具3.数据采集与清洗
theskylife·2023-12-05 17:39

大数据技术发展

▶1.大数据时代美国互联网数据中心指出，互联网上的数据每年增长50%,每两年翻一番，目前世界上90%以上的数据是最近几年才产生的。此外，这些数据并非单纯是人们在互联网上发布的信息，85%的数据由传感器和计算机设备自动生成。全世界的各种工业设备、汽车、摄像头，以及无数的数码传感器，随时都在测量和传递着有关信息，这导致了海量数据的产生。例如，一个计算不同地点车辆流量的交通遥测应用，就会产生大量的数据。
豐儀麟阁贵·2023-12-05 15:27

大数据技术学习笔记（四）—— HDFS

目录1HDFS概述1.1HDFS背景与定义1.2HDFS优缺点1.3HDFS组成架构1.4HDFS文件块大小2HDFS的shell操作2.1上传2.2下载2.3HDFS直接操作3HDFS的客户端操作3.1Windows环境准备3.2获取HDFS的客户端连接对象3.3HDFS文件上传3.4HDFS文件下载3.5HDFS删除文件和目录3.6HDFS文件更名和移动3.7HDFS文件详情查看3.8HDFS
夏木夕·2023-12-05 05:18

文件研读：《福州市推进大数据发展三年行动计划（2018-2020年）》现状——斜杆第二步（18）

(二)大数据技术发展日新月异。(三)大数据应用与产业创新效果显著。
追求财务自由的中年人·2023-12-05 05:14

轻松入门大数据之玩转Flink，打造湖仓一体架构

要对这些数据进行有效地处理和管理，需要借助大数据技术。二、什么是ApacheFlink？ApacheFlink是一个开源的流数据处理引擎。它
m0_61827513·2023-12-05 02:11

老技术告诉你如何选择代理IP以满足数据采集需求

根据IDC发布的大数据行业最新报道显示，目前已经有越来越多的企业将重点放在大数据技术之上，以大数据来进行创新工业互联网的建设，携手央国企共同推进新型工业化。由此可见大数据的重要性。
IPIDEAHTTP·2023-12-05 00:46

茄子科技张韶全：跨多云大数据平台DataCake在OceanBase的实践

其中，在“数字化转型升级实践专场”，我们有幸邀请到了茄子科技大数据技术总监张韶全进行《跨多云大数据平台DataCake在OceanBase的实践》主题演讲，以下为演讲全文：大家下午好！
OceanBase数据库官方博客·2023-12-04 21:49

国内外大数据经典案例研究

如何运用大数据技术从海量数据中挖掘出有价值的信息，将是今后企业发展的一个巨大挑战。点评收集研究了国内外大数据应用的经典案例，希望可以对读者有所启示。
AIGC方案·2023-12-04 07:55

大数据技术学习笔记（七）—— Zookeeper

目录1Zookeeper概述1.1Zookeeper定义1.2Zookeeper工作机制1.3Zookeeper特点1.4数据结构1.5应用场景2Zookeeper安装3客户端命令行操作4Zookeeper的Java客户端操作4.1IDEA环境搭建4.2初始化ZooKeeper客户端4.3创建子节点4.4获取子节点4.5判断Znode是否存在4.6获取子节点存储的数据4.7设置节点的值4.8删除节
夏木夕·2023-12-04 07:13

2021 大数据白皮书（中国信通院）

安全面这六个方向进行高速发展1.政策面：我国大数据战略进一步深化、激活数据要素潜能、加快数据要素市场化建设成为核心议题2.法律面：从基本法律、行业行政法规到地方立法，我国数据法律体系架构初步搭建完成3.技术面：大数据技术体系以提升效率
amuseme_lu·2023-12-04 05:10

大数据技术合集（持续更新）

0.大数据技术演变史（来自通信院）1.起源：Google的三驾马车1.1GFS1.2BigTable1.3MapReduce2.开源大数据文件、对象、块存储2.1分布式文件系统：HDFS、Ceph、GlusterFS
amuseme_lu·2023-12-04 05:39

大数据技术之Oozie

大数据技术之Oozie第1章Oozie简介Oozie英文翻译为：驯象人。
星川皆无恙·2023-12-03 13:00

大数据技术之Kafka：一篇文章带你学会Kafka

大数据技术之Kafka：一篇文章带你学会Kafka第1章Kafka概述1.1消息队列（1）点对点模式（一对一，消费者主动拉取数据，消息收到后消息清除）点对点模型通常是一个基于拉取或者轮询的消息传送模型，
星川皆无恙·2023-12-03 13:29

大数据技术之Flume（超级详细）

大数据技术之Flume（超级详细）第1章概述1.1Flume定义Flume是Cloudera提供的一个高可用的，高可靠的，分布式的海量日志采集、聚合和传输的系统。Flume基于流式架构，灵活简单。
星川皆无恙·2023-12-03 13:58

clickhouse

对大数据技术来说是一项非常大的挑战，传统的大数据查询引擎根本无法做到。Ad-hoc查询：即席查询（AdHoc）是用户根据自己的需求，灵活的选择查询条件，系统能够根据用户的选择生成相应的统计报表。即席
之古·2023-12-03 09:36

大数据技术学习笔记之hive框架基础3-sqoop工具的使用及具体业务分析

一、CDH版本的介绍及环境部署-》Hadoop的三大发行版本-》ApacheHadoop-》clouderaHadoop：CDH-》Hortonworks:HDP-》选用CDH版本的好处-》解决每个框架之间的兼容性问题-》不需要对其他框架进行对应版本的编译-》cdh5框架的下载：cdh-5.3.6-》http://archive.cloudera.com/cdh5/cdh/5/-》安装部署CDH版
黄剑锋1996·2023-12-02 19:50

大数据学习笔记

大数据技术之大数据概论第1章大数据概念大数据（BigData）：指无法在一定时间范围内用常规软件工具进行捕捉、管理和处理的数据集合，是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、
Try harder100·2023-12-02 19:19

小猿圈讲解Java可以做什么?

火爆高薪的大数据领域，java也能接入，大数据技术都在不同程度使用着java。2.移动应
小猿圈IT教育·2023-12-02 12:56

心理大师于际敬：技术人群心理特征及压力管理

WOT2015"互联网＋"时代大数据技术峰会于2015年11月28日于深圳前海华侨城JW万豪酒店盛大揭幕，42位业内重量级嘉宾汇聚，重磅解析大数据技术的点睛应用。秉承专注技术、服务技术人员的理念。
weixin_33894992·2023-12-02 11:59

法律ChatLaw、金融度小满轩辕大模型实战课程来袭！专家教你搭建 AI 原生应用，更有百度智能云千帆 SDK 加速应用创新

行业大模型应用浪潮随着科技的飞速发展，人工智能和大数据技术的融合应用已经成为各行业的核心竞争力。行业大
QbitAl·2023-12-02 10:58

每个大数据人都应该看的职业发展建议（内含薪酬参考）

这些能力看上去好像很空，没有各种大数据技术来的实在，但是在职场上工作的越久，就越能体会到这些能力的重要性。因为这是冰山模
笔名辉哥·2023-12-02 02:42

编程技术未来可能的发展趋势

编程技术未来可能的发展趋势1.云计算和大数据的融合随着云计算和大数据技术的不断发展，它们之间的融合将成为一个重要的趋势。
实相无相·2023-12-01 15:49

2019-02-01

大数据技术的产生以及发展谷歌的三篇论文分布式文件系统GFS大数据分布式计算框架mapreduceNoSQL数据库系统BigTable大数据计算离线计算——批处理计算（MapReduce、Spark）实时计算
奔跑的风2019·2023-12-01 04:34

米哈游大数据云原生实践

在刚刚结束的2023云栖大会上，米哈游数据平台组大数据技术专家杜安明分享了米哈游大
阿里云云栖号·2023-12-01 00:13

众至科技数据防泄露系统，保护企业办公核心数据

数据防泄露解决方案办公数据安全全方位防护工具面对企业办公数据安全保护难点，众至科技依托于自身在大数据技术，人工智能技术领域的技术积累，根据金融
众至科技技术开放区·2023-11-30 19:52

云计算和大数据技术---学习笔记

云计算和大数据技术Part1云计算基础思维导图：练习题：Part1云计算基础思维导图：练习题：云计算技术是硬件技术和网络技术发展到一定阶段而出现的一种新的技术模型，通常技术人员在绘制系统结构图时用一朵云来表示网络与传统的资源提供方式相比
OldManWalk·2023-11-30 15:50

Apache Airflow (十四) ：Airflow分布式集群搭建及测试

个人主页：IT贫道_大数据OLAP体系技术栈,ApacheDoris,Clickhouse技术-CSDN博客私聊博主：加入大数据技术讨论群聊，获取更多大数据资料。
IT贫道·2023-11-30 11:01

Apache Flink（三）：Flink核心特性及应用场景

个人主页：IT贫道_大数据OLAP体系技术栈,ApacheDoris,Clickhouse技术-CSDN博客私聊博主：加入大数据技术讨论群聊，获取更多大数据资料。
IT贫道·2023-11-30 11:01

Apache Flink（二）：数据架构演变

个人主页：IT贫道_大数据OLAP体系技术栈,ApacheDoris,Clickhouse技术-CSDN博客私聊博主：加入大数据技术讨论群聊，获取更多大数据资料。
IT贫道·2023-11-30 11:19

大数据技术之Hadoop（HDFS）

1.HDFS概述1.1HDFS产生背景和意义1.HDFS产生背景随着数据量越来越大，在一个操作系统存不下所有的数据，那么就分配到更多的操作系统管理的磁盘中，但是不方便管理和维护，迫切需要一种系统来管理多台机器上的文件，这就是分布式文件管理系统。HDFS只是分布式文件管理系统中的一种。2.HDFS定义HDFS（HadoopDistributedFileSystem），它是一个文件系统，用于存储文件，
江苏彭与晏·2023-11-30 10:23

基于AIOT技术的智慧教室智能物联管控系统设计与实现（提纲）

本文提出了一种基于AIOT技术的智慧教室智能物联管控系统设计与实现方案，该方案集成了物联网技术、人工智能技术、大数据技术和云计算技术等先进技术，旨在提高教学质量和效率，为学生提供更好的学习体验。
码视野·2023-11-30 05:23

信创大数据平台容灾项目

以大数据技术挖掘客户基础信息、交易行为建设的客户标签画像，在我行业务营销、业务风险防控中起到越来越重要的作用，为我行业务发展构筑了数据防线。以大
四月天03·2023-11-30 02:39

奇点云数据中台技术汇（三）| DataSimba系列之计算引擎篇

随着移动互联网、云计算、物联网和大数据技术的广泛应用，现代社会已经迈入全新的大数据时代。数据的爆炸式增长以及价值的扩大化，将对企业未来的发展产生深远的影响，数据将成为企业的核心资产。
cuba7764·2023-11-30 00:00

大数据技术之HBase

文章目录初入HBase首先肯定是①什么是HBase？，②我们用这个东西来干嘛？③这个东西的优缺点又是啥？数据模型HBase的架构HBase逻辑结构HBase物理存储结构HBase基本架构HBase进阶Master架构RegionServer架构写流程读流程初入HBase首先肯定是①什么是HBase？，②我们用这个东西来干嘛？③这个东西的优缺点又是啥？  ①HBase是以hdfs为数据存储，一个面向
Red-P·2023-11-29 20:57
上一页 5 6 7 8 9 10 11 12 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他