大数据技术进修班第9页

云计算与大数据技术应用知识及案列

云计算与大数据技术应用知识及案列简述什么是云计算？

星川皆无恙·2023-12-16 06:19

PySpark大数据处理详细教程

无论您是刚入门的数据分析师，还是寻求深入了解大数据技术的专业人士，这里都有丰富的知识和实用的技巧等着您。让我们一起潜入PySpark的世界，解锁数据处理和分析的无限可能！

数据科学知识库·2023-12-15 18:35

KaiwuDB 获评信通院 2023 大数据“星河”标杆案例

12月6日，由中国信息通信研究院、中国通信标准化协会大数据技术标准推进委员会(CCSATC601)共同组织的2023大数据“星河(Galaxy)”案例评选结果正式公示，“基于KaiwuDB的台区云储能示范项目

KaiwuDB 数据库·2023-12-15 17:09

新工科：数据科学与大数据技术实验中心解决方案，赋能高校新工科数智人才培养

数据科学与大数据技术专业作为适应大数据技术发展与产业需求的新工科专业，自2016年首次设立

美林数据Tempodata·2023-12-15 10:08

大数据技术13：HBase分布式列式数据库

前言：2007年Powerset的工作人员，通过google的论文开发出了BigTable的java版本，即HBASE。2008年HBASE贡献给了Apache。HBase需要依赖JDK环境。一、Hadoop的局限HBase是一个构建在Hadoop文件系统之上的面向列的数据库管理系统。要想明白为什么产生HBase，就需要先了解一下Hadoop存在的限制？Hadoop可以通过HDFS来存储结构化、半

Java架构何哥·2023-12-15 07:05

《PySpark大数据分析实战》-07.Spark本地模式安装

对大数据技术栈Hadoop、Hive、Spark、Kafka等有深入研究，对Data

wux_labs·2023-12-15 07:31

Hadoop集群部署实战指南

一、大数据简介1、为什么使用大数据技术？数据量越来越大数据分析的实时性越来越强数据结果的应用越来越广泛结论：我们需要使用大数据技术。

wespten·2023-12-15 07:53

《PySpark大数据分析实战》-03.了解Hive

对大数据技术栈Hadoop、Hive、Spark、Kafka等有深入研究，对Data

wux_labs·2023-12-15 06:42

探索AIGC未来：CPU源码优化、多GPU编程与中国算力瓶颈与发展

★人工智能；大数据技术;AIGC;Turbo;DALL·E3;多模态大模型；MLLM；LLM；Agent；Llama2；国产GPU芯片；GPU;CPU；高性能计算机；边缘计算；大模型显存占用；5G;深度学习

高性能服务器·2023-12-15 04:30

大数据存储技术（1）—— Hadoop简介及安装配置

Hadoop的优势二、Hadoop的组成（一）Hadoop1.x和Hadoop2.x的区别编辑（二）Hadoop的三种运行模式（三）HDFS架构概述（四）YARN架构概述（五）MapReduce架构概述（六）大数据技术生态体系三

Francek Chen·2023-12-14 19:08

GPT-4V 在保险行业的应用

在科技的进步中，人工智能与大数据技术的结合产生了巨大的能量，推动了各行各业的创新与变革。

小文智能·2023-12-14 15:32

数字化时代的到来，IT运维产业正在发生深刻的变革

其中，大数据技术的广泛应用和数据资源的日益丰富，正在对IT运维产业产生深远的影响。首先，大数据技术的应用使得IT运维更加智能化和自动化。

MXsoft618·2023-12-14 12:42

0基础如何学好大数据

当前大数据技术备受各行各业朋友的青睐，那么作为0基础的学员，到底应该怎么样才能学好大数据技术了，具体要学些什么了？我相信这是大多数转行大数据的朋友比较关注的问题，下面就由科多大数据的老师为大家答疑吧。

在DT时代的路上·2023-12-06 07:59

【读书笔记】《大数据技术体系详解：原理、架构与实践》03.分布式文件系统

在大数据场景中，大量数据是以文件形式保存的，典型代表是行为日志数据（用户搜索日志、购买日志、点击日志，以及机器操作日志等）。这些文件形式的数据具有价值高、数据大、流式产生等特点，需要一个分布式文件系统存储它们，该文件系统应具有良好的容错性、扩展性和易用的API，而HDFS（HadoopDistributedFileSystem）便是一个较为理想的解决方案。HDFSHDFS是一种块级别的分布式文件系

粥一样温柔·2023-12-06 05:40

大数据技术1：大数据架构设计理论

1、传统数据处理系统存在的问题随着信息时代互联网技术爆炸式的发展，人们对于网络的依赖程度日渐加深，在业务中需要处理的数据量快速增加，逐渐飙升到了一个惊人的数量级。并且数据产生的速度随着采集与处理技术的更新仍在加快。数据量从兆字节(MB)、吉字节(GB)的级别到现在的太字节(TB)、柏字节(PB)级别，数据量的变化促使数据管理系统(DBMS)和数据仓库(DataWarehouse,DW)系统也在悄然

Java架构何哥·2023-12-06 03:16

基于现代学徒制的大数据技术与应用人才培养模式探讨

1.学生可以通过实践项目来学习大数据技术与应用。学校可以与相关企业或组织合作，为学生提供实际的大数据项目。学生在实践项目中，可以学

泰迪智能科技·2023-12-06 03:22

分享2024年第一期！全国高校大数据与人工智能师资研修班

全国高校大数据与人工智能师资研修班2024年第一期上海线下班：数据采集与机器学习实战广州线下班：大数据技术应用实战（Hadoop+Spark）线上班（十一大专题）PyTorch深度学习与大模型应用实战数据采集与处理实战大数据分析与机器学习实战大数据技术应用实战

泰迪智能科技·2023-12-06 03:22

生产实践：基于K8S的私有化部署解决方案

公众号「架构成长指南」，专注于生产实践、云原生、分布式系统、大数据技术分享。

架构成长指南·2023-12-06 02:32

什么是革命性技术eBPF？为什么可观测性领域都得用它

公众号「架构成长指南」，专注于生产实践、云原生、分布式系统、大数据技术分享。如果有一种技术可以监控和采集任何应用信息，支持任何语言，并且应用完全无感知，零侵入，想想是不是很激动，那么这个技术是什么呢？

架构成长指南·2023-12-06 02:02

Spring Bean 命名各种方式，看着一篇就够了

公众号「架构成长指南」，专注于生产实践、云原生、分布式系统、大数据技术分享。在Spring框架中，每个bean必须至少有一个唯一的名称。

架构成长指南·2023-12-06 02:32

国内在线客服系统 TOP 7 排行榜

1、智齿客服智齿客服是一体化客户联络平台，不断整合前沿的人工智能及大数据技术，基于客户联络提供呼叫中心、在线机器人、语音机器人、人工在线客服、

代码狂人日记·2023-12-05 21:28

深度探索大数据分析：挖掘价值与洞察力

目录写在开头1.导论1.1大数据的定义与特征1.2大数据对业务和决策的影响1.3大数据分析的基本原则2.大数据技术与工具2.1分布式计算框架2.2数据存储与管理2.3大数据处理与分析工具3.数据采集与清洗

theskylife·2023-12-05 17:39

大数据技术发展

▶1.大数据时代美国互联网数据中心指出，互联网上的数据每年增长50%,每两年翻一番，目前世界上90%以上的数据是最近几年才产生的。此外，这些数据并非单纯是人们在互联网上发布的信息，85%的数据由传感器和计算机设备自动生成。全世界的各种工业设备、汽车、摄像头，以及无数的数码传感器，随时都在测量和传递着有关信息，这导致了海量数据的产生。例如，一个计算不同地点车辆流量的交通遥测应用，就会产生大量的数据。

豐儀麟阁贵·2023-12-05 15:27

我想在鼠年逆生长

我想在鼠年逆生长文/付朝兰我想生长在友人说我的年纪把我没有学到的知识去知识的海洋补给我想就按着三十六岁挑战一下自己想拥有的证书一本本补齐在这个逆生长的年纪依然早睡早起进修班里有自己的名字人生就像小草一样冬日枯萎

付朝兰·2023-12-05 14:32

大数据技术学习笔记（四）—— HDFS

目录1HDFS概述1.1HDFS背景与定义1.2HDFS优缺点1.3HDFS组成架构1.4HDFS文件块大小2HDFS的shell操作2.1上传2.2下载2.3HDFS直接操作3HDFS的客户端操作3.1Windows环境准备3.2获取HDFS的客户端连接对象3.3HDFS文件上传3.4HDFS文件下载3.5HDFS删除文件和目录3.6HDFS文件更名和移动3.7HDFS文件详情查看3.8HDFS

夏木夕·2023-12-05 05:18

文件研读：《福州市推进大数据发展三年行动计划（2018-2020年）》现状——斜杆第二步（18）

(二)大数据技术发展日新月异。(三)大数据应用与产业创新效果显著。

追求财务自由的中年人·2023-12-05 05:14

轻松入门大数据之玩转Flink，打造湖仓一体架构

要对这些数据进行有效地处理和管理，需要借助大数据技术。二、什么是ApacheFlink？ApacheFlink是一个开源的流数据处理引擎。它

m0_61827513·2023-12-05 02:11

老技术告诉你如何选择代理IP以满足数据采集需求

IPIDEAHTTP·2023-12-05 00:46

茄子科技张韶全：跨多云大数据平台DataCake在OceanBase的实践

其中，在“数字化转型升级实践专场”，我们有幸邀请到了茄子科技大数据技术总监张韶全进行《跨多云大数据平台DataCake在OceanBase的实践》主题演讲，以下为演讲全文：大家下午好！

OceanBase数据库官方博客·2023-12-04 21:49

国内外大数据经典案例研究

如何运用大数据技术从海量数据中挖掘出有价值的信息，将是今后企业发展的一个巨大挑战。点评收集研究了国内外大数据应用的经典案例，希望可以对读者有所启示。

AIGC方案·2023-12-04 07:55

大数据技术学习笔记（七）—— Zookeeper

目录1Zookeeper概述1.1Zookeeper定义1.2Zookeeper工作机制1.3Zookeeper特点1.4数据结构1.5应用场景2Zookeeper安装3客户端命令行操作4Zookeeper的Java客户端操作4.1IDEA环境搭建4.2初始化ZooKeeper客户端4.3创建子节点4.4获取子节点4.5判断Znode是否存在4.6获取子节点存储的数据4.7设置节点的值4.8删除节

夏木夕·2023-12-04 07:13

2021 大数据白皮书（中国信通院）

安全面这六个方向进行高速发展1.政策面：我国大数据战略进一步深化、激活数据要素潜能、加快数据要素市场化建设成为核心议题2.法律面：从基本法律、行业行政法规到地方立法，我国数据法律体系架构初步搭建完成3.技术面：大数据技术体系以提升效率

amuseme_lu·2023-12-04 05:10

大数据技术合集（持续更新）

0.大数据技术演变史（来自通信院）1.起源：Google的三驾马车1.1GFS1.2BigTable1.3MapReduce2.开源大数据文件、对象、块存储2.1分布式文件系统：HDFS、Ceph、GlusterFS

amuseme_lu·2023-12-04 05:39

大数据技术之Oozie

大数据技术之Oozie第1章Oozie简介Oozie英文翻译为：驯象人。

星川皆无恙·2023-12-03 13:00

大数据技术之Kafka：一篇文章带你学会Kafka

大数据技术之Kafka：一篇文章带你学会Kafka第1章Kafka概述1.1消息队列（1）点对点模式（一对一，消费者主动拉取数据，消息收到后消息清除）点对点模型通常是一个基于拉取或者轮询的消息传送模型，

星川皆无恙·2023-12-03 13:29

大数据技术之Flume（超级详细）

大数据技术之Flume（超级详细）第1章概述1.1Flume定义Flume是Cloudera提供的一个高可用的，高可靠的，分布式的海量日志采集、聚合和传输的系统。Flume基于流式架构，灵活简单。

星川皆无恙·2023-12-03 13:58

clickhouse

对大数据技术来说是一项非常大的挑战，传统的大数据查询引擎根本无法做到。Ad-hoc查询：即席查询（AdHoc）是用户根据自己的需求，灵活的选择查询条件，系统能够根据用户的选择生成相应的统计报表。即席

之古·2023-12-03 09:36

大数据技术学习笔记之hive框架基础3-sqoop工具的使用及具体业务分析

一、CDH版本的介绍及环境部署-》Hadoop的三大发行版本-》ApacheHadoop-》clouderaHadoop：CDH-》Hortonworks:HDP-》选用CDH版本的好处-》解决每个框架之间的兼容性问题-》不需要对其他框架进行对应版本的编译-》cdh5框架的下载：cdh-5.3.6-》http://archive.cloudera.com/cdh5/cdh/5/-》安装部署CDH版

黄剑锋1996·2023-12-02 19:50

大数据学习笔记

大数据技术之大数据概论第1章大数据概念大数据（BigData）：指无法在一定时间范围内用常规软件工具进行捕捉、管理和处理的数据集合，是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、

Try harder100·2023-12-02 19:19

小猿圈讲解Java可以做什么?

火爆高薪的大数据领域，java也能接入，大数据技术都在不同程度使用着java。2.移动应

小猿圈IT教育·2023-12-02 12:56

心理大师于际敬：技术人群心理特征及压力管理

WOT2015"互联网＋"时代大数据技术峰会于2015年11月28日于深圳前海华侨城JW万豪酒店盛大揭幕，42位业内重量级嘉宾汇聚，重磅解析大数据技术的点睛应用。秉承专注技术、服务技术人员的理念。

weixin_33894992·2023-12-02 11:59

法律ChatLaw、金融度小满轩辕大模型实战课程来袭！专家教你搭建 AI 原生应用，更有百度智能云千帆 SDK 加速应用创新

行业大模型应用浪潮随着科技的飞速发展，人工智能和大数据技术的融合应用已经成为各行业的核心竞争力。行业大

QbitAl·2023-12-02 10:58

每个大数据人都应该看的职业发展建议（内含薪酬参考）

这些能力看上去好像很空，没有各种大数据技术来的实在，但是在职场上工作的越久，就越能体会到这些能力的重要性。因为这是冰山模

笔名辉哥·2023-12-02 02:42

编程技术未来可能的发展趋势

编程技术未来可能的发展趋势1.云计算和大数据的融合随着云计算和大数据技术的不断发展，它们之间的融合将成为一个重要的趋势。

实相无相·2023-12-01 15:49

不花钱如何获取流量

4c79833ff92d·2023-12-01 13:16

2019-02-01

大数据技术的产生以及发展谷歌的三篇论文分布式文件系统GFS大数据分布式计算框架mapreduceNoSQL数据库系统BigTable大数据计算离线计算——批处理计算（MapReduce、Spark）实时计算

奔跑的风2019·2023-12-01 04:34

米哈游大数据云原生实践

在刚刚结束的2023云栖大会上，米哈游数据平台组大数据技术专家杜安明分享了米哈游大

阿里云云栖号·2023-12-01 00:13

众至科技数据防泄露系统，保护企业办公核心数据

数据防泄露解决方案办公数据安全全方位防护工具面对企业办公数据安全保护难点，众至科技依托于自身在大数据技术，人工智能技术领域的技术积累，根据金融

众至科技技术开放区·2023-11-30 19:52

云计算和大数据技术---学习笔记

云计算和大数据技术Part1云计算基础思维导图：练习题：Part1云计算基础思维导图：练习题：云计算技术是硬件技术和网络技术发展到一定阶段而出现的一种新的技术模型，通常技术人员在绘制系统结构图时用一朵云来表示网络与传统的资源提供方式相比

OldManWalk·2023-11-30 15:50

Apache Airflow (十四) ：Airflow分布式集群搭建及测试

个人主页：IT贫道_大数据OLAP体系技术栈,ApacheDoris,Clickhouse技术-CSDN博客私聊博主：加入大数据技术讨论群聊，获取更多大数据资料。

IT贫道·2023-11-30 11:01

推荐频道

大数据技术进修班