040-大数据技术

大数据技术之Spark

Spark概述1.1Spark是什么官方解释：Spark是一种基于内存的快速、通用、可扩展的大数据分析计算引擎。1.2SparkandHadoopHadoop的MapReduce是大家广为熟知的计算框架，那为什么咱们还要学习新的计算框架Spark呢，这里简单说一下Spark和Hadoop的关系。在时间节点上（重要）HadoppSpark2006年1月，DougCutting加入Yahoo，领导Ha
严同学正在努力·2024-01-25 21:38

大数据技术原理与应用 概念、存储、处理、分析和应用（林子雨）——第五章 NoSQL数据库

第五章NoSQL数据库NoSQL（NotOnlySQL）是指非关系型数据库，它的出现是为了解决关系型数据库在某些场景下的不足。NoSQL数据库相对于传统的关系型数据库，具有更高的可扩展性、更好的性能、更灵活的数据模型以及更低的成本等优势。在传统的关系型数据库中，数据被存储在严格的表结构中，这样的结构导致关系型数据库在处理大规模数据、高并发访问等场景时，面临很大的挑战。NoSQL数据库则采用了更加灵
m0_62096596·2024-01-25 17:05

hadoop集群部署

hadoop简介Hadoop是一个由Apache基金会所开发的分布式系统基础架构,是一个存储系统+计算框架的软件框架，主要解决海量数据存储与计算的问题，是大数据技术中的基石。
Cat God 007·2024-01-25 12:45

自然语言处理（NLP）的发展

自然语言处理的发展随着深度学习和大数据技术的进步，自然语言处理取得了显著的进步。人们正在研究如何使计算机更好地理解和生成人类语言，以及如何应用NLP技术改善搜索引擎、语音助手、机器翻译等领域。
志尊宝·2024-01-25 12:17

自然语言处理的发展

自然语言处理的发展随着深度学习和大数据技术的进步，自然语言处理取得了显著的进步。人们正在研究如何使计算机更好地理解和生成人类语言，以及如何应用NLP技术改善搜索引擎、语音助手、机器翻译等领域。
胡图不迷糊·2024-01-25 12:17

大数据技术-Hudi学习笔记

目录hudi学习相关文档hudi源码编译Hudi基本使用操作步骤集成Flink-SQL-Client方式环境准备数据写入集成Flink-代码编写方式代码地址环境准备编写代码提交运行集成Hive环境准备同步Hive使用HiveCatalog查询Hive外部表实时视图查询增量视图查询MOR表查询Hudi实战CDC数据同步离线批量导入全量接增量离线Compaction常见问题汇总mor模式存储一直看不到
笑一笑、·2024-01-25 09:51

基于Python Django的大数据招聘数据分析系统，包括数据大屏和后台管理

基于PythonDjango的大数据招聘数据分析系统是一个综合利用大数据技术和数据可视化技术的招聘行业解决方案。
叫我：松哥·2024-01-24 21:19

Hbas简介：数据模型和概念、物理视图

BigTable一Hbase简介二HBase访问接口简介三行式&列式存储四HBase数据模型4.1HBase列族数据模型4.2数据模型的相关概念4.3数据坐标五概念&物理视图说明本文参考自林子雨老师的大数据技术原理与应用
缘友一世·2024-01-24 08:17

数据采集与预处理01： 项目1 数据采集与预处理准备

大数据技术的意义确实不在于掌握规模庞大的数据信息，而在于对这些数据进行智能处理，从而分析和挖掘出有价值的信息，但前提是拥有大量的数据。数据采集过程中涉
深竹清风·2024-01-24 08:16

美创科技参编《数据安全风险评估实务：问题剖析与解决思路》正式发布

近日，由数据安全推进计划（DSI）联合中国通信标准化协会大数据技术标准推进委员会（CCSATC601），携手业内四十家企业、百余名专家撰写的《数据安全风险评估实务：问题剖析与解决思路》正式发布。
数据库安全·2024-01-24 06:05

Hadoop大数据技术有什么市场价值？2019年Hadoop大数据技术7大应用领域

由于国家对大数据、AI等等技术的关注，在多次发展规划中都提高了大数据技术，因此大数据技术对于这个时代的发展来说至关重要，大数据也正处于发展期、巩固期，基于已有的技术去完善和不断的发展大数据技术产品，满足互联网不符按发在的需求
金光闪闪耶·2024-01-24 01:08

自然语言处理的发展

自然语言处理的发展随着深度学习和大数据技术的进步，自然语言处理取得了显著的进步。人们正在研究如何使计算机更好地理解和生成人类语言，以及如何应用NLP技术改善搜索引擎、语音助手、机器翻译等领域。
十二点的泡面·2024-01-23 21:28

深度学习与大数据推动下的自然语言处理革命

引言：在当今数字化时代，深度学习和大数据技术的迅猛发展为自然语言处理（NaturalLanguageProcessing,NLP）领域注入了新的活力。
韩小浪~~·2024-01-23 19:12

自然语言处理的发展

近年来，随着深度学习和大数据技术的突破，NLP取得了显著的进步，为许多领域带来了革命性的变革。一、技术进步在NLP的发展中，关键技术的突破起到了至关重要的作用。
佛系爱学习·2024-01-23 16:15

用户侧智能配电与智能用电系统的应用及未来——安科瑞赵嘉敏

1、智能配电概述1.1概念：智能配电是在现有配电系统的基础上，通过引入先进的信息通信技术（ICT）、物联网技术和大数据技术，实现配电系统的实时监控、优化控制和自动运行，从而提高配电系统的
Acrel_zjm·2024-01-23 14:44

深度学习与大数据技术的进步：自然语言处理的显著突破

引言：随着深度学习和大数据技术的迅速发展，自然语言处理（NaturalLanguageProcessing，简称NLP）在过去几年取得了令人瞩目的进步。
梓德原·2024-01-23 08:33

C语言小案例_微信小程序开发（教学大纲） | 附视频

《微信小程序开发》教学大纲01.课程说明课程名称微信小程序开发学时45适用对象电子信息类、通信工程、计算机科学与技术、软件工程专业、物联网工程、数据科学与大数据技术、信息安全、网络工程和电子商务等专业先修课程
weixin_39640845·2024-01-23 04:14

Spark运行流程

Spark相对于Hadoop的优势Hadoop虽然已成为大数据技术的事实标准，但其本身还存在诸多缺陷，最主要的缺陷是其MapReduce计算模型延迟过高，无法胜任实时、快速计算的需求，因而只适用于离线批处
Cool_Pepsi·2024-01-23 02:12

3.大数据技术之Flink（基础篇）

文章目录1、Flink简介1.1Flink的引入1.2什么是Flink2、Flink架构体系2.1Flink中的重要角⾊JobManager处理器：TaskManager处理器：2.2无界数据流与有界数据流无界数据流：有界数据流：3、Flink集群操作4、DataSetAPI开发4.1案例4.1.1Flink批处理程序的一般流程4.1.2JAVA示例5、DataStreamAPI开发5.1案例5.
数据带你飞·2024-01-22 19:28

大数据技术原理及应用课实验3 ：熟悉常用的HBase操作

目录实验3熟悉常用的HBase操作一、实验目的二、实验平台三、实验步骤（每个步骤下均需有运行截图）（一）编程实现以下指定功能，并用Hadoop提供的HBaseShell命令完成相同任务：1.列出HBase所有的表的相关信息，例如表名；2.在终端打印出指定的表的所有记录数据；3.向已经创建好的表添加和删除指定的列族或列；4.统计表的行数。（二）HBase数据库操作1.现有以下关系型数据库中的表和数据
Blossom i·2024-01-22 08:08

大数据技术原理及应用课实验4： NoSQL和关系数据库的操作比较

目录实验4NoSQL和关系数据库的操作比较一、实验目的二、实验平台三、实验步骤（每个步骤下均需有运行截图）（一）MySQL数据库操作1.根据上面给出的Student表，在MySQL数据库中完成如下操作：(1)在MySQL中创建Student表，并录入数据；(3)查询zhangsan的Computer成绩；(4)修改lisi的Math成绩，改为95。2.根据上面已经设计出的Student表，使用My
Blossom i·2024-01-22 08:04

Hadoop基本概论

Hadoop概述1.Hadoop定义2.Hadoop发展历史3.Hadoop发行版本4.Hadoop优势5.Hadoop1.x/2.x/3.x6.HDFS架构7.Yarn架构8.MapReduce架构9.大数据技术生态体系一
LzYuY·2024-01-22 08:25

史上最全深度解析Flink内存管理--大数据技术

目前，大数据计算引擎主要使用Java或基于JVM的编程语言实现的，例如ApacheHadoop，ApacheSpark，ApacheDrill，ApacheFlink等。但同样会面临一个问题，就是如何在内存中存储大量的数据（包括缓存和高效处理）。JVM内存管理的不足：1）Java对象存储密度低。Java的对象在内存中存储包含3个主要部分：对象头，实例数据，拆分填充部分。例如，一个只包含boolea
大数据学习僧·2024-01-22 08:50

深度学习和大数据技术推动自然语言处理迈向新高度

引言近年来，深度学习和大数据技术的不断进步，使得自然语言处理（NaturalLanguageProcessing，NLP）取得了显著的成果。
能力工场小马哥·2024-01-22 07:03

自然语言处理的发展

自然语言处理技术的发展自然语言处理（NLP）作为人工智能领域的重要分支，在深度学习和大数据技术的推动下取得了显著的进步。
Java之弟·2024-01-22 05:27

深度融合：金融科技时代的蜕变进行曲

文/孟永辉金融科技成为替代互联网金融的呼声越来越高，而以智能科技、大数据技术在金融行业当中的应用所带来的改变则更加让这种趋势变得明显。
孟永辉·2024-01-22 01:04

django基于spark的电影推荐系统(程序+开题)

本系统（程序+源码+数据库+调试部署+开发环境）带文档lw万字以上，文末可获取系统程序文件列表开题报告内容研究背景：随着互联网的普及和大数据技术的发展，人们对于个性化推荐的需求越来越高。
liu10665·2024-01-21 21:35

django基于Hadoop平台的电影推荐系统(程序+开题报告)

本系统（程序+源码+数据库+调试部署+开发环境）带文档lw万字以上，文末可获取系统程序文件列表开题报告内容研究背景：随着互联网的普及和大数据技术的发展，人们对于个性化推荐的需求越来越高。
liu10662·2024-01-21 15:51

4W字全面解读数据中台、数据仓库和数据湖

随着大数据技术的不断更新和迭代，数据管理工具得到了飞速的发展，相关概念如雨后春笋一般应运而生，如从最初决
无精疯·2024-01-21 15:59

深度学习与大数据技术：推动自然语言处理的新篇章

深度学习与大数据技术：推动自然语言处理的新篇章随着科技的进步，我们的生活正在被各种智能设备所改变。这些设备能理解我们的语言，甚至能生成人类语言进行交流。
M乔木·2024-01-21 13:00

【日常聊聊】自然语言处理的发展

通过深度学习和大数据技术的不断进步，计算机在理解、处理和生成人类语言方面取得了前所未有的成就。本文将探讨NLP领域的关键技术、应用场景、面临的挑战与前景，以及技术发展对伦理和社会的
还在路上的秃头·2024-01-21 12:57

大数据技术汇总

HadoopHadoop入门概述Hadoop运行模式介绍HadoopHDFS的运行流程HadoopMapReduce的运行流程Hadoopyarn的运行流程Hadoop内HDFS、MapReduce和YARN交互过程HadoopHDFS常用命令HadoopYARN常用命令Hive大数据工具Hive介绍大数据工具Hive架构设计原理大数据之Hive常用命令大数据之Hive常用聚合函数大数据之Hive
转身成为了码农·2024-01-21 07:41

淘宝返利机器人是什么原理?返利云机器人的使用方法？

其核心原理在于利用机器学习算法和大数据技术，对电商平
测评君高省·2024-01-21 04:18

大数据技术原理及应用课实验1 熟悉常用的Linux操作和Hadoop操作

实验1熟悉常用的Linux操作和Hadoop操作一、实验目的Hadoop运行在Linux系统上，因此，需要学习实践一些常用的Linux命令。本实验旨在熟悉常用的Linux操作和Hadoop操作，为顺利开展后续的其他实验奠定基础。二、实验平台（1）操作系统：Linux（建议Ubuntu16.04或Ubuntu18.04）；（2）Hadoop版本：3.1.3。三、实验步骤（每个步骤下均需有运行截图）1
Blossom i·2024-01-21 02:21

大数据技术原理及应用课实验2 ：熟悉常用的HDFS操作

实验2熟悉常用的HDFS操作目录实验2熟悉常用的HDFS操作一、实验目的二、实验平台三、实验步骤（每个步骤下均需有运行截图）（一）编程实现以下功能，并利用Hadoop提供的Shell命令完成相同任务：（1）向HDFS中上传任意文本文件，如果指定的文件在HDFS中已经存在，则由用户来指定是追加到原有文件末尾还是覆盖原有的文件；（2）从HDFS中下载指定文件，如果本地文件与要下载的文件名称相同，则自动
Blossom i·2024-01-21 02:21

大数据技术原理及应用课实验5 :MapReduce初级编程实践

目录一、实验目的二、实验平台三、实验步骤（每个步骤下均需有运行截图）（一）编程实现文件合并和去重操作（二）编写程序实现对输入文件的排序（三）对给定的表格进行信息挖掘四、实验总结五、优化及改进（选做）实验5MapReduce初级编程实践一、实验目的1.通过实验掌握基本的MapReduce编程方法；2.掌握用MapReduce解决一些常见的数据处理问题，包括数据去重、数据排序和数据挖掘等。二、实验平台
Blossom i·2024-01-21 02:20

【JAVA】AI医疗导诊系统源码

智能导诊系统是一种基于人工智能和大数据技术开发的医疗辅助软件，它能够通过对患者的症状、病史等信息进行计算分析，快速推荐科室和医生。
源码技术栈·2024-01-21 00:11

大数据导论（3）---大数据技术

文章目录1.大数据技术概述2.数据采集与预处理2.1数据采集2.2预处理3.数据存储和管理3.1分布式基础架构Hadoop3.2分布式文件系统HDFS3.3分布式数据库HBase3.4非关系型数据库NoSQL4
冒冒菜菜·2024-01-20 21:28

在线招聘江湖：老、中、新三代平台对垒

翻开互联网招聘行业历史，PC时代51job、智联招聘等招聘网站将招聘信息从线下搬到线上；移动互联网时代BOSS直聘、拉勾等招聘平台善用大数据技术提高匹配的精准度；直播时代快打工改变了传统招聘的方式，以更直观的直播形式提高招聘效率
玄学范畴·2024-01-20 19:10

【NPL】自然语言处理（Natural Language Processing，NLP）的发展简述

目录背景发展线路研发关键词背景随着深度学习和大数据技术的进步，自然语言处理取得了显著的进步。
全栈小5·2024-01-20 17:09

大数据技术之Hadoop伪分布式安装步骤及结果（Ubuntu）

一、实验内容与要求1、下载安装虚拟机软件；下载Ubuntu镜像文件，安装Ubuntu虚拟机；2、在Ubuntu系统中创建用户、更新APT、安装SSH并配置SSH无密码登录、安装Java环境、配置PATH环境变量；3、下载Hadoop并解压；4、修改配置文件；5、名称节点格式化；6、启动Hadoop，JPS查看是否启动成功；7、运行测试例子；8、在安装好的Hadoop伪分布式环境中操作HDFS命令；
小嘤嘤怪学·2024-01-20 16:52

程序员必备的面试技巧——大数据工程师面试必备技能

目录前言一、不同工程师的职责和技能要求1、数仓开发工程师2、算法挖掘工程师3、大数据平台开发工程师4、大数据前端开发工程师二、大数据技术架构图三、大数据相关的技术内容四、大数据面试经验1、大数据开发岗位
Francek Chen·2024-01-20 11:22

为梦想踏出第一步：入住博客啦

#一.自我介绍大家好呀，我是一名来自湖南的大一学生，就读于一所双非本科院校，专业嘛是数据科学与大数据技术，我是一个对编程一窍不通的小菜鸟，但我这个小菜鸟又对编程有着浓厚的兴趣，也希望自己能在这一领域有所进步
果苏·2024-01-20 05:54

【话题】自然语言处理的发展

随着深度学习和大数据技术的进步，自然语言处理取得了显著的进步。人们正在研究如何使计算机更好地理解和生成人类语言，以及如何应用NLP技术改善搜索引擎、语音助手、机器翻译等领域。
RisunJan·2024-01-19 23:39

深度学习和大数据技术的进步在自然语言处理领域的应用

随着深度学习和大数据技术的迅猛发展，自然语言处理（NaturalLanguageProcessing，NLP）取得了显著的进步。
咕噜企业签名—美乐蒂·2024-01-19 09:28

2024大数据主要方向及岗位职责（二）

根据大数据技术体系及对人才的需求，本标准围绕数据预处理、数据标注、数据分析、产品开发、项目实施与运维、平台建设、数据安全、数据管理、运营与应用、咨询服务等10个方向对人才的岗位能力进行说明。
泰迪智能科技·2024-01-18 20:11

计算机项目-PHP实现的乡村振兴网站-大数据技术

件开发环境及开发工具：操作系统：Windows10、Windows7、Windows8开发语言：php前端技术：JavaScript、VUE.js（2.X）、css3开发工具：phpstorm、VisualStudioCode/HbuildX数据库：MySQL5.7.26（版本号）数据库管理工具：phpstudy/NavicatPHP版本：php7.1.9nts服务器：Nginx1.15.11功能
IT 实战课堂-猿程序·2024-01-18 16:45

Flume 如何自定义 Mysql Sink？

前言本文隶属于专栏《1000个问题搞定大数据技术体系》，该专栏为笔者原创，引用请注明来源，不足和错误之处请在评论区帮忙指出，谢谢！
Shockang·2024-01-17 19:49

shell脚本的学习

【笔记】shell编程——尚硅谷大数据技术之Shell_shell脚本Shell概述shell是一个命令行解释器，它接收应用程序/用户命令，然后调用操作系统内核脚本入门脚本格式脚本以#!
IT小艺·2024-01-17 12:06

一文了解数据库vs数据仓库vs数据湖

拆解几个OLAP核心概念大数据技术架构演进过程什么是数据湖？数据库、数据仓库、数据湖：哪个更合适？什么是数据库？数据库这个概念相信大家其实都不太陌生，无论是做应用服务还是做App开发，或者说是大数
KubeData·2024-01-17 02:11
上一页 1 2 3 4 5 6 7 8 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他