大数据应用

【EI会议征稿通知】第五届计算机信息和大数据应用国际学术会议（CIBDA 2024）

第五届计算机信息和大数据应用国际学术会议（CIBDA2024）20245thInternationalConferenceonComputerInformationandBigDataApplications
搞科研的小刘选手·2024-01-15 05:14

netty（T-io）详解（包含4种io模型详解）

1、时代背景5G应用，多终端应用，物联网应用，小程序，工业互联，大数据应用等等大前端时代的到来，程序员不能只关注crud，因为以后的服务并发量只会越来越多。
Dark_Code·2024-01-14 19:24

瘦吧减脂 App 见证大数据与大健康的碰撞，成为数百万体重健康管理用户的选择...

以数字化赋能健康管理为核心，着力打造集科技研发、智能硬件、生产物流、销售支持、社群服务、品牌支持、培训教育及大数据应用为一体的专业数字健康管理平台，神策数据签约客户瘦吧科技已累计服务全球数百万肥胖人群，
神策数据·2024-01-13 22:11

瘦吧减脂 App 见证大数据与大健康的碰撞，成为数百万体重健康管理用户的选择...

以数字化赋能健康管理为核心，着力打造集科技研发、智能硬件、生产物流、销售支持、社群服务、品牌支持、培训教育及大数据应用为一体的专业数字健康管理平台，神策数据签约客户瘦吧科技已累计服务全球数百万肥胖人群，
神策数据·2024-01-13 22:41

瘦吧减脂 App 见证大数据与大健康的碰撞，成为数百万体重健康管理用户的选择...

以数字化赋能健康管理为核心，着力打造集科技研发、智能硬件、生产物流、销售支持、社群服务、品牌支持、培训教育及大数据应用为一体的专业数字健康管理平台，神策数据签约客户瘦吧科技已累计服务全球数百万肥胖人群，
神策数据·2024-01-13 22:40

Hadoop 的核心 —— HDFS（1）

是一个分布式计算的解决方案Hadoop=HDFS（分布式文件系统）+MapReduce（分布式计算）Hadoop的两个核心：HDFS分布式文件系统：存储是大数据技术的基础MapReduce编程模型：分布式计算是大数据应用的解决方案先来介绍第一个核心
土冥王·2024-01-12 16:13

大数据时代下的智能汽车

专注于汽车行业大数据应用的数策明确表示：未来十年，中国汽车
发源地大数据交易平台·2024-01-12 16:41

什么是大数据测试？有哪些类型？应该怎么测?

随着目前世界上各个国家使用大数据应用程序或应用大数据技术场景的数量呈指数增长，相应的，对于测试大数据应用时所需的知识与大数据测试工程师的需求也在同步增加。
跟我一起学测试呀·2024-01-12 05:33

基于Flume、Kafka和Storm实现企业大数据平台的实时数据采集

近年来，随着企业信息化建设的飞速发展，大数据应用的问题越来越备受关注。
皮皮杂谈·2024-01-11 07:26

ai电销机器人原理是什么？它的语音识别是如何实现的？

随着智能语音技术的成熟、智能ai学习技术的不断发展，加上大数据应用的分析能力，电销机器人正在通过精准的识别率、快速响应速度、高超的话术、转坐席支持等技术解决传统电销转化低、效率低、外界干扰较多等瓶颈。
VO_794632978·2024-01-06 05:54

【金猿人物展】龙船科技CEO杜忠平：交通运输数据要素市场化及其时空大数据应用思考...

‍杜忠平本文由龙船科技CEO杜忠平撰写并投递参与“数据猿年度金猿策划活动——2023大数据产业年度趋势人物榜单及奖项”评选。大数据产业创新服务媒体——聚焦数据·改变商业麦肯锡的研究报告早在2014年数据流动直接创造的价值就高达2.3万亿美元，高于国际人口流动（1.5万亿美元）和外商直接投资（1.3万亿美元）创造的价值，略低于商品贸易（2.7万亿美元）。10年时间转瞬，在数字化时代，数据已成为企业最
数据猿·2024-01-05 23:34

2022年第十三届中国数据库技术大会（DTCC2022）-核心PPT资料下载

本次峰会包含：NoSQL数据库技术实践、SQL审计与SQL优化、大数据平台架构设计、大数据应用、分布式数据库技术佳实践、分布式数据库应用
百家峰会·2024-01-05 14:25

大数据应用场景-搜索引擎概述

一.搜索引擎常用结构:就是如下图所示的三段式结构:image.png1.数据收集:通过爬虫(spider)从互联网网页爬取网页数据,存储到网页库;2.建立索引:分析整理爬虫收集到的数据资源,建立索引,为检索系统提供数据;3.提供检索服务:从预处理好的资源里挑选出用户最满意的结果最快最好的展现给用户;二.基于HadoopMapReduce实现创建索引库的流程如下:image.png1.目的:建立供检
GuangHui·2024-01-04 16:14

2024年统一大数据应用场景的技术

前言：中间件/大数据组件的出现是为了解决特定的应用场景。大数据技术正处于高速发展时期，有些应用场景基本已经统一了技术选型，有些技术场景的赛道正在互相角力，本文基于特定技术统一应用场景这个目的展开讨论；对于应用场景默认技术选型的技术，我们可以当做大数据基础能力学习，对于正在发展的赛道，可以持续关注发展动态，为后续技术架构优化做准备。后续会从标准选型的技术展开分析，我在这里抛砖引玉，希望各位技术友人，
i7杨·2024-01-04 03:07

2024年大数据技术分析选型

市场上对于各种应用场景的大数据技术正在蓬勃发展，有些已经成熟，有些还在优化，如果站在2024年去解决大数据应用场景技术选型，我们该如何做？一、技术场景分类大数据技术能做什么？
i7杨·2024-01-04 03:03

大数据应用领域：数据驱动一切

大数据出现的时间只有十几年，被人们广泛接受并应用只有几年的时间，但就是这短短几年的时间，大数据呈现出爆炸式增长的态势。在各个领域，大数据的身影几乎无处不在。今天我们通过一些大数据典型的应用场景分析，一起来看看大数据到底能做些什么，我们学大数据究竟有什么用，应该关注大数据的哪些方面。医疗健康领域健康医疗领域是最近几年获得最多创业者和投资人青睐的大数据领域。为什么这么说呢？首先，医疗健康领域会产生大量
善守的大龙猫·2024-01-01 17:25

安装Hadoop：Hadoop的单机模式、伪分布式模式——备赛笔记——2024全国职业院校技能大赛“大数据应用开发”赛项

前言Hadoop包括三种安装模式：单机模式：只在一台机器上运行，存储是采用本地文件系统，没有采用分布式文件系统HDFS；伪分布式模式：存储采用分布式文件系统HDFS，但是，HDFS的名称节点和数据节点都在同一台机器上；分布式模式：存储采用分布式文件系统HDFS，而且，HDFS的名称节点和数据节点位于不同机器上。这篇笔记适合于原生Hadoop3.1.3，主要参考了官方安装教程，步骤详细，辅以适当说明
Stitch .·2024-01-01 10:09

大数据应用开发2-Scala语言各个环境配置

一、首先安装JDK1.8版本(简单过一下)1.下载与安装下载Java1.8地址：JavaDownloads|Oracle中国点击跳转（下载需要登录甲骨文账号）下载完成运行修改安装目录（两个都要改）复制第一次修改的安装目录2.配置环境变量在此电脑图标上右键，打开属性，点开高级系统设置——》环境变量在系统环境变量里新建——变量名：JAVA_HOME变量值就是刚刚复制的地址再双击PATH编辑，新建%JA
争渡争渡！·2024-01-01 00:38

01大数据导论和计算机组成

目前的大数据应用，数据量主要集中在PB/EB级别大数据能解决什么问题?海量数据存储：数据分析的前提是有数据，数据存储的目的是支撑数据分析。
PGl63·2023-12-31 22:40

VitulBox中Ubuntu虚拟机安装JAVA环境——备赛笔记——2024全国职业院校技能大赛“大数据应用开发”赛项

前言在进行之后操作是请下载好JDK，之后的内容是以Ubuntu虚拟机中安装java环境续写。提示：以下操作是在虚拟机hadoop用户下操作的，并为安装java环境作准备一、更新APT为了确保Hadoop安装过程顺利进行，建议用hadoop用户登录Linux系统后打开一个终端，执行下面命令更新APT软件：sudoapt-getupdate二、安装SSH1，安装SSH服务端代码如下（示例）：sudoa
Stitch .·2023-12-31 20:41

Oracle VirtualBox中Linux系统基本使用方法——备赛笔记——2024全国职业院校技能大赛“大数据应用开发”赛项

没有安装好VirtualBox中的ubuntu系统以及创建Hadoop账户的请参考小北之前的三篇博客：ubuntu18.0464位安装笔记——备赛笔记——2024全国职业院校技能大赛“大数据应用开发”赛项
Stitch .·2023-12-31 16:18

总结程序员这些年的数据应用发展史：从搜索引擎到人工智能

从最开始的Google在搜索引擎中开始使用大数据技术，到现在无处不在的各种人工智能应用，伴随着大数据技术的发展，大数据应用也从曲高和寡走到了今天的遍地开花。
taya_a·2023-12-31 06:19

从0开始学大数据02-大数据应用发展史：从搜索引擎到人工智能

预习02|大数据应用发展史：从搜索引擎到人工智能上一期我们聊了大数据技术的发展历程，事实上，我们对大数据技术的使用同样也经历了一个发展过程。
源码头·2023-12-31 06:18

预习 02 | 大数据应用发展史：从搜索引擎到人工智能

从最开始的Google在搜索引擎中开始使用大数据技术，到现在无处不在的各种人工智能应用，伴随着大数据技术的发展，大数据应用也从曲高和寡走到了今天的遍地开花。
_Rye_·2023-12-31 06:48

【文末抽奖】大数据应用发展史：从搜索引擎到人工智能

从最开始的Google在搜索引擎中开始使用大数据技术，到现在无处不在的各种人工智能应用，伴随着大数据技术的发展，大数据应用也从曲高和寡走到了今天的遍地开花。
LinkTime_Cloud·2023-12-31 05:43

大数据应用发展史：从搜索引擎时代到机器学习时代

文章目录搜索引擎时代数据仓库时代数据挖掘时代机器学习时代小结大数据技术的使用经历了一个发展过程从最开始的Google在搜索引擎中开始使用大数据技术，到现在无处不在的各种人工智能应用，伴随着大数据技术的发展，大数据应用也从曲高和寡走到了今天的遍地开花
善守的大龙猫·2023-12-31 05:11

Hadoop安装笔记2单机/伪分布式配置_Hadoop3.1.3——备赛笔记——2024全国职业院校技能大赛“大数据应用开发”赛项——任务2：离线数据处理

紧接着上一篇博客：Hadoop安装笔记1：Hadoop安装笔记1单机/伪分布式配置_Hadoop3.1.3——备赛笔记——2024全国职业院校技能大赛“大数据应用开发”赛项——任务2：离线数据处理-CSDN
Stitch .·2023-12-29 02:00

在Windows中使用VirtualBox安装Ubuntu虚拟机Oracle VM VirtualBox——备赛笔记——2024全国职业院校技能大赛“大数据应用开发”赛项

OracleVMVirtualBox的安装”和“Ubuntu虚拟机配置”详细安装教程在小北前面两个博客里面：OracleVMVirtualBox初次安装及登入，异常退出及修改用——备赛笔记——2024全国职业院校技能大赛“大数据应用开发
Stitch .·2023-12-29 02:29

Hive安装笔记——备赛笔记——2024全国职业院校技能大赛“大数据应用开发”赛项——任务2：离线数据处理

将下发的ds_db01.sql数据库文件放置mysql中12、编写Scala代码，使用Spark将MySQL的ds_db01库中表user_info的全量数据抽取到Hive的ods库中表user_info。字段名称、类型不变，同时添加静态分区，分区字段为etl_date，类型为String，且值为当前日期的前一天日期（分区字段格式为yyyyMMdd）。使用hivecli执行showpartitio
Stitch .·2023-12-29 02:29

Hadoop安装笔记_单机/伪分布式配置_Hadoop3.1.3——备赛笔记——2024全国职业院校技能大赛“大数据应用开发”赛项——任务2：离线数据处理

将下发的ds_db01.sql数据库文件放置mysql中12、编写Scala代码，使用Spark将MySQL的ds_db01库中表user_info的全量数据抽取到Hive的ods库中表user_info。字段名称、类型不变，同时添加静态分区，分区字段为etl_date，类型为String，且值为当前日期的前一天日期（分区字段格式为yyyyMMdd）。使用hivecli执行showpartitio
Stitch .·2023-12-28 12:32

银行业外部数据：买，只是第一步

据中国信通院数据，银行业外部采购应用场景中，大数据应用采购占比最高，达到了87.1%；保险业大数据识别采购占比也达87.2%。这一组数据可以看出，金融机构对大数据的需求可谓迫切。
常言道_·2023-12-27 19:03

金融大数据应用-企业信贷风险防控模型竞赛开始-中国建设银行数据集-作者开箱测评

竞赛名称为金融大数据应用：企业信贷风险防控；组织单位：数字中国建设峰会组委会；中国建设银行提供模型竞赛数据集。这次模型竞赛奖金很高，总奖金160万元，一等奖八万元。
python机器学习建模·2023-12-27 18:16

大数据应用开发1——配置基础环境

一、基础环境配置1.配置虚拟网络1.1、点击1、编辑2和3，1.2、点开4，编辑网关2、配置虚拟机环境1.1、安装一台虚拟机，使用root用户登录，打开终端1.2修改主机名终端输入：vim/etc/hostname使用vim编辑/etc/hostname文件，按a进入编辑模式，删除默认主机名，输入master（自定义主机名）、按esc退出编辑模式，输入":wq"保存并退出；修改网络配置vim/et
争渡争渡！·2023-12-25 08:57

数据质量监控框架及解决方案总结

概述随着业务发展和数据量的增加，大数据应用开发已成为部门应用开发常用的开发方式，由于部门业务特点的关系，spark和hive应用开发在部门内部较为常见。
坨坨的大数据·2023-12-24 05:41

“山东工行杯”山东省第五届数据应用创新创业大赛颁奖仪式丨2023中国新型智慧城市发展创新峰会“数字经济”分论坛同台举行

本次大赛以“场景赋能，数创齐鲁”为主题，旨在充分挖掘山东省在大数据应用领域的优秀团队和人才，推动山东省数字产业化和产业数字化的发展进程。自大赛启动以来，共计吸引省内外1235个团
DataCastle·2023-12-22 22:17

Oracle VM VirtualBox异常退出及修改用户名“master”——备赛笔记——2024全国职业院校技能大赛“大数据应用开发”赛项——任务2：离线数据处理

问题描述：OracleVMVirtualBox虚拟机显示异常退出，启动不了虚拟机（闪退）想要设置“显示大小”为128MB也不可以保存OracleVMVirtualBox卸载安装：在卸载安装OracleVMVirtualBox的时候如果意外终止往往容易出现这种问题，我在OracleVMVirtualBox论坛也找到了类似的问题和解决方法，但是实际上还会遇到一些问题。我就分享一下解决方法：Oracle
Stitch .·2023-12-22 20:52

使用VSC从零开始Vue.js——备赛笔记——2024全国职业院校技能大赛“大数据应用开发”赛项——任务3：数据可视化

使用VisualStudioCode（VSC）进行Vue开发非常方便，下面是一些基本步骤：一、下载和安装Vue官网下载地址Download|Node.jsVue.js是基于Node.js的，所以首先需要安装Node.js，官网下载地址：Node.js(nodejs.org)https://nodejs.org/en选择适合自己的版本，推荐LTS，长久稳定版本。我这里选择的是WindowsInsta
Stitch .·2023-12-22 06:17

玩转大数据20：大数据应用容器化与部署实践

一、容器化技术介绍和优势随着云计算的快速发展，容器化技术作为一种轻量级虚拟化技术，已经成为应用部署的主要方式。容器化技术通过共享操作系统，将应用程序及其依赖项打包成一个独立的、可移植的容器，从而实现应用的快速部署和环境一致性。相比于传统的虚拟机方式，容器化技术具有以下优势：1.1.轻量级容器化技术不需要独立的操作系统，因此占用的资源更少，启动速度更快。1.2.快速部署容器可以轻松地在不同的环境中复
沛沛老爹·2023-12-22 05:21

JAVA面试题11

NoSQL数据库的产生就是为了解决大规模数据库集合多重数据库种类带来的挑战，尤其是大数据应用的难题。解决高并发的问题。
热心市民陈先生314·2023-12-21 21:35

GZ033 大数据应用开发赛题第03套

2023年全国职业院校技能大赛赛题第03套赛项名称：大数据应用开发英文名称：BigDataApplicationDevelopment赛项组别：高等职业教育组赛项编号：GZ033背景描述大数据时代背景下
嘿哈小将·2023-12-21 17:25

2023大数据应用开发赛题第01套

2023年全国职业院校技能大赛赛题第01套赛项名称：大数据应用开发英文名称：BigDataApplicationDevelopment赛项组别：高等职业教育组赛项编号：GZ033背景描述大数据时代背景下
长风有续X·2023-12-21 17:54

2023大数据应用开发赛题02套

目录2023年全国职业院校技能大赛赛题第02套任务A：大数据平台搭建（容器环境）（15分）子任务一：Hadoop完全分布式安装配置子任务二：Flume安装配置子任务三：FlinkonYarn安装配置任务B：离线数据处理（25分）子任务一：数据抽取子任务二：数据清洗子任务三：指标计算任务C：数据挖掘（10分）子任务一：特征工程子任务二：推荐系统任务D：数据采集与实时计算（20分）子任务一：实时数据采
长风有续X·2023-12-21 17:54

2023大数据应用开发赛题03套

目录任务A：大数据平台搭建（容器环境）（15分）子任务一：HadoopHA安装配置子任务二：Hive安装配置子任务三：Kafka安装配置任务B：离线数据处理（25分）子任务一：数据抽取子任务二：数据清洗子任务三：指标计算任务C：数据挖掘（10分）子任务一：特征工程子任务二：推荐系统任务D：数据采集与实时计算（20分）子任务一：实时数据采集子任务二：使用Flink处理Kafka中的数据任务E：数据可
长风有续X·2023-12-21 17:52

使用C语言创建高性能网络爬虫IP池

概述网络爬虫是大数据应用中常用的一种技术，它通过自动化的方式访问互联网上的网页并获取所需的数据。
卑微阿文·2023-12-21 07:57

大数据应用与原理之云数据库

一、云数据库概述**特点：**1.按需服务2.随时服务3.通用性4.高可靠性5.易用性6.免维护7.安全性iaassaaspaas云数据库与其他数据库的关系无专有模型，多个并用，以服务形式提供二、云数据库产品亚马逊、微软等三、UMP系统概述Alibaba开发通用UnifiedMysqlPlatform1.单一对外访问接口2.消除单点故障3.动态可伸缩性4.实现资源间相互隔离系统架构Mnesia分布
HuangDXian·2023-12-19 22:14

大数据测试类型&大数据测试步骤

2、大数据处理可以是批处理，实时或交互式处理3、测试大数据应用程序的3个阶段是数据分级验证“MapReduce”验证输出验证阶段4、架构测试是大数据测试的重要阶段，因为设计不佳的系统可能会导致前所未有的错误和性能下降
测试工程师成长之路·2023-12-19 14:51

ubuntu18.04 64 位安装笔记——备赛笔记——2024全国职业院校技能大赛“大数据应用开发”赛项——任务2：离线数据处理

进入VirtuakBox官网，网址链接：OracleVMVirtualBoxhttps://www.virtualbox.org/网页连接：UbuntuVirtualMachineImagesforVirtualBoxandVMwarehttps://www.osboxes.org/ubuntu/将下发的ds_db01.sql数据库文件放置mysql中12、编写Scala代码，使用Spark将My
Stitch .·2023-12-19 10:46

Spark安装笔记——备赛笔记——2024全国职业院校技能大赛“大数据应用开发”赛项——任务2：离线数据处理

将下发的ds_db01.sql数据库文件放置mysql中12、编写Scala代码，使用Spark将MySQL的ds_db01库中表user_info的全量数据抽取到Hive的ods库中表user_info。字段名称、类型不变，同时添加静态分区，分区字段为etl_date，类型为String，且值为当前日期的前一天日期（分区字段格式为yyyyMMdd）。使用hivecli执行showpartitio
Stitch .·2023-12-19 10:16

Oracle VM VirtualBox使用——备赛笔记——2024全国职业院校技能大赛“大数据应用开发”赛项——任务2：离线数据处理

简述：OracleVMVirtualBox是一款开源虚拟机软件，由德国Innotek公司开发，后被SunMicrosystems公司收购，并最终被甲骨文公司收购。它支持在Windows、MacOSX、Linux、OpenBSD、Solaris、IBMOS2甚至Android等操作系统上创建虚拟机。VirtualBox具有丰富的特色和卓越的性能，它简单易用，支持多种虚拟化技术，包括VT-x和EPT。
Stitch .·2023-12-19 10:13

备赛笔记——2024全国职业院校技能大赛“大数据应用开发”赛项——任务2：离线数据处理

MySQLhttps://www.mysql.com/软件名称版本ubuntu18.0464位Hadoop：hadoop-3.1.3.tar.gz3.1.3Jdk：jdk-8u212-linux-x64.tar.gz1.8Spark：spark-3.1.1-bin-hadoop3.2.tgz3.1.1Hive：apache-hive-3.1.2-bin.tar.gz3.1.2MySQL5.7Sca
Stitch .·2023-12-17 22:18
上一页 1 2 3 4 5 6 7 8 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他