大数据-BigData

数据仓库系统如何运维和优化！

关于数据仓库系统的运维优化的详细内容：ApsaraClouder大数据专项技能认证：数据仓库系统的运维优化（本课程是阿里云大学ApsaraClouder大数据专项技能认证：数据仓库系统的运维优化相关课程
xmvip01·2024-01-21 12:51

# 大数据工程（二） ## Java面向对象

###面向对象编程面向对象编程思想随着互联网项目需求越来越复杂，面向过程不能满足，使用面向对象。将功能（方法/函数）封装进对象、强调了具备了功能的对象，以类/对象为最小单位，考虑谁来做。两个要素：类和对象面向对象程序设计的重点是类的设计类的设计就是类的成员的设计类和对象的使用（面向对象思想落地的实现）：1、创建类，设计类的成员2、创建类的对象3、通过“对象，属性”和“对象，方法”调用对象的结构ne
Florencewenwen·2024-01-21 12:59

教学日记第十六课——月考感想

我在课堂上没有对学生做任何责备和批评，因为从学生的先天基础、后天努力，从学生的平时学习态度、习惯、方法上，我已经提前预知了结果，相比于其他班级，深度的反思就是两个方面：一是教师方面，首先从试卷每一题的大数据分析来看
若愚_fc4b·2024-01-21 12:58

【日常聊聊】自然语言处理的发展

通过深度学习和大数据技术的不断进步，计算机在理解、处理和生成人类语言方面取得了前所未有的成就。本文将探讨NLP领域的关键技术、应用场景、面临的挑战与前景，以及技术发展对伦理和社会的
还在路上的秃头·2024-01-21 12:57

新年关于对市场的一些判断与思考（完结）

如前几篇所述，自从机器学习、深度学习结合大数据正在颠覆我们的传统商业思维的同时，另外的一支力量也在悄然的进入到了我们的视线，那就是社群经济，社群这个概念其实并不陌生，早在人类文明萌芽阶段，人类就
波波大叔的故事·2024-01-21 11:55

现如今大数据交易的主要类型

尽管现在大数据存储和挖掘技术已经逐步成熟，但数据孤岛的大量存在，仍是掣肘大数据流通和变现的主要原因之一。
发源地大数据交易平台·2024-01-21 11:59

2020就业突围方案之报考公务员

结合大数据分析，不难看出疫情背景下，就业形势更加严峻，此外，国务院也早就发出就业难的信号。对此考公务员成了2020
帮帮我资源网·2024-01-21 10:42

低代码开发：数据处理与可视化

随着大数据时代的到来，数据处理和可视化变得越来越重要。传统的开发过程通常需要大量的编码工作和专业技能，限制了非专业开发人员的参与度。然而，低代码开发技术的出现打破了这个限制，它为非专
液态不合群·2024-01-21 10:24

3分钟速览｜全日程发布！掘金年度技术演讲蓄势待发

本次「掘金年度技术演讲」将聚焦于过去一年在大前端、AI、大数据、云原生等领域的技术进展，探讨未来一年互联网科技面临的挑战，并展望其发展趋势。
开源社·2024-01-21 10:14

面试官再问高并发，求你把这篇发给他！

原因很简单：随着流量变大，会遇到各种各样的技术问题，比如接口响应超时、CPUload升高、GC频繁、死锁、大数据量存储等等，这些问题能推动我们在技术深度上不断精进。
JavaP8工程师·2024-01-21 09:17

Java实现百万级数据从Excel导入到数据库

作者简介：大家好，我是小徐☁️博客首页：CSDN主页小徐很努力每日一句：好学而不勤非真好学者前言在一个后台管理功能中，Exce导入数据是不可缺少的，但是当处理大数据量的Excel文件导入时候就可能带来一些列的问题
小徐很努力·2024-01-21 09:06

02-黑马程序员大数据开发：分布式计算和分布式资源调度

1.分布式计算概述目标：了解什么是计算？什么是分布式计算？计算是对数据进行处理，使用统计分析等手段得到需要的结果；分布式计算是多台服务器协同工作，共同完成一个计算任务。分布式计算模式：分散->汇总模式（MapReduce）和中心调度->步骤执行模式（ApacheSpark,Flink;比较复杂，中间会有数据交换的过程）；2.MapReduce概述MapReduce是Hadoop中的分布式计算组件，
S1406793·2024-01-21 08:52

03-黑马程序员大数据开发：Apache Hive

一、ApacheHive概述1.目的：了解什么是分布式SQL计算；了解什么是ApacheHive2.使用Hive处理数据的好处操作接口采用类SQL语法，提供快速开发的能力（简单、容易上手)底层执行MapReduce，可以完成分布式海量数据的SQL处理3.什么是分布式SQL计算？以分布式的形式，执行SQL语句，进行数据统计分析。4.ApacheHive是做什么的？很简单，是一款分布式SQL计算
S1406793·2024-01-21 08:21

橙信通宁都县果品加工企业入网入云工作动员部署会召开！

宁都县果茶局局长宋小保、宁都县果茶局副局长赖树群、宁都县果茶局市场营销股股长张志春、橙信通赣南脐橙大数据平台供应链总监管永基、宁都县全部果品加工企业负责人，共计20余人出席会议。
橙信通大数据平台·2024-01-21 08:54

大数据开发之kafka（完整版）

第1章：Kafka概述1.1定义Kafka是一个分布式的基于发布/订阅模式的消息队列，主要应用于大数据实时处理领域。
Key-Key·2024-01-21 07:19

大数据开发之Kafka（broker、消费者、eagle监控、kraft模式）

第4章：KafkaBroker4.1KafkaBroker工作流程4.1.1Zookeeper存储的Kafka的信息1、查看zookeeper中的kafka节点所存储的信息启动Zookeeper客户端[[email protected]]$bin/zkCli.sh通过ls命令列出kafka节点内容[zk:localhost:2181(CONNECTED)2]ls/ka
Key-Key·2024-01-21 07:18

MySQL My.cnf参数梳理与延伸 （MYSQL 8 replica 类） 与 技术文章与食色性也

开头还是介绍一下群，如果感兴趣PolarDB,MongoDB,MySQL,PostgreSQL,Redis,Oceanbase,SqlServer等有问题，有需求都可以加群群内有各大数据库行业大咖，CTO
Austindatabases·2024-01-21 07:21

大数据之spark运行模式

ApacheSpark提供了多种运行模式，主要包括以下几种：本地模式(Local)：Spark在本地单机上运行，主要用于开发测试阶段。通过--masterlocal[n]来指定使用n个线程进行并行计算。独立集群模式(StandaloneCluster)：Spark自带了一个简易的资源管理器，可以在多台机器上组成一个Spark集群，通过--masterspark://master-ip:port指定
转身成为了码农·2024-01-21 07:11

大数据之 Spark 常用的端口号

Spark常用的端口号包括：DriverWebUI端口：4040，这是Spark应用程序（Driver）运行时绑定的端口，用于展示任务运行状态、执行进度、任务细节等监控信息。SparkMaster服务端口：7077，这是Spark在Standalone模式下的主节点（Master）与Worker节点通信的服务端口，客户端提交应用时也会连接此端口。SparkMasterWebUI端口：默认为8080
转身成为了码农·2024-01-21 07:11

大数据之Spark架构设计与工作流程

ApacheSpark架构设计是其高效、分布式处理能力的基础。Spark的架构主要包括以下几个核心组件：DriverProgram（驱动器）驱动器程序负责执行用户的主函数，创建SparkContext对象。它负责构建并优化DAG（有向无环图），表示RDD（弹性分布式数据集）操作的执行计划。驱动器还负责任务的调度，并与集群管理器（如HadoopYARN、ApacheMesos或Standalone模
转身成为了码农·2024-01-21 07:41

大数据技术汇总

的运行流程HadoopMapReduce的运行流程Hadoopyarn的运行流程Hadoop内HDFS、MapReduce和YARN交互过程HadoopHDFS常用命令HadoopYARN常用命令Hive大数据工具
转身成为了码农·2024-01-21 07:41

大数据之Kafka架构的核心组件及其功能

ApacheKafka是一个分布式流处理平台，主要用于构建实时数据管道和流应用。Kafka的架构设计以高吞吐量、持久化存储和水平扩展为目标。以下是Kafka架构的核心组件及其功能：Producer（生产者）：生产者是向Kafka集群发送消息的客户端应用程序。生产者可以选择将消息发布到指定的主题（Topic）。Topic（主题）：主题是Kafka中的消息分类，每个主题可以看作是一个消息队列，多个生产
转身成为了码农·2024-01-21 07:34

大数据安全 | 期末复习（上）| 补档

文章目录概述⭐️大数据的定义、来源、特点大数据安全的含义大数据安全威胁保障大数据安全采集、存储、挖掘环节的安全技术大数据用于安全隐私的定义、属性、分类、保护、面临威胁安全基本概念安全需求及对应的安全事件古典密码学里程碑事件扩散和混淆的概念攻击的分类模运算移位加密仿射加密维吉尼亚密码
啦啦右一·2024-01-21 06:14

蓝桥杯真题（Python）每日练Day1

说明：在CSP认证的基础上（可以看看本人CSP打卡系列的博客）备赛2024蓝桥杯（Python），本人专业：大数据与数据科学因此对python要求熟练掌握，通过练习蓝桥杯既能熟悉语法又能锻炼算法和思维逻辑
尚.西西弗斯·2024-01-21 06:13

机器学习之聚类-2D数据类别划分

方式一：站着或坐着方式二：全身或半身方式三：蓝眼球或不是蓝眼球没有对与错寻找数据的共同点优点：算法不受监督信息（偏见）的约束，可能考虑到新的信息不需要标签数据，极大程度扩大数据样本主要应用：聚类分析、关联规则
小旺不正经·2024-01-21 06:08

ChatGPT时代对大数据应用的展望

对于大数据领域，ChatGPT的出现会对这个行业产生什么影响，这是一个值得讨论和分析的话题。
i7杨·2024-01-21 06:08

汇总阿里云ECS云服务器实例升降配不支持变配的规格列表

，不同ECS实例之间可以通过升降配来变更，目前以下ECS实例规格族是不支持规格族之间以及规格族内部变更的，InstanceTypes分享：阿里云ECS实例不支持变配的规格族列表ECS实例规格族实例规格大数据型
m0_60783610·2024-01-21 06:41

大创项目推荐 疫情数据分析与3D可视化 - python 大数据

文章目录0前言1课题背景2实现效果3设计原理4部分代码5最后0前言优质竞赛项目系列，今天要分享的是大数据全国疫情数据分析与3D可视化该项目较为新颖，适合作为竞赛课题方向，学长非常推荐！
laafeer·2024-01-21 05:30

nginx的安装

微信公众号：菜鸟解说大数据关注可了解更多的教程及技术。
JunMoXiaoPlus·2024-01-21 05:34

数据库设计最佳实践：学院个人信息管理系统中的MySQL优化

专业做Java、Python、微信小程序、安卓、大数据、爬虫、Golang、大屏等实战项目。⛽⛽实战项目：有源码或者技术上的问题欢迎在评论区一起讨论交流！
计算机编程指导师·2024-01-21 05:36

洋州影院购票系统：如何用Java、Spring Boot、Vue和MySQL实现现代化管理

专业做Java、Python、微信小程序、安卓、大数据、爬虫、Golang、大屏等实战项目。⛽⛽实战项目：有源码或者技术上的问题欢迎在评论区一起讨论交流！
计算机编程指导师·2024-01-21 05:36

全面解析：学生宿舍管理系统的数据库设计与实现

专业做Java、Python、微信小程序、安卓、大数据、爬虫、Golang、大屏等实战项目。⛽⛽实战项目：有源码或者技术上的问题欢迎在评论区一起讨论交流！
计算机编程指导师·2024-01-21 05:35

揭秘：Java、Spring Boot、Vue 和 MySQL 在学生信息管理系统中的应用

专业做Java、Python、微信小程序、安卓、大数据、爬虫、Golang、大屏等实战项目。⛽⛽实战项目：有源码或者技术上的问题欢迎在评论区一起讨论交流！
计算机编程指导师·2024-01-21 05:34

教育正悄悄51|走出为大机器时代配套的教育

今天是我参加勇气读书会的第161天阅读本数：第七本阅读书目：《教育正悄悄发生一场革命》第五章5.5走出为大机器时代配套的教育勇气读书会打卡161天如今已然是大数据时代，我们的教育面临改革的分水岭，我们需要更多的具有创新意识和服务精神的人才
拾光散人·2024-01-21 05:57

竞赛保研 机器学习股票大数据量化分析与预测系统 - python 竞赛保研

文章目录0前言1课题背景2实现效果UI界面设计web预测界面RSRS选股界面3软件架构4工具介绍Flask框架MySQL数据库LSTM5最后0前言优质竞赛项目系列，今天要分享的是机器学习股票大数据量化分析与预测系统该项目较为新颖
iuerfee·2024-01-21 04:44

大数据案例分析

摘自https://www.cnblogs.com/ShaYeBlog/p/5872113.html一、大数据分析在商业上的应用1、体育赛事预测世界杯期间，谷歌、百度、微软和高盛等公司都推出了比赛结果预测平台
weixin_30252709·2024-01-21 04:10

大数据分析案例

一、大数据分析在商业上的应用1、体育赛事预测世界杯期间，谷歌、百度、微软和高盛等公司都推出了比赛结果预测平台。百度预测结果最为亮眼，预测全程64场比赛，准确率为67%，进入淘汰赛后准确率为94%。
weixin_34315665·2024-01-21 04:10

大数据分析案列

现在互联网公司取代章鱼保罗试水赛事预测也意味着未来的体育赛事会被大数据预测所掌控。
TRUEtpc·2024-01-21 04:40

淘宝返利机器人是什么原理?返利云机器人的使用方法？

其核心原理在于利用机器学习算法和大数据技术，对电商平
测评君高省·2024-01-21 04:18

“大数据”在基层医保监管中的应用实践

“大数据”在基层医保监管中的应用实践当前医保基金监管形势严峻，各项违规使用医保基金的行为时有发生，单纯依靠传统的监管方法来加强医保管理的难度越来越大。
dggqzy·2024-01-21 04:43

超大EXCEL、CSV、TXT数据文件怎么分割？（直接分割为多个文件）

使用Data.olllo数据助手将超大EXCEL、CSV、TXT数据文件直接分割为多个文件互联网经过了多年的发展，产生了很多数据，而大数据的应用，使得数据越来越大，而排序的要求也越来越高；EXCEL打开文件的大小和数据行数是有限制的
olllo_top·2024-01-21 03:19

什么是大数据

在各路人都在谈大数据，创业的、吹牛的，各种媒体都在说大数据，各种调查各种分析，所有的事情都要和大数据扯上关系。可到底什么是大数据呢？仅仅是很大的数据吗？
kuntoria·2024-01-21 03:15

Atlas元数据处理框架：让你的大数据应用更高效、更稳定！

它广泛应用于大数据领域，帮助企业管理数据资产，分类和治理这些资产，并为数据分析和数据治理提供高质量的元数据信息。随着企业业务量的增长，数据量也在不断增加。
知识分享小能手·2024-01-21 03:26

一文读懂Delta Lake：大数据时代的数据湖框架新选择！

介绍：DeltaLake是一个开源存储层，为ApacheSpark和大数据工作负载提供了ACID事务能力。这个存储层由Databricks公司推出，并已成为数据湖方案的重要组成部分。
知识分享小能手·2024-01-21 03:56

一文读懂大数据工具Phoenix：让你的数据管理更高效！

介绍：Phoenix，最初由saleforce开发并开源，后成为Apache基金会的顶级项目。它是一个构建在HBase上的SQL层，可以使用标准的JDBCAPIs而不是HBase客户端APIs来创建表、插入数据和查询HBase中的数据。此外，Phoenix还完全使用Java编写，作为HBase内嵌的JDBC驱动，将SQL查询转换为一个或多个HBase扫描。Phoenix的主要特点包括：将SQL查询
知识分享小能手·2024-01-21 03:26

从0到1搭建企业分布式系统-13-elasticsearch安装

开头elasticsearch是一个重要的全文检索框架，对于大数据量的表如日志，或者需要性能较好的业务要求，使用es是不二之选搭建流程1.https://www.elastic.co/cn/downloads
Coding626·2024-01-21 02:47

大数据技术原理及应用课实验1 熟悉常用的Linux操作和Hadoop操作

实验1熟悉常用的Linux操作和Hadoop操作一、实验目的Hadoop运行在Linux系统上，因此，需要学习实践一些常用的Linux命令。本实验旨在熟悉常用的Linux操作和Hadoop操作，为顺利开展后续的其他实验奠定基础。二、实验平台（1）操作系统：Linux（建议Ubuntu16.04或Ubuntu18.04）；（2）Hadoop版本：3.1.3。三、实验步骤（每个步骤下均需有运行截图）1
Blossom i·2024-01-21 02:21

大数据技术原理及应用课实验2 ：熟悉常用的HDFS操作

实验2熟悉常用的HDFS操作目录实验2熟悉常用的HDFS操作一、实验目的二、实验平台三、实验步骤（每个步骤下均需有运行截图）（一）编程实现以下功能，并利用Hadoop提供的Shell命令完成相同任务：（1）向HDFS中上传任意文本文件，如果指定的文件在HDFS中已经存在，则由用户来指定是追加到原有文件末尾还是覆盖原有的文件；（2）从HDFS中下载指定文件，如果本地文件与要下载的文件名称相同，则自动
Blossom i·2024-01-21 02:21

大数据技术原理及应用课实验5 :MapReduce初级编程实践

目录一、实验目的二、实验平台三、实验步骤（每个步骤下均需有运行截图）（一）编程实现文件合并和去重操作（二）编写程序实现对输入文件的排序（三）对给定的表格进行信息挖掘四、实验总结五、优化及改进（选做）实验5MapReduce初级编程实践一、实验目的1.通过实验掌握基本的MapReduce编程方法；2.掌握用MapReduce解决一些常见的数据处理问题，包括数据去重、数据排序和数据挖掘等。二、实验平台
Blossom i·2024-01-21 02:20

明天开课 | 快速上手医学影像组学和机器学习（训练营：2023.9.19~9.26）

★课程简介★随着大数据、人工智能的深入融合发展，一项新的研究方法开始用于临床研究，它就是影像组学。它可以对普通影像图像进行更深层
茗创科技·2024-01-21 02:55
上一页 51 52 53 54 55 56 57 58 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他