【大数据】填坑大作战

大数据之 Spark 常用的端口号

Spark常用的端口号包括：DriverWebUI端口：4040，这是Spark应用程序（Driver）运行时绑定的端口，用于展示任务运行状态、执行进度、任务细节等监控信息。SparkMaster服务端口：7077，这是Spark在Standalone模式下的主节点（Master）与Worker节点通信的服务端口，客户端提交应用时也会连接此端口。SparkMasterWebUI端口：默认为8080
转身成为了码农·2024-01-21 07:11

大数据之Spark架构设计与工作流程

ApacheSpark架构设计是其高效、分布式处理能力的基础。Spark的架构主要包括以下几个核心组件：DriverProgram（驱动器）驱动器程序负责执行用户的主函数，创建SparkContext对象。它负责构建并优化DAG（有向无环图），表示RDD（弹性分布式数据集）操作的执行计划。驱动器还负责任务的调度，并与集群管理器（如HadoopYARN、ApacheMesos或Standalone模
转身成为了码农·2024-01-21 07:41

大数据技术汇总

的运行流程HadoopMapReduce的运行流程Hadoopyarn的运行流程Hadoop内HDFS、MapReduce和YARN交互过程HadoopHDFS常用命令HadoopYARN常用命令Hive大数据工具
转身成为了码农·2024-01-21 07:41

大数据之Kafka架构的核心组件及其功能

ApacheKafka是一个分布式流处理平台，主要用于构建实时数据管道和流应用。Kafka的架构设计以高吞吐量、持久化存储和水平扩展为目标。以下是Kafka架构的核心组件及其功能：Producer（生产者）：生产者是向Kafka集群发送消息的客户端应用程序。生产者可以选择将消息发布到指定的主题（Topic）。Topic（主题）：主题是Kafka中的消息分类，每个主题可以看作是一个消息队列，多个生产
转身成为了码农·2024-01-21 07:34

大数据安全 | 期末复习（上）| 补档

文章目录概述⭐️大数据的定义、来源、特点大数据安全的含义大数据安全威胁保障大数据安全采集、存储、挖掘环节的安全技术大数据用于安全隐私的定义、属性、分类、保护、面临威胁安全基本概念安全需求及对应的安全事件古典密码学里程碑事件扩散和混淆的概念攻击的分类模运算移位加密仿射加密维吉尼亚密码
啦啦右一·2024-01-21 06:14

蓝桥杯真题（Python）每日练Day1

说明：在CSP认证的基础上（可以看看本人CSP打卡系列的博客）备赛2024蓝桥杯（Python），本人专业：大数据与数据科学因此对python要求熟练掌握，通过练习蓝桥杯既能熟悉语法又能锻炼算法和思维逻辑
尚.西西弗斯·2024-01-21 06:13

机器学习之聚类-2D数据类别划分

方式一：站着或坐着方式二：全身或半身方式三：蓝眼球或不是蓝眼球没有对与错寻找数据的共同点优点：算法不受监督信息（偏见）的约束，可能考虑到新的信息不需要标签数据，极大程度扩大数据样本主要应用：聚类分析、关联规则
小旺不正经·2024-01-21 06:08

ChatGPT时代对大数据应用的展望

对于大数据领域，ChatGPT的出现会对这个行业产生什么影响，这是一个值得讨论和分析的话题。
i7杨·2024-01-21 06:08

汇总阿里云ECS云服务器实例升降配不支持变配的规格列表

，不同ECS实例之间可以通过升降配来变更，目前以下ECS实例规格族是不支持规格族之间以及规格族内部变更的，InstanceTypes分享：阿里云ECS实例不支持变配的规格族列表ECS实例规格族实例规格大数据型
m0_60783610·2024-01-21 06:41

大创项目推荐 疫情数据分析与3D可视化 - python 大数据

文章目录0前言1课题背景2实现效果3设计原理4部分代码5最后0前言优质竞赛项目系列，今天要分享的是大数据全国疫情数据分析与3D可视化该项目较为新颖，适合作为竞赛课题方向，学长非常推荐！
laafeer·2024-01-21 05:30

nginx的安装

微信公众号：菜鸟解说大数据关注可了解更多的教程及技术。
JunMoXiaoPlus·2024-01-21 05:34

数据库设计最佳实践：学院个人信息管理系统中的MySQL优化

专业做Java、Python、微信小程序、安卓、大数据、爬虫、Golang、大屏等实战项目。⛽⛽实战项目：有源码或者技术上的问题欢迎在评论区一起讨论交流！
计算机编程指导师·2024-01-21 05:36

洋州影院购票系统：如何用Java、Spring Boot、Vue和MySQL实现现代化管理

专业做Java、Python、微信小程序、安卓、大数据、爬虫、Golang、大屏等实战项目。⛽⛽实战项目：有源码或者技术上的问题欢迎在评论区一起讨论交流！
计算机编程指导师·2024-01-21 05:36

全面解析：学生宿舍管理系统的数据库设计与实现

专业做Java、Python、微信小程序、安卓、大数据、爬虫、Golang、大屏等实战项目。⛽⛽实战项目：有源码或者技术上的问题欢迎在评论区一起讨论交流！
计算机编程指导师·2024-01-21 05:35

揭秘：Java、Spring Boot、Vue 和 MySQL 在学生信息管理系统中的应用

专业做Java、Python、微信小程序、安卓、大数据、爬虫、Golang、大屏等实战项目。⛽⛽实战项目：有源码或者技术上的问题欢迎在评论区一起讨论交流！
计算机编程指导师·2024-01-21 05:34

教育正悄悄51|走出为大机器时代配套的教育

今天是我参加勇气读书会的第161天阅读本数：第七本阅读书目：《教育正悄悄发生一场革命》第五章5.5走出为大机器时代配套的教育勇气读书会打卡161天如今已然是大数据时代，我们的教育面临改革的分水岭，我们需要更多的具有创新意识和服务精神的人才
拾光散人·2024-01-21 05:57

小说3

下课铃刚响，几个调皮的男生首先嚎叫着冲到楼下，率先团起雪球砸向对面，不断有同学加这场入大作战，教学楼前的广场瞬间就挤满了人，大家都沉浸在喜悦之中。
广电1701B鲁萌·2024-01-21 04:02

竞赛保研 机器学习股票大数据量化分析与预测系统 - python 竞赛保研

文章目录0前言1课题背景2实现效果UI界面设计web预测界面RSRS选股界面3软件架构4工具介绍Flask框架MySQL数据库LSTM5最后0前言优质竞赛项目系列，今天要分享的是机器学习股票大数据量化分析与预测系统该项目较为新颖
iuerfee·2024-01-21 04:44

大数据案例分析

摘自https://www.cnblogs.com/ShaYeBlog/p/5872113.html一、大数据分析在商业上的应用1、体育赛事预测世界杯期间，谷歌、百度、微软和高盛等公司都推出了比赛结果预测平台
weixin_30252709·2024-01-21 04:10

大数据分析案例

一、大数据分析在商业上的应用1、体育赛事预测世界杯期间，谷歌、百度、微软和高盛等公司都推出了比赛结果预测平台。百度预测结果最为亮眼，预测全程64场比赛，准确率为67%，进入淘汰赛后准确率为94%。
weixin_34315665·2024-01-21 04:10

大数据分析案列

现在互联网公司取代章鱼保罗试水赛事预测也意味着未来的体育赛事会被大数据预测所掌控。
TRUEtpc·2024-01-21 04:40

淘宝返利机器人是什么原理?返利云机器人的使用方法？

其核心原理在于利用机器学习算法和大数据技术，对电商平
测评君高省·2024-01-21 04:18

“大数据”在基层医保监管中的应用实践

“大数据”在基层医保监管中的应用实践当前医保基金监管形势严峻，各项违规使用医保基金的行为时有发生，单纯依靠传统的监管方法来加强医保管理的难度越来越大。
dggqzy·2024-01-21 04:43

超大EXCEL、CSV、TXT数据文件怎么分割？（直接分割为多个文件）

使用Data.olllo数据助手将超大EXCEL、CSV、TXT数据文件直接分割为多个文件互联网经过了多年的发展，产生了很多数据，而大数据的应用，使得数据越来越大，而排序的要求也越来越高；EXCEL打开文件的大小和数据行数是有限制的
olllo_top·2024-01-21 03:19

什么是大数据

在各路人都在谈大数据，创业的、吹牛的，各种媒体都在说大数据，各种调查各种分析，所有的事情都要和大数据扯上关系。可到底什么是大数据呢？仅仅是很大的数据吗？
kuntoria·2024-01-21 03:15

Atlas元数据处理框架：让你的大数据应用更高效、更稳定！

它广泛应用于大数据领域，帮助企业管理数据资产，分类和治理这些资产，并为数据分析和数据治理提供高质量的元数据信息。随着企业业务量的增长，数据量也在不断增加。
知识分享小能手·2024-01-21 03:26

一文读懂Delta Lake：大数据时代的数据湖框架新选择！

介绍：DeltaLake是一个开源存储层，为ApacheSpark和大数据工作负载提供了ACID事务能力。这个存储层由Databricks公司推出，并已成为数据湖方案的重要组成部分。
知识分享小能手·2024-01-21 03:56

一文读懂大数据工具Phoenix：让你的数据管理更高效！

介绍：Phoenix，最初由saleforce开发并开源，后成为Apache基金会的顶级项目。它是一个构建在HBase上的SQL层，可以使用标准的JDBCAPIs而不是HBase客户端APIs来创建表、插入数据和查询HBase中的数据。此外，Phoenix还完全使用Java编写，作为HBase内嵌的JDBC驱动，将SQL查询转换为一个或多个HBase扫描。Phoenix的主要特点包括：将SQL查询
知识分享小能手·2024-01-21 03:26

从0到1搭建企业分布式系统-13-elasticsearch安装

开头elasticsearch是一个重要的全文检索框架，对于大数据量的表如日志，或者需要性能较好的业务要求，使用es是不二之选搭建流程1.https://www.elastic.co/cn/downloads
Coding626·2024-01-21 02:47

大数据技术原理及应用课实验1 熟悉常用的Linux操作和Hadoop操作

实验1熟悉常用的Linux操作和Hadoop操作一、实验目的Hadoop运行在Linux系统上，因此，需要学习实践一些常用的Linux命令。本实验旨在熟悉常用的Linux操作和Hadoop操作，为顺利开展后续的其他实验奠定基础。二、实验平台（1）操作系统：Linux（建议Ubuntu16.04或Ubuntu18.04）；（2）Hadoop版本：3.1.3。三、实验步骤（每个步骤下均需有运行截图）1
Blossom i·2024-01-21 02:21

大数据技术原理及应用课实验2 ：熟悉常用的HDFS操作

实验2熟悉常用的HDFS操作目录实验2熟悉常用的HDFS操作一、实验目的二、实验平台三、实验步骤（每个步骤下均需有运行截图）（一）编程实现以下功能，并利用Hadoop提供的Shell命令完成相同任务：（1）向HDFS中上传任意文本文件，如果指定的文件在HDFS中已经存在，则由用户来指定是追加到原有文件末尾还是覆盖原有的文件；（2）从HDFS中下载指定文件，如果本地文件与要下载的文件名称相同，则自动
Blossom i·2024-01-21 02:21

大数据技术原理及应用课实验5 :MapReduce初级编程实践

目录一、实验目的二、实验平台三、实验步骤（每个步骤下均需有运行截图）（一）编程实现文件合并和去重操作（二）编写程序实现对输入文件的排序（三）对给定的表格进行信息挖掘四、实验总结五、优化及改进（选做）实验5MapReduce初级编程实践一、实验目的1.通过实验掌握基本的MapReduce编程方法；2.掌握用MapReduce解决一些常见的数据处理问题，包括数据去重、数据排序和数据挖掘等。二、实验平台
Blossom i·2024-01-21 02:20

明天开课 | 快速上手医学影像组学和机器学习（训练营：2023.9.19~9.26）

★课程简介★随着大数据、人工智能的深入融合发展，一项新的研究方法开始用于临床研究，它就是影像组学。它可以对普通影像图像进行更深层
茗创科技·2024-01-21 02:55

【大数据Hive】hive 行列转换使用详解

目录一、前言二、使用场景介绍2.1使用场景12.2使用场景2三、多行转多列3.1casewhen函数语法一语法二操作演示3.2多行转多列操作演示四、多行转单列4.1concat函数语法4.2concat_ws函数语法4.3collect_list函数语法4.4collect_set函数语法4.5多行转多列操作演示五、多列转多行5.1union语法5.2unionall语法5.3多列转多行操作演示六
逆风飞翔的小叔·2024-01-21 02:13

Spider爬虫简介

都说现在是"大数据时代"，那数据从何而来？
錦魚·2024-01-21 01:18

客户案例｜知名证券机构核心大数据平台升级之路

某综合类证券机构，早年以Hadoop平台为基础，结合多种大数据处理技术，构建了大数据专用存储与处理系统。但随着实际
云掣YUNCHE·2024-01-21 01:17

ai智能写作的应用前景与挑战：如何让机器写出优秀文章

它不仅可以减少人力成本，提高工作效率，还可以帮助我们更好地理解和利用互联网大数据，实现更准确的文本创作与推广。那么你知道什么是ai智能写作吗？
AquaDream·2024-01-21 00:42

开源大数据集群部署（五）Freeipa客户端部署及配置（kerberos+ldap）

作者：櫰木在FreeIPA（FreeIdentity,Policy,andAudit）环境中，部署和配置客户端节点是连接整个系统的关键步骤。本文将介绍如何在客户端节点上安装和配置FreeIPA客户端，包括安装IPA-Client、执行ipa-client-install等关键步骤。同时，由于部署过程中可能出现一些常见的问题，我们还将探讨如何手动添加DNS记录和解决可能的DNS配置问题。下面将提供基
云掣YUNCHE·2024-01-21 00:41

【JAVA】AI医疗导诊系统源码

智能导诊系统是一种基于人工智能和大数据技术开发的医疗辅助软件，它能够通过对患者的症状、病史等信息进行计算分析，快速推荐科室和医生。
源码技术栈·2024-01-21 00:11

人工智能ai写作系统，ai智能写作机器人

人工智能AI大数据深度：基于伪原创算法，采用神经网络算法，在超过1535000篇文章中进行自动学习、聚合算法进行人工智能的创建，内容语义不变，媒体阿里、腾讯、百度均于日前在百家号内容创作者盛典上推出人工智能创作支撑平台创作大脑
阳阳2013哈哈·2024-01-21 00:11

埋点自动化测试框架设计

视频学习：文末有免费的配套视频可观看关注公众号【互联网杂货铺】，回复1，免费获取软件测试全套资料，资料在手，涨薪更快大数据时代，多数的web或app产品都会使用第三方或自己开发相应的数据系统，进行用户行为数据或其它信息数据的收集
互联网杂货铺·2024-01-21 00:09

网上订餐（源码+开题）

近年来，移动支付、大数据、人工智能等技术的普及，为网上订餐系统提供了强大的技术支撑，使得在线订餐服务更加便捷、高效。因此，开发一个功能完善
笔文程序设计·2024-01-21 00:36

Spark(一): 基本架构及原理

前言:目标：架构及生态：Spark与hadoop:运行流程及特点：常用术语:Spark运行模式：RDD运行流程：前言:ApacheSpark是一个围绕速度、易用性和复杂分析构建的大数据处理框架，最初在2009
贝賏赑钡·2024-01-20 22:46

实战讲解｜Trino 在袋鼠云数栈的探索与实践

袋鼠云数栈作为新一代一站式大数据基础软件，其核心优势在于不仅提供了快速便捷、易于上手的底层数据开发模块，更推出了涵盖质量、标签及指标等上层偏业务功能模块。
袋鼠云数栈·2024-01-20 21:44

午后

诗、摄影|琼瑛卓玛在四月初，交出那些濒死的抽搐后葬礼在你薄荷味舌尖上举行并再羞于发表言论一代人的尸体穿戴好大数据的花环，被用防腐剂浸泡的点赞声烘干（也许它们本身就是防腐剂）那怎能说成是风的错？
琼瑛卓玛·2024-01-20 21:28

大数据导论（1）---大数据概述

文章目录1.数据1.1数据的概念1.2数据类型1.3数据的组织形式1.4数据的生命周期1.5数据使用1.6数据的价值和爆炸2.大数据时代2.1大数据概念2.2大数据发展阶段2.3大数据产业1.数据1.1
冒冒菜菜·2024-01-20 21:30

大数据导论（3）---大数据技术

文章目录1.大数据技术概述2.数据采集与预处理2.1数据采集2.2预处理3.数据存储和管理3.1分布式基础架构Hadoop3.2分布式文件系统HDFS3.3分布式数据库HBase3.4非关系型数据库NoSQL4
冒冒菜菜·2024-01-20 21:28

Docker部署高性能分布式存储MinIO

优势:1.Minio有良好的存储机制2.Minio有很好纠删码的算法与擦除编码算法3.可向大数据方面过渡4.docker搭建非常方便适用场景:1.对象存储2.文件服务器原理：MinIO分布式集
抹香鲸之海·2024-01-20 21:27

【大数据分析与挖掘技术】概述

目录一、数据挖掘简介（一）数据挖掘对象（二）数据挖掘流程（三）数据挖掘的分析方法（四）经典算法二、Mahout（一）Mahout简介（二）主要特性（三）Mahout安装与配置一、数据挖掘简介需要是发明之母。近年来，数据挖掘引起了信息产业界的极大关注，其主要原因是存在大量数据，可以广泛使用，并且迫切需要将这些数据转换成有用的信息和知识。获取的信息和知识可以广泛用于各种应用，包括商务管理，生产控制，市
Francek Chen·2024-01-20 21:18

【大数据分析与挖掘技术】Mahout推荐算法

目录一、推荐的定义与评估（一）推荐的定义（二）推荐的评估二、Mahout中的常见推荐算法（一）基于用户的推荐算法（二）基于物品的推荐算法（三）基于SVD的推荐算法（四）基于线性插值的推荐算法（五）基于聚类的推荐算法三、对GroupLens数据集进行推荐与评价（一）如何使用推荐器进行推荐（二）如何评估推荐器的好坏推荐是Mahout机器学习算法的主题之一，它极大地渗透到了人们日常生活的方方面面，比如，
Francek Chen·2024-01-20 21:17
上一页 53 54 55 56 57 58 59 60 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他