大数据处理框架学习

数据分析Lambda架构详解

Lambda架构Lambda架构（LambdaArchitecture）是由Twitter工程师南森·马茨（NathanMarz）提出的大数据处理架构。
Rocky006·2023-07-14 10:06

抖音SEO矩阵系统源码开发部署（二）技术搭建+二次开发

抖音SEO矩阵系统源码开发是一项技术密集型工作，需要对大数据处理、人工智能等领域有深入了解。该系统开发过程中需要用到多种编程语言，如Java、Python等。
云罗张晓_zz70933·2023-07-14 07:54

Spark 离线开发框架设计与实现

一、背景随着Spark以及其社区的不断发展，Spark本身技术也在不断成熟，Spark在技术架构和性能上的优势越来越明显，目前大多数公司在大数据处理中都倾向使用Spark。
Xiaohong0716·2023-07-13 22:56

Django 框架 要点

应用相同代码部分的重复编写，只需关心Web应用核心的业务逻辑实现3.Web应用程序的本质接收并解析HTTP请求，获取具体的请求信息处理本次HTTP请求，即完成本次请求的业务逻辑处理构造并返回处理结果——HTTP响应4.Web框架学习方法如何搭建工程程序工程的组建工程的配置路由定义视图函数
qq_繁华·2023-07-13 18:09

物联网之云平台搭建与大数据处理期末复习总结一

物联网云平台之大数据处理概念1.私有云的核心属性是专有资源。2.云计算主流解决方案有四种：OpenStack，CloudStack，Eucalyptus和VMvCloudStuite。
zoraling·2023-06-24 04:48

Spark大数据处理讲课笔记4.8 Spark SQL典型案例

目录零、本讲学习目标一、使用SparkSQL实现词频统计（一）提出任务（二）实现任务1、准备数据文件2、创建Maven项目3、修改源程序目录4、添加依赖和设置源程序目录5、创建日志属性文件6、创建HDFS配置文件7、创建词频统计单例对象8、启动程序，查看结果9、词频统计数据转化流程图二、使用SparkSQL计算总分与平均分（一）提出任务（二）完成任务1、准备数据文件2、新建Maven项目3、修改源
贫坤户～濰小城·2023-06-24 04:40

若依框架学习

1.若依（前后端分离版）1.1什么是若依开源项目，学习开源项目的目的：1.用别人的，减少自己的工作量2.学习他的底层编程思想，设计思路，提高自己的编程能力官网：www.ruoyi.vip基础：springboot+Vue环境要求：1.jdk1.8+2.mysql3.Redis4.Maven5.vue1.2使用若依1.下载并运行先从官网上下载，从码云上拉取创建本地数据库配置好数据源：在admin的数
小俊会编码·2023-06-23 23:50

被测系统架构与数据流分析

角色与数据用户产品前端技术栈后端技术栈数据存储开源项目Mall的系统架构(https://github.com/macrozheng/mall)角色与数据用户产品前端技术栈后端技术栈服务治理技术栈监控技术栈大数据处理技术栈数据存储持续集成
阿瞒有我良计15·2023-06-23 13:14

接口自动化pytest框架学习

1、pytest用例管理框架的作用发现测试用例：从多个py文件中通过默认的规则去找测试用例执行测试用例：顺序和条件判断测试结果：断言生产测试报告：html、allure2、pytest的插件pytest-html生成简易报告pytest-xdist多线程pytest-ordering控制测试用例的执行顺序pytest-rerunfailures失败用例重跑pytest-base-url基础路径的配
javascript_good·2023-06-23 10:13

Beego框架学习笔记02--Beego与数据库操作杂记

1.数据库重登录相关每次关闭电脑或者关闭数据库服务器之后，如果想要再次操作数据库就必须开启数据库服务器。具体过程是先执行【~/$mysql.serverstart】指令，得到数据库服务器启动成功提示。MacBook-Pro:~$mysql.serverstartStartingMySQLSUCCESS!然后再执行【~/$mysql-uroot-p】指令使用管理员身份登录数据库，当然这个时候需要输入
Frank·Ming·2023-06-23 09:02

使用Azure Data Factory REST API和HDInsight Spark进行简化数据处理

AzureDataFactory是一种基于云的数据集成服务，结合HDInsightSpark，一种快速可扩展的大数据处理框架，提供了一个强大的解决方案来应对这些数据处理需求。
沃趣数据库管理平台·2023-06-23 09:01

今日头条发布“头条营销认证”，推动信息流营销行业标准化

今日头条营销中心总经理陈都烨在演讲中表示，“今日头条拥有海量大数据处理能力、全球顶尖的人工智能团队，为广告主提供丰富的
帅哥哥烦烦烦·2023-06-23 06:28

layui框架学习（25：弹出层模块_加载框&询问框）

  layui框架的弹出层模块layer中最重要的函数即layer.open，基于该函数，layer模块封装了很多常用弹出框，上文已介绍了消息框和提示框函数，本文学习加载框和询问框函数的基本用法，同时继续学习layer模块中基础参数的用法。  加载框函数的形式为layer.load(icon,options)，icon用于设置加载动画的形式，而options用于设使用ayer模块的各类基础参数对加
gc_2299·2023-06-23 03:33

layui框架学习（26：弹出层模块_tips框&输入框）

  弹出层模块layer中的tips框和输入框函数也是其底层核心函数open的特定应用实现，其中tips框是可以将弹出层与具体元素绑定，能出现在指定元素周围，而输入框则是弹出信息框获取用户的输入，这两类弹出框的说明如下：  tips框的函数原型为ayer.tips(content,follow,options)，content属性设置提示内容，follow属性设置待关联的元素选择器或者DOM，op
gc_2299·2023-06-23 03:33

layui框架学习（27：弹出层模块_其它用法）

  除了前几篇文章介绍的弹出框类型外，layui的layer弹出层模块还支持相册框和tab框，所谓相册框即点击图片或按钮后会出现一个类似相册的页面单独浏览、切换图片，而tab框是指弹出框的显示形式类似于Winform中的TabControl控件，能以选项卡的形式切换内容，这两类弹出框也是layer模块底层open函数的特定应用。  相册框的函数原型为layer.photos(options)，其支
gc_2299·2023-06-23 03:03

Storm--简介(一)

一、Storm简介  Storm是Twitter开源的分布式实时大数据处理框架，最早开源于github，从0.9.1版本之后，归于Apache社区，被业界称为实时版Hadoop。
无剑_君·2023-06-22 22:42

数据库设计与前端框架

数据库设计与前端框架学习目标：理解多租户的数据库设计方案熟练使用PowerDesigner构建数据库模型理解前端工程的基本架构和执行流程完成前端工程企业模块开发多租户SaaS平台的数据库方案多租户是什么多租户技术
骚戴·2023-06-22 12:08

框架学习遇到的问题及解决方案

框架学习遇到的问题及解决方案问题1：NomappingforGET/admin/解决方法：问题2：Componentname"login"shouldalwaysbemulti-wordvue/multi-word-component-names
宏远小七·2023-06-22 10:48

你可以不用RxJava，但必须得领悟它的思想！

这种思维和我们平时的编程思维不太相同，它以数据流为核心，处理数据的输入，处理以及输出，因此这个框架学习起来是有一定难度的，加之RxJava操作符众多，这又给初学者立了个下马威。本篇博客会分析
Android小贾·2023-06-22 00:39

Web前端之JavaScript框架学习总结

前端知识体系想要成为真正的“互联网Java全栈工程师”还有很长的一段路要走，其中前端是绕不开的一门必修课。本阶段课程的主要目的就是带领Java后台程序员认识前端、了解前端、掌握前端，为实现成为“互联网Java全栈工程师”再向前迈进一步。前端三要素HTML（结构）：超文本标记语言（HyperTextMarkupLanguage），决定网页的结构和内容CSS（表现）：层叠样式表（CascadingSt
Doraemon*·2023-06-21 12:45

项目描述1

学成在线-6分片上传，8xxl-job课程模块开发分布式事务，消息表spring-securityoauth用户认证授权学成在线学成在线认证授权一些代码黑马分布式事物框架学习-若依/RuoYi-Vue-Plus
莫等闲！·2023-06-21 04:41

推荐系统学习

推荐系统系统职能：头条/抖音/快手，都是以推荐系统作为流量的分发的主要手段；职业发展：大数据处理/流式计算/数据挖掘/机器学习/高并发服务等领域。
Ryan_2021_·2023-06-21 00:35

express框架学习笔记

express简介express是一个基于Node.js平台的极简的、灵活的WEB应用开发框架。express是一个封装好的工具包，封装了很多功能，便于我们开发WEB应用（HTTP服务）express使用新建express文件夹新建文件test01.js，代码如下//导入expressconstexpress=require('express');//创建应用对象constapp=express(
隐藏用户y·2023-06-20 20:26

若依框架学习笔记——验证码篇

本篇文章记录自己学习若依框架业务开发逻辑的笔记当我在运行若依项目时，会首先进入到项目的登录界面，但是登陆界面的验证码验证功能在我以往的学习中并未接触过。因此，写下这篇文章记载学习下大佬的开发逻辑。通过对ruoyi-ui前端模块的分析，我们能够发现，项目先通过url请求前端路径http://localhost/dev-api/captchaImag进行代理然后在vue.config.js中将路径重写
小小西瓜呀·2023-06-20 09:04

大数据处理 面试题小结

自己从各个网上书上总结的。以下来自数据结构与算法之美：假设我们有10万条URL访问日志，如何按照访问次数给URL排序？遍历10万条数据，以URL为key，访问次数为value，存入散列表，同时记录下访问次数的最大值K，时间复杂度O(N)。注意：key是URL，hash(key)的结果是value在hash数组中存放位置的下标，但可能有冲突，那就跟据probe或链表法找下一个合适的位置。找到hash
纸上得来终觉浅 绝知此事要躬行·2023-06-20 04:07

Spark 离线开发框架设计与实现

一、背景随着Spark以及其社区的不断发展，Spark本身技术也在不断成熟，Spark在技术架构和性能上的优势越来越明显，目前大多数公司在大数据处理中都倾向使用Spark。
Xiaohong0716·2023-06-19 21:53

Flink学习——Flink中的时间语义和窗口

flink是一个大数据处理引擎，它的最大特点就是分布式。每一个机器都有自己的时间，那么集群当中的时间应该以什么为准呢？
five小点心·2023-06-19 17:29

分布式系统学习第一天 fastDFS框架学习

目录1.项目架构图1.1一些概念1.2项目架构图2.分布式文件系统2.1传统文件系统3.FastDFS3.1fastDFS介绍3.2fastDFS安装3.3fastDFS配置文件3.4fastDFS的启动3.5对file_id的解释4.上传下载代码实现5.源码安装-回顾1.项目架构图1.1一些概念什么是服务器硬件:一台配置高的电脑软件:电脑必须有一个能够解析http协议的软件https是在http
没有网名L·2023-06-19 13:28

浅谈Hadoop体系和MPP体系

浅谈Hadoop体系和MPP体系引言如题，在大数据发展至今，为了应对日益繁多的数据分析处理，和解决客户各种奇思妙（怪）想需求，形形色色的大数据处理的框架和对应的数据存储手段层出不穷。
BigDataMK·2023-06-19 11:06

「Java工具类」AES对称加密工具类

springboot+springcloud+Mybatisplus+druid+mysql+redis+swagger+maven+docker等集成框架的技术分享；datax、kafka、flink等大数据处理框架的技术分享
程序员阿宁·2023-06-19 10:07

大数据处理学习笔记2.4

一、词频统计准备工作单词计数是学习分布式计算的入门程序，有很多种实现方式，例如MapReduce；使用Spark提供的RDD算子可以更加轻松地实现单词计数。在IntelliJIDEA中新建Maven管理的Spark项目，并在该项目中使用Scala语言编写Spark的WordCount程序，最后将项目打包提交到Spark集群（Standalone模式）中运行。（一）创建本地单词文件在D:\spark
MISS0-0·2023-06-18 23:31

Spark大数据处理学习笔记（2.4）IDEA开发词频统计项目

一、词频统计准备工作1.1安装Scala2.12.15从Scala官网下载Scala2.12.15-https://www.scala-lang.org/download/2.12.15.html安装在默认位置安装完毕在命令行窗口查看Scala版本（必须要配置环境变量）1.2启动集群的HDFS与Spark启动HDFS服务启动Spark集群1.3在HDFS上准备单词文件在master虚拟机上创建单词
Neroiiey·2023-06-18 22:26

大数据hadoop生态技术简介

Hadoop生态是指围绕Hadoop大数据处理平台形成的一系列开源软件和工具，用于支持大规模数据处理、存储、管理、分析和可视化等应用场景。
三水写代码·2023-06-18 22:05

函数计算异步任务能力介绍 - 任务触发去重

作者：渐意前言无论是在大数据处理领域，还是在消息处理领域，任务系统都有一个很关键的能力-任务触发去重。这个能力在一些对准确性要求极高的场景（如金融领域）中是必不可少的。
·2023-06-18 19:50

Java Spark 操作 Apache Kudu

它被称为Hadoop生态系统的新一代存储层，能够与ApacheSpark、ApacheImpala、ApacheHive等大数据处理框架集成使用。
小毕超·2023-06-18 18:03

【大数据处理与可视化】八、文本数据分析

【大数据处理与可视化】八、文本数据分析实验目的实验内容实验步骤一、案例——商品评价分析1、读取数据，并转换成DataFrame对象进行展示。
慢热型网友.·2023-06-18 12:22

【大数据处理与可视化】七、时间序列分析

【大数据处理与可视化】七、时间序列分析实验目的实验内容实验步骤一、案例——股票收盘价分析1、读取数据，并转换成DataFrame对象展示2、将“交易日期”一列设置为行索引3、根据数据中“收盘价”一列的数据绘制一张折线图
慢热型网友.·2023-06-18 12:52

揭秘阿里云 Flink 智能诊断利器——Flink Job Advisor

作者：藏红一、引言阿里云实时计算Flink作为一款专业级别的高性能实时大数据处理系统，它在各种业务场景中都发挥了关键的作用。
Apache Flink·2023-06-18 12:08

基于Spark的气象数据分析

基于此，本项目使用Spark等大数据处理工具，采用机器学习、深度学习等多种数据分析方法，并借助可视化手段将多种类型数据与复杂数据进行解读与概括，探究大数据技术在气象数据中的应用，给受众
考研数学武忠样老师·2023-06-18 11:49

Spring 框架学习总结

文章目录一、初识Spring框架二、Spring控制反转（IOC）学习总结三、DI依赖注入学习总结
姚青&·2023-06-18 07:51

一、初识 Spring 框架

文章目录一、Spring简介二、Spring框架的优点三、Spring框架的组成四、Spring框架学习路线一、Spring简介Spring框架简介2004年3月24日发布了Spring1.0正式版，Spring
姚青&·2023-06-18 07:51

（一）基于Unity 3d UI框架学习记录，以及初识DOTween动画库的使用。

基于UNITY3dUI框架学习记录，以及初识DOTween动画库的使用。
jungege_123·2023-06-18 05:05

【安卓Framework学习】Wifi框架学习之开启与关闭流程

系列文章目录【安卓Framework学习】Wifi框架学习之核心类【安卓Framework学习】Wifi框架学习之wifi状态机【安卓Framework学习】Wifi框架学习之连接与断开流程【【安卓Framework
leeeeesss·2023-06-17 23:53

大二下学期期末总结

在大二下学期的企业级信息技术开发和spark大数据处理课程中，我学到了很多关于如何使用现代化技术来解决企业级问题的知识。首先，在企业级信息技术开发方面，我们学习了Java语言和Spring框架。
没123456·2023-06-17 16:00

GIS大数据处理框架sedona(塞多纳)编程入门指导

GIS大数据处理框架sedona(塞多纳)编程入门指导简介ApacheSedona™是一个用于处理大规模空间数据的集群计算系统。
松果仁·2023-06-17 09:17

2021-12-8晨间日记

偶尔有烦躁，正念冥想，心情马上平静纪念日：任务清单昨日完成的任务，最重要的三件事：工作：完成补偿题试卷，作业批改，先周备课改进：用思维导图，框架学习，便于学生复习习惯养成：要事第一周目标·完成进度本周完成
小雨淅淅1987·2023-06-17 08:48

Spark大数据处理学习笔记（3.1）掌握RDD的创建

文章目录一、准备工作1.1准备文件1.1.1准备本地系统文件在/home目录里创建test.txt单词用空格分隔1.1.2启动HDFS服务执行命令：start-dfs.sh1.1.3上传文件到HDFS将test.txt上传到HDFS的/park目录里查看文件内容1.2启动SparkShell1.2.1启动Spark服务执行命令：start-all.sh1.2.2启动SparkShell执行命令：s
Neroiiey·2023-06-17 02:12

Java开发需要的大数据处理方式

写程序软件处理用户量和数据量。用户量一大，并发量线程安问题就会出现。软件一开始是使用C/S的应用架构模式。客户端和服务器端通过互联网相互访问。Windows的客户端软件通过C++编写出来，不同的操作系统支持的客户端软件编写语言不一样。B/S架构模式现在很受到大众的欢迎，一台计算机的应用可携带内存空间有限，安装操作系统之后，推荐安装适用的工具软件。数据量多，处理起来的方案也很多。分布式的编程思想在编
程序员是干活的·2023-06-17 01:08

Spark面试题二十道

答案：Spark和Hadoop都是用于大数据处理的框架，但有以下区别：数据处理模型：Spark提供了更灵活和高级的数据处理模型，如RDD（
MIDSUMMER_yy·2023-06-16 22:10

Room，数据库框架学习一(Room框架搭建)

概念Room设计到的概念有以下几个：1、Entity:对应数据库中的表，可以使用Entity注解将一个类变成数据库中的一张表结构。2、DAO:全称DatabaseAccessObject,定义了对数据库中数据的读写等操作，DAO中可以使用SQL语句来操作数据库。3、RoomDatabase:数据库持有类，用于创建数据库或者连接到数据库。内部包含DAO和Entity。首先进行build.gradle
Mrlove133481·2023-06-16 22:43
上一页 19 20 21 22 23 24 25 26 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他