大数据处理框架学习

Gin框架学习

Golangweb开发常用的框架有Gin、Beego、Echo等。Gin特点：封装比较好，API友好，源码注释比较明确，具有快速灵活，容错方便等特点运行速度快，分组的路由器，良好的崩溃捕获和错误处理，非常好的支持中间件和json模块比较少，可以自己由构建Beego特点：社区良好，中文开发者很多，资料很丰富模块很丰富支持完整MVC、正则路由、restfulController路由1、基本使用下载Gi
凌木LSJ·2023-08-02 09:15

Django Rest_framework安装配置使用

（若没有Django环境，需要先创建环境安装Django）1、安装DRFpipinstalldjangorestframework2、添加rest_framework应用我们利用在Django框架学习中创建的
慕慕—·2023-08-02 08:18

Node.js之express框架学习心得

Node.js：颠覆传统的服务器端开发Node.js是基于ChromeV8引擎构建的JavaScript运行时，它采用了完全不同的开发模型。Node.js使用事件驱动和非阻塞I/O的方式处理请求，通过单线程和异步机制，实现高效的并发处理。这意味着在Node.js中，一个线程可以处理数千个并发连接，大大提高了服务器的性能和可伸缩性。一、认识Web框架二、Express安装三、Express的基本使用
前端鼓励师·2023-08-02 07:36

60天20个主流框架

框架学习完之后还有重要的一点就是一定要用到项目中去，开源项目就是很好的学习资源。
Jerry1268·2023-08-02 03:52

Apache Spark 的基本概念和在大数据分析中的应用

ApacheSpark是一种快速、通用、可扩展的大数据处理引擎，用于大规模数据处理任务，如批处理、交互式查询、实时流处理、机器学习和图形处理等。
Dream SYC_UCC·2023-08-02 03:18

Flink教程-keyby 窗口数据倾斜的优化

在大数据处理领域，数据倾斜是一个非常常见的问题，今天我们就简单讲讲在flink中如何处理流式数据倾斜问题。
大数据技术与应用实战·2023-08-02 02:31

easyUI框架学习

文章目录一、前言二、引入使用easyUI三、用法3.1Dialog（对话框窗口）3.1.1示例13.1.2示例23.2Layout（布局）3.2.1示例1——通过标签创建布局3.2.2示例2——创建嵌套布局3.3DateBox（日期输入框）3.3.1示例1——使用标签创建日期输入框3.3.2示例2——使用JavaScript创建日期输入框，格式化日期3.4Pagination（分页）3.4.1示例
素心如月桠·2023-08-01 22:36

浅谈大数据软件的功能性分析

在当今时代的潮流中，工作中遇到大数据处理的时候非常多，因此需要一些大数据分析软件帮助人们进行工作。
懂电商API接口的Jennifer·2023-08-01 05:52

Svelte框架学习初探

1.Svelte是什么？Svelte是一款新颖的前端框架，和Vue、React类似，都是属于MVVM框架。Svelte作者是RichHarris，同时也是Rollup的作者，他设计Svelte的核心思想在于『通过静态编译减少框架运行时的代码量』。从数据上来看，Svelte是仅次于React、Angular和Vue的第四大前端框架：截止至2023年3月底，Svelte的GitHub仓库已有66.5k
小豆芽Pin·2023-07-31 17:53

大数据架构图

大数据处理的主要流程包括数据收集、数据存储、数据处理、数据应用等主要环节。随着业务的增长,大量和流程、规则相关的非结构化数据也爆发式增长。
ixiaoyang8·2023-07-31 17:10

【pytorch框架学习】nn.Embedding中的padding_idx用法示意

importtorchimporttorch.nnasnnembedding1=nn.Embedding(10,3)embedding1.weightParametercontaining:tensor([[-0.9116,0.5195,-1.3509],[0.5670,0.8024,-0.0373],[-0.8223,-1.2181,-0.6713],[-1.2734,-1.0591,-1.12
Go 鹏ya·2023-07-31 12:59

layui框架学习（34：数据表格_基本用法）

  Layui中的数据表格模块table支持动态显示并操作表格数据，之前学习的页面元素中的表格主要是通过使用样式及属性对表格样式进行设置，而table模块支持动态显示、分页显示、排序显示、搜索等形式各样的动态操作，参考文献3中也给出了数据表格的各类应用示例，由于内容较多，计划分几篇文章学习并记录主要的使用方式。本文先记录数据表格的基本用法。  数据表格动态加载数据需调用后台服务，本文中采用SqlS
gc_2299·2023-07-31 10:29

layui框架学习（35：数据表格_列参数设置）

  Layui中的table数据表格模块支持对表格及列进行基础参数设置以提高数据的可视化及可操作性，本文学习并记录与列相关的主要基础参数的用法及效果。  基础参数field设置待显示到列中的数据的字段名，主要针对数据表格url属性中返回的数据集合或data属性设置的数据集合中单条记录中的字段名称，这里需注意的是后端服务中对应的属性名开头字母一般都大写，但是返回到前端时开头字母一般都变成了小写。  
gc_2299·2023-07-31 10:29

layui框架学习（33：流加载模块）

  Layui中的流加载模块flow主要支持信息流加载和图片懒加载两部分内容，前者是指动态加载后续内容，示例的话可以参考csdn个人博客主页，鼠标移动到页面底部时自动加载更多内容，而后者是指页面显示图片时才会延迟加载图片信息。  flow模块支持图片懒加载，也即延迟加载，应用比较简单，即之前img标签中将之前采用src属性设置图片地址的方式修改为lay-src属性设置图片地址，同时采用JavaSc
gc_2299·2023-07-31 10:29

layui框架学习（36：数据表格_复杂表头）

  table数据表格模块中的col属性支持配置复杂表头，其为二维数组，用于描述复杂表头中每个表头单元格的位置和尺寸信息（colspan和rowspan描述表头单元格所占行数和列数）。  从参考文献2-3给出的示例来看，描述复杂表头的方式应为从左向右、从上向下描述每个表头单元格，所谓从左向右是指col属性中的第一维数据应为当前行的所涉及的所有表头单元格的列描述（从左向右描述），而从上向下则是指co
gc_2299·2023-07-31 10:58

Hadoop学习指南：探索大数据时代的重要组成——Hadoop概述

本文将介绍Hadoop的组成和其在大数据处理中的重要作用，让我们一同踏上学习Hadoop的旅程。Hadoop概述Hadoop是什么1）Hadoop是一个由Apache基金会所开发的分布式系统基础架构。
老虎也淘气·2023-07-31 05:41

RAC框架学习和运用

ReactiveCocoa（简称为RAC）,是由Github开源的一个应用于iOS和OS开发的一个框架,在我们iOS开发过程中，当某些事件响应的时候，需要处理某些业务逻辑,这些事件都用不同的方式来处理。比如按钮的点击使用action，ScrollView滚动使用delegate，属性值改变使用KVO等系统提供的方式。其实这些事件，都可以通过RAC处理。ReactiveCocoa为事件提供了很多处理
进阶的蚊子·2023-07-30 05:46

前端框架学习-基础&前后端分离

前端知识栈前端三要素：HTML、CSS、JSHTML是前端的一个结构层，HTML相当于一个房子的框架，可类比于毛坯房只有一个结构。CSS是前端的一个样式层，有了CSS的装饰，相当于房子有了装修。JS是前端的一个行为层，有了JS，就让房子通了水电燃气，让房子能够有各种资源。在前端为了简化开发，于是有了各种的框架JavaScript框架JQuery框架，简化了DOM操作，但是对DOM的操作太频繁的时候
沉默的游鱼·2023-07-30 01:48

前端框架学习-Vue(三)

目录初识VueVue模板语法数据绑定el和data的两种写法事件的基本使用`$emit`在子组件中定义方法，执行父组件的方法Vue中的事件修饰符：键盘事件计算属性监视属性条件渲染列表渲染表单数据收集过滤器笔记内容来自：尚硅谷Vue2.0+Vue3.0全套教程丨vuejs从入门到精通初识Vue1.想让Vue工作，就必须创建一个Vue实例，且要传入一个配置对象；2.root容器里的代码依然符合html
沉默的游鱼·2023-07-30 01:48

前端框架学习-Vue（二）

最近在学习Vue框架，Vue中的内容很多。相当于把之前后端的MVC，V层转移到前端来编写和部署。下面是学习Vue时的大纲。Vue生命周期是Vue应用的生命周期Vue脚手架，即vue-cli，使用node.js来创建和启动vue项目Vue组件知识，整体之后一个App组件。其他的都挂在在这个根组件上。Vue路由知识，路由决定路径变化时，子组件怎么动态加载。Vue对应的UI框架（ElementUI）Vu
沉默的游鱼·2023-07-30 01:18

短视频矩阵系统源码---开发技术源码能力

短视频矩阵系统开发涉及到多个领域的技术，包括视频编解码技术、大数据处理技术、音视频传输技术、电子商务及支付技术等。
(ylhd898978)·2023-07-29 12:18

大数据处理框架-Spark DataFrame构造、join和null空值填充

1、SparkDataFrame介绍DataFrame是SparkSQL中的一个概念，它是一个分布式的数据集合，可以看作是一张表。DataFrame与RDD的主要区别在于，前者带有schema元信息，即DataFrame所表示的二维表数据集的每一列都带有名称和类型。2、构造DataFrameimportorg.apache.log4j.{Level,Logger}importorg.apache.
申子辰林·2023-07-29 11:06

PC音频框架学习

1.整体链路下行播放：App下发音源→CPUAudioEngine信号处理→DSP数字信号处理→CodecDAC→PA→SPK上行录音：MIC拾音→集成运放→CodecADC→DSP数字信号处理→CPUAudioEngine信号处理→App2.硬件CPUPCHDSP(可选)CodecPASPKboxMIC等PCH：南桥芯片用来处理低速信号，并与中央处理器联系，负责I/O总线之间的通信，如PCI总线
机械工人杨师傅·2023-07-29 09:25

Zinx框架学习 - 连接属性配置

Zinx-V0.10连接属性配置当我们在使⽤连接处理的时候，希望和连接绑定⼀些⽤户的数据，或者参数。那么我们现在可以把当前连接设定⼀些传递参数的接⼝或者⽅法实现思路链接添加链接配置接⼝iconnection.gopackagezifaceimport"net"//定义链接模块的抽象层typeIConnecitoninterface{//启动链接让当前的链接准备开始工作Start()//停止链接结束
找不着工作不改名·2023-07-29 08:51

Zinx框架学习 - 连接管理

Zinx-V0.9连接管理每个服务器的能够处理的最大IO数量是有限的，根据当前服务器能开辟的IO数量决定，最终决定权是内存大小现在我们要为Zinx框架增加链接个数的限定，如果超过⼀定量的客户端个数，Zinx为了保证后端的及时响应，⽽拒绝链接请求实现思路连接管理模块iconnmanager.gopackageziface//连接管理模块抽象层typeIConnManagerinterface{//添
找不着工作不改名·2023-07-29 08:50

Zinx框架学习 - 构建最基础的Server

Zinx-V0.1构建最基础的ServerZinx的框架结构：整体思路：客户端发送请求到服务器端，服务端会有一个Goroutine专门处理listenner和监听这个过程，然后有客户端连接过来之后会启动一个客户端处理Goroutine，这个Goroutine会分别开启一个客户端读写Goroutine，Reader是用来从客户端把数据读到已经开辟好的工作池中，工作池处理业务会针对用户自已经注册好的自
找不着工作不改名·2023-07-29 08:20

Zinx框架学习 - 读写协程分离

Zinx-V0.7读写协程分离之前connection使用StartReader对客户端的数据接下来我们就要对Zinx做⼀个⼩⼩的改变，就是与客户端进修数据交互的Gouroutine由⼀个变成两个，⼀个专⻔负责从客户端读取数据，⼀个专⻔负责向客户端写数据。这么设计有什么好处，当然是⽬的就是⾼内聚，模块的功能单⼀Server依然是处理客户端的响应，主要关键的⼏个⽅法是Listen、Accept等。当
找不着工作不改名·2023-07-29 08:20

数据湖如何为企业带来9%的高增长？可否取代数据仓库？

您可以按原样存储数据，而不必首先构造数据，并运行不同类型的分析—从仪表板和可视化到大数据处理、实时分析和机器学习，以指导更好的决策。为什么需要数据湖？通过数据成功创造商业价值的组织将胜过同行。
产品经理自我修养·2023-07-29 07:25

认证、授权——SpringSecurity框架学习心得

前言：SpringSecurity是一个开源的安全框架，它提供了全面的安全解决方案，包括用户身份认证、权限管理、攻击防护等。SpringSecurity建立在Spring框架之上，因此它具有良好的灵活性和可扩展性，并且易于与其他Spring组件集成。SpringSecurity的主要特点包括：支持多种身份认证方法：SpringSecurity支持多种身份认证方法，包括基于表单的身份认证、HTTP基
别活在过去i·2023-07-28 21:48

Spark（1）-- 一文看懂Spark

Spark介绍：Spark是一个快速而通用的大数据处理框架，它提供了高效的分布式数据处理和分析能力。
三水写代码·2023-07-28 21:13

谁能讲清楚Spark之小白入门

首先，Spark是大数据处理框架的一种，那么什么是大数据处理框架？什么是大数据？字面意思懂得都懂。
数据咩·2023-07-28 18:44

大数据处理架构详解：Lambda架构、Kappa架构、流批一体、Dataflow模型、实时数仓

分布式数据模型详解：OldSQL=＞NoSQL=＞NewSQL》《分布式计算模型详解：MapReduce、数据流、P2P、RPC、Agent》《大数据存储架构详解：数据仓库、数据集市、数据湖、数据网格、湖仓一体》《大数据处理架构详解
Shockang·2023-07-28 15:34

gin框架学习-路由分组和中间件

路由分组和中间件前言一、路由分组二、中间件1、中间件简介2、定义中间件3、注册中间件1）注册全局中间件2）单独注册某个路由中间件3）注册路由组中间件4、中间件的嵌套1）Next()2）return3）Abort()5、中间件注意事项1）gin默认中间件2）gin中间件中使用goroutine前言感谢开源项目gin-vue-admin，以及1010工作室的视频教程本人学识尚浅，如有错误，请评论指出，
lin钟一·2023-07-28 14:22

mongodb原理与实现

关系型数据存在以下问题：大数据处理能力差；水平扩展能力差；分库分表复杂；应用程序开发效率低；表结构变动困难；比如要增加字段，就需要改变表结构。
congchp·2023-07-28 12:20

十个大数据最好用的开发工具，你知道几个？

整个互联网现已进入大数据年代，“大数据”一词的要点现也现已不只在于数据规划的定义，它更代表着信息技术展开进入了一个新的里程，代表着爆炸性的数据信息给传统的核算技术和信息技术带来的技术挑战和困难，代表着大数据处理所需的新的技术和方法
bigdata大大·2023-07-28 08:09

大数据开发：Flink SQL快速入门

Flink在大数据处理上，是流批一体的框架，针对于各种场景下的数据处理，也有一套FlinkSQL的操作思路。今天的大数据开发分享，我们就来讲讲基本的FlinkSQL快速入门。
成都加米谷大数据·2023-07-27 19:23

springboot 框架学习 thymeleaf静态模板引擎实现页面跳转

最近在深啃jvm虚拟机，主要方法是阅读《深入java虚拟机》这本书，写的很形象深入，简单易懂。今天上web课程老师讲到servlet时突然想到boot的页面跳转与数据响应。之前的springmvc在boot中也有集成，但是boot的常用页面是html5，不是jsp页面，所以对于数据的显示与获取有了一定的不适。不过这个得到了解决，入手的springboot+vue实战开发这本书中对于boot开发简单
ForestSpringH·2023-07-27 15:49

pytest 接口测试框架学习

importrequestsclassTestDemo:deftest_get(self):r=requests.get("https://www.baidu.com/")print(r.status_code)assertr.status_code==200deftest_query(self):payload={"level":1,"name":"xuefeifei"}r=requests.g
bug捕手·2023-07-27 08:28

Python用pandas进行大数据Excel两文件比对去重300w大数据处理

Python用pandas进行大数据Excel两文件比对去重背景介绍：通俗理解有两个excel文件分别为A和B我要从B中去掉A中含有的数据，数据量大约在300w左右因为数据量较大，无论是wps还是office自带的去重都无法正常使用这样就需要用到脚本了话不多说，代码如下：importpandasaspdfromtqdmimporttqdm#引号内填写需要去重的表格路径targetExcel=r'.
小张冲鸭·2023-07-27 01:55

高通WLAN框架学习（37）-- TDLS（Tunneled Direct Link Setup）通道直接链路建立

一TDLS概述隧道直连设置(TDLS)基于IEEE802.11z-2010IEEE标准802.11z标准(无线局域网介质访问控制(MAC)和物理层(PHY)规范。TDLS允许与同一AP关联的设备之间建立直接链路。Wi-FiDirect允许设备之间直接连接，而不需要AP。Wi-Fi联盟认证可用于IEEE802.11a和802.11g设备的TDLS,WPA2&WMM系统互操作性或802.11n系统互操
专业开发者·2023-07-27 00:41

为什么最努力的人，一遇到大事就搞砸？

混沌大学的邢波老师有讲过这么一个案例：几年前，邢波老师给Facebook开发一个大数据处理的程序。结果，原本测试正常的程序，在大规模应用时，速度却出奇地慢，根本无法商用。
践者行之·2023-07-26 15:27

ClickHouse（一）：ClickHouse介绍及OLAP场景特征

1.ClickHouse与其特性在大数据处理场景中，流处理和批处理使用到的技术大致如下：批处理会将源业务系统中的数据通过数据抽取工具（例如Sqoop）将数据抽取到HDFS中，这个过程可以使用MapReduce
IT贫道·2023-07-26 11:05

layui框架学习（32：表单）

  Layui中的分页模块laypage支持在指定的容器中显示分页信息，主要是指总页数、当前页面、上一页/下一页等信息，可以配合其它组件实现分页显示数据或者分页显示内容，事实上，Layui中的动态数据表格等模块都附带有显示分页功能。laypage分页模块的基本用法及显示效果如下所示：layui.use('laypage',function(){varlaypage=layui.laypage;la
gc_2299·2023-07-26 09:57

三分钟部署Laxcus大数据管理系统

最新的2.x版本已经全面覆盖和集成当前大数据主流技术和功能，并投入到国内多个大数据处理业务中使用。Laxcus同时保持了使用和部署的极简性，这将使所有人都能很容易学习和掌握它。
LAXCUS分布式操作系统·2023-07-26 08:11

史上最全“大数据”学习资源集合

当今“大数据”一词的重点其实已经不仅在于数据规模的定义，它更代表着信息技术发展进入了一个新的时代，代表着爆炸性的数据信息给传统的计算技术和信息技术带来的技术挑战和困难，代表着大数据处理所需的新的技术和方法
yoku酱·2023-07-26 02:43

Python：Django3.1 框架学习笔记

Django框架符合的是（MVT模型）–>Model，View，Template文章目录Django框架符合的是（MVT模型）-->Model，View，Template1.创建项目确认项目是否创建成功2.创建项目应用3.建立项目与应用之间的联系（在setting.py中注册应用）4.Django核心----ORM模型5.设计模型类和表（Models数据库操作）模型类设计格式模型类字段类型和字段选
此时一位小白路过·2023-07-26 01:39

Tensorflow框架学习记录--day01--张量与变量

Tensorflow框架学习记录–day01–张量与变量张量（Tensor）tensorflow的张量就是一个n维数组，类型维tf.Tensor。
炮炮炮~~·2023-07-26 00:11

MQTT通信协议交互框架学习资料收集

1、EclipseMosquitto™--MQTT案例2、MQTT协议中文版3、EMQ-百万级开源MQTT消息服务器4、MQTT官方文档5、EMQ-百万级开源MQTT消息服务器--Github6、深入浅出MQTT协议7、酷炫MQTT实现消息推送8、MQTT百度百科9、MQTT专家的系列博客10、MQTT协议及其应用--博客专栏--CSDN论坛博客专家--逍遥子11、----------------
_明月·2023-07-25 12:27

Kafka在大数据处理中的应用

Kafka在大数据处理中的应用一、Kafka简介1.基础概念2.Kafka的主要功能3.Kafka的特点二、应用场景1.数据采集和消费2.数据存储和持久化3.实时数据处理和流计算4.数据通信和协同三、技术融合
格林希尔·2023-07-25 11:56

Spring MVC框架学习（五） ---- 传递参数

文章目录SpringMVC框架学习（五）----传递参数0、解决返回数据是乱码的问题1、传递单个参数2、传递多个参数3、接收对象类型4、后端参数重命名@Requestparam5、接收JSON类型@RequestBody6
RAIN 7·2023-07-25 09:46
上一页 17 18 19 20 21 22 23 24 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他