hadoop序列化

Spark on YARN

ApacheSpark和ApacheHadoopYARN是两个紧密相关的项目，它们经常一起使用来处理大规模数据集。
静听山水·2024-08-28 09:26

Flask-RESTFul 之 RESTFul 的响应处理

RESTFul的响应处理使用`Resource`类的`get()`,`post()`,`put()`,`delete()`等方法直接返回使用`abort`函数使用`make_response`自定义响应序列化数据使用
Jasonakeke·2024-08-28 02:16

Ubuntu下部署Hadoop集群+Hive（三）

Hive部署准备环境apache-hive-4.0.0-bin.tar.gz、mysql-connector-j-8.1.0.jar如果是离线安装的话，使用mysql-8.0.34-1.el7.x86_64.rpm-bundle.tar，在线安装的话则不用；hive下载地址：Indexof/hive(apache.org)mysqlconnector下载地址：MySQL::DownloadConn
岩屿·2024-08-28 01:07

掌握 Rust 中的 YAML 魔法：Serde_yaml 使用指南

掌握Rust中的YAML魔法：Serde_yaml使用指南文章目录掌握Rust中的YAML魔法：Serde_yaml使用指南一、简介二、使用场景三、基本使用1、读取和解析YAML文件2、序列化数据结构为
訾博ZiBo·2024-08-28 00:01

分享一个基于Spark的招聘数据可视化与分析系统Hadoop大数据源码（源码、调试、LW、开题、PPT）

作者：计算机源码社个人简介：本人八年开发经验，擅长Java、Python、PHP、.NET、Node.js、Android、微信小程序、爬虫、大数据、机器学习等，大家有这一块的问题可以一起交流！学习资料、程序开发、技术解答、文档报告如需要源码，可以扫取文章下方二维码联系咨询Java项目微信小程序项目Android项目Python项目PHP项目ASP.NET项目Node.js项目选题推荐项目实战|基
计算机源码社·2024-08-27 20:05

深度思考rpc框架面经系列之二：序列化

此篇总结是接上一篇做的，当然，独立看也是可以的，这几个系列讲解的是rpc框架的不同方面4序列化和反序列化（阿里一面）4.1为什么要序列化呢，解决什么问题呢？
xxx_520s·2024-08-27 20:32

自定义的 mybatis 类型处理器JSON版

MyBatis2.创建映射文件验证示例1.配置数据库源码JsonTypeHandleMyBatisTypeHandler概述JsonTypeHandle是一个自定义的MyBatis类型处理器，用于将Java对象序列化为
吾性傲且野·2024-08-27 15:35

Hadoop：HA模式配置与实现

写的不到位的地方，欢迎评论指出不足之处一、检查系统环境1、HostName、Hosts、JDK、SSH、网络、防火墙、数据源二、集群角色分配表注：这只是实例服务器NameNodeNameNodeZookepperFailoverControllerDataNodeZookepperJournalNodeOneyes(NN2和其它节点免密)yesyesTwoyes(NN1和其它节点免密)yesyes
家道消乏·2024-08-27 08:14

预定义标准常量（ MarketInfo(Symbol(),MODE_…) ）

序列化数组序列化数组标识符用在ArrayCopySeries(),iHighest()和iLowest()函数。
牛在汇上飞·2024-08-27 07:39

大数据技术之Flume 企业开发案例——负载均衡和故障转移（6）

2）需求分析故障转移案例3）实现步骤准备工作在/opt/module/flume/job目录下创建group2文件夹[lzl@hadoop12job]$c
大数据深度洞察·2024-08-27 05:58

Django后端架构开发：从匿名用户API节流到REST自定义认证

无论是用户的认证与权限管理，还是API的节流与数据序列化，都需要一个高效且安全的实现方案。
Switch616·2024-08-26 18:39

zookeeper+KAFKA 集群搭建

ZooKeeper是一个分布式的，开放源码的分布式应用程序协调服务，是Google的Chubby一个开源的实现，是Hadoop和Hbase的重要组件。
懵逼的运维弟弟·2024-08-26 16:28

（十五）Flink 内存管理机制

在大数据领域，很多开源框架（Hadoop、Spark、Storm）都是基于JVM运行，但是JVM的内存管理机制往往存在着诸多类似OutOfMemoryError的问题，主要是因为创建大量的实例，超过JVM
springk·2024-08-26 16:27

面试笔记8.24

正确答案：在我的项目中涉及大数据开发时，我通常会采用分布式的架构，比如使用Hadoop或者Spark等大数据处理框架。我会在集群中部署多台服务器，通过分布式计算和存储来处理大规模数据。
励志秃头码代码·2024-08-26 16:55

Simple RPC - 05 从零开始设计一个客户端（下）_ 依赖倒置和SPI

.调用方与实现类的解耦依赖注入与SPI的解耦依赖注入SPI（ServiceProviderInterface）总结PreSimpleRPC-01框架原理及总体架构初探SimpleRPC-02通用高性能序列化和反序列化设计与实现
小小工匠·2024-08-26 15:20

在linux机器中安装配置hadoop

1.首先我们要把hadoop包上传到我们的liunx机器中（运用外链软件上传如：Xshell+xftp）（用我们的外链软件连接成功后，进行hadoop包的上传）上传到我们想要的目录路径下，比如我的是上传到
BigData_C·2024-08-26 14:40

计算机毕业设计Hadoop+Spark知识图谱体育赛事推荐系统 体育赛事热度预测系统 体育赛事数据分析 体育赛事可视化 体育赛事大数据 机器学习 大数据毕业设计 大数据毕设 机器学习 人工智能

开发技术前端：vue.js、element-ui、echarts后端：springboot、mybatis大数据：spark、hadoop数据库：mysql关系型数据库、neo4j图数据库算法：协同过滤推荐算法
计算机毕业设计大全·2024-08-26 13:43

Kylin系列-入门

Kylin系列-入门ApacheKylin是一个开源的分布式分析引擎，提供Hadoop/Spark之上的SQL查询接口及多维分析（OLAP）能力，以支持超大规模数据。
Dingdangr·2024-08-26 13:34

序列化和反序列化

序列化和反序列化是计算机科学中的两个重要概念，通常用于数据传输和存储。序列化和反序列化的格式和协议必须匹配，否则会导致数据不一致或错误。反序列化过程中可能会遇到恶意数据，特别是在网络环境中。
桐叶岩·2024-08-26 10:47

Mac Hadoop Yarn日志聚合出错

MacHadoopYarn日志聚合出错通过日志查看出现了下面的错误：java.lang.IllegalStateException:CannotcloseTFileinthemiddleofkey-valueinsertion.atorg.apache.hadoop.io.file.tfile.TFile
HHoao·2024-08-26 10:15

蓝易云 - 深入理解Java序列化接口及其实现机制

Java序列化是一个框架，它允许将对象状态转换为字节流，从而可以将其持久化到硬盘上或通过网络传输到另一个网络节点。当其他程序获取了这个字节流，它可以反序列化为原来的对象。
蓝易云·2024-08-26 07:02

基于spark+hadoop+hive大数据分析的电影推荐系统的设计与实现

1.1开发环境二、系统介绍2.1图片展示三、部分代码设计3.1.部分代码如下：**总结****大家可以帮忙点赞、收藏、关注、评论啦****有问题评论区交流**一、开发介绍1.1开发环境技术栈：spark+hadoop
毕设木哥·2024-08-26 06:26

C# 后台调用接口返回JSON反序列化到实体类中

1.先写入该方法，调用接口和带参数的方法用一个string类型的变量接收返回的JSON即可例：stringjson=HttpGet(接口链接，接口带的参数);publicstaticstringHttpGet(stringUrl,stringpostDataStr){HttpWebRequestrequest=(HttpWebRequest)WebRequest.Create(Url+(postD
北望江山·2024-08-26 00:47

《Hadoop核心技术》作者翟周伟 ：我与Hadoop的不解之缘

摘要：翟周伟，资深Hadoop技术专家，《Hadoop开源云计算平台》、《Hadoop核心技术》作者。
xytlwp·2024-08-25 21:27

9、Flink SQL 流式概念之Compiled Plan详解

生成CompiledPlan配置过程首先会使用COMPILEPLAN语句生成一个JSON文件，它表示了序列化后的执行计划。COMPILEPLAN不支持查询语句SELECT...FROM...。
猫猫爱吃小鱼粮·2024-08-25 20:53

Java实现Dubbo快速入门指南

它提供了服务的注册、发现、调用等功能，支持多种协议和序列化方式，使得开发者能够轻松构建和维护分布式服务。
杰哥的编程世界·2024-08-25 20:52

Tair分布式缓存

为什么不能像操作分布式数据库或者hadoop那样，增加一个中央节点，让它去代理所有事情。所以就开发了这个tai
kingkyrie·2024-08-25 18:38

Hadoop入门基础（五）：Hadoop 常用 Shell 命令一网打尽，提升你的大数据技能！

1.Hadoop基本命令1.1查看版本信息hadoopversion用于检查Hadoop的版本信息以及编译信息。
william.zhang(张)·2024-08-25 15:52

TreeMap

基于红黑树实现的Map不允许为null的key非线程安全serialVersionUID：用于在反序列化时验证版本，默认情况下，也就是不声明serialVersionUID属性情况下，系统会按当前类的成员变量计算
丿九尾狸猫·2024-08-25 12:13

Unity实现运行时撤销(undo)功能浅谈

想要比较完美的实现撤销功能，需要两个基础1.添加和删除使用命令模式2.基础数据支持序列化项目框架使用的QFramework，支持简单的命令模式。
听星·2024-08-25 09:42

HDFS的编程

一、HDFS原理HDFS（HadoopDistributedFileSystem）是hadoop生态系统的一个重要组成部分，是hadoop中的的存储组件，在整个Hadoop中的地位非同一般，是最基础的一部分
卍king卐然·2024-08-25 07:02

微服务Dubbo扩展点如何做

在Dubbo中，协议、序列化、负载均衡等行为是可以通过扩展点来实现和定制的。下面是几个具体的例子，展示了如何使用这些扩展点来调整Dubbo的行为。
Wade_Crab·2024-08-25 07:30

Hadoop入门基础（二）：Hadoop集群安装与部署详解（超详细教程）

NameNodemaster192.168.1.101DataNode1slave1192.168.1.102DataNode2slave2192.168.1.1032.软件要求操作系统：CentOS7或Ubuntu20.04JavaJDK：Hadoop
william.zhang(张)·2024-08-25 06:57

移动端安卓app渗透测试逆向工具集分享（1）

给大家分享一些我自己收藏的移动端安卓app逆向工具包，下面是目录activty劫持工具adb1.0.32CTF工具合集hackbar2.3.1ImmunityCanvasJava反序列化终极测试工具AndroidKiller_v1.3.1Android
2401_86855609·2024-08-24 20:26

Ubuntu下部署Hadoop集群+Hive（一）

配置主机Host在三台服务器上添加主机名与IP的映射，以方便在局域网内进行主机间的快速访问和后续的文件配置；配置方法：vi/etc/hosts为方便配置：我的三台主机取名为HadoopMaster、HadoopSlave01
岩屿·2024-08-24 17:41

Objective-C中的时光机器：NSKeyedArchiver与NSKeyedUnarchiver的序列化之旅

标题：Objective-C中的时光机器：NSKeyedArchiver与NSKeyedUnarchiver的序列化之旅在Objective-C的世界中，对象序列化是一种将对象状态转换为可以存储或传输的形式的技术
杨哥带你写代码·2024-08-24 17:39

PHP cookie存放数组

下面介绍两种方法来实现方法一：先用serialize序列化数组，再存入COOKIE,读出来时用unserialize得到原来的数组//存入$arr=array(1,2,3);$arr_str=serialize
libray_·2024-08-24 15:23

Hadoop 的基本 shell 命令

Hadoop的基本shell命令主要用于与Hadoop分布式文件系统（HDFS）和MapReduce进行交互。
难以触及的高度·2024-08-24 14:22

Jackson 反序列化漏洞

文章目录Jackson反序列化漏洞利用条件Jackson反序列化漏洞原理漏洞利用过程漏洞示例Jackson反序列化漏洞黑盒测试方法猜测后端是否有JacksonJackson反序列化漏洞利用条件1.DefaultTyping
B1ackMa9ic·2024-08-24 13:45

【反序列化漏洞】关于反序列化漏洞的杂谈1 -- Apache Dubbo 反序列化漏洞 CVE-2023-29234

提示：文章写完后，目录可以自动生成，如何生成可参考右边的帮助文档文章目录前言一、经典的序列化过程二、反序列化漏洞案例1.ApacheDubbo反序列化漏洞（CVE-2023-29234）2.解析漏洞问题
B1ackMa9ic·2024-08-24 13:44

基于Hadoop的海量图像检索

基于Hadoop的海量图像检索“MassiveImageRetrievalBasedonHadoop:AStudyinSoftwareEngineering”完整下载链接:基于Hadoop的海量图像检索文章目录基于
usp1994·2024-08-24 13:12

从零到一建设数据中台 - 关键技术汇总

一、数据中台关键技术汇总语言框架：Java、Maven、SpringBoot数据分布式采集：Flume、Sqoop、kettle数据分布式存储：HadoopHDFS离线批处理计算：MapReduce、Spark
我码玄黄·2024-08-24 12:09

如何从头开始编写一个简单的 RPC 协议（手写 Dubbo 的自定义协议）

Header：存储协议的元数据，例如消息类型、序列化方式、请求ID等。MagicNumber(2字节)：用于标识协议版本。Flag(1字节)：表示消息类型（请求或响应）和序列化方式。
Wade_Crab·2024-08-24 07:03

Kylin的工作原理及使用分享

Kylin提供了一个Hadoop之上的SQL查询接口及多维分析(OLAP)能力，能够支持大规模数据，处理TB乃至PB级别的分析任务，并且能够在亚秒级查询巨大的Hive表。
丁爸·2024-08-24 07:01

阿里云服务器内存型r7、r8a、r8y实例区别及最新活动价格参考

在阿里云目前的活动中，属于内存型实例规格的云服务器有内存型r7、内存型r8a、内存型r8y这几个实例规格，相比于活动内的经济型e和通用算力型u1等实例规格来说，这些实例规格等性能更强，适用于数据分析与挖掘，Hadoop
阿里云最新优惠和活动汇总·2024-08-23 22:23

浅谈序列化及文本格式

序列化及文本格式需求背景软件项目在开发过程中，将大量初始化配置项在一定程度上保存在配置文件中。肯定有很多人有疑问，为什么不将这些信息放在软件内存中。开机时与用户交互进行确认？
wangyhwyh753·2024-08-23 19:15

Ubuntu下部署Hadoop集群+Hive（二）

Hadoop集群搭建准备环境hadoop-3.3.6.tar.gz，jdk-8u421-linux-x64.tar.gz根据自己的使用下载对的hadoop和jdk版本hadoop下载地址：ApacheHadoopJDK
岩屿·2024-08-23 14:46

计算机毕业设计hadoop+spark知识图谱美食推荐系统 美食价格预测 美团推荐系统 美团爬虫 大众点评爬虫 美食数据分析 美食可视化大屏 大数据毕设

创新点：1.支付宝沙箱支付2.支付邮箱通知(JavaMail)3.短信验证码修改密码4.知识图谱5.四种推荐算法(协同过滤基于用户、物品、SVD混合神经网络、MLP深度学习模型)6.线性回归算法预测房价7.Python爬虫采集大众点评美食数据8.AI短信识别9.百度地图API10.lstm情感分析11.spark大屏可视化开发技术：springbootvue.jspythonechartsspar
计算机毕业设计大全·2024-08-23 13:22

SQL 注入 漏洞测试 POP 注入 windows和Linux均可使用，已测试成功

KaliLinux上使用Nmap、Metasploit和其他工具进行POP3服务的漏洞测试1.初步扫描2.检查已知漏洞3.使用Metasploit4.使用Telnet手动测试5.检查远程代码执行漏洞漏洞测试防御措施反序列化漏洞的示例防止
3分云计算·2024-08-23 11:57

计算机毕业设计hadoop+spark知识图谱高考分数预测系统 高考志愿推荐系统 高考可视化大屏 高考大数据 高考数据分析 高考爬虫 大数据毕业设计

开发技术hadoopsparkspringbootvue.jsPython爬虫、机器学习、深度学习mybatis-plusneo4j知识图谱图数据库mysql协同过滤算法(基于物品、基于用户模式)MLP
计算机毕业设计大全·2024-08-23 11:05
上一页 2 3 4 5 6 7 8 9 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他