大数据开发平台搭建踩坑记录

大数据开发之Kafka（概述、快速入门、生产者）

第1章：Kafka概述1.1定义Kafka是一个分布式的基于发布/订阅模式的消息队列，主要应用于大数据实时处理领域。发布/订阅：消息的发布者不会将消息直接发送给特定的订阅者，而是将发布的消息分为不同的类别，订阅者只接收感兴趣的消息。1.2消息队列目前企业中比较常见的消息队列产品主要有Kafka、ActiveMQ、RabbitMQ、RocketMQ等。在大多数场景主要采用Kafka作为消息队列在Ja
Key-Key·2024-01-20 10:39

大数据开发之Hadoop（完整版+练习）

第1章：Hadoop概述1.1Hadoop是什么1、Hadoop是一个由Apache基金会所开发的分布式系统基础架构。2、主要解决，海量数据的存储和海量数据的分析计算问题。3、Hadoop通常是指一个更广泛的概念-Hadoop生态圈1.2Hadoop优势（4高）1、高可靠性：Hadoop底层维护多个数据副本，所以即使Hadoop某个计算元素或存储出现故障，也不会导致数据的丢失。2、高扩展性：再集群
Key-Key·2024-01-20 10:36

有什么订单管理软件系统比较好用啊？

我们公司在零代码平台搭建的这套系统，能完美克服订单管理：灵活、自动化、进销存、数据分析需求预测、订单跟踪客户跟进……感兴趣的话，欢迎继续看下去，系统可自取——订单管理-进销存解决方案：https://www.jianda
jdyzzy·2024-01-19 21:04

X-Bogus加密参数分析与jsvmp算法（仅供学习）

【作者推荐】：对JS逆向感兴趣的朋友可以关注《爬虫JS逆向实战》，对分布式爬虫平台感兴趣的朋友可以关注《分布式爬虫平台搭建与开发实战》还有未来会持续更新的验证码突防、APP逆向、Python领域等一系列文章
吴秋霖·2024-01-19 19:52

经历十九家企业大数据开发工程师面试复盘（二）

背景引入我个人计划是5月中旬争取拿到offer，但是个人技术太菜了，所以经历了一个多月的面试才有两家企业的offer，全是外包。我本人是应届毕业生，校招学历这块不起眼，选择权很少。至于大厂就基本没面。在面试中小企业我可以给大家一个借鉴。认知篇问题1：我是应届小白，求职比不上工作年限的技术人才，我是不是在一线城市很难找到工作？答：不是的，其实应届小白是可以在秋招或者春招找到实习的，如果企业招应届毕业
南潇如梦·2024-01-19 16:36

面试初体验：经历七场面试大数据开发工程师岗位总结（一）

我只想总结一下这周面试大数据开发岗位的精彩表现。希望可以给需要求职的同学一个好的体验。1招聘信息的收集网上投简历一般进入互联网还是使用boss直聘和拉勾网。
南潇如梦·2024-01-19 16:36

某小外包公司线上面试-大数据开发

1.数仓和数据库的区别2.数仓建模3.hive用到的函数4.rank,dense_rank,row_number的区别5.hive数据倾斜的原因有哪些7.如何理解数据质量？6.java，scala会用吗？7.期望薪资多少？（感觉说出来就无了）面的初级岗附上hr问的问题？1.公司开发人员占比？公司规模？
劝学-大数据·2024-01-19 16:03

德拓外包-大数据开发面试

1.面试官要是要看以前写过的代码，要共享屏幕怎么办？都在公司的库里，银行金融项目谁让你把代码带出去的，就是公司业务保密1.自我介绍2.数据采集相关，怎么把kafka中的数据采集到mysql中？忘了3.hive，两张表的重复数据，怎么去重？回答distinct,groupby，开窗取第一条，开窗函数是哪个？没回答上来4.udf函数写过吗，flink消费kafka中的数据写过代码吗，需要看代码？5.使
劝学-大数据·2024-01-19 16:03

某汽车外包-大数据开发-面试

1.自我介绍2.hivesql的执行流程3.mapreduce的原理。4.spark的提交参数有那些命令5.sparkrdd,dataframe,dataSe解释一下。6.clickhouse怎么建表的，什么是分表7.搭建采集过程遇到的问题，关于组件信息8.分桶表和分区表的区别，分桶表的设计未来解决什么问题。9.datax用来干什么的，datax是用什么语言编写的。10.redis用过吗，在项目中
劝学-大数据·2024-01-19 16:28

大数据工作岗位分析

本文从基础大数据开发岗开始分析，思考大数据工作细分有哪些岗位，分别需要什么能力，以此来提供大数据能力发展方向参考
i7杨·2024-01-19 13:37

2024年甘肃省职业院校技能大赛信息安全管理与评估 样题三 理论题

三个模块内容和分值分别是：1.第一阶段：模块一网络平台搭建与设备安全防护（180分钟，300分）。2.第二阶段：模块二网络安全事件响应、数字取证调查、应用程序安全（180分钟，300分）。
Geek极安网络安全·2024-01-19 10:35

2024年甘肃省职业院校技能大赛信息安全管理与评估 样题二 理论题

三个模块内容和分值分别是：1.第一阶段：模块一网络平台搭建与设备安全防护（180分钟，300分）。2.第二阶段：模块二网络安全事件响应、数字取证调查、应用程序安全（180分钟，300分）。
Geek极安网络安全·2024-01-19 10:04

2024年甘肃省职业院校技能大赛信息安全管理与评估 样题三 模块一

三个模块内容和分值分别是：1.第一阶段：模块一网络平台搭建与设备安全防护（180分钟，300分）。2.第二阶段：模块二网络安全事件响应、数字取证调查、应用程序安全（180分钟，300分）。
Geek极安网络安全·2024-01-19 10:01

大数据开发之Hadoop（优化&新特征）

第1章：HDFS-故障排除注意：采用三台服务器即可，恢复到Yarn开始的服务器快照。1.1集群安全模块1、安全模式：文件系统只接收读数据请求，而不接收删除、修改等变更请求2、进入安全模式场景1）NameNode在加载镜像文件和编辑日志期间处于安全模式2）NameNode再接收DataNode注册时，处于安全模式3）退出安全模式条件dfs.namenode.safemode.min.datanode
Key-Key·2024-01-19 10:50

2024年甘肃省职业院校技能大赛信息安全管理与评估 样题三 模块二

三个模块内容和分值分别是：1.第一阶段：模块一网络平台搭建与设备安全防护（180分钟，300分）。2.第二阶段：模块二网络安全事件响应、数字取证调查、应用程序安全（180分钟，300分）。
Geek极安网络安全·2024-01-19 07:29

大数据开发之Hadoop（MapReduce）

第1章：MapReduce概述1.1MapReduce定义MapReduce是一个分布式运算程序的编程框架，是用户开发“基于Hadoop的数据分析应用”的核心框架。MapReduce核心功能是将用户编写的业务逻辑代码和自带默认组件整合成一个完整的分布式运算程序，并发运行在一个Hadoop集群上。1.2MapReduce优缺点1.2.1优点1、MapReduce易于编程它简单的实现一些接口，就可以完
Key-Key·2024-01-19 06:40

大数据开发之Hadoop（Yarn）

第1章：Yarn资源调度器思考：1、如何管理集群资源？2、如何给任务合理分配资源？Yarn是一个资源调度平台，负责为运算程序提供服务器运算资源，相当于一个分布式的操作系统平台，而MapReduce等运算程序则相当于运行于操作系统之上的应用程序。1.1Yarn基础架构YARN主要由ResourceManager、NodeManager、ApplicationMaster和Container等组件构成
Key-Key·2024-01-19 06:09

无需编程，简单易上手的家具小程序搭建方法分享

现在，我将为大家介绍如何使用乔拓云平台搭建一个家具小程序，帮助您方便快捷地开展线上家具销售业务。第一步，登录乔拓云平台进入商城后台管理页面。
开心小米粒·2024-01-19 05:38

Java8中通过Stream使用Collectors.toMap及踩坑记录

本文主要记录部分使用方法及踩坑记录2.简单示例如果需要将一个List转为Map，key为对象的userId,value为userName。
pp_lan·2024-01-19 04:57

Druid连接池工具公式化SQL附踩坑记录

1.需求使用Druid连接池工具格式化sql用于回显时候美观展示2.代码示例2.1依赖com.alibabadruid1.2.62.2ParseUtilsimportcom.alibaba.druid.DbType;importcom.alibaba.druid.sql.ast.SQLStatement;importcom.alibaba.druid.sql.dialect.postgresql.
pp_lan·2024-01-19 03:54

Dinky为大数据框架Flink提供交互式平台，让你学习 FlinkSQL 更加轻松，并且掌握Flink技能！

介绍：Dinky，原名Dlink，于2022年1月17日更名，英译为“小巧而精致的”，体现了其轻量级和复杂大数据开发能力的特征。
知识分享小能手·2024-01-18 17:59

字节跳动大数据架构面经（超详细答案总结）

我叫xxx,xxxx年x月毕业于xxx学校，xx学历，目前就职于xxx公司xxx部门，职位为：大数据开发工程师，主要从事于xxx组件、平台的开发工作。
Python栈机·2024-01-18 12:39

SpringBoot中整合ElasticSearch实现增删改查等操作

场景SpringBoot中整合ElasticSearch快速入门以及踩坑记录：https://blog.csdn.net/BADAO_LIUMANG_QIZHI/article/details/135599698
霸道流氓气质·2024-01-18 07:49

先电Openstack云计算平台搭建

前言本次搭建采用双节点安装：controller控制节点compute计算节点配置文件中密码为0000001.准备工作虚拟机：VMwareWorkstation16Pro镜像：CentOS-7-x86_64-DVD-1511.iso和XianDian-IaaS-v2.2.iso2.云计算平台的拓扑图如图所示，IP地址规划如图所示：3.控制节点（controller）和计算节点（compute）网络
.正函数.·2024-01-18 03:48

Ubuntu18.04 源码安装ROS2.0 Dashing版本 踩坑记录

按照官网教程一步步来：https://index.ros.org/doc/ros2/Installation/Dashing/Linux-Development-Setup/vcsimportsrc
飞天小小猫·2024-01-17 23:33

Electron+React项目打包踩坑记录

首先，如何打包写下本文的时间是2024/01/16，搜索了网络上Electron+React的打包方式，中间行不通，本文采用的方式是记录本文时Electron快速入门(https://www.electronjs.org/zh/docs/latest/tutorial/quick-start)记录的打包方式，最主要的区别在于把html文件换成React项目打包后build文件夹里面的html文件了
前端千帆·2024-01-17 14:12

Ubuntu部署ChatGLM2-6B踩坑记录

目录一、环境配置1、安装anaconda或者miniconda进行环境的管理2、安装CUDA3、环境安装二、配置加载模型1、建立THUDM文件夹三、遇到的问题1、pipinstall-rrequirements.txt2、运行pythonweb_demo.py遇到的错误——TypeError:Descriptorscannotnotbecreateddirectly.3、运行pythonweb_d
XINYU W·2024-01-17 13:01

基于Scrapy+MySQL爬取国家药监局100w+数据踩坑记录

基于Scrapy+MySQL爬取国家药监局100w+数据踩坑记录1.网页请求返回json数据的处理2.Scrapy的Request中回调函数间的信息交流3.MySQL报错：pymysql.err.InternalError
Jock2018·2024-01-17 12:48

大数据开发之Hadoop（HDFS）

第1章：HDFS概述1.1HDFS产出背景及定义1、HDFS产生背景随着数据量越来越大，在一个操作系统存不下所有的数据，那么就分配到更多的操作系统管理的磁盘中，但是不方便管理和维护，迫切需要一种系统来管理多台机器上的文件，这就是分布式文件管理系统。HDFS只是分布式文件管理系统中的一种。2、HDFS定义HDFS（HadoopDistributedFileSystem），它是一个文件系统，用于存储文
Key-Key·2024-01-17 10:22

大数据开发之Hadoop（入门）

第1章：Hadoop概述1.1Hadoop是什么1、Hadoop是一个由Apache基金会所开发的分布式系统基础架构。2、主要解决，海量数据的存储和海量数据的分析计算问题。3、Hadoop通常是指一个更广泛的概念-Hadoop生态圈1.2Hadoop优势（4高）1、高可靠性：Hadoop底层维护多个数据副本，所以即使Hadoop某个计算元素或存储出现故障，也不会导致数据的丢失。2、高扩展性：再集群
Key-Key·2024-01-17 09:19

JAVA开发各种bug、踩坑记录

202009281.反射相关bug描述：FastClassBySpringCGLIBinvoke()错误导致的NULLPOINTER异常这个错误很难直接定位，实际问题通常是生成某种对象失败。解决：https://my.oschina.net/u/1000241/blog/19231882.mybatis使用bug描述：if判断不生效解决：field变量的类型是字符串型和字符型不匹配，需要转换，正确
喵王叭·2024-01-17 06:16

工作十年总结的六条面试技巧，助力你拿到理想的offer

大数据开发的领域不同，面试的锚定点也不同，从我过往的经验来说，可以大致来将大数据领域的开发分为如下几种：离线开发：数据仓库、离线计算、ETL开发实时开发：流计算开发基础架构：组件二次开发，底层组件稳定性维护大数据运维方向数据平台开发一
KubeData·2024-01-17 02:12

Re.从零开始--基于UbuntuServer 20.04-OpenStack平台搭建_

基于UbuntuServer20.04-OpenStack平台搭建_前言：本文档基于ubuntu-server20.04版本和OpenStackVictoria搭建openstack环境部署最小化Ubuntu-openstack
绘月huiyue_·2024-01-17 01:47

FPGA(主机)STM32(从机)SPI通信(HAL库实现)

模块采集信号（AD922010M采样率的模块）2、存储到RAM中3、通过SPI与单片机进行数据传输（POL=1，PHA=1）4、单片机SPI采集到信号打印到串口上5、由EXCEL显示出来6、Github7、踩坑记录
花椒且喵酱·2024-01-16 23:28

快速知识付费平台搭建，一分钟搭建你的专属知识服务平台

产品服务线上线下课程传播线上线下活动管理项目撮合交易找商机找合作一对一线下交流企业文化宣传企业产品销售更多服务实时行业资讯动态学习交流分销代理推广独立知识店铺覆盖全行业个人IP打造独立小程序私域运营解决方案公域引流营销转化社群运营品牌运营打通流量平台活动策划多渠道运营专属商家服务一对一培训一对一策划一对一运营一对一定制一对一引爆专属AI工具选择一个适合你的知识付费平台的工具，如明理信息科技知识付费
微服务技术分享·2024-01-16 21:07

2022年 山东省职业院校技能大赛 高职组“信息安全管理与评估”赛项 样卷

目录一、赛项名称二、赛项时间三、赛项内容第一阶段竞赛项目试题（一）竞赛任务介绍（二）注意事项（三）第一阶段环境任务一：网络平台搭建任务二：网络安全设备配置与防护第二阶段竞赛项目试题（一）竞赛任务介绍（二
你可知这世上再难遇我·2024-01-16 13:24

山东省职业院校技能大赛高职组“信息安全管理与评估”赛项样卷

发一个去年省赛的样题给大家比较一下2022年山东省职业院校技能大赛高职组“信息安全管理与评估”赛项样卷目录一、赛项名称二、赛项时间第一阶段竞赛项目试题（一）竞赛任务介绍（二）注意事项（三）第一阶段环境任务一：网络平台搭建任务二
0xThrL·2024-01-16 13:53

第十五届（2022年）山东省职业院校技能大赛高职组信息安全管理与评估竞赛试题

第十五届（2022年）山东省职业院校技能大赛高职组信息安全管理与评估竞赛试题第一阶段竞赛项目试题根据信息安全管理与评估技术文件要求，第一阶段为网络平台搭建与网络安全设备配置与防护。
旺仔Sec·2024-01-16 13:52

只知道HDFS和GFS？你其实并不懂分布式文件系统

点击上方蓝色字体，选择“设为星标”回复”资源“获取更多资源大数据技术与架构点击右侧关注，大数据开发领域最强公众号！暴走大数据点击右侧关注，暴走大数据！
王知无(import_bigdata)·2024-01-16 13:14

[UAV] 无人机仿真平台搭建

[Amovlab]开源项目从0开始的无人机仿真平台搭建1.基础环境1.1新建本地代码仓库1.2编译添加路径（记得将PathToPrometheus替换成你的文件路径）1.3安装ROS所需的其他插件或者库安装
解解i·2024-01-16 12:26

开源28181协议视频平台搭建流程

最近项目中用到流媒体平台，java平台负责信令部分，c++平台负责流媒体处理，找了评分比较好的开源项目https://gitee.com/pan648540858/wvp-GB28181-pro流媒体服务基于c++写的https://github.com/ZLMediaKit/ZLMediaKit说明文档：https://github.com/ZLMediaKit/ZLMediaKit/wiki/
蒙奇·D·路飞-·2024-01-16 06:15

【win11】【wsl】使用踩坑记录

任务管理器中显示虚拟化已禁用解决方法在BIOS中打开cpu中的VT，或svm开启虚拟化安装报错及解决方式Error:0x8007019e启动后报错如下：Installing,thismaytakeafewminutes...WslRegisterDistributionfailedwitherror:0x8007019eError:0x8007019e???????Linux?Windows???
Yengi·2024-01-15 22:16

STM32F103VET6之串口实验(详细版）

目录一.引言二.串口通信基础知识三.实验硬件平台搭建四.实验软件设计五.串口通信实验六.总结一.引言STM32结合串口通信可以实现数据的传输和控制，是嵌入式系统中的重要技术之一。
根本学不够·2024-01-15 21:38

SpringBoot中整合ElasticSearch快速入门以及踩坑记录

场景若依前后端分离版手把手教你本地搭建环境并运行项目：若依前后端分离版手把手教你本地搭建环境并运行项目_本地运行若依前后端分离-CSDN博客参考上面搭建项目。ElaticSearchElasticsearch是java开发的，基于Lucene的搜索引擎。它提供了一个分布式多用户能力的全文搜索引擎，基于RESTfulWeb接口。Elasticsearch可以快速有效地存储，搜索和分析大量数据，而且在
霸道流氓气质·2024-01-15 20:53

2024年甘肃省职业院校技能大赛信息安全管理与评估 样题二 模块二

三个模块内容和分值分别是：1.第一阶段：模块一网络平台搭建与设备安全防护（180分钟，300分）。2.第二阶段：模块二网络安全事件响应、数字取证调查、应用程序安全（180分钟，300分）。
Geek极安网络安全·2024-01-15 19:30

2024年甘肃省职业院校技能大赛信息安全管理与评估 样题一 模块二

三个模块内容和分值分别是：1.第一阶段：模块一网络平台搭建与设备安全防护（180分钟，300分）。2.第二阶段：模块二网络安全事件响应、数字取证调查、应用程序安全（180分钟，300分）。
Geek极安网络安全·2024-01-15 19:28

2023年江西省职业院校技能大赛信息安全管理与评估样题

2023年江西省职业院校技能大赛信息安全管理与评估样题目录2023年江西省职业院校技能大赛信息安全管理与评估样题赛项时间任务1：网络平台搭建（50分）任务2：网络安全设备配置与防护（250分）竞赛项目赛题介绍所需的设备
旺仔Sec·2024-01-15 19:56

大数据开发之Flume

第1章：Flume概述1.1Flume定义Flume是Cloudera提供的一个高可用的，高可靠的，分布式的海量日志采集、聚合和传输系统。1.2Flume基础架构1.2.1Agent1、Agent：Flume的部署单元，本质是一个JVM进程，Agent内部是以事件的形式将数据从源头送至目的。2、组成：Agent主要有3个部分组成，Source、Channel、Sink。1.2.2Source1、S
Key-Key·2024-01-15 12:35

大数据开发之Hive（压缩和存储）

第9章：压缩和存储Hive不会强制要求将数据转换成特定的格式才能使用。利用Hadoop的InputFormatAPI可以从不同数据源读取数据，使用OutputFormatAPI可以将数据写成不同的格式输出。对数据进行压缩虽然会增加额外的CPU开销，但是会节约客观的磁盘空间，并且通过减少内存的数据量而提高I/O吞吐量会更加提高网络传输性能。原则上Hadoop的job时I/O密集型的话就可以采用压缩可
Key-Key·2024-01-15 12:34

大数据开发之Hive（企业级调优）

第10章：企业级调优创建测试用例1、建大表、小表和JOIN后表的语句//创建大表createtablebigtable(idbigint,tbigint,uidstring,keywordstring,url_rankint,click_numint,click_urlstring)rowformatdelimitedfieldsterminatedby'\t';//创建小表createtable
Key-Key·2024-01-15 12:34
上一页 1 2 3 4 5 6 7 8 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他