大数据开发平台搭建踩坑记录

【Spark】基础知识点

大数据开发复习课程-Spark11、spark11.1、spark介绍11.2、spark与Hadoop的区别11.3、spark的特点11.4、spark的运行模式1.local本地模式(单机)--开发测试使用
浪里小飞侠·2023-11-07 05:03

@antv/g2踩坑记录

自定义tooltip//需要先在绘图时配置自定义tooltip的需要的字段chart.point().position('value*1').shape("pointer").tooltip('name*value*date',(name,value,date)=>{retrun{name,value,date}})//配置自定义tooltipchart.tooltip({showContent:
透明的前端·2023-11-07 03:14

雨洪水资源管理远程监控平台

通过EMCP物联网云平台搭建的雨洪水远程监测预警系统，实现以水库（河道）水雨情信息“全要素、全量程、全覆盖”自动测报为目标，具备水库水位、雨量、现场图像/视频等水文信息采集、传输
蓝蜂物联网·2023-11-06 18:34

数据人故事——【五花肉】7年数据产品的职业成长之路

作者/五花肉前网易出口大数据产品经理一枚负责过数据采集、bi系统、ab测试、画像平台等应用层平台搭建酷爱健身、钟爱咖啡、喜爱摩托、热爱生活各位小伙伴们大家好，很高兴可以通过《一个数据人的自留地》平台与大家分享我在工作上的经验
一个数据人的自留地·2023-11-06 03:10

windows 平台上使用 pyarrow 连接 hdfs 详细教程

Indexwindows平台上使用pyarrow连接hdfs详细教程连接教程踩坑记录进入支线：编译hdfs.dll进入支线的支线：编译OpenSSL多个OpenSSL的设置问题意想不到的大坑回到支线，编译
Loasn·2023-11-06 00:24

Centos8安装Hadoop框架并运行示例程序（伪分布式）

大数据开发入门：二、Centos8安装Hadoop框架并运行示例程序（伪分布式）一、新建WinSCP连接二、安装jdk三、安装Hadoop框架四、执行Hadoop示例程序上一篇：大数据开发入门：一、VMware15.5Pro
达娃里氏·2023-11-05 23:42

flask踩坑记录

flaskweb踩坑记录踩坑与学习并进1.sql-alchemy踩坑与学习并进记录下自己学flask的踩坑记录吧1.sql-alchemy今天在学习sql-alchemy，update后遇到了这个问题，
weixin_39772759·2023-11-05 18:02

Flask踩坑记录

1、通过idea插件以debug模式启动（pycharm同理）如果用命令flaskrun启用程序，无法用到idea或pycharm的debug功能，通过下面的方法配置启动参数，可以支持自定义参数配置和debug模式启动访问http://ip:8088/{url}访问接口
missby2016·2023-11-05 18:01

flask踩坑记录：sqlalchemy使用paginate出现Object of type Pagination is not JSON serializable

在做分页接口时出现了ObjectoftypePaginationisnotJSONserializable，因为JSON的JSONEncoder不认识Pagination对象。对象不能序列化的问题，在这篇文章中有讲过：TypeError:ObjectoftypeXXXisnotJSONserializable为了让接口输出的json结果更美观，把页面的信息放在同一个key下，在序列化之前先进行一次
joker_zsl·2023-11-05 18:29

flask踩坑记录：Flask-Restful在非调试模式下接管Flask的异常处理

在学习Flask-Restful写API的时候发现了一个奇怪的现象：当pycharm运行flask时，debug模式和非debug模式下，相同的代码有不同的表现。非debug模式：故意抛出的自定义异常，竟然报出了HTTP错误。debug模式：在才是想要的报错。查找资料之后发现，原来是Flask-Restful的问题。非debug模式下，自定义异常被@api.representation统一处理了，
joker_zsl·2023-11-05 18:59

flask踩坑记录：flask的响应结果总是按首字母排序

开发时发现接口响应的结果总是按字段的首字母进行排序，看起来十分难受。这是Flask默认配置造成的，想要响应的结果不按首字母排序，只需修改一个配置即可。未修改配置前（按首字母排序）：修改配置后（保持字典定义时的顺序）：app.config['JSON_SORT_KEYS']=False这样看着就顺眼多了但是Flask文档中不建议这么做。默认情况下，Flask将以排序键的方式序列化JSON对象。这样做
joker_zsl·2023-11-05 18:59

flask踩坑记录：sqlalchemy出现DetachedInstanceError的解决方法

最近写flask遇到了sqlalchemy抛出DetachedInstanceError异常sqlalchemy.orm.exc.DetachedInstanceError:InstanceisnotboundtoaSession;attributerefreshoperationcannotproceed(Backgroundonthiserrorat:http://sqlalche.me/e/
joker_zsl·2023-11-05 18:59

flask踩坑记录：‘No application found. Either work inside a view function or push‘

全部异常堆栈：异常堆栈分析：从最后的'Noapplicationfound.Eitherworkinsideaviewfunctionorpush'看出这是flask_sqlalchemy抛出的异常：没有找到应用，需要在视图函数中或者压入到应用上下文中。百度了一手才知道这是因为sqlalchemy运行时脱离的上下文环境。如果sqlalchemy的对象是在flask视图函数中工作，是会处于上下文环境
joker_zsl·2023-11-05 18:29

java 防止证书导出,ssl证书生成及java secure provider踩坑记录

生成android需要的BKS证书项目需要手机做httpserver由于要用SSL加密，所以需要用到ssl证书和私钥，用openssl生成的步骤如下创建证书和私钥opensslreq-newkeyrsa:2048-new-nodes-x509-days36500-keyoutkey.pem-outcert.pem输入这行命令后会提示输入证书的国家、组织等信息，这里请保证重要的信息不要跳过转换为p1
Wings电子竞技俱乐部·2023-11-05 16:24

Mac安装Drozer apk安全测试框架踩坑记录, ‘openssl/opensslv.h‘ file not found 和implicit declaration of function‘xx‘

一.环境准备查看Drozer项目说明发现环境要求大致就是:jdk1.7+python2.7和pip2不支持python3和pip3Protobuf2.6+Pyopenssl16.2+Twisted10.2+androidsdk安装adb模拟器也要安装drozeragent确保配置了adb、java环境变量1.1mac通过brew安装python2从MacOS12.4Beta版(21F5048e)开
kainx·2023-11-05 16:51

大数据开发面试问题总结（很多都是问的chatgpt，望指正）

题解|#链表相加(二)#packagemainimport."nc_tools"/**typeListNodestruct{*Valint小白月赛80C/D题求助基本思路是二分答案，自认为写的没问题，我的问题是本地vscode和在线对样例的评测结果不同。#include#include题解|#运动会双人项目#importsyss=[input(),input()]s=tuple(s)print(s
2301_79125642·2023-11-05 16:17

大数据开发笔记（四）：Hive分区详解

✨大数据开发笔记推荐：大数据开发面试知识点总结_GoAI的博客-CSDN博客_大数据开发面试本文详细介绍大数据hadoop生态圈各部分知识，包括不限于hdfs、yarn、mapreduce、hive、sqoop
GoAI·2023-11-05 16:08

心理咨询服务预约小程序的效果如何

通过【雨科】平台搭建心理咨询小程序，展示服务内容让客户查看及填写信息预约，多种信息承载方式及多平
宁夏雨科网·2023-11-05 15:53

你的大数据开发学习路线【自己定制的】

要说当下IT行业什么最火？ABC无出其右。所谓ABC者，AI+BigData+Cloud也，即人工智能、大数据和云计算(云平台)。每个领域目前都有行业领袖在引领前行，今天我们来讨论下大数据这个方向。大数据，即BigData，关于它的定义很多，我这里不再赘述了。最权威的莫属IBM的定义，读者可以自行查阅。既然本文关注如何学习大数据，那么我们首先就要定义大数据领域内的不同角色设定。这样各位才能根据自身
qq_43958076·2023-11-05 12:01

element踩坑记录1——el-table表格表头与内容对不齐

问题如下图：解决方法：在全局样式中写入以下样式.el-tableth.gutter{display:table-cell!important;}
huangzhin·2023-11-05 07:14

Elasticsearch 实战应用系列

曾负责大数据平台日TB级实时高并发数据流架构，曾人工智能创业团队大数据开发组负责人，万方搜索引擎负责人，近几年专注Elasticsearch底层技术，高级Elasticsearch工程师。
啊桑桑·2023-11-05 02:24

关于jmeter简单总结

关于设置内存大小（内存溢出）4.实操演示4.1脚本录制4.2测试计划执行4.3测试报告导出5.分布式部署5.1原理5.2部署5.2.1.关于slave机部署5.2.2.关于master部署5.3注意点事项6.踩坑记录
面壁者也·2023-11-04 18:11

网易Impala集群优化和高可用负载均衡配置和虚拟数仓

②文章原作者是网易资深大数据开发工程师，拜读他的文章后深受启发。③关于impala优化从四大痛点出发，依次给出分析和解决方案。④impala集群的内存是否设置的越大越好？并发数是否越大越好？
岁月的眸·2023-11-04 14:28

大数据技能竞赛（需要提供相关答疑私信）

全国职业院校技能大赛模拟题（平台搭建，离线数据清洗，实时数据分析，可视化，综合分析）大数据平台搭建大数据技术与应用技能竞赛题目解析及代码分析实验Hadoop完全分布式安装配置/伪分布式安装配置Spark
笨鸟先-森·2023-11-04 13:03

吐血整理的Hadoop最全开发指南【完全分布式集群部署篇】（开发重点）

个人主页：个人主页推荐专栏：大数据开发成神之路作者简介：一个在读研中创业、工作中学习，能搞全栈、也搞算法、目前在搞大数据的大厂打工人。⭐️关注我，持续分享干货！
陶人超有料·2023-11-04 11:26

Kafka实战:集群SSL加密认证和配置（最新版kafka-2.4.0）

微信公众号：大数据开发运维架构关注可了解更多大数据相关的资讯。
大数据开发运维架构·2023-11-04 01:22

vue 踩坑记录

1.打包以后页面一片空白解决：1.全局搜assetsPublicPath，这个是指它打开的路径，把'/'改成'./'。2.看一下路由跳转方式是不是history模式，是的话改成hash模式。如果必须用history模式的话，在你的服务端加个默认跳转路径，如果匹配不到你写的路径的话就跳转到你的项目的index.html。
汀上·2023-11-03 21:14

双非电子专业，大二京东实习，大三上岸字节大数据开发实习岗，分享一波面经...

点击上方"大数据肌肉猿"关注,星标一起成长点击下方链接，进入高质量学习交流群今日更新|950个转型案例分享-大数据交流群今天分享学习群同学的求职经历，他是双非电子专业，大一就加了我好友，大二开始学习大数据的内容，并在大二暑期进行了一波面试，拿了一些日常实习offer，最终去京东实习。今年过完年就开始面大厂的春季实习，如今已经拿了字节实习offer。背景介绍双非电子信息工程本科，有Java、计算机网
无精疯·2023-11-03 16:16

API管理平台搭建过程问题总结

API管理的定义和好处API管理是指对应用程序编程接口（API）进行集中管理、监控和维护的过程。API是用于不同软件之间进行通信和交互的编程接口，通过API管理可以有效地管理和控制API的使用、访问和安全性。API管理的好处包括：1、提高开发效率：通过API管理，开发团队可以更好地共享和重用API，避免重复编写相同的代码。这样可以加快应用开发速度，提高开发效率。2、简化维护和升级：通过API管理，
RestCloud·2023-11-03 15:24

windows环境下在线API接口管理平台搭建YAPI安装教程

参考链接：https://blog.csdn.net/qq_39429962/article/details/84000460github地址：https://github.com/YMFE/yapi1.环境要求nodejs（7.6+)mongodb（2.6+）git2.安装上述环境准备好之后到yapi的解压目录下新建文件夹yapi在此文件夹下执行1.npminstall-gyapi-cli--r
飞天_shine·2023-11-03 15:28

大数据平台搭建——基于mysql上搭建hive（基于CentOS-7）

说明：hive搭建必须建立在hadoop的基础上，如果想要了解如何搭建hadoop集群下面文章对你可能会有帮助，本次hive搭建主要采用MySQL8.1.0版本，Hive为3.1.1版本。hadoop集群搭建教程一、搭建mysql客户端1、下载有关文件MySQL下载地址（官网）（1）因为搭建的平台基于CentOS-7系统，所以选择以下版本，读者可以根据自己虚拟机系统选择（2）选择以下文件下载：1）
爱吃炸鸡的boy~~·2023-11-03 15:07

大数据平台搭建——hadoop集群（基于CentOS-7）的搭建

目录总序一、下载相关软件的压缩包二、配置虚拟机上主节点相关设置1、修改主机用户名2、进行ip地址映射3、配置虚拟机网络设置三、解压并配置java、hadoop环境1、解压jdk、hadoop压缩文件2、配置jdk、hadoop环境3、修改hadoop中的相关配置文件信息（最重要）四、克隆两个子节点1、克隆虚拟机2、修改子节点机器的相关配置五、设置免密登录1、关闭防火墙和禁止启动防火墙（三个节点都需
爱吃炸鸡的boy~~·2023-11-03 15:06

taro项目升级 & 使用踩坑记录

看这篇文章的读者，哪怕是使用最新版本的读者，也最好阅读一下官方的迁移指南，因为现在taro项目里的一些内容还是适用于1.x/2.x版本的，还没有跟着升级，如果仗着自己使用的是最新版本就不关注迁移指南，会出好多新问题。推荐文档：1、https://taro-docs.jd.com/taro/docs/migration/2、https://nervjs.github.io/taro/blog/202
sasaraku.·2023-11-03 13:08

2019-04-30

本公司拥有多年的期货股票平台搭建经验，成熟的技术团队，超前的服务理念，是您搭建期货股票平台的首要选择搭建期货股票平台的优势1.搭建周期短3到7个工作日就即刻完成，而且盘面稳定，不存在卡盘，滑点。
潘先森QH·2023-11-03 11:00

秋招面经第十三弹：58同城一面-大数据开发工程师

秋招第十三弹：58同城一面-大数据开发工程师写在最前：秋招以来一直在冲，因为事情比较多，对于笔试面试一直没有复盘，现在靠仅存的记忆把面试的一些问题记录下来，尽可能记录出能回忆到的问题，但可能记的不是很全
牧码文·2023-11-03 02:21

idea好用插件整理

1、AlibabaJavaCodingGuidelines阿里巴巴编码格式规范2、BigDataTools大数据开发工具，是一个集成Spark且支持编辑和运行ZeppelinNotebooks的IntelliJIDEA
静心得意，天下迎春·2023-11-02 19:27

小程序web-view嵌套H5对AR特效canvas用MediaRecorder录屏踩坑记录

没有iPhone手机，都是找别人测和云真机，但云真机调ar也不方便，微信也难登，真的很难搞。AR场景下，在播放视频或音频前，一般只有一次点击按钮的机会，然后就是一段用户拍摄目标的空窗期，因此必须在用户点击按钮的时候解锁声音bgm.muted=false，此时播放空白音频或视频成为基本操作，等到识别到目标物体再替换音视频路径即可（如用AudioContext也可通过代码产生音频解锁，如JSMpeg中
肖无疾·2023-11-02 15:47

2022年山东省职业院校技能大赛高职组信息安全管理与评估

2022年）山东省职业院校技能大赛高职组信息安全管理与评估第一阶段组网qq:2366046367qq群：670610200竞赛试题第一阶段竞赛项目试题根据信息安全管理与评估技术文件要求，第一阶段为网络平台搭建与网络安全设备配置与防护
Zviv·2023-11-02 11:32

进口跨境电商商城源码（海关179接口+支持多平台搭建+提供多终端支持）

海关179接口进口跨境电商商城源码提供了与海关179接口的集成，实现了便捷的报关操作。海关179接口是跨境电商进口的关键链接，通过该接口可以快速准确地完成商品的报关手续。进口商可以通过商城源码直接与海关进行数据交互，减少了繁琐的人工操作，提高了报关的效率。跨境报关商城商城源码支持建立跨境报关商城，为进口商提供了一个全面的跨境电商解决方案。通过商城源码，进口商可以搭建自己的在线商城，实现商品展示、订
WoShop电商系统·2023-11-02 10:05

HDFS架构介绍

数新网络可提供大数据开发管理、安全合规、建模分析、价值流通等多种服务，让大数据、AI和数据价
数新网络·2023-11-02 05:50

踩坑记录：supervisor 日志返回信息：redis扩展未安装

supervisor日志返回信息：redis扩展未安装gMZdop6+c1K8VzwzQA1u0Q==原因：think_queue消息队列的消费是采用cli模式运行。如果linux服务器运行了多个PHP版本（比如宝塔可以安装多个），如果网站采用是PHP7.3,而cli模式下运行的是php7.1。则会产生这个错误。0DiRfPG0DVhXF9y/mHh6BQ==解决方法：1、命令行模式更改：处理掉以
@Kerry~·2023-11-01 23:45

教你解决Taro微信小程序中使用Echarts体积过大的问题

最后背景近期笔者在使用Taro进行微信小程序开发，当引入Echarts图表库时，微信检测单包超限2M的一系列优化措施的踩坑记录，期望能指导读者少走一些弯路。为什么选择Echarts？
foreverpx·2023-11-01 17:50

家政保洁团队服务预约小程序的效果如何

那么通过【雨科】平台搭建家政保洁团队小程序能实现哪些效果呢？1、品牌宣传、获客引流相比线下，线上可以无限制的多平台宣传推广，
宁夏雨科网·2023-11-01 16:37

北京一卡通：早高峰三小时最大交易量5900万笔

国产基础平台搭建势在必行北京市政一卡通清结算系统是北京市政交通一卡通系统中的核心系统，主要用于公交、地铁、出租、自行车、停车场、公园、小额等交易数据的清分清算、各运营单位的接入与对账、数据的统计分析、
金仓数据库·2023-11-01 00:41

2023/10/29总结

总结踩坑记录写代码的时候遇到了一个错误大概是这样的io.jsonwebtoken.security.WeakKeyException:Thesigningkey'ssizeis48bitswhichisnotsecureenoughfortheHS256algorithm.TheJWTJWASpecification
lxh0113·2023-10-31 22:54

使用IDEA和Maven打包Jar包的详细方法

使用IDEA和Maven打包Jar包的详细方法在大数据开发中，使用IDEA和Maven进行项目管理和打包是常见的做法。本文将详细介绍如何使用IDEA和Maven打包Jar包，并提供相应的源代码。
JieLun_C·2023-10-31 20:58

mybatis整合oracle踩坑记录

java.sql.SQLSyntaxErrorException:ORA-00911:无效字符原因mybatis里面的sql末尾是不能加；解决方案：去掉；即可。java.sql.SQLSyntaxErrorException:ORA-00942:表或视图不存在原因:日志看到MP自动生成的SQL为:DELETEFROMhis_userWHEREID=?oracle默认是大写,如果我们用双引号括起来的
学同王小·2023-10-31 20:55

Oracle 踩坑记录

日期函数to_date()工作中有同事问我，按日期统计时，出现了数量对不上的情况，我看了下他的代码如下：--结果是1719selectcount(*)FROMTWHERETC_VT_IN_DATE>=TO_DATE('2019-01-01','yyyy-mm-dd')ANDTC_VT_IN_DATE=TO_DATE('2019-01-01','yyyy-mm-dd')ANDTC_VT_IN_DAT
程序猿在京·2023-10-31 19:54

记一些oracle的踩坑记录

这里写自定义目录标题concat只能拼接2个参数批量插入时，ORA-00926:缺失VALUES关键字concat只能拼接2个参数公司脚手架拉下来的有拼接三个参数的，如concat("%",#{keyowrd},"%)执行到相关语句会报错。需要写成concat(concat("%",#{keyword}),"%")mysql之类的，第一种写法是没问题的。批量插入时，ORA-00926:缺失VALU
lonelyisland_syz·2023-10-31 19:21

linux上安装mysql遇到的坑_简单几步在Linux环境下安装MySQL5.7(附踩坑记录)

在Linux下安装MySQL可以说是每个开发者必备的知识刚好我的服务器重装了一下因此重新安装了MySQL写下本文特此记录下载MySQL的压缩包：官网：https://dev.mysql.com/downloads/mysql/5.6.html#downloads根据自己的情况选择一个版本的MySQL下载即可(下载速度会比较慢)下载完之后传到服务器上(传的也会比较慢)注：32位还是64位一定要选对否
左易·2023-10-31 19:30
上一页 10 11 12 13 14 15 16 17 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他