大数据系统开发笔记

开源项目CuteSqlite开发笔记（七）：CuteSqlite释放BETA版本啦

经过大半年的开发，CuteSqlite程序代码不知不觉来到了6万行，有效行数4万行，CuteSqlite开发完成了一个小版本，进入下一个阶段，并于2024元旦释放BETA版本，有兴趣的朋友可以下载试用。GitHub下载https://github.com/shinehanx/CuteSqlite/releases国内GitCode下载https://gitcode.com/IeSneaker/Cu
程序员涵哥·2024-01-13 07:12

鸿蒙开发笔记(一):ArkTS概述及声明式UI的使用

ArkTS是HarmonyOS优选的主力应用开发语言。ArkTS围绕应用开发在TypeScript（简称TS）生态基础上做了进一步扩展，继承了TS的所有特性，是TS的超集。ArkTS在TS的基础上主要扩展了如下能力：基本语法：ArkTS定义了声明式UI描述、自定义组件和动态扩展UI元素的能力，再配合ArkUI开发框架中的系统组件及其相关的事件方法、属性方法等共同构成了UI开发的主体。状态管理：Ar
ZWaruler·2024-01-13 01:46

第27章 大数据系统测试

目录一、主要内容二、大数据概述1、大数据的定义2、大数据的特点三、大数据的测试策略1、大数据面临的挑战2、大数据质量检测的测试策略3、大数据测试流程4、大数据测试工具一、主要内容1、大数据概述2、大数据测试策略二、大数据概述1、大数据的定义是指无法在一定时间内用常规的软件工具来进行捕捉、管理和处理的数据的集合2、大数据的特点数据类型多样例如发一条微博可能是文字、图片、视频；也可能是语法连贯的、语法
是李黏黏鸭·2024-01-12 21:15

如何进行大数据系统测试

大数据系统常见的架构形式有如下几种：Hadoop架构：HadoopDistributedFileSystem(HDFS)：这是一种分布式文件系统，设计用于存储海量数据并允许跨多台机器进行高效访问。
Feng.Lee·2024-01-12 21:41

Fpga开发笔记（一）：高云FPGA芯片介绍，入手开发板套件、核心板和底板介绍

若该文为原创文章，转载请注明原文出处本文章博客地址：https://hpzwl.blog.csdn.net/article/details/135551179红胖子网络科技博文大全：开发技术集合（包含Qt实用技术、树莓派、三维、OpenCV、OpenGL、ffmpeg、OSG、单片机、软硬结合等等）持续更新中…FPGA开发专栏上一篇：没有了下一篇：敬请期待…前言  FPGA作为一种逻辑芯片，硬件架
长沙红胖子Qt软件开发·2024-01-12 16:52

玩转腾讯首发Linux内核源码《嵌入式开发笔记》

一、前言Linux内核是一种开源电脑操作系统内核，它是一个用C语言写成，符合POSIX标准的类Unix操作系统。Linux内核最早是由芬兰LinusTorvalds为尝试在英特尔x86架构上提供自由的类Unix操作系统而开发的。其主要模块分以下几个部分：存储管理、CPU和进程管理、文件系统、设备管理和驱动、网络通信，以及系统的初始化等。Linux内核越来越受欢迎，因为GNU自己的内核GNUHurd
Chinese_big_boy·2024-01-11 02:39

京东（天猫淘宝）数据分析工具-鲸参谋系统全功能解析——行业大盘、红蓝海市场、品牌分析、店铺分析、商品分析、竞品监控（区分自营和POP）

作为第三方电商数据平台，鲸参谋电商大数据系统能够为品牌方和商家提供包括行业趋势、热门品牌、店铺分析、单品分析在内的多个层面数据分析，帮助商家做出更加准确的经营决策，提升经营效率，实现精准营销。
jingcanmou_data·2024-01-10 13:58

数据不一、分段收视、强制跳台，大数据系统出台也难治行业乱象

文丨玖肆跨年演唱会是每年必不可少的跨年套餐。假唱、走调、设备故障、XXX救场……这是每年晚会同步直播时，网友们必定会在微博等社交平台讨论的话题，今年也不例外，从在十二月三十日领跑跨年演唱会的浙江卫视开始，杨颖跑调、朴树忘词、李荣浩笑场、延禧集体假唱、何炅话筒没声音、何炅救场等突发性的固定公式话题再度登上热搜，同样的问题以不同的形式发生在不同的人身上。但今年也新增了话题事件，比如前日蔡徐坤鹿晗灯牌b
清娱·2024-01-10 08:01

开发笔记自用常规Flask基础框架使用flask_sqlalchemy和pymysql操作数据库，使用flask_cors开放全局cors

fromflaskimportFlaskfromflask_sqlalchemyimportSQLAlchemyfromflask_migrateimportMigratefromflask_corsimportCORSapp=Flask(__name__)app.config['SQLALCHEMY_DATABASE_URI']='mysql+pymysql://admin:hFZC3psTf7
陈钇钇·2024-01-09 13:31

【QT开发笔记-基础篇】| 第二章 常用控件 | 2.4 文本框 QLineEdit

本节对应的视频讲解：B_站_链_接https://www.bilibili.com/video/BV1bU4y1S7f7QLineEdit是Qt中的文本框，准确地说是单行文本框，通常用于接受用户的输入比如用户输入用户名、密码等，都可以使用该控件。1.属性和方法QLineEdit有很多属性，完整的可查看帮助文档。这里列出常用的属性和方法：1.1占位字符串占位字符，就是当文本框中输入内容为空时，显示的
大轮明王讲QT·2024-01-09 12:46

面向应用的离线计算系统：周期任务&组合策略

2问题2.1业务系统和大数据系统交互在大数据平台部署一个服务，接收业务系统的请求，转化为内部的一个调度任务。如果业务系统并发太多，不停提交到大
乘风踏羽·2024-01-09 08:17

微信小程序开发学习笔记①

微信小程序开发笔记①该文章是博主正在学习微信小程序时，为了让自己日后能更好地复习，也为了和大家交流做的笔记。基础前提：已经注册好微信小程序开发账户、安装好微信小程序开发平台。
tutgxuzyj·2024-01-08 23:47

微信小程序开发学习笔记

微信小程序开发笔记初始化项目文件说明官方文档：https://developers.weixin.qq.com/miniprogram/dev/reference/configuration/app.html
WEXIA666·2024-01-08 23:16

开发笔记 – Spring Boot集成HBase

最近在重新整理搜书吧(一个做图书比价的平台)的系统架构，目前图书产品数量超过了200万条。各种数据加起来超过40G了，使用Mysql数据库存储服务器吃不消，于是考虑使用HBase存储大部分数据。一、摘要以前搜书吧的数据量比较小，使用数据库+静态文件存储的方式就可以搞定，主要有2个系统组成：网站前端+后台服务。事先把图书详情等一些固定内容生成html静态文件和前端的其他静态文件打包部署，动态变化的数
IT东·2024-01-08 19:38

OpenAI ChatGPT-4开发笔记2024-01：开发环境

ChatGPT发展一日千里。工具、函数少则数日，多则数月就加入了Deprecated行列不再如预期般工作。元旦闲来无事，用最新的ChatGPT重写一下各种开发场景，全部实测通过。开发环境：电脑：两台笔记本：HP和MacBookPro。操作系统：主机Windows11上WSL+Ubuntu；MacOS开发语言：Python3.12.1开发工具：Anaconda,miniConda，Jupyter,V
aiXpert·2024-01-08 05:56

I.MX6ULL开发笔记（二）——硬件外设操作

0x01点亮第一个RGB灯在文章http://t.csdnimg.cn/EGWt9中有介绍Linux下文件目录，那么在Linux系统下，RGB灯也是一个设备，所以我们需要到/sys目录下去操作这个设备。之后，我们进入到class目录，这里挂载着开发板上的外设：在这里就能看到熟悉的硬件接口了，那么我们进入到leds的目录下：可以看到里面有红绿蓝三个文件，这也就是操作对应gpio的接口，那么我们可以进
郑烯烃快去学习·2024-01-07 10:59

I.MX6ULL开发笔记（三）——挂载NFS网络文件系统

0x01网络文件系统当我们在编译一个文件时，正常是在一个pc上编译好一个文件，之后丢到开发板上去运行。如果有了NFS网络文件系统，那么我们就可以在PC以及开发板上共享文件了。网络文件系统，常被称为NFS（NetworkFileSystem），它是一种非常便捷的在服务器与客户端通过网络共享文件的方式，具体见下图。开启了NFS服务后，客户端访问服务器共享的文件时如同访问本地存储器（磁盘/SD卡/NAN
郑烯烃快去学习·2024-01-07 10:57

OpenAI ChatGPT-4开发笔记2024-05：windows下anaconda中设置visual studio code workspace

这里写自定义目录标题1安装anaconda和vscode2CreateanAnacondaEnvironment3selectPythonInterpreter4Workspace5OpenWorkspaceWithFile6开发文件夹加入workspace7美化1安装anaconda和vscode标配。2CreateanAnacondaEnvironmentcondacreate--nameai
aiXpert·2024-01-06 19:58

OpenAI ChatGPT-4开发笔记2024-04：Chat之Tool之2：multiple functions

从程序员到aiExpert1设定目标2自定义function,3个3接口。自定义function--->ChatGPT4definefunctiontocallChatGPT5发起首次请求，告诉gpt要做什么，已经有哪些函数可以调动6大结局7参考资料上一篇解决了调用一个函数的问题。这一篇扩展为调用3个。n个自行脑补。1设定目标#1.设定目标what_i_want_to_know=[{"role":
aiXpert·2024-01-06 19:54

OpenAI ChatGPT-4开发笔记2024-02：Chat之text completion

API而已大模型封装在库里，库放在服务器上，服务器放在微软的云上。我们能做的，仅仅是通过API这个小小的缝隙，窥探ai的奥妙。从程序员的角度而言，水平的高低，就体现在对openai的这几个api的理解程度上。申请API先去https://platform.openai.com/signup申请一个免费的apikey。再把key写入os环境变量：echo"exportOPENAI_API_KEY='
aiXpert·2024-01-06 13:10

微信小程序开发笔记，你收藏了吗？

本人记性极差，所以经常总结工作中遇到的一些难题笔记，用来加深记忆，下次用到同样的问题可以直接拿来看，提高工作中的效率。此文章是工作中的笔记，描述可能不是那么清楚，有问题，大家可加我微信一起交流学习。最近在开发微信小程序，把自己在项目中经常遇到的知识点记录下来，以便下次开发的时候查看。开发小程序开发工具推荐vscode写代码，微信开发工具用于查看效果和调试。1、自定义标题栏现在UI要求越来越高，高频
明眸yh·2024-01-05 22:43

Spark调优解析-spark数据倾斜优化2（七）

1数据倾斜优化1.1为何要处理数据倾斜（DataSkew）什么是数据倾斜对Spark/Hadoop这样的大数据系统来讲，数据量大并不可怕，可怕的是数据倾斜。何谓数据倾斜？
有语忆语·2024-01-05 12:53

OpenAI ChatGPT-4开发笔记2024-03：Chat之Function Calling/Function/Tool/Tool_Choice

UpdatesonFunctionCallingwereamajorhighlightatOpenAIDevDay.Inanotherworld,原来的functioncall都不再正常工作了，必须全部重写。function和functioncall全部由tool和tool_choice取代。2023年11月之前关于functioncall的代码都准备翘翘。干嘛要整个tool出来取代functio
aiXpert·2024-01-05 08:12

Linux驱动开发笔记（六）：用户层与内核层进行数据传递的原理和Demo

红胖子网络科技博文大全：开发技术集合（包含Qt实用技术、树莓派、三维、OpenCV、OpenGL、ffmpeg、OSG、单片机、软硬结合等等）持续更新中…Linux系统移植和驱动开发专栏上一篇：《Linux驱动开发笔记
长沙红胖子Qt软件开发·2024-01-05 05:33

Python3开发笔记（简洁版）

一、开发编辑器1.pycharm2.IDLE（Python自带软件）方法：MicrosoftStore搜索Python安装二、数据类型Python中有以下几种主要的数据类型：数字（Numbers）、字符串（Strings）、布尔值（Boolean）、空值（None）、列表（Lists）、元组（Tuples）、字典（Dictionaries）、集合（Sets）。1.数字（Numbers）在Pytho
巨人张·2024-01-04 10:01

【1230践行笔记】杜杜（795字）

我自己本职做的是会计，但是如果仅仅停留在做账报税的基础工作，我相信很快就会被取代，只要大数据系统的建立，从源头填个单子，其他部门的相关单子就可以直接出
小草杜杜·2024-01-04 09:22

用python抓取yarn和jstorm界面资源信息在grafana展示

背景：大数据系统分布式计算和存储强大功能推动了科技的进步，而在大数据运维过程中计算资源是时刻要关注的指标。
运维仙人·2024-01-04 07:29

从源码到架构实战，Spring Boot+Spring Cloud微服务开发笔记全分享

就一个字“屌”分享一份由阿里p8大牛编写的【SpringBoot+SpringCloud微服务开发实战笔记】此份适合的读者：微服务开发入门人员，入门编程的学员，中级编程的学员，在校学生，微服务框架研究人员在当前技术迭代很快的情况下，本书从基础入门开始，然后一步步加深，希望可以把每个知识点描述清楚，希望读者可以快速上手，并加深对每个组件的理解。在本书的编写期间，我查找了很多资料，看过很多源码，使自己
Java技术那些事儿·2024-01-04 07:40

Android开发笔记（四）

中级控件图形定制图形Drawable形状图形Shape状态列表图形选择按钮复选框CheckBox开关按钮Switch单选按钮RadioButton文本输入编辑框EditText焦点变更监听器图形定制图形DrawableAndroid把所有能够显示的图形都抽象为Drawable类（可绘制的），这里的图形不止是图片，还包括色块、画板、背景等。包含图片在内的图形文件放在res目录下的各个drawable
so.far_away·2024-01-03 23:49

迅为嵌入式linux驱动开发笔记（五）—pinctl和gpio子系统

一、pinctl和gpio子系统pinctrl子系统设置引脚的复用关系和电气属性。2、LinuxPinctrl子系统提供的功能是什么？（1）管理系统中所有的可以控制的pin，在系统初始化的时候，枚举所有可以控制的pin，并标识这些pin。（2）管理这些pin的复用（Multiplexing）。对于SOC而言，其引脚除了配置成普通的GPIO之外，若干个引脚还可以组成一个pingroup，形成特定的功
梅山剑客·2024-01-03 21:11

HPM6750开发笔记《GPIO例程深度解析》

目录创建工程：代码分析：1.头文件包含：2.宏定义：3.中断服务程序（ISR）：清除中断标志：处理LED状态切换：处理用户按键状态：处理其他情况：4.voidtest_gpio_input_interrupt(void):打印提示信息：初始化LEDGPIO：配置GPIO引脚为输入模式：配置中断触发类型：启用GPIO中断：设置中断优先级：进入低功耗模式：5.voidtest_gpio_toggle_
Vizio＜·2024-01-02 19:11

Cocos2d-x 开发笔记

1.判断操作系统平台类型根据Cocos2d-x源码可以获得所支持的平台类型C++cocos2d\platform\CCPlatformConfig.h#ifndef__CC_PLATFORM_CONFIG_H_#define__CC_PLATFORM_CONFIG_H_/**Configofcocos2d-xprojectpertargetplatform*////////////////////
JunChow520·2024-01-01 23:29

xcode 开发笔记

将NSString字符串去掉前后空格:NSStringstringByTrimmingCharactersInSet:[NSCharacterSetwhitespaceCharacterSet]获取颜色的值：UIColor*uicolor=[UIColorredColor];CGColorRefcolor=[uicolorCGColor];intnumComponents=CGColorGetNu
pb8·2024-01-01 00:11

直流电机驱动开发笔记

直流电机总体来说应用非常广泛，最近项目需要直流电机，本想着应该是很简单的事情，结果也搞了好久，今天算是可以阶段性总结下。也不知道怎么总结好。就拿碰到问题记录下。前提：本人一直是软件开发，对这个之前虽然有接触，但都是有硬件同事一起搞的，，不像这次差不多都是一个人搞的。1.直流电机驱动类型接触有两种方式：一种是驱动芯片，这种一般封装好，都很小或相对很小，这种内部集成了H桥，可支持步进电机也可以直流电机
小刚学長·2023-12-30 11:35

Django的开发笔记小结

course1djangoinstalldjango-adminstartprojectjstestdjango-adminstartappblogvimsettings.pyappadd----->blogvimurls.pyurl(r'^blog/index/$','blog.views.index'),vimblog.views.pyfromdjango.httpimportHttpResp
jshan·2023-12-30 01:34

HPM6750开发笔记《开发环境的搭建》

目录一，下载完整的HPM—SDK二，安装硬件驱动二，软件激活三，创建工程1.用文档中给的方法创建工程：2.用sdk_env_v1.3.0中提供的工具创建工程：一，下载完整的HPM—SDK下载网址：先楫半导体(hpmicro.com)二，安装硬件驱动下一步正确安装驱动后，使用USBtype-C线缆将hpm6750evkmini上的J4连接到PC后，在Windows设备管理器中应能看到一个USBSer
Vizio＜·2023-12-29 17:46

AWS SSM中切换AWS不同的profile

问题在自己的开发笔记本上面，通过AWSSSM方式访问EC2服务，只需要通过简单的命令就可以访问EC2了，如下：awsssmstart-session--targeti-xxxx12350这个命令就是利用
亚林瓜子·2023-12-29 06:18

WEB开发笔记之HTML&CSS及相关基础篇介绍

文章目录什么是web？什么是w3c？web学习的基础部分：HTML+CSS+js=网页如何执行HTML和CSS？什么是web？web：WorldWideWeb（全球广域网，也称万维网。）是一种基于超文本和HTTP的、全球性的、动态交互的、跨平台的分布式图形信息系统，是建立在Internet上的一种网络服务。什么是w3c？w3c:万维网联盟。是Web技术领域最具权威和影响力的国际中立性技术标准机构。
九阳子·2023-12-28 19:53

上半年收视数据出炉，6部电视剧破2，剧王是孙俪主演的

国家广电总局广播电视节目综合评价大数据系统“中国视听大数据”公布了上半年电视剧收视情况，收视破2的电视剧共有6部。
windy天意晚晴·2023-12-28 17:47

iOS开发笔记-115:swift5，拍照和相册里选取的originalImage图片过大，会导致图片逆时针旋转90度

在拍照和从相册中获取图片，方式是originalImage的时候，图片会逆时针旋转90度。这个时候需要在上传前把图片恢复成正常。代码：image=image.fixOrientation()Categorys:importUIKitextensionUIImage{//修复图片旋转funcfixOrientation()->UIImage{ifself.imageOrientation==.up{
原味蛋炒饭·2023-12-28 04:23

spark开发笔记(三、Spark SQL笔记)

基本概念Shark、SparkSQL和Hive之间的关系：Shark借用了Hive大部分的组件，包括词法分析、语法分析和逻辑分析阶段，只是在最后将逻辑执行计划转化为物理执行计划这一步，将底层的实现从MapReduce替换成了Spark。SparkSQL在Hive兼容层面仅依赖HiveQL解析和Hive元数据，也就是说从HQL被解析成抽象语法树(AST)起，就全部由SparkSQL接管了。Spark
眼君·2023-12-27 22:27

MLX90640 红外热成像仪测温传感器模块开发笔记（七）

现在自己在做红外成像仪的越来越多了，两年前有个井下机电设备运行状态的科研项目，当时使用了AMG8833（8*8像素），科研毕竟就是科研，后来也没有听说成果得到应用的消息，我想也是，8*8能干什么，也就能做个红外测温枪吧。前段时间因为公司生产电路板测试需要，打算买一台红外成像仪测量电路板发热是否正常，商用的价格还是有些小贵的，我们电路板都不大所以就找了一台便宜的先用着，无意中发现了MLX90640这
河北稳控科技·2023-12-27 12:51

MLX90640 红外热成像仪测温传感器模块开发笔记（十） 成果展示-红眼睛相机

MLX90640红外热成像仪测温传感器模块开发笔记（十）成果展示-红眼睛相机现在自己在做红外成像仪的越来越多了，两年前有个井下机电设备运行状态的科研项目，当时使用了AMG8833（8*8像素），科研毕竟就是科研
河北稳控科技·2023-12-27 12:51

MLX90640 红外热成像仪测温模块开发笔记（完整版）

MLX90640红外热成像仪测温模块开发笔记（一）概述及开发资料准备现在自己在做红外成像仪的越来越多了，两年前有个井下机电设备运行状态的科研项目，当时使用了AMG8833（8*8像素），科研毕竟就是科研
河北稳控科技·2023-12-27 12:51

【RH850/U2A】：开发笔记

开发笔记一、背景二、内容1、IO唤醒2、Wdg管理3、HSM休眠处理4、DMA开发笔记5、HSM与APP数据交互（单向）（中断方式）6、【RH850/U2A】：多核启动及同步过程7、【RH850/U2A
tjy912709177912·2023-12-26 23:23

普冉（PUYA）单片机开发笔记(1): UART通信

PY32F003系列MCU国产32位MCU日渐风行。在新做的项目中，为了Cost-down，考虑要用国产MCU替代进口货，如果可行，在单片机这一块，BOM可以降低一块钱。近日在考虑普冉（PUYA）的32位MCU。由于板子上MCU所需功能较为单一，因此考虑使用入门级的一款MCU进行替代。最终选择了PY32F003F18P。这个型号采用TSSOP20封装，PCB占用面积比较小虽然配备的内核是Corte
硬核老骆·2023-12-26 14:51

预约小程序开发笔记一：背景与技术方案的选型

一业务背景介绍很多企业的业务都需要通过服务预约来完成，比如酒店、美容、家政等等。但很多商家因缺少合适的服务预订工具，而不知道如何让客户尽快预约。这种情况下，制作一个自己的预约小程序，客户只需要扫码或者在微信里搜索你的小程序名字，就能通过小程序来快速预约服务。二前端技术方案选型原生：对性能特别苛刻or追求稳定or要用最新功能，请记住任何时刻原生都是最稳定性能最好的选择！！！！KBone：kbone是
CC同学呀·2023-12-26 10:38

Electron Vue3 开发笔记（三）

今天开始配置一个完整的项目，如何搭建一个登录页面。登录页面采用ui部分为自定义，没有采用element-plus。该项目背景透明、CSS圆角、标题栏和菜单全部隐藏，采用自定义“关闭”和“最小化”按钮（主进程与渲染进程之间通信）、自定义桌面图标、r任务栏图标等。Electron分为主进程和渲染进程：主进程：每个Electron应用程序都有一个主进程，作为应用程序的入口点。主进程在Node.js环境中
BOYKA®·2023-12-25 13:00

iOS开发笔记-89:Swift5 - 状态栏文字颜色

最近又碰到这个问题，我的成功案例。时间：2019.5.6版本：swift5修改颜色代码：//状态栏文字颜色overridevarpreferredStatusBarStyle:UIStatusBarStyle{return.default//黑色字体}第一步：info.plist中修改屏幕快照2019-05-06上午9.36.59.pngUIViewControllerBasedStatusBar
原味蛋炒饭·2023-12-20 11:51

普冉（PUYA）单片机开发笔记 [完结篇]：使用体会

失败的移植：FreeRTOS当使用了PY32F003的各种接口和功能后，手痒痒想把FreeRTOS也搬到这个MCU上，参考STM32和GD32对FreeRTOS的移植步骤，把FreeRTOSv202212.00版本的源码搬到了Keil工程中，编译倒是通过了，程序尺寸大约是20K字节的样子，下载到板子上肯定是装得下的。但上烧录之后却运行不起来。对SysTick_Init改来改去也无法正常运行，修改了
硬核老骆·2023-12-19 15:23
上一页 1 2 3 4 5 6 7 8 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他