DefaultTest
DefaultTest

数据库优化(Django Mysql)--示例

数据库优化–示例

1.背景

​ 通过监控软件可以明确的定位某个HTTP协议的API的响应时间在2-3秒(一般HTTP协议的API要控制在200ms以内)，显然需要优化。

​ 服务是一个djnago后台服务，采用原生ORM框架。

​ 另外，该API内部业务逻辑并不复杂，主要是做了MySQL数据库I/O的全量查询。且查询中有很多级联查询。

2.说明

​ 一个HTTP响应的优化可以从很多层面去做，这里单纯从业务代码和SQL语句的角度去优化。

3.分析

  • 实际工作场景，监控到API响应慢一般是由运维等其他人员提出，作为开发人员需要用开发场景下的工具来进行复测和验证。
  • django中数据库性能分析工具很多，常见如(下列同一个组织出品)：
    • django-debug-toolbar：github
      • 场景：开发测试阶段
      • 限制：Debug=True 才加载该模块和URL地址。
    • silk： github
      • 场景：开发测试阶段；服务交互和用户使用后分析；封装性更好一点。
      • 限制：需要使用数据库，数据库迁移
  • 采用silk
  • 可以直接通过上述工具，清晰查看request/response 和 SQL 耗时情况，以及详细的函数调用堆栈和数据库查询语句。

4.调优思路

  • 减少外部I/O
  • 减少冗余调用
  • 优化耗时逻辑

5.数据库优化的方式 – django ORM

  • 参考官网

0. 性能调优工具

1.django的shell (Debug=True), 查看django执行的原生SQL语句

>>> from django.db import connection
>>> connection.queries

2.explain()查看某个语句执行情况

>>> Blog.objects.filter(title='My Blog').explain()

3.借助三方工具

  • django-debug-toolbar
  • silk

1.标准的数据库优化技术

1.1 添加必要的索引

1.数据库优化，首先可选索引；使用 Meta.indexes 或 Field.db_index 不同级别的设置
2.在频繁进行下列查询方式的操作上添加
  • filter
  • exclude
  • order_by 等

1.2 使用合适的字段类型

1.3 缓存技术

下面是针对django的ORM来谈

2.理解QuerySet

2.1 理解 QuerySet 赋值

1.惰性查询
  • 创建、生成QuerySet 对象时，不会发生数据库查询；
  • 只有需要 “输出”结果的时候才会发生数据库查询；
2.何时真正赋值(下面是展开的几个例子)

  • QuerySet是迭代对象，发生迭代的那一刻就会查询数据库。

    • 如果要做判断「某个记录是否存在」或 「模型类对应的表是否为空」的查询用exists()，在转换成SQL语句的时候会加上limit的限制。

    • 不要用for e in Entry.objects.all(): + if xxx == xx 这样的操作，会查询处该表的所有记录。

    • 不要用bool(qs) 或 if qs: 这样的判断方式，也会查询所有符合条件的再做判断。

    • 数据库优化(Django Mysql)--示例_第1张图片

    • [外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-JGAas0dT-1595148907108)(imgs/image-20200717103824803.png)]

  • QuerySet可以被切片，语法类似python的array-slicing。切片时不会触发数据库查询，等价于SQL的 LIMIT + OFFSET 操作，返回值仍然是一个QuerySet对象。(注意：在django shell中操作时，如果没有对切片返回的结果进行赋值，那么默认会进行output，这就会发生数据库查询)

    • 数据库优化(Django Mysql)--示例_第2张图片

    • 注意：不支持负数索引和切片

    • 注意，如果切片中加step参数，那么返回的是lsit对象而不再是QuerySet； 如果是索引查询，返回的结果ModelObject，等价于[0:1].get()，不存在时肯能会报错。

    • 数据库优化(Django Mysql)--示例_第3张图片

    • 由于切片操作存在一定的“模棱两可”的可能性，所以禁止对切片进一步filter or order_by。

  • repr() 在交互式终端中执行，会触发QuerySet 执行

  • len() 会触发QuerySet 执行，返回list长度

  • bool() 或 if 判断 QuerySet 是否有期望的结果

3 缓存(QuerySet级别)

每一个QuerySet 包含一个最小的数据库访问缓存。

  • 查询集使用缓存

    新创建一个QuerySet 对象，它的缓存为空；当发生一次针对该QuerySet查询之后，会将这个结果缓存起来，下次发生同样的查询时，Django不再查询数据库而是直接利用这次的缓存，合理利用可以提高性能。

    • 利：合理利用减少数据库查询，提高性能；
    • 弊：当数据库发生update or delete 操作时，若要获取最新信息可能会误用缓存，造成业务逻辑错误；

  • 查询集不使用缓存

    当仅仅计算查询集部分结果时，会去检查缓存，如果这部分没有被集成那么子序列查询返回的部分就没有被缓存。具体来说，使用切片和索引将不会被集成。

说明：上面这句话是翻译的，自己对这块儿理解的不够透彻。我通过比较官方文档和我自己实践验证来看，我重新理解如下(可能有失偏颇)：

  • 存在没有缓存的情况，就是QuerySet 对象没有被整体“计算查询”过，就会发生没有被集成，就不会发生缓存。
  • 还是看官网的几个例子比较好理解一点。
  • 切片和索引 不总是不会产生缓存。如果发生对查询集被完整遍历情况，那么再对该查询集索引的时候，也不会产生新的数据库查询。

数据库优化(Django Mysql)--示例_第4张图片

2.2 理解缓存的属性

  • 除了缓存整个QuerySet外，还可以缓存ORM对象的属性的结果，通常不能被调用的属性将被缓存，可以被调用的属性不会被缓存。
# 下面示例从官网摘录。说明：Blog是Entry的外键，Authors和Entry是多对多关系。
>>> entry = Entry.objects.get(id=1)
>>> entry.blog   # Blog object is retrieved at this point
>>> entry.blog   # cached version, no DB access


>>> entry = Entry.objects.get(id=1)
>>> entry.authors.all()   # query performed
>>> entry.authors.all()   # query performed again
  • Django 模板中使用，可调用方法也不加()，不要弄混。
  • 自定义属性时，可以使用django的cached_property 装饰器

2.3 模板中使用with

2.4 使用iterator()

  • 当要查询的结果包含大量的对象，使用QuerySet 的cache 会占用大量的系统内存时，且这些结果只使用一次的时候，可以考虑使用.iterator()。
  • 注意：如果要重复使用这些结果，不推荐使用。

2.5 使用explain() 来查看数据库查询的细节

但，我简单试了一下，好像不太明显，这地方我需求不是特别大，暂时就不细致研究了。

3.数据库做数据库的事情，而不是交给python (重点)

3.1 使用filter & exclude 进行数据库层面过滤

3.2 使用 F 查询同一个model的不同字段比较

3.3 用好聚合查询

3.4 使用原生SQL

4.使用unique或indexed约束的列(字段)来查询单个对象

5.一次查询所有需要的数据而不是分多次部分查询

5.1 使用 QuerySet.select_related() and QuerySet.prefetch_related()

1.使用 原生managers 或 自定义 managers
2.使用 select_related & prefetch_related

6.不要查询不需要的数据

1.使用 QuerySet.values() and QuerySet.values_list()

2.使用 QuerySet.defer() and QuerySet.only()

3.使用 count() 代替 len(qs)

4.使用 exists()，如果只是判断是否对应的实例

5.不要过度使用 count() 或 exists()

6.使用 update() and delete()

7.直接使用外键的值，代替先查出外键对象再通过.id取值

8.如果不关心结果的顺序，不要排序

6.使用批量的方法

6.1 批量创建：bulk_create

6.2 批量更新: bulk_update

6.3 批量插入：add 多对多字段

6.4 批量删除：remove多对多字段

6.结合实际，具体方案

6.1 添加索引

  • 对order_by()操作的时间戳部分添加索引；

6.2 级联部分，采用prefetch_related 和 select_related

  • 多对多查询和一对多查询，使用prefetch_related
  • 外键查询(多对一，一对一)，使用select_related
  • 另外，一定要确保上述的操作是生效的。复杂的级联查询很容易让上面的操作失效，这一点需要注意，避免出现loop查询。

增补：处理过程中的小插曲

1.调整过所以，中途migrate报错：

MySQLdb._exceptions.OperationalError: (1061, "Duplicate key name 'competition_stage_start_time_d773f483'")
1.1 明确问题：索引(key)重复，要migrate的值已经存在
  • 查询mysql中对应的表的索引情况：show indexes from ，结果示例：

在这里插入图片描述

  • 看到有一个字段名：Key_name , 里面有一个值就是我们报错信息中的值。
1.2 解决问题：
  • 删除：drop index on ;
  • 重新migrate, 成功。
    • 1.3 参考：[Django database migration error: duplicate key]

    2.mysql on mac 配置日志

    2.0 说明：mysql是使用brew install mysql安装，存在一些弊端。
    2.1 查看配置文件：mysqld --verbose --help | grep -A 1 "Default options"
    • 配置文件过于简陋，常见的配置都没有。
    # Default Homebrew MySQL server config
[mysqld]
# Only allow connections from localhost
bind-address = 127.0.0.1
mysqlx-bind-address = 127.0.0.1
    • 需要我们自己添件我们的配置去覆盖掉默认配置。
    • 这里采用了全局配置：/etc/my.cnf, 该文件不存在，手动创建了一个，去网上找了一个模板。取消下面两行的注释：
    general_log_file        = /var/log/mysql/mysql.log
general_log             = 1
    • 修改配置文件后，要重启mysql服务brew services restart mysql
    • 查看日志：tail -f /var/log/mysql/mysql.log
    2.2 默认安装的mysql直接可以mysql -uroot登陆，显然不安全，建议处理。

    • 参考：Install MySQL on Mac OSX using Homebrew

      • 另外，其中一个指令被移除。mysql_install_db

    • 参考：Your password does not satisfy the current policy requirements

    • 执行：mysql_secure_installation

    • 提示我们配置密码，如果不想配置的密码过于复杂，可以手动修改密码验证的规则和水平.

    # 默认情况
mysql> SHOW VARIABLES LIKE 'validate_password%';
+--------------------------------------+--------+
| Variable_name                        | Value  |
+--------------------------------------+--------+
| validate_password.check_user_name    | ON     |
| validate_password.dictionary_file    |        |
| validate_password.length             | 8      |
| validate_password.mixed_case_count   | 1      |
| validate_password.number_count       | 1      |
| validate_password.policy             | MEDIUM |
| validate_password.special_char_count | 1      |
+--------------------------------------+--------+
7 rows in set (0.00 sec)
# 手动修改
mysql> SET GLOBAL validate_password.length = 6;
Query OK, 0 rows affected (0.00 sec)

mysql> SET GLOBAL validate_password.number_count = 0;
Query OK, 0 rows affected (0.00 sec)

mysql> SET GLOBAL validate_password.policy=LOW;
Query OK, 0 rows affected (0.00 sec)

# 调整之后：
mysql> SHOW VARIABLES LIKE 'validate_password%';
+--------------------------------------+-------+
| Variable_name                        | Value |
+--------------------------------------+-------+
| validate_password.check_user_name    | ON    |
| validate_password.dictionary_file    |       |
| validate_password.length             | 6     |
| validate_password.mixed_case_count   | 1     |
| validate_password.number_count       | 0     |
| validate_password.policy             | LOW   |
| validate_password.special_char_count | 1     |
+--------------------------------------+-------+
7 rows in set (0.01 sec)

    你可能感兴趣的:(python,web)

    • Python 基础：类 诸葛思颖 pythonpython开发语言
      目录一、类的概念二、定义类三、创建对象并进行访问四、修改属性的值方法一：句点表示法直接访问并修改方法二：通过方法进行修改五、继承继承父类属性和方法重写父类方法六、将实例用作属性七、导入类导入单个类从一个模块中导入多个类导入整个模块导入模块中的所有类八、一些代码编写规范遇到看不明白的地方，欢迎在评论中留言呐，一起讨论，一起进步！本文参考：《Python编程：从入门到实践（第2版）》一、类的概念类是是
    • ‌Visual Studio Code（VS Code）支持的编程语言 计算机辅助工程 vscode
      ‌JavaScript‌：VSCode原生支持JavaScript，提供语法高亮、代码折叠、自动补全等功能。推荐使用ESLint和Prettier进行代码格式化和错误检查‌。‌TypeScript‌：作为JavaScript的超集，TypeScript在VSCode中也得到原生支持，提供类似的编辑功能‌。‌Python‌：通过安装Python扩展，VSCode支持Python编程，提供调试、Int
    • Python精进系列：Counter 函数 进一步有进一步的欢喜 python编程语言
      目录一、Counter函数概述二、基本使用案例（一）列表元素计数（二）字符串字符计数（三）元组计数三、Counter对象的常用方法（一）most_common()方法（二）update()方法（三）subtract()方法（四）elements()方法四、Counter对象的数学运算（一）加法运算（二）减法运算（三）交集运算（四）并集运算五、实际应用场景（一）文本分析（二）数据分析（三）游戏开发应
    • RK3568笔记六十八：Yolov11目标检测部署测试 殷忆枫 RK3568学习笔记笔记YOLO
      若该文为原创文章，转载请注明原文出处。看到yolov11出了，山水无移大佬测试通过，跟个风测试一下效果。使用的是正点原子的ATK-DLRK3568开发板。这里不训练自己的模型了，使用官方模型测试。一、环境搭建1、下载源码ultralytics/ultralytics:UltralyticsYOLO112、创建虚拟环境condacreate-nyolov11_envpython=3.83、激活con
    • Python 爬虫实战：从大众点评爬取餐厅评价，探寻美食打卡地 西攻城狮北 python爬虫美食实战案例
      目录引言一、项目背景与需求分析1.1大众点评平台的特点1.2数据爬取目标二、技术选型与工具准备2.1技术选型2.2工具准备三、爬取餐厅信息3.1获取餐厅列表3.2获取餐厅详情四、数据存储五、数据处理与分析5.1数据清洗5.2数据分析六、可视化展示七、总结与展望引言大众点评作为国内知名的本地生活服务平台，提供了丰富的餐厅信息和用户评价。通过爬取大众点评上的餐厅评价数据，我们可以分析餐厅的受欢迎程度、
    • Python高级开发工程师 巴啦啦小魔仙变身 python开发语言
      Python高级开发工程师通常会围绕技术能力、项目经验、问题解决能力等方面展开,以下为你详细介绍面试的常见内容、准备方式及注意事项:常见面试内容技术基础语言特性:深入理解Python的高级特性,如装饰器、元类、描述符等的原理和应用场景。例如,面试官可能会要求你现场编写一个装饰器来实现函数执行时间的统计。数据结构与算法:熟悉常见的数据结构(如列表、字典、集合、堆、栈、队列、链表、树、图等)和算法(如
    • Python爬虫实战010：反爬取机制学习 若北辰 Python爬虫教程python爬虫开发语言
      #-*-coding:utf-8-*-"""@ModuleName:demo_001@Function:@Author:@Time:2020/12/28上午11:21"""fromlxmlimportetreeimportpandasaspdimportreimportrandomimporturllibimportrequestsimporttimeimportosimportjson
    • 从http到Axios和fetch全解析 浪裡遊 http网络协议网络前端javascriptvue.js
      乜嘢是HTTPHTTP，全称为HyperTextTransferProtocol（超文本传输协议），是互联网上应用最为广泛的一种网络协议。它允许将超文本标记语言（HTML）文档从Web服务器传送到客户端的浏览器，并且支持多媒体内容的传输，如图片、视频等。基本概念HTTP是一种基于请求与响应的应用层协议，它是无状态的，意味着每个请求都是独立的，服务器不会保存客户端的状态信息。通常，用户通过客户端（如
    • python while循环 18例 实相无相 python开发语言while循环
      pythonwhile循环18例打印1到10的数字i=1whilei=1:print(i)i-=1这个例子中，我们使用了while循环来打印10到1的数字。首先，我们将i的值设置为10，然后在循环中检查i是否大于或等于1。如果是，我们打印i的值，然后将i的值减1。这个过程一直重复，直到i的值小于1为止。打印1到10的偶数i=1whilei<=10:ifi%2==0:print(i)i+=1这个例子
    • Python的函数 活跃家族 python
      1、函数的相互调用函数里可以调用函数：函数一定是调用的时候才会执行函数体的代码。如果函数里调用函数需要传参，这个传参的数据可以再次参数化。注意代码执行的顺序：先执行所有顶格的代码：运行函数的定义，函数体缩进的的代码不会执行；调用函数的时候才会运行函数体的内容2、函数的作用域全局变量：直接定义在py文件(模块)且函数外部的变量，叫全局变量；全局变量在当前文件中任何地方都可以使用，包括在函数里使用；函
    • 人工智能学习 星月IWJ 人工智能机器学习深度学习神经网络目标检测人工智能
      //-----初探-----//人工智能三大核心要素数据/算法/算力人工智能是通过机器来模拟人类认知能力的技术机器学习/神经网络/深度学习(多层隐藏层神经网络)tf1.14python3.5keras2.1.5//-----数学基础&&数字图像-----//向量大小/方向矢量(有大小和方向)标量(只有大小没有方向(长度))单位向量线性变换(矩阵运算)T(v+w)=T(v)+T(w)T(cv)=cT
    • Python while循环 东北银儿 python基础知识python
      1.简介：while循环是不断运行，直到指定的条件不满足为止，不同于for循环。for循环是针对于集合中每个元素都执行相同的一个代码块。2.while循环的使用：#使用while循环从1数到5number=1whilenumber5:breakprint(number)number+=1#输出结果123454.continue语句：当满足一个条件要返回到循环开头，并根据条件测试结果决定是否继续执行
    • 【Python】使用 requests 发送消息到飞书（Feishu）Webhook 教程 Prajna-Paramita python飞书开发语言
      本教程将指导你如何使用Python编写一个简单的脚本，通过飞书的Webhook功能发送消息到指定的群聊或频道。飞书的Webhook功能允许你通过HTTP请求将消息推送到飞书群聊中，非常适合用于自动化通知、监控报警等场景。1.准备工作1.1获取飞书WebhookURL首先，你需要在飞书中创建一个自定义机器人，并获取其WebhookURL。具体步骤如下：打开飞书，进入你想要接收消息的群聊。点击群聊右上
    • 物联网设备接入系统后如何查看硬件实时数据? 动亦定 物联网java物联网
      要在软件中实时查看硬件设备的信息，通常需要结合前后端技术来实现。以下是设计思路和实现步骤：1.系统架构设计实时查看硬件设备信息的系统通常采用以下架构：数据采集层:硬件设备通过传感器采集数据，发送到InfluxDB。数据存储层:InfluxDB存储设备的历史和实时数据。后端服务层:提供API接口，从InfluxDB查询数据并返回给前端。前端展示层:通过Web界面或移动端实时展示设备信息。实时通信层:
    • 在Linux下安装部署Tomcat教程 波波有料 linuxtomcat运维
      摘要Tomcat是由Apache开发的要给Servlet容器，实现了对Servlet和JSP的支持，并提供了作为Web服务器的一些特有功能，如Tomcat管理和控制平台，安全管理和Tomcat阀等。简单来说，Tomcat是一个由WEB应用程序的托管平台，可以让用户编写的WEB应用程序，别Tomcat所托管，并提供网站服务。即让用户安装步骤如下：Tomcat的安装分为2步：安装JDK环境解压并安装T
    • 基于Python + Flask + PyEcharts + Bootstrap实现疫情可视化平台 小夕Coding 大数据系列可视化python数据可视化javavue
      基于Python+Flask+PyEcharts+Bootstrap实现的疫情可视化平台依赖库DependencyVersionPython3.6flask1.1.1pyecharts1.7.1requests2.22使用pythonrun.py#在浏览器中访问http://localhost:776前端展示项目下载链接：https://pan.baidu.com/s/1l1y2eiTWMTApQ
    • JavaScript 性能优化实战案例与解决方案 Real Man★ javascript性能优化开发语言
      JavaScript性能优化是提升Web应用流畅度和用户体验的核心环节。以下是针对常见性能问题的实战案例与优化方案，涵盖代码优化、渲染优化、内存管理等多个方面：一、高频事件处理优化案例1：滚动事件卡顿问题：页面监听scroll事件实现动态效果，但频繁触发导致卡顿。优化方案：javascript复制//1.节流（Throttle）：固定时间间隔执行functionthrottle(fn,delay)
    • 【xinference部署大模型超详细教程 gemma-it为例子】 放飞自我的Coder xinferencellmopenaiAPI
      inference文档地址你的点赞和收藏是我持续分享优质内容的动力哦~加速source/etc/network_turbo#仅限autodl平台pipconfigsetglobal.index-urlhttps://mirrors.pku.edu.cn/pypi/web/simple第一步安装xinference和vLLM：vLLM是一个支持高并发的高性能大模型推理引擎。当满足以下条件时，Xinf
    • 基于 Python + Flask + Echarts 的疫情监控系统 程序员奇奇 计算机毕设pythonflaskecharts
      项目概况完整代码：https://download.csdn.net/download/pythonyanyan/874287591.1项目名称新冠肺炎疫情实时监控。项目地址：http://121.41.228.239
    • Python, Java 开发全国性仕农工商学急切诉求反映APP (惠民版） Geeker-2025 pythonjava
      开发一个全国性的“仕农工商学急切诉求APP”（以下简称“诉求APP”）是一个复杂且多层次的项目，旨在为不同社会群体（如公务员、农民、工人、商人、学生等）提供一个平台，方便他们提交和查看各自的紧急诉求。该项目需要综合运用多种技术和工具，以确保应用的稳定性、安全性和高效性。以下是使用Python、Java和C++分别开发该应用的关键模块和基本思路。##一、功能需求概述1.**用户管理**：-注册、登录
    • gurobi最新下载安装教程 2023.11 Cachel wood 软件安装教程numpypandas数据结构wordr语言gurobipython
      文章目录gurobi下载gurobi安装gurobilincese获取添加系统环境变量gurobi和pythonpython中调用gurobigurobi下载https://www.gurobi.com/点击下载中心downloadcenter可以直接选择GurobiOptimizer下载gurobi安装gurobi可以通过python进行调用，但是需要先获得gurobi的lincese。guro
    • 蓝桥 basic-13 数列排序 C++ python Simone Zeng 蓝桥杯ACM
      含泪补基础蓝桥basic-13数列排序文章目录1.题目描述2.解题思路3.使用C++sort用法4.使用python列表推导式、map、sorted1.题目描述2.解题思路这是一个简单的排序问题，需要考虑读入数据后如何实现排序。3.使用C++sort用法sort用法：sort(first_pointer,first_pointer+n,cmp)该函数可以给数组，或者链表list、向量排序。参数3：
    • Native 崩溃解析工具 JT-999 Androidpython
      NDKToolsLibrary一个Python工具库，用于简化AndroidNDK崩溃分析。该库通过封装NDK工具来简化操作，支持解析.dmp文件和logcat崩溃日志，并支持灵活配置参数。支持多平台（Linux、Windows、macOS），并提供Shell和Batch脚本便于使用。功能特性解析.dmp文件：使用ndk-stack工具解析崩溃堆栈解析原生崩溃日志：从logcat输出中提取原生崩溃
    • 第N2周：构建词典 OreoCC NLP
      本人往期文章可查阅：深度学习总结我的环境：语言环境：Python3.11编译器：PyCharm深度学习环境：Pytorchtorch==2.0.0+cu118torchvision==0.18.1+cu118显卡：NVIDIAGeForceGTX1660本周任务：使用N1周的.txt文件构建词典，停用词请自定义1.导入数据fromtorchtext.vocabimportbuild_vocab_f
    • 为什么说Unity引擎支持跨平台 你一身傲骨怎能输 编程语言unity游戏引擎
      Unity引擎支持跨平台的主要理由包括以下几点：多平台发布：Unity引擎允许开发人员使用相同的代码和资源来构建应用程序和游戏，并在多个平台上发布，包括Windows、Mac、Linux、iOS、Android、WebGL、PlayStation、Xbox等。这种跨平台发布的能力使开发人员能够将他们的应用程序和游戏带到更广泛的受众中。统一开发环境：Unity提供了一个统一的开发环境，使开发人员可以
    • NLP新手入门-第N1周：Pytorch文本分类入门 Oaix Nay 365天深度学习训练记录pytorch自然语言处理分类
      本文为365天深度学习训练营中的学习记录博客原作者：K同学啊|接辅导、项目定制目录一、课题背景和开发环境二、环境安装三、文本分类1.加载数据2.构建词典3.生成数据批次和迭代器4.定义模型5.定义实例6.定义训练函数与评估函数7.拆分数据集并运行模型8.使用测试数据集评估模型一、课题背景和开发环境第N1周：Pytorch文本分类入门Python3.8.12pytorch==1.8.1+cu111t
    • python-leetcode-删掉一个元素以后全为 1 的最长子数组 Joyner2018 leetcode算法职场和发展
      1493.删掉一个元素以后全为1的最长子数组-力扣（LeetCode）可以使用滑动窗口的方式来解决这个问题。我们要找到最长的全1子数组，但必须删除一个元素，因此可以将问题转化为寻找最多包含一个0的最长子数组。解题思路使用双指针（滑动窗口），维护窗口内最多包含一个0。当窗口内的0超过1个时，移动左指针left直到窗口内0的数量恢复为1。记录窗口的最大长度，最终返回maxLen-1，因为必须删除一个元
    • Python 在深度学习中的应用 2501_90435375 人工智能python深度学习开发语言
      深度学习是机器学习的一个分支，它通过构建和训练深层神经网络来实现对数据的学习和理解。Python作为一种简洁、易读、功能强大的编程语言，在深度学习领域得到了广泛的应用。本文将详细介绍Python在深度学习中的应用，包括深度学习的基础概念、Python深度学习库和框架、实际案例。二、深度学习的基础概念1.神经网络神经网络是深度学习的基础，它由多个神经元组成，每个神经元接收输入信号，进行加权求和，并通
    • [Pytorch报错问题解决]AttributeError: ‘nn.Sequential‘ object has no attribute ‘append‘ Bartender_Jill 编程报错解决pytorch人工智能python
      问题运行深度学习代码的时候遇到了以下报错问题：Traceback(mostrecentcalllast):File"/home/anaconda3/envs/Text2HOI/lib/python3.9/site-packages/torch/autograd/grad_mode.py",line28,indecorate_contextreturnfunc(*args,**kwargs)File
    • Python 安装入门指南 2501_90435375 Pythonpython开发语言
      Python是一种广泛使用的高级编程语言，以其简洁的语法和强大的功能而受到开发者的喜爱。以下是Python的安装步骤和入门指南，带你快速上手Python编程。一、Python的介绍Python是一种解释型、面向对象、动态数据类型的高级程序设计语言。它具有以下特点：语法简洁：Python的语法设计注重代码的可读性和简洁性，使得编写代码更加简单直观。跨平台：Python可以在多种操作系统上运行，如Wi
    • 二分查找排序算法 周凡杨 java二分查找排序算法折半
      一：概念 二分查找又称 折半查找（ 折半搜索/ 二分搜索），优点是比较次数少，查找速度快，平均性能好；其缺点是要求待查表为有序表，且插入删除困难。因此，折半查找方法适用于不经常变动而 查找频繁的有序列表。首先，假设表中元素是按升序排列，将表中间位置记录的关键字与查找关键字比较，如果两者相等，则查找成功；否则利用中间位置记录将表 分成前、后两个子表，如果中间位置记录的关键字大于查找关键字，则进一步
    • java中的BigDecimal bijian1013 javaBigDecimal
              在项目开发过程中出现精度丢失问题，查资料用BigDecimal解决，并发现如下这篇BigDecimal的解决问题的思路和方法很值得学习，特转载。         原文地址：http://blog.csdn.net/ugg/article/de
    • Shell echo命令详解 daizj echoshell
      Shell echo命令 Shell 的 echo 指令与 PHP 的 echo 指令类似，都是用于字符串的输出。命令格式： echo string 您可以使用echo实现更复杂的输出格式控制。 1.显示普通字符串: echo "It is a test" 这里的双引号完全可以省略，以下命令与上面实例效果一致： echo Itis a test 2.显示转义
    • Oracle DBA 简单操作 周凡杨 oracle dba sql
      --执行次数多的SQL select sql_text,executions from (      select sql_text,executions from v$sqlarea order by executions desc      ) where rownum<81;  &nb
    • 画图重绘 朱辉辉33 游戏
        我第一次接触重绘是编写五子棋小游戏的时候，因为游戏里的棋盘是用线绘制的，而这些东西并不在系统自带的重绘里，所以在移动窗体时，棋盘并不会重绘出来。所以我们要重写系统的重绘方法。   在重写系统重绘方法时，我们要注意一定要调用父类的重绘方法，即加上super.paint(g)，因为如果不调用父类的重绘方式，重写后会把父类的重绘覆盖掉，而父类的重绘方法是绘制画布，这样就导致我们
    • 线程之初体验 西蜀石兰 线程
      一直觉得多线程是学Java的一个分水岭，懂多线程才算入门。 之前看《编程思想》的多线程章节，看的云里雾里，知道线程类有哪几个方法，却依旧不知道线程到底是什么？书上都写线程是进程的模块，共享线程的资源，可是这跟多线程编程有毛线的关系，呜呜。。。 线程其实也是用户自定义的任务，不要过多的强调线程的属性，而忽略了线程最基本的属性。 你可以在线程类的run()方法中定义自己的任务，就跟正常的Ja
    • linux集群互相免登陆配置 林鹤霄 linux
      配置ssh免登陆 1、生成秘钥和公钥    ssh-keygen -t rsa 2、提示让你输入，什么都不输，三次回车之后会在~下面的.ssh文件夹中多出两个文件id_rsa 和 id_rsa.pub    其中id_rsa为秘钥，id_rsa.pub为公钥，使用公钥加密的数据只有私钥才能对这些数据解密    c
    • mysql : Lock wait timeout exceeded; try restarting transaction aigo mysql
      原文：http://www.cnblogs.com/freeliver54/archive/2010/09/30/1839042.html   原因是你使用的InnoDB   表类型的时候, 默认参数:innodb_lock_wait_timeout设置锁等待的时间是50s, 因为有的锁等待超过了这个时间,所以抱错.   你可以把这个时间加长,或者优化存储
    • Socket编程 基本的聊天实现。 alleni123 socket
      public class Server { //用来存储所有连接上来的客户 private List<ServerThread> clients; public static void main(String[] args) { Server s = new Server(); s.startServer(9988); } publi
    • 多线程监听器事件模式(一个简单的例子) 百合不是茶 线程监听模式
          多线程的事件监听器模式   监听器时间模式经常与多线程使用,在多线程中如何知道我的线程正在执行那什么内容,可以通过时间监听器模式得到        创建多线程的事件监听器模式 思路:    1, 创建线程并启动,在创建线程的位置设置一个标记     2,创建队
    • spring InitializingBean接口 bijian1013 javaspring
      spring的事务的TransactionTemplate，其源码如下： public class TransactionTemplate extends DefaultTransactionDefinition implements TransactionOperations, InitializingBean{ ... } TransactionTemplate继承了DefaultT
    • Oracle中询表的权限被授予给了哪些用户 bijian1013 oracle数据库权限
              Oracle查询表将权限赋给了哪些用户的SQL，以备查用。 select t.table_name as "表名", t.grantee as "被授权的属组", t.owner as "对象所在的属组"
    • 【Struts2五】Struts2 参数传值 bit1129 struts2
      Struts2中参数传值的3种情况 1.请求参数绑定到Action的实例字段上 2.Action将值传递到转发的视图上 3.Action将值传递到重定向的视图上   一、请求参数绑定到Action的实例字段上以及Action将值传递到转发的视图上 Struts可以自动将请求URL中的请求参数或者表单提交的参数绑定到Action定义的实例字段上，绑定的规则使用ognl表达式语言
    • 【Kafka十四】关于auto.offset.reset[Q/A] bit1129 kafka
      I got serveral questions about  auto.offset.reset. This configuration parameter governs how  consumer read the message from  Kafka when  there is no initial offset in ZooKeeper or
    • nginx gzip压缩配置 ronin47 nginx gzip 压缩范例
      nginx gzip压缩配置 更多 0 nginx gzip 配置   随着nginx的发展，越来越多的网站使用nginx，因此nginx的优化变得越来越重要，今天我们来看看nginx的gzip压缩到底是怎么压缩的呢？ gzip(GNU-ZIP)是一种压缩技术。经过gzip压缩后页面大小可以变为原来的30%甚至更小，这样，用
    • java-13.输入一个单向链表，输出该链表中倒数第 k 个节点 bylijinnan java
      two cursors. Make the first cursor go K steps first. /* * 第 13 题：题目：输入一个单向链表，输出该链表中倒数第 k 个节点 */ public void displayKthItemsBackWard(ListNode head,int k){ ListNode p1=head,p2=head;
    • Spring源码学习-JdbcTemplate queryForObject bylijinnan javaspring
      JdbcTemplate中有两个可能会混淆的queryForObject方法： 1. Object queryForObject(String sql, Object[] args, Class requiredType) 2. Object queryForObject(String sql, Object[] args, RowMapper rowMapper) 第1个方法是只查
    • [冰川时代]在冰川时代,我们需要什么样的技术? comsci 技术
           看美国那边的气候情况....我有个感觉...是不是要进入小冰期了?      那么在小冰期里面...我们的户外活动肯定会出现很多问题...在室内呆着的情况会非常多...怎么在室内呆着而不发闷...怎么用最低的电力保证室内的温度.....这都需要技术手段...   &nb
    • js 获取浏览器型号 cuityang js浏览器
      根据浏览器获取iphone和apk的下载地址 <!DOCTYPE html> <html> <head>     <meta charset="utf-8" content="text/html"/>     <meta name=
    • C# socks5详解 转 dalan_123 socketC#
      http://www.cnblogs.com/zhujiechang/archive/2008/10/21/1316308.html  这里主要讲的是用.NET实现基于Socket5下面的代理协议进行客户端的通讯，Socket4的实现是类似的，注意的事，这里不是讲用C#实现一个代理服务器，因为实现一个代理服务器需要实现很多协议，头大，而且现在市面上有很多现成的代理服务器用，性能又好，
    • 运维 Centos问题汇总 dcj3sjt126com 云主机
      一、sh 脚本不执行的原因 sh脚本不执行的原因 只有2个 1.权限不够 2.sh脚本里路径没写完整。   二、解决You have new mail in /var/spool/mail/root 修改/usr/share/logwatch/default.conf/logwatch.conf配置文件 MailTo = MailFrom   三、查询连接数
    • Yii防注入攻击笔记 dcj3sjt126com sqlWEB安全yii
      网站表单有注入漏洞须对所有用户输入的内容进行个过滤和检查，可以使用正则表达式或者直接输入字符判断，大部分是只允许输入字母和数字的，其它字符度不允许；对于内容复杂表单的内容，应该对html和script的符号进行转义替换：尤其是<,>,',"",&这几个符号 这里有个转义对照表： http://blog.csdn.net/xinzhu1990/articl
    • MongoDB简介[一] eksliang mongodbMongoDB简介
      MongoDB简介 转载请出自出处：http://eksliang.iteye.com/blog/2173288 1.1易于使用        MongoDB是一个面向文档的数据库，而不是关系型数据库。与关系型数据库相比，面向文档的数据库不再有行的概念，取而代之的是更为灵活的“文档”模型。        另外，不
    • zookeeper windows 入门安装和测试 greemranqq zookeeper安装分布式
      一、序言       以下是我对zookeeper 的一些理解：      zookeeper 作为一个服务注册信息存储的管理工具，好吧，这样说得很抽象，我们举个“栗子”。       栗子1号：       假设我是一家KTV的老板，我同时拥有5家KTV，我肯定得时刻监视
    • Spring之使用事务缘由(2-注解实现) ihuning spring
        Spring事务注解实现   1. 依赖包：     1.1 spring包：           spring-beans-4.0.0.RELEASE.jar           spring-context-4.0.0.
    • iOS App Launch Option 啸笑天 option
      iOS 程序启动时总会调用application:didFinishLaunchingWithOptions:，其中第二个参数launchOptions为NSDictionary类型的对象，里面存储有此程序启动的原因。   launchOptions中的可能键值见UIApplication Class Reference的Launch Options Keys节 。 1、若用户直接
    • jdk与jre的区别（_） macroli javajvmjdk
      简单的说JDK是面向开发人员使用的SDK，它提供了Java的开发环境和运行环境。SDK是Software Development Kit 一般指软件开发包，可以包括函数库、编译程序等。  JDK就是Java Development Kit JRE是Java Runtime Enviroment是指Java的运行环境，是面向Java程序的使用者，而不是开发者。 如果安装了JDK，会发同你
    • Updates were rejected because the tip of your current branch is behind qiaolevip 学习永无止境每天进步一点点众观千象git
      $ git push joe prod-2295-1 To [email protected]:joe.le/dr-frontend.git ! [rejected] prod-2295-1 -> prod-2295-1 (non-fast-forward) error: failed to push some refs to '[email protected]
    • [一起学Hive]之十四-Hive的元数据表结构详解 superlxw1234 hivehive元数据结构
      关键字：Hive元数据、Hive元数据表结构   之前在 “[一起学Hive]之一–Hive概述，Hive是什么”中介绍过，Hive自己维护了一套元数据，用户通过HQL查询时候，Hive首先需要结合元数据，将HQL翻译成MapReduce去执行。 本文介绍一下Hive元数据中重要的一些表结构及用途，以Hive0.13为例。   文章最后面，会以一个示例来全面了解一下，
    • Spring 3.2.14，4.1.7，4.2.RC2发布 wiselyman Spring 3
        Spring 3.2.14、4.1.7及4.2.RC2于6月30日发布。   其中Spring 3.2.1是一个维护版本(维护周期到2016-12-31截止)，后续会继续根据需求和bug发布维护版本。此时，Spring官方强烈建议升级Spring框架至4.1.7 或者将要发布的4.2 。   其中Spring 4.1.7主要包含这些更新内容。