DefaultTest
DefaultTest

数据库优化(Django Mysql)--示例

数据库优化–示例

1.背景

​ 通过监控软件可以明确的定位某个HTTP协议的API的响应时间在2-3秒(一般HTTP协议的API要控制在200ms以内)，显然需要优化。

​ 服务是一个djnago后台服务，采用原生ORM框架。

​ 另外，该API内部业务逻辑并不复杂，主要是做了MySQL数据库I/O的全量查询。且查询中有很多级联查询。

2.说明

​ 一个HTTP响应的优化可以从很多层面去做，这里单纯从业务代码和SQL语句的角度去优化。

3.分析

  • 实际工作场景，监控到API响应慢一般是由运维等其他人员提出，作为开发人员需要用开发场景下的工具来进行复测和验证。
  • django中数据库性能分析工具很多，常见如(下列同一个组织出品)：
    • django-debug-toolbar：github
      • 场景：开发测试阶段
      • 限制：Debug=True 才加载该模块和URL地址。
    • silk： github
      • 场景：开发测试阶段；服务交互和用户使用后分析；封装性更好一点。
      • 限制：需要使用数据库，数据库迁移
  • 采用silk
  • 可以直接通过上述工具，清晰查看request/response 和 SQL 耗时情况，以及详细的函数调用堆栈和数据库查询语句。

4.调优思路

  • 减少外部I/O
  • 减少冗余调用
  • 优化耗时逻辑

5.数据库优化的方式 – django ORM

  • 参考官网

0. 性能调优工具

1.django的shell (Debug=True), 查看django执行的原生SQL语句

>>> from django.db import connection
>>> connection.queries

2.explain()查看某个语句执行情况

>>> Blog.objects.filter(title='My Blog').explain()

3.借助三方工具

  • django-debug-toolbar
  • silk

1.标准的数据库优化技术

1.1 添加必要的索引

1.数据库优化，首先可选索引；使用 Meta.indexes 或 Field.db_index 不同级别的设置
2.在频繁进行下列查询方式的操作上添加
  • filter
  • exclude
  • order_by 等

1.2 使用合适的字段类型

1.3 缓存技术

下面是针对django的ORM来谈

2.理解QuerySet

2.1 理解 QuerySet 赋值

1.惰性查询
  • 创建、生成QuerySet 对象时，不会发生数据库查询；
  • 只有需要 “输出”结果的时候才会发生数据库查询；
2.何时真正赋值(下面是展开的几个例子)

  • QuerySet是迭代对象，发生迭代的那一刻就会查询数据库。

    • 如果要做判断「某个记录是否存在」或 「模型类对应的表是否为空」的查询用exists()，在转换成SQL语句的时候会加上limit的限制。

    • 不要用for e in Entry.objects.all(): + if xxx == xx 这样的操作，会查询处该表的所有记录。

    • 不要用bool(qs) 或 if qs: 这样的判断方式，也会查询所有符合条件的再做判断。

    • 数据库优化(Django Mysql)--示例_第1张图片

    • [外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-JGAas0dT-1595148907108)(imgs/image-20200717103824803.png)]

  • QuerySet可以被切片，语法类似python的array-slicing。切片时不会触发数据库查询，等价于SQL的 LIMIT + OFFSET 操作，返回值仍然是一个QuerySet对象。(注意：在django shell中操作时，如果没有对切片返回的结果进行赋值，那么默认会进行output，这就会发生数据库查询)

    • 数据库优化(Django Mysql)--示例_第2张图片

    • 注意：不支持负数索引和切片

    • 注意，如果切片中加step参数，那么返回的是lsit对象而不再是QuerySet； 如果是索引查询，返回的结果ModelObject，等价于[0:1].get()，不存在时肯能会报错。

    • 数据库优化(Django Mysql)--示例_第3张图片

    • 由于切片操作存在一定的“模棱两可”的可能性，所以禁止对切片进一步filter or order_by。

  • repr() 在交互式终端中执行，会触发QuerySet 执行

  • len() 会触发QuerySet 执行，返回list长度

  • bool() 或 if 判断 QuerySet 是否有期望的结果

3 缓存(QuerySet级别)

每一个QuerySet 包含一个最小的数据库访问缓存。

  • 查询集使用缓存

    新创建一个QuerySet 对象，它的缓存为空；当发生一次针对该QuerySet查询之后，会将这个结果缓存起来，下次发生同样的查询时，Django不再查询数据库而是直接利用这次的缓存，合理利用可以提高性能。

    • 利：合理利用减少数据库查询，提高性能；
    • 弊：当数据库发生update or delete 操作时，若要获取最新信息可能会误用缓存，造成业务逻辑错误；

  • 查询集不使用缓存

    当仅仅计算查询集部分结果时，会去检查缓存，如果这部分没有被集成那么子序列查询返回的部分就没有被缓存。具体来说，使用切片和索引将不会被集成。

说明：上面这句话是翻译的，自己对这块儿理解的不够透彻。我通过比较官方文档和我自己实践验证来看，我重新理解如下(可能有失偏颇)：

  • 存在没有缓存的情况，就是QuerySet 对象没有被整体“计算查询”过，就会发生没有被集成，就不会发生缓存。
  • 还是看官网的几个例子比较好理解一点。
  • 切片和索引 不总是不会产生缓存。如果发生对查询集被完整遍历情况，那么再对该查询集索引的时候，也不会产生新的数据库查询。

数据库优化(Django Mysql)--示例_第4张图片

2.2 理解缓存的属性

  • 除了缓存整个QuerySet外，还可以缓存ORM对象的属性的结果，通常不能被调用的属性将被缓存，可以被调用的属性不会被缓存。
# 下面示例从官网摘录。说明：Blog是Entry的外键，Authors和Entry是多对多关系。
>>> entry = Entry.objects.get(id=1)
>>> entry.blog   # Blog object is retrieved at this point
>>> entry.blog   # cached version, no DB access


>>> entry = Entry.objects.get(id=1)
>>> entry.authors.all()   # query performed
>>> entry.authors.all()   # query performed again
  • Django 模板中使用，可调用方法也不加()，不要弄混。
  • 自定义属性时，可以使用django的cached_property 装饰器

2.3 模板中使用with

2.4 使用iterator()

  • 当要查询的结果包含大量的对象，使用QuerySet 的cache 会占用大量的系统内存时，且这些结果只使用一次的时候，可以考虑使用.iterator()。
  • 注意：如果要重复使用这些结果，不推荐使用。

2.5 使用explain() 来查看数据库查询的细节

但，我简单试了一下，好像不太明显，这地方我需求不是特别大，暂时就不细致研究了。

3.数据库做数据库的事情，而不是交给python (重点)

3.1 使用filter & exclude 进行数据库层面过滤

3.2 使用 F 查询同一个model的不同字段比较

3.3 用好聚合查询

3.4 使用原生SQL

4.使用unique或indexed约束的列(字段)来查询单个对象

5.一次查询所有需要的数据而不是分多次部分查询

5.1 使用 QuerySet.select_related() and QuerySet.prefetch_related()

1.使用 原生managers 或 自定义 managers
2.使用 select_related & prefetch_related

6.不要查询不需要的数据

1.使用 QuerySet.values() and QuerySet.values_list()

2.使用 QuerySet.defer() and QuerySet.only()

3.使用 count() 代替 len(qs)

4.使用 exists()，如果只是判断是否对应的实例

5.不要过度使用 count() 或 exists()

6.使用 update() and delete()

7.直接使用外键的值，代替先查出外键对象再通过.id取值

8.如果不关心结果的顺序，不要排序

6.使用批量的方法

6.1 批量创建：bulk_create

6.2 批量更新: bulk_update

6.3 批量插入：add 多对多字段

6.4 批量删除：remove多对多字段

6.结合实际，具体方案

6.1 添加索引

  • 对order_by()操作的时间戳部分添加索引；

6.2 级联部分，采用prefetch_related 和 select_related

  • 多对多查询和一对多查询，使用prefetch_related
  • 外键查询(多对一，一对一)，使用select_related
  • 另外，一定要确保上述的操作是生效的。复杂的级联查询很容易让上面的操作失效，这一点需要注意，避免出现loop查询。

增补：处理过程中的小插曲

1.调整过所以，中途migrate报错：

MySQLdb._exceptions.OperationalError: (1061, "Duplicate key name 'competition_stage_start_time_d773f483'")
1.1 明确问题：索引(key)重复，要migrate的值已经存在
  • 查询mysql中对应的表的索引情况：show indexes from ，结果示例：

在这里插入图片描述

  • 看到有一个字段名：Key_name , 里面有一个值就是我们报错信息中的值。
1.2 解决问题：
  • 删除：drop index on ;
  • 重新migrate, 成功。
    • 1.3 参考：[Django database migration error: duplicate key]

    2.mysql on mac 配置日志

    2.0 说明：mysql是使用brew install mysql安装，存在一些弊端。
    2.1 查看配置文件：mysqld --verbose --help | grep -A 1 "Default options"
    • 配置文件过于简陋，常见的配置都没有。
    # Default Homebrew MySQL server config
[mysqld]
# Only allow connections from localhost
bind-address = 127.0.0.1
mysqlx-bind-address = 127.0.0.1
    • 需要我们自己添件我们的配置去覆盖掉默认配置。
    • 这里采用了全局配置：/etc/my.cnf, 该文件不存在，手动创建了一个，去网上找了一个模板。取消下面两行的注释：
    general_log_file        = /var/log/mysql/mysql.log
general_log             = 1
    • 修改配置文件后，要重启mysql服务brew services restart mysql
    • 查看日志：tail -f /var/log/mysql/mysql.log
    2.2 默认安装的mysql直接可以mysql -uroot登陆，显然不安全，建议处理。

    • 参考：Install MySQL on Mac OSX using Homebrew

      • 另外，其中一个指令被移除。mysql_install_db

    • 参考：Your password does not satisfy the current policy requirements

    • 执行：mysql_secure_installation

    • 提示我们配置密码，如果不想配置的密码过于复杂，可以手动修改密码验证的规则和水平.

    # 默认情况
mysql> SHOW VARIABLES LIKE 'validate_password%';
+--------------------------------------+--------+
| Variable_name                        | Value  |
+--------------------------------------+--------+
| validate_password.check_user_name    | ON     |
| validate_password.dictionary_file    |        |
| validate_password.length             | 8      |
| validate_password.mixed_case_count   | 1      |
| validate_password.number_count       | 1      |
| validate_password.policy             | MEDIUM |
| validate_password.special_char_count | 1      |
+--------------------------------------+--------+
7 rows in set (0.00 sec)
# 手动修改
mysql> SET GLOBAL validate_password.length = 6;
Query OK, 0 rows affected (0.00 sec)

mysql> SET GLOBAL validate_password.number_count = 0;
Query OK, 0 rows affected (0.00 sec)

mysql> SET GLOBAL validate_password.policy=LOW;
Query OK, 0 rows affected (0.00 sec)

# 调整之后：
mysql> SHOW VARIABLES LIKE 'validate_password%';
+--------------------------------------+-------+
| Variable_name                        | Value |
+--------------------------------------+-------+
| validate_password.check_user_name    | ON    |
| validate_password.dictionary_file    |       |
| validate_password.length             | 6     |
| validate_password.mixed_case_count   | 1     |
| validate_password.number_count       | 0     |
| validate_password.policy             | LOW   |
| validate_password.special_char_count | 1     |
+--------------------------------------+-------+
7 rows in set (0.01 sec)

    你可能感兴趣的:(python,web)

    • 理解Gunicorn：Python WSGI服务器的基石 范范0825 ipythonlinux运维
      理解Gunicorn：PythonWSGI服务器的基石介绍Gunicorn，全称GreenUnicorn，是一个为PythonWSGI（WebServerGatewayInterface）应用设计的高效、轻量级HTTP服务器。作为PythonWeb应用部署的常用工具，Gunicorn以其高性能和易用性著称。本文将介绍Gunicorn的基本概念、安装和配置，帮助初学者快速上手。1.什么是Gunico
    • Python数据分析与可视化实战指南 William数据分析 pythonpython数据
      在数据驱动的时代，Python因其简洁的语法、强大的库生态系统以及活跃的社区，成为了数据分析与可视化的首选语言。本文将通过一个详细的案例，带领大家学习如何使用Python进行数据分析，并通过可视化来直观呈现分析结果。一、环境准备1.1安装必要库在开始数据分析和可视化之前，我们需要安装一些常用的库。主要包括pandas、numpy、matplotlib和seaborn等。这些库分别用于数据处理、数学
    • python os.environ 江湖偌大 python深度学习
      os.environ['TF_CPP_MIN_LOG_LEVEL']='0'#默认值，输出所有信息os.environ['TF_CPP_MIN_LOG_LEVEL']='1'#屏蔽通知信息（INFO）os.environ['TF_CPP_MIN_LOG_LEVEL']='2'#屏蔽通知信息和警告信息（INFO\WARNING）os.environ['TF_CPP_MIN_LOG_LEVEL']='
    • Python中os.environ基本介绍及使用方法 鹤冲天Pro #Pythonpython服务器开发语言
      文章目录python中os.environos.environ简介os.environ进行环境变量的增删改查python中os.environ的使用详解1.简介2.key字段详解2.1常见key字段3.os.environ.get()用法4.环境变量的增删改查和判断是否存在4.1新增环境变量4.2更新环境变量4.3获取环境变量4.4删除环境变量4.5判断环境变量是否存在python中os.envi
    • Pyecharts数据可视化大屏：打造沉浸式数据分析体验 我的运维人生 信息可视化数据分析数据挖掘运维开发技术共享
      Pyecharts数据可视化大屏：打造沉浸式数据分析体验在当今这个数据驱动的时代，如何将海量数据以直观、生动的方式展现出来，成为了数据分析师和企业决策者关注的焦点。Pyecharts，作为一款基于Python的开源数据可视化库，凭借其丰富的图表类型、灵活的配置选项以及高度的定制化能力，成为了构建数据可视化大屏的理想选择。本文将深入探讨如何利用Pyecharts打造数据可视化大屏，并通过实际代码案例
    • Python教程：一文了解使用Python处理XPath 旦莫 Python进阶python开发语言
      目录1.环境准备1.1安装lxml1.2验证安装2.XPath基础2.1什么是XPath？2.2XPath语法2.3示例XML文档3.使用lxml解析XML3.1解析XML文档3.2查看解析结果4.XPath查询4.1基本路径查询4.2使用属性查询4.3查询多个节点5.XPath的高级用法5.1使用逻辑运算符5.2使用函数6.实战案例6.1从网页抓取数据6.1.1安装Requests库6.1.2代
    • Google earth studio 简介 陟彼高冈yu 旅游
      GoogleEarthStudio是一个基于Web的动画工具，专为创作使用GoogleEarth数据的动画和视频而设计。它利用了GoogleEarth强大的三维地图和卫星影像数据库，使用户能够轻松地创建逼真的地球动画、航拍视频和动态地图可视化。网址为https://www.google.com/earth/studio/。GoogleEarthStudio是一个基于Web的动画工具，专为创作使用G
    • python os.environ_python os.environ 读取和设置环境变量 weixin_39605414 pythonos.environ
      >>>importos>>>os.environ.keys()['LC_NUMERIC','GOPATH','GOROOT','GOBIN','LESSOPEN','SSH_CLIENT','LOGNAME','USER','HOME','LC_PAPER','PATH','DISPLAY','LANG','TERM','SHELL','J2REDIR','LC_MONETARY','QT_QPA
    • PHP环境搭建详细教程 好看资源平台 前端php
      PHP是一个流行的服务器端脚本语言，广泛用于Web开发。为了使PHP能够在本地或服务器上运行，我们需要搭建一个合适的PHP环境。本教程将结合最新资料，介绍在不同操作系统上搭建PHP开发环境的多种方法，包括Windows、macOS和Linux系统的安装步骤，以及本地和Docker环境的配置。1.PHP环境搭建概述PHP环境的搭建主要分为以下几类：集成开发环境：例如XAMPP、WAMP、MAMP，这
    • DIV+CSS+JavaScript技术制作网页（旅游主题网页设计与制作）云南大理 STU学生网页设计 网页设计期末网页作业html静态网页html5期末大作业网页设计web大作业
      ️精彩专栏推荐作者主页:【进入主页—获取更多源码】web前端期末大作业：【HTML5网页期末作业(1000套)】程序员有趣的告白方式：【HTML七夕情人节表白网页制作(110套)】文章目录二、网站介绍三、网站效果▶️1.视频演示2.图片演示四、网站代码HTML结构代码CSS样式代码五、更多源码二、网站介绍网站布局方面：计划采用目前主流的、能兼容各大主流浏览器、显示效果稳定的浮动网页布局结构。网站程
    • 使用Faiss进行高效相似度搜索 llzwxh888 faisspython
      在现代AI应用中，快速和高效的相似度搜索是至关重要的。Faiss（FacebookAISimilaritySearch）是一个专门用于快速相似度搜索和聚类的库，特别适用于高维向量。本文将介绍如何使用Faiss来进行相似度搜索，并结合Python代码演示其基本用法。什么是Faiss？Faiss是一个由FacebookAIResearch团队开发的开源库，主要用于高维向量的相似性搜索和聚类。Faiss
    • python是什么意思中文-在python中%是什么意思 编程大乐趣
      Python中%有两种：1、数值运算：%代表取模，返回除法的余数。如：>>>7%212、%操作符（字符串格式化，stringformatting），说明如下：%[(name)][flags][width].[precision]typecode(name)为命名flags可以有+，-，''或0。+表示右对齐。-表示左对齐。''为一个空格，表示在正数的左侧填充一个空格，从而与负数对齐。0表示使用0填
    • 关于城市旅游的HTML网页设计——(旅游风景云南 5页)HTML+CSS+JavaScript 二挡起步 web前端期末大作业javascripthtmlcss旅游风景
      ⛵源码获取文末联系✈Web前端开发技术描述网页设计题材，DIV+CSS布局制作,HTML+CSS网页设计期末课程大作业|游景点介绍|旅游风景区|家乡介绍|等网站的设计与制作|HTML期末大学生网页设计作业，Web大学生网页HTML：结构CSS：样式在操作方面上运用了html5和css3，采用了div+css结构、表单、超链接、浮动、绝对定位、相对定位、字体样式、引用视频等基础知识JavaScrip
    • HTML网页设计制作大作业（div+css） 云南我的家乡旅游景点 带文字滚动 二挡起步 web前端期末大作业web设计网页规划与设计htmlcssjavascriptdreamweaver前端
      Web前端开发技术描述网页设计题材，DIV+CSS布局制作,HTML+CSS网页设计期末课程大作业游景点介绍|旅游风景区|家乡介绍|等网站的设计与制作HTML期末大学生网页设计作业HTML：结构CSS：样式在操作方面上运用了html5和css3，采用了div+css结构、表单、超链接、浮动、绝对定位、相对定位、字体样式、引用视频等基础知识JavaScript：做与用户的交互行为文章目录前端学习路线
    • Day1笔记-Python简介&标识符和关键字&输入输出 ~在杰难逃~ Pythonpython开发语言大数据数据分析数据挖掘
      大家好，从今天开始呢，杰哥开展一个新的专栏，当然，数据分析部分也会不定时更新的，这个新的专栏主要是讲解一些Python的基础语法和知识，帮助0基础的小伙伴入门和学习Python，感兴趣的小伙伴可以开始认真学习啦！一、Python简介【了解】1.计算机工作原理编程语言就是用来定义计算机程序的形式语言。我们通过编程语言来编写程序代码，再通过语言处理程序执行向计算机发送指令，让计算机完成对应的工作，编程
    • python八股文面试题分享及解析(1) Shawn________ python
      #1.'''a=1b=2不用中间变量交换a和b'''#1.a=1b=2a,b=b,aprint(a)print(b)结果：21#2.ll=[]foriinrange(3):ll.append({'num':i})print(11)结果:#[{'num':0},{'num':1},{'num':2}]#3.kk=[]a={'num':0}foriinrange(3):#0,12#可变类型，不仅仅改变
    • git - Webhook让部署自动化 大猪大猪
      我们现在有一个需求，将项目打包上传到gitlab或者github后，程序能自动部署，不用手动地去服务器中进行项目更新并运行，如何做到？这里我们可以使用gitlab与github的挂钩，挂钩的原理就是，每当我们有请求到gitlab与github服务器时，这时他俩会根据我们配置的挂钩地扯进行访问，webhook挂钩程序会一直监听着某个端口请求，一但收到他们发过来的请求，这时就知道用户有请求提交了，这时
    • 每日算法&面试题，大厂特训二十八天——第二十天（树） 肥学 ⚡算法题⚡面试题每日精进java算法数据结构
      目录标题导读算法特训二十八天面试题点击直接资料领取导读肥友们为了更好的去帮助新同学适应算法和面试题，最近我们开始进行专项突击一步一步来。上一期我们完成了动态规划二十一天现在我们进行下一项对各类算法进行二十八天的一个小总结。还在等什么快来一起肥学进行二十八天挑战吧！！特别介绍小白练手专栏，适合刚入手的新人欢迎订阅编程小白进阶python有趣练手项目里面包括了像《机器人尬聊》《恶搞程序》这样的有趣文章
    • Python快速入门 —— 第三节：类与对象 孤华暗香 Python快速入门python开发语言
      第三节：类与对象目标：了解面向对象编程的基础概念，并学会如何定义类和创建对象。内容：类与对象：定义类：class关键字。类的构造函数：__init__()。类的属性和方法。对象的创建与使用。示例：classStudent:def__init__(self,name,age,major):self.name&#
    • webpack图片等资源的处理 dmengmeng
      需要的loaderfile-loader（让我们可以引入这些资源文件）url-loader（其实是file-loader的二次封装）img-loader（处理图片所需要的）在没有使用任何处理图片的loader之前，比如说css中用到了背景图片，那么最后打包会报错的，因为他没办法处理图片。其实你只想能够使用图片的话。只加一个file-loader就可以，打开网页能准确看到图片。{test:/\.(p
    • pyecharts——绘制柱形图折线图 2224070247 信息可视化pythonjava数据可视化
      一、pyecharts概述自2013年6月百度EFE(ExcellentFrontEnd）数据可视化团队研发的ECharts1.0发布到GitHub网站以来，ECharts一直备受业界权威的关注并获得广泛好评，成为目前成熟且流行的数据可视化图表工具，被应用到诸多数据可视化的开发领域。Python作为数据分析领域最受欢迎的语言，也加入ECharts的使用行列，并研发出方便Python开发者使用的数据
    • Python 实现图片裁剪（附代码） | Python工具 剑客阿良_ALiang
      前言本文提供将图片按照自定义尺寸进行裁剪的工具方法，一如既往的实用主义。环境依赖ffmpeg环境安装，可以参考我的另一篇文章：windowsffmpeg安装部署_阿良的博客-CSDN博客本文主要使用到的不是ffmpeg，而是ffprobe也在上面这篇文章中的zip包中。ffmpy安装：pipinstallffmpy-ihttps://pypi.douban.com/simple代码不废话了，上代码
    • 【华为OD技术面试真题 - 技术面】- python八股文真题题库（4) 算法大师 华为od面试python
      华为OD面试真题精选专栏：华为OD面试真题精选目录:2024华为OD面试手撕代码真题目录以及八股文真题目录文章目录华为OD面试真题精选**1.Python中的`with`**用途和功能自动资源管理示例：文件操作上下文管理协议示例代码工作流程解析优点2.\_\_new\_\_和**\_\_init\_\_**区别__new____init__区别总结3.**切片（Slicing）操作**基本切片语法
    • python os 环境变量 CV矿工 python开发语言numpy
      环境变量：环境变量是程序和操作系统之间的通信方式。有些字符不宜明文写进代码里，比如数据库密码，个人账户密码，如果写进自己本机的环境变量里，程序用的时候通过os.environ.get（）取出来就行了。os.environ是一个环境变量的字典。环境变量的相关操作importos"""设置/修改环境变量：os.environ[‘环境变量名称’]=‘环境变量值’#其中key和value均为string类
    • Python爬虫解析工具之xpath使用详解 eqa11 python爬虫开发语言
      文章目录Python爬虫解析工具之xpath使用详解一、引言二、环境准备1、插件安装2、依赖库安装三、xpath语法详解1、路径表达式2、通配符3、谓语4、常用函数四、xpath在Python代码中的使用1、文档树的创建2、使用xpath表达式3、获取元素内容和属性五、总结Python爬虫解析工具之xpath使用详解一、引言在Python爬虫开发中，数据提取是一个至关重要的环节。xpath作为一门
    • 【华为OD技术面试真题 - 技术面】- python八股文真题题库（1） 算法大师 华为od面试python
      华为OD面试真题精选专栏：华为OD面试真题精选目录:2024华为OD面试手撕代码真题目录以及八股文真题目录文章目录华为OD面试真题精选1.数据预处理流程数据预处理的主要步骤工具和库2.介绍线性回归、逻辑回归模型线性回归（LinearRegression）模型形式：关键点：逻辑回归（LogisticRegression）模型形式：关键点：参数估计与评估：3.python浅拷贝及深拷贝浅拷贝（Shal
    • nosql数据库技术与应用知识点 皆过客，揽星河 NoSQLnosql数据库大数据数据分析数据结构非关系型数据库
      Nosql知识回顾大数据处理流程数据采集(flume、爬虫、传感器)数据存储(本门课程NoSQL所处的阶段)Hdfs、MongoDB、HBase等数据清洗(入仓)Hive等数据处理、分析(Spark、Flink等)数据可视化数据挖掘、机器学习应用(Python、SparkMLlib等)大数据时代存储的挑战(三高)高并发(同一时间很多人访问)高扩展(要求随时根据需求扩展存储)高效率(要求读写速度快)
    • 《Python数据分析实战终极指南》 xjt921122 python数据分析开发语言
      对于分析师来说，大家在学习Python数据分析的路上，多多少少都遇到过很多大坑**，有关于技能和思维的**：Excel已经没办法处理现有的数据量了，应该学Python吗？找了一大堆Python和Pandas的资料来学习，为什么自己动手就懵了？跟着比赛类公开数据分析案例练了很久，为什么当自己面对数据需求还是只会数据处理而没有分析思路？学了对比、细分、聚类分析，也会用PEST、波特五力这类分析法，为啥
    • Python中深拷贝与浅拷贝的区别 yuxiaoyu.
      转自：http://blog.csdn.net/u014745194/article/details/70271868定义：在Python中对象的赋值其实就是对象的引用。当创建一个对象，把它赋值给另一个变量的时候，python并没有拷贝这个对象，只是拷贝了这个对象的引用而已。浅拷贝：拷贝了最外围的对象本身，内部的元素都只是拷贝了一个引用而已。也就是，把对象复制一遍，但是该对象中引用的其他对象我不复
    • Python开发常用的三方模块如下： 换个网名有点难 python开发语言
      Python是一门功能强大的编程语言，拥有丰富的第三方库，这些库为开发者提供了极大的便利。以下是100个常用的Python库，涵盖了多个领域：1、NumPy，用于科学计算的基础库。2、Pandas，提供数据结构和数据分析工具。3、Matplotlib，一个绘图库。4、Scikit-learn，机器学习库。5、SciPy，用于数学、科学和工程的库。6、TensorFlow，由Google开发的开源机
    • 二分查找排序算法 周凡杨 java二分查找排序算法折半
      一：概念 二分查找又称 折半查找（ 折半搜索/ 二分搜索），优点是比较次数少，查找速度快，平均性能好；其缺点是要求待查表为有序表，且插入删除困难。因此，折半查找方法适用于不经常变动而 查找频繁的有序列表。首先，假设表中元素是按升序排列，将表中间位置记录的关键字与查找关键字比较，如果两者相等，则查找成功；否则利用中间位置记录将表 分成前、后两个子表，如果中间位置记录的关键字大于查找关键字，则进一步
    • java中的BigDecimal bijian1013 javaBigDecimal
              在项目开发过程中出现精度丢失问题，查资料用BigDecimal解决，并发现如下这篇BigDecimal的解决问题的思路和方法很值得学习，特转载。         原文地址：http://blog.csdn.net/ugg/article/de
    • Shell echo命令详解 daizj echoshell
      Shell echo命令 Shell 的 echo 指令与 PHP 的 echo 指令类似，都是用于字符串的输出。命令格式： echo string 您可以使用echo实现更复杂的输出格式控制。 1.显示普通字符串: echo "It is a test" 这里的双引号完全可以省略，以下命令与上面实例效果一致： echo Itis a test 2.显示转义
    • Oracle DBA 简单操作 周凡杨 oracle dba sql
      --执行次数多的SQL select sql_text,executions from (      select sql_text,executions from v$sqlarea order by executions desc      ) where rownum<81;  &nb
    • 画图重绘 朱辉辉33 游戏
        我第一次接触重绘是编写五子棋小游戏的时候，因为游戏里的棋盘是用线绘制的，而这些东西并不在系统自带的重绘里，所以在移动窗体时，棋盘并不会重绘出来。所以我们要重写系统的重绘方法。   在重写系统重绘方法时，我们要注意一定要调用父类的重绘方法，即加上super.paint(g)，因为如果不调用父类的重绘方式，重写后会把父类的重绘覆盖掉，而父类的重绘方法是绘制画布，这样就导致我们
    • 线程之初体验 西蜀石兰 线程
      一直觉得多线程是学Java的一个分水岭，懂多线程才算入门。 之前看《编程思想》的多线程章节，看的云里雾里，知道线程类有哪几个方法，却依旧不知道线程到底是什么？书上都写线程是进程的模块，共享线程的资源，可是这跟多线程编程有毛线的关系，呜呜。。。 线程其实也是用户自定义的任务，不要过多的强调线程的属性，而忽略了线程最基本的属性。 你可以在线程类的run()方法中定义自己的任务，就跟正常的Ja
    • linux集群互相免登陆配置 林鹤霄 linux
      配置ssh免登陆 1、生成秘钥和公钥    ssh-keygen -t rsa 2、提示让你输入，什么都不输，三次回车之后会在~下面的.ssh文件夹中多出两个文件id_rsa 和 id_rsa.pub    其中id_rsa为秘钥，id_rsa.pub为公钥，使用公钥加密的数据只有私钥才能对这些数据解密    c
    • mysql : Lock wait timeout exceeded; try restarting transaction aigo mysql
      原文：http://www.cnblogs.com/freeliver54/archive/2010/09/30/1839042.html   原因是你使用的InnoDB   表类型的时候, 默认参数:innodb_lock_wait_timeout设置锁等待的时间是50s, 因为有的锁等待超过了这个时间,所以抱错.   你可以把这个时间加长,或者优化存储
    • Socket编程 基本的聊天实现。 alleni123 socket
      public class Server { //用来存储所有连接上来的客户 private List<ServerThread> clients; public static void main(String[] args) { Server s = new Server(); s.startServer(9988); } publi
    • 多线程监听器事件模式(一个简单的例子) 百合不是茶 线程监听模式
          多线程的事件监听器模式   监听器时间模式经常与多线程使用,在多线程中如何知道我的线程正在执行那什么内容,可以通过时间监听器模式得到        创建多线程的事件监听器模式 思路:    1, 创建线程并启动,在创建线程的位置设置一个标记     2,创建队
    • spring InitializingBean接口 bijian1013 javaspring
      spring的事务的TransactionTemplate，其源码如下： public class TransactionTemplate extends DefaultTransactionDefinition implements TransactionOperations, InitializingBean{ ... } TransactionTemplate继承了DefaultT
    • Oracle中询表的权限被授予给了哪些用户 bijian1013 oracle数据库权限
              Oracle查询表将权限赋给了哪些用户的SQL，以备查用。 select t.table_name as "表名", t.grantee as "被授权的属组", t.owner as "对象所在的属组"
    • 【Struts2五】Struts2 参数传值 bit1129 struts2
      Struts2中参数传值的3种情况 1.请求参数绑定到Action的实例字段上 2.Action将值传递到转发的视图上 3.Action将值传递到重定向的视图上   一、请求参数绑定到Action的实例字段上以及Action将值传递到转发的视图上 Struts可以自动将请求URL中的请求参数或者表单提交的参数绑定到Action定义的实例字段上，绑定的规则使用ognl表达式语言
    • 【Kafka十四】关于auto.offset.reset[Q/A] bit1129 kafka
      I got serveral questions about  auto.offset.reset. This configuration parameter governs how  consumer read the message from  Kafka when  there is no initial offset in ZooKeeper or
    • nginx gzip压缩配置 ronin47 nginx gzip 压缩范例
      nginx gzip压缩配置 更多 0 nginx gzip 配置   随着nginx的发展，越来越多的网站使用nginx，因此nginx的优化变得越来越重要，今天我们来看看nginx的gzip压缩到底是怎么压缩的呢？ gzip(GNU-ZIP)是一种压缩技术。经过gzip压缩后页面大小可以变为原来的30%甚至更小，这样，用
    • java-13.输入一个单向链表，输出该链表中倒数第 k 个节点 bylijinnan java
      two cursors. Make the first cursor go K steps first. /* * 第 13 题：题目：输入一个单向链表，输出该链表中倒数第 k 个节点 */ public void displayKthItemsBackWard(ListNode head,int k){ ListNode p1=head,p2=head;
    • Spring源码学习-JdbcTemplate queryForObject bylijinnan javaspring
      JdbcTemplate中有两个可能会混淆的queryForObject方法： 1. Object queryForObject(String sql, Object[] args, Class requiredType) 2. Object queryForObject(String sql, Object[] args, RowMapper rowMapper) 第1个方法是只查
    • [冰川时代]在冰川时代,我们需要什么样的技术? comsci 技术
           看美国那边的气候情况....我有个感觉...是不是要进入小冰期了?      那么在小冰期里面...我们的户外活动肯定会出现很多问题...在室内呆着的情况会非常多...怎么在室内呆着而不发闷...怎么用最低的电力保证室内的温度.....这都需要技术手段...   &nb
    • js 获取浏览器型号 cuityang js浏览器
      根据浏览器获取iphone和apk的下载地址 <!DOCTYPE html> <html> <head>     <meta charset="utf-8" content="text/html"/>     <meta name=
    • C# socks5详解 转 dalan_123 socketC#
      http://www.cnblogs.com/zhujiechang/archive/2008/10/21/1316308.html  这里主要讲的是用.NET实现基于Socket5下面的代理协议进行客户端的通讯，Socket4的实现是类似的，注意的事，这里不是讲用C#实现一个代理服务器，因为实现一个代理服务器需要实现很多协议，头大，而且现在市面上有很多现成的代理服务器用，性能又好，
    • 运维 Centos问题汇总 dcj3sjt126com 云主机
      一、sh 脚本不执行的原因 sh脚本不执行的原因 只有2个 1.权限不够 2.sh脚本里路径没写完整。   二、解决You have new mail in /var/spool/mail/root 修改/usr/share/logwatch/default.conf/logwatch.conf配置文件 MailTo = MailFrom   三、查询连接数
    • Yii防注入攻击笔记 dcj3sjt126com sqlWEB安全yii
      网站表单有注入漏洞须对所有用户输入的内容进行个过滤和检查，可以使用正则表达式或者直接输入字符判断，大部分是只允许输入字母和数字的，其它字符度不允许；对于内容复杂表单的内容，应该对html和script的符号进行转义替换：尤其是<,>,',"",&这几个符号 这里有个转义对照表： http://blog.csdn.net/xinzhu1990/articl
    • MongoDB简介[一] eksliang mongodbMongoDB简介
      MongoDB简介 转载请出自出处：http://eksliang.iteye.com/blog/2173288 1.1易于使用        MongoDB是一个面向文档的数据库，而不是关系型数据库。与关系型数据库相比，面向文档的数据库不再有行的概念，取而代之的是更为灵活的“文档”模型。        另外，不
    • zookeeper windows 入门安装和测试 greemranqq zookeeper安装分布式
      一、序言       以下是我对zookeeper 的一些理解：      zookeeper 作为一个服务注册信息存储的管理工具，好吧，这样说得很抽象，我们举个“栗子”。       栗子1号：       假设我是一家KTV的老板，我同时拥有5家KTV，我肯定得时刻监视
    • Spring之使用事务缘由(2-注解实现) ihuning spring
        Spring事务注解实现   1. 依赖包：     1.1 spring包：           spring-beans-4.0.0.RELEASE.jar           spring-context-4.0.0.
    • iOS App Launch Option 啸笑天 option
      iOS 程序启动时总会调用application:didFinishLaunchingWithOptions:，其中第二个参数launchOptions为NSDictionary类型的对象，里面存储有此程序启动的原因。   launchOptions中的可能键值见UIApplication Class Reference的Launch Options Keys节 。 1、若用户直接
    • jdk与jre的区别（_） macroli javajvmjdk
      简单的说JDK是面向开发人员使用的SDK，它提供了Java的开发环境和运行环境。SDK是Software Development Kit 一般指软件开发包，可以包括函数库、编译程序等。  JDK就是Java Development Kit JRE是Java Runtime Enviroment是指Java的运行环境，是面向Java程序的使用者，而不是开发者。 如果安装了JDK，会发同你
    • Updates were rejected because the tip of your current branch is behind qiaolevip 学习永无止境每天进步一点点众观千象git
      $ git push joe prod-2295-1 To [email protected]:joe.le/dr-frontend.git ! [rejected] prod-2295-1 -> prod-2295-1 (non-fast-forward) error: failed to push some refs to '[email protected]
    • [一起学Hive]之十四-Hive的元数据表结构详解 superlxw1234 hivehive元数据结构
      关键字：Hive元数据、Hive元数据表结构   之前在 “[一起学Hive]之一–Hive概述，Hive是什么”中介绍过，Hive自己维护了一套元数据，用户通过HQL查询时候，Hive首先需要结合元数据，将HQL翻译成MapReduce去执行。 本文介绍一下Hive元数据中重要的一些表结构及用途，以Hive0.13为例。   文章最后面，会以一个示例来全面了解一下，
    • Spring 3.2.14，4.1.7，4.2.RC2发布 wiselyman Spring 3
        Spring 3.2.14、4.1.7及4.2.RC2于6月30日发布。   其中Spring 3.2.1是一个维护版本(维护周期到2016-12-31截止)，后续会继续根据需求和bug发布维护版本。此时，Spring官方强烈建议升级Spring框架至4.1.7 或者将要发布的4.2 。   其中Spring 4.1.7主要包含这些更新内容。