丸丸丸子w
丸丸丸子w

数学建模笔记-第九讲-分类模型-逻辑回归

文章目录

  • 分类模型
  • 逻辑回归
    • 生成虚拟变量
    • 线性概率模型存在两个问题
      • 解决第二个问题
      • 连接函数取法
  • SPSS实战
  • 过拟合现象
    • 交叉验证
  • Fisher线性判别分析
    • SPSS操作
  • 多分类问题
  • 作业：鸢尾花分类

分类模型

数学建模笔记-第九讲-分类模型-逻辑回归_第1张图片

  • 二分类模型
    • 逻辑回归
    • fisher线性判别分析
  • 多分类
    • 多分类线性判别
    • 多分类逻辑回归

逻辑回归

生成虚拟变量

分类问题的因变量就是种类，定性的变量，要变为虚拟变量

数学建模笔记-第九讲-分类模型-逻辑回归_第2张图片

  • 清风采用SPSS软件进行分类问题求解
  • 本人用mac懒得下载了，求解用在线版的spss pro或用代码python、matlab实现

数学建模笔记-第九讲-分类模型-逻辑回归_第3张图片
数学建模笔记-第九讲-分类模型-逻辑回归_第4张图片

  • 逻辑回归精髓就是：y是分类变量，y>0.5发生，有y<0.5不发生

线性概率模型存在两个问题

数学建模笔记-第九讲-分类模型-逻辑回归_第5张图片

  • 为了方便写成向量乘积形式
  • 第一个问题：显然可以看出存在内生性问题，x与u协方差不为0，有相关性，回归系数估计出来有偏
  • 第二个问题：预测值存在>1或<0的情况，不合逻辑

解决第二个问题

数学建模笔记-第九讲-分类模型-逻辑回归_第6张图片

  • 添加一个连接函数，将x与y连接起来，保证函数值域在[0,1]之间，就能解决这个问题
  • 给定x条件下，对y求期望（相当于y_hat）就等于y=1发生的概率
    • 解释了为啥y预测出来>0.5就是1

连接函数取法

数学建模笔记-第九讲-分类模型-逻辑回归_第7张图片
数学建模笔记-第九讲-分类模型-逻辑回归_第8张图片

  • 采用sigmoid函数，因为用极大似然估计好算，方便

数学建模笔记-第九讲-分类模型-逻辑回归_第9张图片

  • 和线性概率模型的差别就是对于右边这一串添加一个连接函数，使其值域约束在[0,1]之间

数学建模笔记-第九讲-分类模型-逻辑回归_第10张图片

论文中写：通过极大似然估计估计出β_hat，再用于预测y_hat

SPSS实战

数学建模笔记-第九讲-分类模型-逻辑回归_第11张图片
数学建模笔记-第九讲-分类模型-逻辑回归_第12张图片
数学建模笔记-第九讲-分类模型-逻辑回归_第13张图片

本人在spss pro上试了一下，也挺好用的。【在线spss数据分析】零基础逻辑回归入门教程

不过好像无法实现预测。

之后会自学matlab和python上求解逻辑回归。这里主要学习模型求解过程与思想，以及论文写作

数学建模笔记-第九讲-分类模型-逻辑回归_第14张图片

  • 逐步回归
  • 分类变量

数学建模笔记-第九讲-分类模型-逻辑回归_第15张图片

过拟合现象

预测结果差

  • spss中求出来只有76%
  • 由于逻辑回归是预测型回归而不是解释型回归，所以可以在回归模型中加入平方项、交互项

数学建模笔记-第九讲-分类模型-逻辑回归_第16张图片

  • 结果拟合优度非常好，百分之百，但是每个自变量的系数都不显著
  • 其实这是过拟合现象

数学建模笔记-第九讲-分类模型-逻辑回归_第17张图片

交叉验证

数据分为训练组和预测组

数学建模笔记-第九讲-分类模型-逻辑回归_第18张图片

Fisher线性判别分析

数学建模笔记-第九讲-分类模型-逻辑回归_第19张图片

  • 超平面

  • 超平面的法向量

  • 样例点投影到超平面的法向量上，从P维变为1维。保证：类内差距小，类间差距大（高内聚、松耦合）

数学建模笔记-第九讲-分类模型-逻辑回归_第20张图片

  • 定义一个类间距离和类内距离。目标函数是类间距离/类内距离，使函数取最大值，得到估计的ω。

数学建模笔记-第九讲-分类模型-逻辑回归_第21张图片

  • 然后带入一组样本数据就能得到分类
  • 数学建模笔记-第九讲-分类模型-逻辑回归_第22张图片

SPSS操作

数学建模笔记-第九讲-分类模型-逻辑回归_第23张图片

  • 费希尔fisher

数学建模笔记-第九讲-分类模型-逻辑回归_第24张图片

  • 放入论文中的：线性系数向量、成功率、需要预测的几个样本

多分类问题

原理：线性判别分析(LDA)和python实现（多分类问题）

（讲的不算特别好但暂时找不到其他的）

  • 最小线性判别分析用于多分类

数学建模笔记-第九讲-分类模型-逻辑回归_第25张图片
数学建模笔记-第九讲-分类模型-逻辑回归_第26张图片
数学建模笔记-第九讲-分类模型-逻辑回归_第27张图片

  • 逻辑回归也可用于多分类

数学建模笔记-第九讲-分类模型-逻辑回归_第28张图片

数学建模笔记-第九讲-分类模型-逻辑回归_第29张图片

  • 多元逻辑回归属于预测型回归
  • 预测型回归更看重 R^2,而解释型回归更多的关注模型整体显著性以及自变量的统计显著性和经济意义显著性即可
  • 所以可以忽略这里的多重共线性

数学建模笔记-第九讲-分类模型-逻辑回归_第30张图片

作业：鸢尾花分类

数学建模笔记-第九讲-分类模型-逻辑回归_第31张图片
数学建模笔记-第九讲-分类模型-逻辑回归_第32张图片
数学建模笔记-第九讲-分类模型-逻辑回归_第33张图片

本笔记来自清风老师的数学建模，强烈推荐该课程！

你可能感兴趣的:(数学建模笔记,逻辑回归,分类,机器学习,数学建模,spss)

  • 17.差异化教学法 didudi
    “面对40-50人的大班级，我们的教学到底是要面向谁”本讲由这一问题入手做了详细的解答。本讲中陈老师提到了两个重要的教学方法：“精熟学习法”、“差异化教学法”，两种都指向同一处理方式-“差异化处理”。“精熟学习法”：老师在完成单元教学后，通过两次过程性评价，设置不同的任务，结合及时反馈系统，实现在课堂上对学生进行测试和评估。但是这种方式更应该迁移到“知识模块”的校正上，其根据学业成就对学生进行分类
  • Python Pandas 实践学习笔记（1）
    PythonPandas教程Pandas是一个开源的、BSD许可证的Python库，为Python编程语言提供高性能、易于使用的数据结构和数据分析工具。Python与Pandas在学术和商业领域都被广泛应用，包括金融、经济、统计学、分析等领域。在本教程中，我们将学习PythonPandas的各种特性以及如何在实践中使用它们。教程对象本教程适用于那些想要学习Pandas基础知识和各种函数的人。对于从
  • Matlab自学笔记六十四：求解自变量带有约束条件的方程
    1.说明有一些方程由于实际问题的需要，需要设置一些限制约束条件，例如x>0等，若使用Matlab编程求解，首先尝试使用符号运算求解（符号运算可参考文章54：Matlab自学笔记五十四：符号数学工具箱和符号运算、符号求解、绘图），简单的约束条件可以在声明sym变量的时候直接写出，复杂的约束条件可能需要使用assume设置假设条件（符号变量假设条件的用法请参考文章56：Matlab快速上手五十六：详解
  • 【iOS】锁[特殊字符]
    文章目录前言1️⃣什么是锁？1.1基本概念1.2锁的分类2️⃣OC中的常用锁2.1OSSpinLock（已弃用）：“自旋锁”的经典代表为什么尽量在开发中不使用自旋锁自旋锁的本质缺陷：忙等待（BusyWaiting）os_unfair_lock的局限性：不适用于复杂场景苹果的官方建议：优先使用更高效的锁2.2dispatch_semaphore_t（GCD信号量）：“高性能通用锁”2.3pthrea
  • 数据呈现高阶技巧：散点图与桑基图的独特价值
    在数据可视化的工具箱中，有些图表看似小众，却能解决特定场景的分析难题。当你需要探索两个变量的关联，或追踪复杂的流量路径时，散点图和桑基图会成为强大的武器。本文将深入解析这两种图表的适用场景、分析逻辑和实战案例，帮你突破传统图表的局限，挖掘更深入的业务洞察。一、散点图：探索变量关系，发现群体特征散点图的核心价值在于展示大样本中两个变量的分布关系。它不像柱状图那样聚焦分类对比，也不像折线图那样追踪时间
  • 《亿级流量系统架构设计与实战》通用高并发架构设计 读场景 Momentary_SixthSense 系统架构mysqlredis架构
    高并发架构设计的要点场景分类读多写少、写多读少，读多写多高并发读场景方案1：数据库读/写分离数据库承受的高并发请求压力，主要来自读请求。我们可以把数据库按照读/写请求分成专门负责处理写请求的数据库（写库）和专门负责处理读请求的数据库（读库），让所有的写请求都落到写库，写库将写请求处理后的最新数据同步到读库，所有的读请求都从读库中读取数据。这就是数据库读/写分离的思路。数据库读/写分离使大量的读请求
  • Go基础学习 Momentary_SixthSense golang学习开发语言
    很久之前做的笔记…整理了一下语法注意点函数的{一定和函数名在同一行，否则编译错误分号加与不加都可以，一般不加main函数一定在main包里导多个包：import("fmt""time")常见的四种变量声明方式与多变量声明方式//声明全局变量，方法一、二、三是可以的vargAintvargBint=10varc=10//不能用方法四来声明全局变量//gD:=100//:=只能够用在函数体中来声明fu
  • 关于Ajax的学习笔记 秋也凉 ajax学习笔记
    Ajax概念：是一门使用了js语言，可以使用于Javaweb，实现前端代码和后端代码连结的的一种异步同步（不需要等待服务器相应，就能够发送第二次请求）的一种技术，它主要用于网页内容的局部刷新，列如验证码、导航栏的刷新等。实现步骤1.导入jQuery（一种框架，Ajax是JQuery的一种方法）文件——例如：写在jsp页面的标签里面。2.在jsp页面写一个函数，然后在函数里面调用ajax方法，aja
  • 关于IO流的笔记 秋也凉 java开发语言
    目录IO分类:IO流的类的结构图:4个父类(抽象类)常用使用方法：案例:把字符串写到文件中定义I/O操作主要是指使用Java完成输入（Input）和输出（Output）操作。输入是指将文件内容以数据流的形式读入内存，输出是指通过Java程序将内存中的数据写入文件。IO分类:按方向分类:站在程序这端来看输出流:从程序流到文件输入流:从文件到程序按IO流大小分类:字节流:每一次读写一个字节字符流:每一
  • 复盘关于周三晚上的分享 cdd2f75330c6
    记录：第一位李李：自我介绍11组长，30而立，复盘100天；复盘过程：三阶段。一是学习阶段，最有感触的事；二是分类阶段，时间管理，输入提升，生活感悟；三是全面复盘，记录和反思生活，总结：反思不到位，执行不够，需要阶段性复盘，重要的两点：输入和阶段复盘；复盘的结果是：1思维逻辑提升2学习能力提升，3目标清晰；第二位小路：自我介绍_宝妈，92天复盘，硬本领修炼演讲和理财；为何加复盘群_养习惯，提升逻辑
  • 倪海厦伤寒论笔记（二0二）甘草附子汤 火帝养生
    伤寒论第175条辨：风湿相搏，骨节烦疼，掣痛，不得屈伸，近之则痛剧，汗出短气，小便不利，恶风不欲去衣，或身微肿者，甘草附子汤主之。【原文解释】风湿相互搏结，周身关节剧烈疼痛，牵引拘急不能屈伸，触按则疼痛更甚，汗出，短气，小便不通畅，畏风不愿减衣，或者身体轻度浮肿的，主治用甘草附子汤。我们只要把这个条辨学会了，从此就会治痛风了。“风湿相搏，骨节烦疼，掣痛”风湿浸入到骨关节里面去，气血凝滞，我们前面说
  • Deep Multi-scale Convolutional Neural Network for Dynamic Scene Deblurring 论文阅读 钟屿 论文阅读计算机视觉人工智能
    用于动态场景去模糊的深度多尺度卷积神经网络摘要针对一般动态场景的非均匀盲去模糊是一个具有挑战性的计算机视觉问题，因为模糊不仅来源于多个物体运动，还来源于相机抖动和场景深度变化。为了去除这些复杂的运动模糊，传统的基于能量优化的方法依赖于简单的假设，例如模糊核是部分均匀或局部线性的。此外，最近的基于机器学习的方法也依赖于在这些假设下生成的合成模糊数据集。这使得传统的去模糊方法在模糊核难以近似或参数化的
  • 有关Maven的个人笔记总结
    Mavenpom.xml文件详解一级标签bulid(定义了项目的构建配置，包括编译、测试、打包等过程。可以指定插件和构建生命周期。)dependces（列出了项目依赖的所有外部库。每个依赖项都指定了其坐标（groupId,artifactId,version））depencymanagement（用于集中管理依赖版本，确保所有子模块使用相同的依赖版本，用于解决jar包依赖其他jar包产生的版本冲突
  • 基于Paillier同态加密算法的金融数据安全共享机制研究【附数据】
    金融数据分析与建模专家金融科研助手|论文指导|模型构建✨专业领域：金融数据处理与分析量化交易策略研究金融风险建模投资组合优化金融预测模型开发深度学习在金融中的应用擅长工具：Python/R/MATLAB量化分析机器学习模型构建金融时间序列分析蒙特卡洛模拟风险度量模型金融论文指导内容：金融数据挖掘与处理量化策略开发与回测投资组合构建与优化金融风险评估模型期刊论文✅具体问题可以私信或查看文章底部二维码
  • 吴恩达 机器学习cs229-学习笔记-更新中 是娜个二叉树！ 机器学习学习笔记
    吴恩达机器学习cs22901基础概念语言：Matlab/python监督学习定义：获取一组数据集拟合数据从X到Y的映射回归问题：预测的Y是连续的，Y是实数分类问题：分类指的是Y取离散值，输出是离散的两组，正示例和负示例，把所有样本推到这条直线上，用0，1，标识逻辑回归算法，拟合直线区分正，负示例处理相对大量特征的回归算法或者分类算法支持向量机算法：它使用的不是1,2,3,10个输入特征，而是使用无
  • 20210125《班主任专业成长》读书笔记 在水一方198158
    《班主任专业成长》读书笔记书摘：1.苏霍姆林斯基曾说：“从他（指儿童）开始过学校生活的最初日子起，我们就把他眼前那扇通往周围大自然的迷人世界的门关闭了，他再也听不到小溪的潺潺流水声，听不到春雪融化时水滴的叮咚响，听不到云雀的婉转鸣唱了……不，不能再这样继续下去了。”2.王国维在《论教育之宗旨》一文中深刻地指出：“美育者，一面使人之感情发达，以达完美之域；一面又为德育与智育之手段。此又教育者所不可不
  • 「日拱一码」033 机器学习——严格划分 胖达不服输 「日拱一码」机器学习人工智能严格划分组划分
    目录简单随机划分（train_test_split）分组划分（GroupSplitting）简单分组划分(GroupSplitting)分层分组划分(StratifiedGroupSplitting)交叉验证法（Cross-Validation）分组K折交叉验证（GroupKFold）留一组法（LeaveOneGroupOut）简单随机划分（train_test_split）简单随机分组通过随机分
  • 从零开始：搭建你的人工智能开发环境 人工智能教程 人工智能YOLO机器学习transformer线性回归动态规划排序算法
    前言在人工智能和机器学习的旅程中，一个稳定且高效的开发环境是成功的关键第一步。无论是初学者还是经验丰富的开发者，一个配置良好的开发环境都能大大提高工作效率，减少遇到的问题。本文将从零开始，逐步指导你如何搭建一个完整的人工智能开发环境，包括操作系统选择、Python安装、常用库的配置以及开发工具的选择。一、选择合适的操作系统（一）主流操作系统介绍在搭建人工智能开发环境时，首先需要选择一个合适的操作系
  • python量化实战_Python与量化投资 从基础到实战.pdf weixin_39841709 python量化实战
    作者：王小川出版发行:北京：电子工业出版社,2018.03ISBN号：978-7-121-33857-1页数：408原书定价:99.00开本:16开主题词:软件工具-程序设计-应用-投资中图法分类号:F830.59-39(经济->财政、金融->金融、银行->金融、银行理论)内容提要:本书主要讲解如何利用Python进行量化投资，包括对数据的获取、整理、分析挖掘、信号构建、策略构建、回测、策略分析等
  • Web安全之CSP weixin_30649641 web安全开发工具网络
    内容安全策略(Content-Security-Policy,简称CSP)概念：内容安全策略(CSP)是一种web应用技术用于帮助缓解大部分类型的内容注入攻击，包括XSS攻击和数据注入等，这些攻击可实现数据窃取、网站破坏和作为恶意软件分发版本等行为。该策略可让网站管理员指定客户端允许加载的各类可信任资源。浏览器支持：统计来源：caniuse.com/contentsecuritypolicy&Mo
  • Lua学习笔记---多脚本执行和大G表
    print("------------------")--全局变量和本地变量fori=1,10doc="123"--全局变量locald=1--本地变量endprint(c)print(d)--多脚本执行print("----------------")require("Test")print(test)print(tetsLoacl)--脚本卸载print("------------------
  • 《即兴的智慧》读书笔记（五）（86-102页） 河南张俊红
    第七个练习面对事实“面对现实”意味着我们要慢慢品味他人提供的食物吸收，并加上自己的见解。面对现实是必要的元素，他对日常生活也有指导作用。即兴演员不会去纠结那些不切实际的想法，他们会面对现实，然后努力将崎岖变成坦途，把坏事变成好事。希望他人改变，也是逃避事实的一种方式，我们会期待他人做出改变，必须接受人与人之间的差异，即兴演员懂得与不同风格的人合作的价值，并能够控制改变他人的冲动。第八个练习别忘了目
  • 第三集 领导体制和职责 hainan1205
    1.为什么要加强党的组织建设？根本目的是坚持和加强党的全面领导，为推进中国特色社会主义事业提供坚强保证。这个社会主义事业的发展，不单单是经济的发展，而是“经济建设、政治建设、文化建设、社会建设、生态文明建设”五位一体的总体布局。2.组织工作的领导体制是什么？党中央集中统一领导，各级党委党组分级分类领导，组织部门专门负责，有关方面各司其职、密切配合。党中央以及地方党委设置组织部，各级党政机关、人民团
  • 《正常人》听书笔记 童心麻麻
    一、同侪压力。1、康奈尔校园明星，很多朋友，太在意别人怎么看自己，行为被同侪压力左右，玛丽安不太意别人怎么看自己，也不为任何人改变自己，最招人恨的反派，没有朋友。他们俩都很聪明，谈话默契。2、社交生活中，康奈尔维持自己校园明星的地位，私底下，他与玛丽安灵肉合一。但是在毕业舞会选择舞伴上，伤害了玛丽安。二、心理问题。1、玛丽安是没有金钱概念的富家女，康奈尔家境贫寒，玛丽安和康奈尔有社会阶层差异，他们
  • 【中国电信运营商MBOSS】 flyair_China 数据分析
    一、中国电信运营商MBOSS1.1中国四大电信运营商MBOSS1.1.1背景传统运营商系统存在"业务-运维-管理"功能混杂的痛点，导致：-业务响应速度慢（新套餐上线需跨多部门）-运维效率低下（故障定位平均耗时超2小时）-管理决策滞后（经营数据统计延迟达24小时）通过域划分可实现：✅功能解耦：各域专注核心职责✅数据贯通：跨域信息实时交互✅敏捷迭代：单个系统升级不影响全局域"角色定位"域分类服务对象核
  • 《三十岁，一切刚刚开始》读书笔记Day02/25 设绘喵爱读书April
    第一章：三十岁轨迹1-2三十岁，真正的人生才刚刚开始•人和人不能用生理年龄来区分，更不能十年、十年地来划分。•见过很多二十多岁却从不学习的年轻人，也见过六十多岁还在路上奔波的长者，前者已经老了，后者依旧年轻。所以，人到底什么时候才算变老了呢？答案是，不学习的时候，不进步的时候。•有两种方式可以让人减缓衰老：第一，寻找一个伟大的目标，用一生完成。第二，做一件持续升值的事情，直到永远。•这两种减缓衰老
  • 想象篇盗墓笔记 zy呵呵呵
    （2）克凌来到穿越门面前，穿越门对克凌说：“这位男士，请问你想去哪儿？”“我要到一百年以前，去盗墓！”“呵呵，去盗墓啊！提醒你，那里非常危险哦！”“没事，我不怕！”“好的，现在开始穿越之旅，坐稳点！”一眨眼，就来到1918年，克凌看了看周围，自己在街上，非常吵闹。克凌来到一家饭店，要了盘瓜子，在吃起来，听着其他人谈话。“听说要来个人，要开拍卖会。”“真的吗？”“听说那是个财主！”“那东西是恶龙的蛋
  • 阅读记录（54）｜拆书稿拟定主题方式 初十一
    阅读目的/碎片出处碎片出处：阅读分享三十九：《拆书稿的经典结构，如何拟定一个主题点？》-笔记内链：阅读目的：了解拆书稿的提炼主题的方式，在读书时应用提炼知识点，总结成个人思想读后收获/感受要点一：干货类书籍拆书结构：话题引入+书的名字+作者观点+提出问题+作者解决办法+总结收尾开头用相关热点或者是生活痛点进行引入，读书化做已用，要先思考哪些点能解决自己的哪方面的问题自然而然地引出书的名字，表明这本
  • 从0到1解析微信推客小程序源码与实现指南 开发加微信：hedian116 微信小程序架构
    一、什么是微信推客小程序微信推客小程序是一种基于微信生态系统的社交电商工具，它允许用户通过分享商品链接或小程序页面来推广商品，并在交易成功后获得相应佣金。这类小程序通常包含商品展示、分享功能、订单跟踪和佣金结算等核心模块。二、推客小程序的核心功能模块用户系统：微信授权登录用户身份识别（普通用户/推客）个人信息管理商品展示模块：商品分类浏览商品详情页搜索功能推广功能：生成专属推广链接分享到微信好友/
  • UniApp TabBar 用户头像方案：绕过原生限制的实践 金翅 uni-app
    需求场景：在UniApp项目中，需要将TabBar首页项(index)的图标替换为当前用户的网络图片，并实现：放大且圆形显示。点击该图标时，页面滚动回顶部。切换到其他分类时，首页Tab项恢复为普通首页图标。尝试方案与问题：自定义TabBar：○可实现功能：网络图片、样式定制、点击事件。○致命缺点：页面切换时TabBar闪烁，页面重新加载，体验极差。❌放弃原生TabBar：○优点：切换流畅无闪烁，体
  • Nginx负载均衡 510888780 nginx应用服务器
    Nginx负载均衡一些基础知识: nginx 的 upstream目前支持 4 种方式的分配 1)、轮询（默认）       每个请求按时间顺序逐一分配到不同的后端服务器，如果后端服务器down掉，能自动剔除。 2)、weight       指定轮询几率，weight和访问比率成正比
  • RedHat 6.4 安装 rabbitmq bylijinnan erlangrabbitmqredhat
    在 linux 下安装软件就是折腾，首先是测试机不能上外网要找运维开通，开通后发现测试机的 yum 不能使用于是又要配置 yum 源，最后安装 rabbitmq 时也尝试了两种方法最后才安装成功 机器版本： [root@redhat1 rabbitmq]# lsb_release LSB Version: :base-4.0-amd64:base-4.0-noarch:core
  • FilenameUtils工具类 eksliang FilenameUtilscommon-io
    转载请出自出处：http://eksliang.iteye.com/blog/2217081 一、概述 这是一个Java操作文件的常用库，是Apache对java的IO包的封装，这里面有两个非常核心的类FilenameUtils跟FileUtils，其中FilenameUtils是对文件名操作的封装;FileUtils是文件封装，开发中对文件的操作，几乎都可以在这个框架里面找到。 非常的好用。
  • xml文件解析SAX 不懂事的小屁孩 xml
    xml文件解析:xml文件解析有四种方式， 1.DOM生成和解析XML文档(SAX是基于事件流的解析) 2.SAX生成和解析XML文档(基于XML文档树结构的解析) 3.DOM4J生成和解析XML文档 4.JDOM生成和解析XML 本文章用第一种方法进行解析，使用android常用的DefaultHandler import org.xml.sax.Attributes;
  • 通过定时任务执行mysql的定期删除和新建分区，此处是按日分区 酷的飞上天空 mysql
    使用python脚本作为命令脚本，linux的定时任务来每天定时执行 #!/usr/bin/python # -*- coding: utf8 -*- import pymysql import datetime import calendar #要分区的表 table_name = 'my_table' #连接数据库的信息 host,user,passwd,db =
  • 如何搭建数据湖架构？听听专家的意见 蓝儿唯美 架构
    Edo Interactive在几年前遇到一个大问题：公司使用交易数据来帮助零售商和餐馆进行个性化促销，但其数据仓库没有足够时间去处理所有的信用卡和借记卡交易数据  “我们要花费27小时来处理每日的数据量，”Edo主管基础设施和信息系统的高级副总裁Tim Garnto说道：“所以在2013年，我们放弃了现有的基于PostgreSQL的关系型数据库系统，使用了Hadoop集群作为公司的数
  • spring学习——控制反转与依赖注入 a-john spring
           控制反转（Inversion of Control，英文缩写为IoC）是一个重要的面向对象编程的法则来削减计算机程序的耦合问题，也是轻量级的Spring框架的核心。 控制反转一般分为两种类型，依赖注入（Dependency Injection，简称DI）和依赖查找（Dependency Lookup）。依赖注入应用比较广泛。  
  • 用spool+unixshell生成文本文件的方法 aijuans xshell
    例如我们把scott.dept表生成文本文件的语句写成dept.sql,内容如下: 　　set pages 50000; 　　set lines 200; 　　set trims on; 　　set heading off; 　　spool /oracle_backup/log/test/dept.lst; 　　select deptno||','||dname||','||loc
  • 1、基础--名词解析(OOA/OOD/OOP) asia007 学习基础知识
    OOA:Object-Oriented Analysis（面向对象分析方法） 是在一个系统的开发过程中进行了系统业务调查以后，按照面向对象的思想来分析问题。OOA与结构化分析有较大的区别。OOA所强调的是在系统调查资料的基础上，针对OO方法所需要的素材进行的归类分析和整理，而不是对管理业务现状和方法的分析。 　　OOA（面向对象的分析）模型由5个层次（主题层、对象类层、结构层、属性层和服务层）
  • 浅谈java转成json编码格式技术 百合不是茶 json编码java转成json编码
    json编码;是一个轻量级的数据存储和传输的语言       在java中需要引入json相关的包,引包方式在工程的lib下就可以了   JSON与JAVA数据的转换（JSON 即 JavaScript Object Natation，它是一种轻量级的数据交换格式，非   常适合于服务器与 JavaScript 之间的数据的交
  • web.xml之Spring配置(基于Spring+Struts+Ibatis) bijian1013 javaweb.xmlSSIspring配置
    指定Spring配置文件位置 <context-param> <param-name>contextConfigLocation</param-name> <param-value> /WEB-INF/spring-dao-bean.xml,/WEB-INF/spring-resources.xml, /WEB-INF/
  • Installing SonarQube（Fail to download libraries from server） sunjing InstallSonar
    1.  Download and unzip the SonarQube distribution 2.  Starting the Web Server The default port is "9000" and the context path is "/". These values can be changed in &l
  • 【MongoDB学习笔记十一】Mongo副本集基本的增删查 bit1129 mongodb
    一、创建复本集   假设mongod,mongo已经配置在系统路径变量上，启动三个命令行窗口，分别执行如下命令：   mongod --port 27017 --dbpath data1 --replSet rs0 mongod --port 27018 --dbpath data2 --replSet rs0 mongod --port 27019 -
  • Anychart图表系列二之执行Flash和HTML5渲染 白糖_ Flash
    今天介绍Anychart的Flash和HTML5渲染功能   HTML5 Anychart从6.0第一个版本起，已经逐渐开始支持各种图的HTML5渲染效果了，也就是说即使你没有安装Flash插件，只要浏览器支持HTML5，也能看到Anychart的图形（不过这些是需要做一些配置的）。 这里要提醒下大家，Anychart6.0版本对HTML5的支持还不算很成熟，目前还处于
  • Laravel版本更新异常4.2.8-> 4.2.9 Declaration of ... CompilerEngine ... should be compa bozch laravel
    昨天在为了把laravel升级到最新的版本，突然之间就出现了如下错误： ErrorException thrown with message "Declaration of Illuminate\View\Engines\CompilerEngine::handleViewException() should be compatible with Illuminate\View\Eng
  • 编程之美-NIM游戏分析-石头总数为奇数时如何保证先动手者必胜 bylijinnan 编程之美
    import java.util.Arrays; import java.util.Random; public class Nim { /**编程之美 NIM游戏分析 问题： 有N块石头和两个玩家A和B，玩家A先将石头随机分成若干堆，然后按照BABA...的顺序不断轮流取石头， 能将剩下的石头一次取光的玩家获胜，每次取石头时，每个玩家只能从若干堆石头中任选一堆，
  • lunce创建索引及简单查询 chengxuyuancsdn 查询创建索引lunce
    import java.io.File; import java.io.IOException; import org.apache.lucene.analysis.Analyzer; import org.apache.lucene.analysis.standard.StandardAnalyzer; import org.apache.lucene.document.Docume
  • [IT与投资]坚持独立自主的研究核心技术 comsci it
           和别人合作开发某项产品....如果互相之间的技术水平不同,那么这种合作很难进行,一般都会成为强者控制弱者的方法和手段.....        所以弱者,在遇到技术难题的时候,最好不要一开始就去寻求强者的帮助,因为在我们这颗星球上,生物都有一种控制其
  • flashback transaction闪回事务查询 daizj oraclesql闪回事务
       闪回事务查询有别于闪回查询的特点有以下3个： （1）其正常工作不但需要利用撤销数据，还需要事先启用最小补充日志。 （2）返回的结果不是以前的“旧”数据，而是能够将当前数据修改为以前的样子的撤销SQL（Undo SQL）语句。 （3）集中地在名为flashback_transaction_query表上查询，而不是在各个表上通过“as of”或“vers
  • Java I/O之FilenameFilter类列举出指定路径下某个扩展名的文件 游其是你 FilenameFilter
    这是一个FilenameFilter类用法的例子，实现的列举出“c:\\folder“路径下所有以“.jpg”扩展名的文件。 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28
  • C语言学习五函数，函数的前置声明以及如何在软件开发中合理的设计函数来解决实际问题 dcj3sjt126com c
    # include <stdio.h> int f(void) //括号中的void表示该函数不能接受数据，int表示返回的类型为int类型 { return 10; //向主调函数返回10 } void g(void) //函数名前面的void表示该函数没有返回值 { //return 10; //error 与第8行行首的void相矛盾 } in
  • 今天在测试环境使用yum安装，遇到一个问题： Error: Cannot retrieve metalink for repository: epel. Pl dcj3sjt126com centos
    今天在测试环境使用yum安装，遇到一个问题： Error: Cannot retrieve metalink for repository: epel. Please verify its path and try again   处理很简单，修改文件“/etc/yum.repos.d/epel.repo”， 将baseurl的注释取消， mirrorlist注释掉。即可。 &n
  • 单例模式 shuizhaosi888 单例模式
    单例模式      懒汉式 public class RunMain { /** * 私有构造 */ private RunMain() { } /** * 内部类，用于占位，只有 */ private static class SingletonRunMain { priv
  • Spring Security（09）——Filter 234390216 Spring Security
    Filter 目录 1.1     Filter顺序 1.2     添加Filter到FilterChain 1.3     DelegatingFilterProxy 1.4     FilterChainProxy 1.5
  • 公司项目NODEJS实践0.1 逐行分析JS源代码 mongodbnginxubuntunodejs
      一、前言         前端如何独立用nodeJs实现一个简单的注册、登录功能，是不是只用nodejs+sql就可以了？其实是可以实现，但离实际应用还有距离，那要怎么做才是实际可用的。         网上有很多nod
  • java.lang.Math liuhaibo_ljf javaMathlang
    System.out.println(Math.PI); System.out.println(Math.abs(1.2)); System.out.println(Math.abs(1.2)); System.out.println(Math.abs(1)); System.out.println(Math.abs(111111111)); System.out.println(Mat
  • linux下时间同步 nonobaba ntp
    今天在linux下做hbase集群的时候，发现hmaster启动成功了，但是用hbase命令进入shell的时候报了一个错误  PleaseHoldException: Master is initializing，查看了日志，大致意思是说master和slave时间不同步，没办法，只好找一种手动同步一下，后来发现一共部署了10来台机器，手动同步偏差又比较大，所以还是从网上找现成的解决方
  • ZooKeeper3.4.6的集群部署 roadrunners zookeeper集群部署
    ZooKeeper是Apache的一个开源项目，在分布式服务中应用比较广泛。它主要用来解决分布式应用中经常遇到的一些数据管理问题，如：统一命名服务、状态同步、集群管理、配置文件管理、同步锁、队列等。这里主要讲集群中ZooKeeper的部署。   1、准备工作 我们准备3台机器做ZooKeeper集群，分别在3台机器上创建ZooKeeper需要的目录。   数据存储目录
  • Java高效读取大文件 tomcat_oracle java
    　　读取文件行的标准方式是在内存中读取，Guava 和Apache Commons IO都提供了如下所示快速读取文件行的方法： 　　Files.readLines(new File(path), Charsets.UTF_8); 　　FileUtils.readLines(new File(path)); 　　这种方法带来的问题是文件的所有行都被存放在内存中，当文件足够大时很快就会导致
  • 微信支付api返回的xml转换为Map的方法 xu3508620 xmlmap微信api
    举例如下： <xml>    <return_code><![CDATA[SUCCESS]]></return_code>    <return_msg><![CDATA[OK]]></return_msg>    <appid><
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他