大炮不想学习
大炮不想学习

Python数据分析-数据挖掘（准备数据——数据建模——模型评估——模型应用）

20 理解业务和数据：我们需要做好什么计划？_哔哩哔哩_bilibili

目录

  一、理解业务和数据:我们需要做好什么计划?

1.1两个思想问题

1.2为什么数据挖掘不是万能的

1.3业务背景与目标

1.4把握数据 

1.5总结

二、 准备数据：如何处理出完整、干净的数据？

2.1找到数据

2.2数据探索

2.3数据清洗

2.3.1缺失值处理

2.3.2异常值的处理

2.3.3数据偏差

2.3.4数据标准化 

2.3.5特征选择

 2.4构建训练集和测试集

 三、 数据建模：该如何选择一个适合我需求的算法？

3.1分类问题  

3.2聚类问题

3.3回归问题

3.4关联问题 

3.5模型集成 

3.5.1（bagging）装袋法

3.5.2boosting增强法

3.5.3stacking堆叠法 

四、模型评估：如何确认我们的模型已经达标？

4.1一个关于“训练一个小猪图片分类模型”的例子

4.1.1评估指标：混淆矩阵与准确率指标

4.1.2评估指标：十分重要的业务抽取评估 

4.1.3泛化能力评估

4.1.4其他评估指标

4.1.5评估数据集的处理 

4.2总结

 五、 模型应用：我们的模型是否可以解决业务需求？

5.1模型部署

5.2模型保存

5.3模型的优化

5.4离线应用还是在线应用

5.5一个方案

5.6总结

  一、理解业务和数据:我们需要做好什么计划?

在开始数据挖掘的时候
要确保你对业务及其数据有充分的理解
Python数据分析-数据挖掘（准备数据——数据建模——模型评估——模型应用）_第1张图片

1.1两个思想问题

Python数据分析-数据挖掘（准备数据——数据建模——模型评估——模型应用）_第2张图片

Python数据分析-数据挖掘（准备数据——数据建模——模型评估——模型应用）_第3张图片Python数据分析-数据挖掘（准备数据——数据建模——模型评估——模型应用）_第4张图片

1.2为什么数据挖掘不是万能的

数据挖掘只能在有限的资源与条件下去提供最大化的解决方案

Python数据分析-数据挖掘（准备数据——数据建模——模型评估——模型应用）_第5张图片 Python数据分析-数据挖掘（准备数据——数据建模——模型评估——模型应用）_第6张图片

1.3业务背景与目标

Python数据分析-数据挖掘（准备数据——数据建模——模型评估——模型应用）_第7张图片

Python数据分析-数据挖掘（准备数据——数据建模——模型评估——模型应用）_第8张图片 Python数据分析-数据挖掘（准备数据——数据建模——模型评估——模型应用）_第9张图片

1.4把握数据 

 Python数据分析-数据挖掘（准备数据——数据建模——模型评估——模型应用）_第10张图片

 Python数据分析-数据挖掘（准备数据——数据建模——模型评估——模型应用）_第11张图片

1.5总结

Python数据分析-数据挖掘（准备数据——数据建模——模型评估——模型应用）_第12张图片

二、 准备数据：如何处理出完整、干净的数据？

做好数据的准备工作是获得一个好结果的必由之路，准备数据不是独立存在的，不是说一次性做完数据准备工作就结束了。后面的模型训练和模型评估环节数据的准备相关，当模型出现错误，结果达不到预期，往往需要重新回到数据准备环节进行处理，反复迭代几次最终才能达到期望。

2.1找到数据

Python数据分析-数据挖掘（准备数据——数据建模——模型评估——模型应用）_第13张图片 

2.2数据探索

Python数据分析-数据挖掘（准备数据——数据建模——模型评估——模型应用）_第14张图片

2.3数据清洗

Python数据分析-数据挖掘（准备数据——数据建模——模型评估——模型应用）_第15张图片

2.3.1缺失值处理

Python数据分析-数据挖掘（准备数据——数据建模——模型评估——模型应用）_第16张图片 

2.3.2异常值的处理

Python数据分析-数据挖掘（准备数据——数据建模——模型评估——模型应用）_第17张图片 

2.3.3数据偏差

Python数据分析-数据挖掘（准备数据——数据建模——模型评估——模型应用）_第18张图片

Python数据分析-数据挖掘（准备数据——数据建模——模型评估——模型应用）_第19张图片 Python数据分析-数据挖掘（准备数据——数据建模——模型评估——模型应用）_第20张图片

2.3.4数据标准化 

 Python数据分析-数据挖掘（准备数据——数据建模——模型评估——模型应用）_第21张图片

Python数据分析-数据挖掘（准备数据——数据建模——模型评估——模型应用）_第22张图片

2.3.5特征选择

Python数据分析-数据挖掘（准备数据——数据建模——模型评估——模型应用）_第23张图片

Python数据分析-数据挖掘（准备数据——数据建模——模型评估——模型应用）_第24张图片 

 2.4构建训练集和测试集

 Python数据分析-数据挖掘（准备数据——数据建模——模型评估——模型应用）_第25张图片

Python数据分析-数据挖掘（准备数据——数据建模——模型评估——模型应用）_第26张图片

 三、 数据建模：该如何选择一个适合我需求的算法？

 Python数据分析-数据挖掘（准备数据——数据建模——模型评估——模型应用）_第27张图片

3.1分类问题  

Python数据分析-数据挖掘（准备数据——数据建模——模型评估——模型应用）_第28张图片Python数据分析-数据挖掘（准备数据——数据建模——模型评估——模型应用）_第29张图片

有监督学习：

概念：通过已有的训练样本去训练得到一个最优模型，再利用这个模型将所有的输入映射为相应的输出，对输出进行简单的判断从而实现预测和分类的目的，也就具有了对未知数据进行预测和分类的能力。简单来说，就像有标准答案的练习题，然后再去考试，相比没有答案的练习题然后去考试准确率更高。监督学习中的数据中是提前做好了分类信息的， 它的训练样本中是同时包含有特征和标签信息的，因此根据这些来得到相应的输出。

有监督算法常见的有：线性回归算法、BP神经网络算法、决策树、支持向量机、KNN等。
有监督学习中，比较典型的问题可以分为：输入变量与输出变量均为连续的变量的预测问题称为回归问题(Regression)，输出变量为有限个离散变量的预测问题称为分类问题(Classfication)，输入变量与输出变量均为变量序列的预测问题称为标注问题。

 Python数据分析-数据挖掘（准备数据——数据建模——模型评估——模型应用）_第30张图片

 

3.2聚类问题

Python数据分析-数据挖掘（准备数据——数据建模——模型评估——模型应用）_第31张图片无监督学习：

概念：训练样本的标记信息未知， 目标是通过对无标记训练样本的学习来揭示数据的内在性质及规律，为进一步的数据分析提供基础，此类学习任务中研究最多、应用最广的是"聚类" (clustering)，聚类目的在于把相似的东西聚在一起，主要通过计算样本间和群体间距离得到。深度学习和PCA都属于无监督学习的范畴。

无监督算法常见的有：密度估计(densityestimation)、异常检测（anomaly detection)、层次聚类、EM算法、K-Means算法(K均值算法)、DBSCAN算法 等。

Python数据分析-数据挖掘（准备数据——数据建模——模型评估——模型应用）_第32张图片

Python数据分析-数据挖掘（准备数据——数据建模——模型评估——模型应用）_第33张图片 

3.3回归问题

Python数据分析-数据挖掘（准备数据——数据建模——模型评估——模型应用）_第34张图片

Python数据分析-数据挖掘（准备数据——数据建模——模型评估——模型应用）_第35张图片 

不管是线性数据还是非线性数据都可以用回归分析

Python数据分析-数据挖掘（准备数据——数据建模——模型评估——模型应用）_第36张图片

通过学习可以得到一条线，较好的拟合了这些数据，可能不通过任何一个数据点，而是使得所有数据点到这条线的距离都是最短的，或者说损失是最小的。根据这条线，如果给出一个新的x，你就可以算出对应的y是多少。

 Python数据分析-数据挖掘（准备数据——数据建模——模型评估——模型应用）_第37张图片

Python数据分析-数据挖掘（准备数据——数据建模——模型评估——模型应用）_第38张图片 

3.4关联问题 

 Python数据分析-数据挖掘（准备数据——数据建模——模型评估——模型应用）_第39张图片

3.5模型集成 

模型集成也可以叫做集成学习

思路:合并多个模型来提升整体的效果
三种模型集成的方法：

3.5.1（bagging）装袋法

Python数据分析-数据挖掘（准备数据——数据建模——模型评估——模型应用）_第40张图片

3.5.2boosting增强法

Python数据分析-数据挖掘（准备数据——数据建模——模型评估——模型应用）_第41张图片

3.5.3stacking堆叠法 

Python数据分析-数据挖掘（准备数据——数据建模——模型评估——模型应用）_第42张图片

四、模型评估：如何确认我们的模型已经达标？


模型评估是对模型进行多种维度的评估，来确认模型是否可以放到线上去使用
 

4.1一个关于“训练一个小猪图片分类模型”的例子

 Python数据分析-数据挖掘（准备数据——数据建模——模型评估——模型应用）_第43张图片

4.1.1评估指标：混淆矩阵与准确率指标

Python数据分析-数据挖掘（准备数据——数据建模——模型评估——模型应用）_第44张图片

 Python数据分析-数据挖掘（准备数据——数据建模——模型评估——模型应用）_第45张图片

 Python数据分析-数据挖掘（准备数据——数据建模——模型评估——模型应用）_第46张图片

Python数据分析-数据挖掘（准备数据——数据建模——模型评估——模型应用）_第47张图片

具体是如何构建的，以小猪图为例：

Python数据分析-数据挖掘（准备数据——数据建模——模型评估——模型应用）_第48张图片

 选定若干组判定的概率就能得到若干组混淆矩阵：

Python数据分析-数据挖掘（准备数据——数据建模——模型评估——模型应用）_第49张图片

使用这些值画在坐标轴上：横坐标是假正例率，纵坐标是真正例率，这些点连起来形成的曲线我们就称为ROC曲线，ROC曲线下方的面积就是AUC值。

Python数据分析-数据挖掘（准备数据——数据建模——模型评估——模型应用）_第50张图片 ROC曲线和AUC值可以反应一个模型的稳定性，当ROC曲线接近于对角线的时候说明模型的输出极不稳定，模型就更加不准确。

4.1.2评估指标：十分重要的业务抽取评估 

Python数据分析-数据挖掘（准备数据——数据建模——模型评估——模型应用）_第51张图片

4.1.3泛化能力评估

除了要求模型的准确外，模型的泛化能力也值得重视

Python数据分析-数据挖掘（准备数据——数据建模——模型评估——模型应用）_第52张图片

通过两个指标来评估模型泛化能力是好还是好坏

Python数据分析-数据挖掘（准备数据——数据建模——模型评估——模型应用）_第53张图片

 以小猪为例：

Python数据分析-数据挖掘（准备数据——数据建模——模型评估——模型应用）_第54张图片

Python数据分析-数据挖掘（准备数据——数据建模——模型评估——模型应用）_第55张图片

4.1.4其他评估指标

Python数据分析-数据挖掘（准备数据——数据建模——模型评估——模型应用）_第56张图片

4.1.5评估数据集的处理 

Python数据分析-数据挖掘（准备数据——数据建模——模型评估——模型应用）_第57张图片

Python数据分析-数据挖掘（准备数据——数据建模——模型评估——模型应用）_第58张图片

4.2总结

 Python数据分析-数据挖掘（准备数据——数据建模——模型评估——模型应用）_第59张图片

 五、 模型应用：我们的模型是否可以解决业务需求？

5.1模型部署

Python数据分析-数据挖掘（准备数据——数据建模——模型评估——模型应用）_第60张图片

5.2模型保存

Python数据分析-数据挖掘（准备数据——数据建模——模型评估——模型应用）_第61张图片

把模型保存好以方便应用，要给模型定义好一个名字，甚至需要维护好一个详细的文档来记录模型所使用的算法，训练数据，评估结果等信息。因为在整个过程中会进行很多次训练，产生很多的模型，或者把很多的模型组合在生产中使用，同时还需要跟后面的重新训练进行效果的对比，有时候模型的训练和部署可能由不同的人来实施，如果保存时没有注意到这些问题，很可能导致出现混乱的情况，所以我们要制定好模型保存的规范，包括存放的位置，名字的定义，模型使用的算法，数据效果等内容，防止发生遗忘，丢失，误删除甚至是服务器崩坏等人为的事故造成不要损失。

5.3模型的优化

Python数据分析-数据挖掘（准备数据——数据建模——模型评估——模型应用）_第62张图片

5.4离线应用还是在线应用

Python数据分析-数据挖掘（准备数据——数据建模——模型评估——模型应用）_第63张图片

Python数据分析-数据挖掘（准备数据——数据建模——模型评估——模型应用）_第64张图片

5.5一个方案

 通常算法工程师或者数据挖掘工程师，都忙于解决模型问题，到了模型部署阶段就头疼不已，尤其是大规模的需要运行的线上服务可能会耗费很多时间。以下是一个简单的部署方案

Python数据分析-数据挖掘（准备数据——数据建模——模型评估——模型应用）_第65张图片 

5.6总结

  • 记录项目 经验，学会总结反思

Python数据分析-数据挖掘（准备数据——数据建模——模型评估——模型应用）_第66张图片

  • 多考虑一点，如何适用更多的场景

Python数据分析-数据挖掘（准备数据——数据建模——模型评估——模型应用）_第67张图片

 比如说在做标签....避免冗余开发

Python数据分析-数据挖掘（准备数据——数据建模——模型评估——模型应用）_第68张图片

  •  监控与迭代

模型的监控从以下3个方面入手

Python数据分析-数据挖掘（准备数据——数据建模——模型评估——模型应用）_第69张图片 1、结果监控主要是针对一些具体的指标（准确率、召回率等）进行监控，还可以根据具体产出的结果在业务中的效果进行监控 

Python数据分析-数据挖掘（准备数据——数据建模——模型评估——模型应用）_第70张图片

 2、人工定期复审

Python数据分析-数据挖掘（准备数据——数据建模——模型评估——模型应用）_第71张图片

 3、Case收集与样本积累

Python数据分析-数据挖掘（准备数据——数据建模——模型评估——模型应用）_第72张图片

通过具体的Case我们可以知道当前的模型存在哪些问题，有些Case可能是因为模型本身的问题造成，有些是因为业务场景的数据发生变化造成的。通过收集的Case进行分析，可以知道我们需要从哪个方向去优化模型。
所以在前期准备数据时遇到的数据准备不充分的情况，也可以在收集环节重点关注，以补全上一版训练时的一些缺失情侣，这样在下次迭代训练时能够有更好的样本集。

 Python数据分析-数据挖掘（准备数据——数据建模——模型评估——模型应用）_第73张图片

 

 

你可能感兴趣的:(数据分析学习,数据挖掘,数据分析,人工智能)

  • 拼多多官方返利新动向，高省App引领购物省钱新趋势 古楼
    电商行业的快速发展带来了无数的新趋势和新机遇，而拼多多官方返利的新趋势无疑是其中的一大亮点。高省App作为这一趋势的敏锐洞察者和积极参与者，致力于帮助用户精准把握这些新机遇。通过高省App，用户可以及时了解拼多多官方返利的最新政策和活动信息，从而做出更加明智的购物决策。同时，高省App还提供了专业的数据分析工具，帮助用户分析自己的消费行为和省钱效果，让省钱之路更加清晰和明确。我们在开始讲今天的文章
  • 全球软件技术峰会 2025：聚焦大模型开发、智能运维与架构创新，共赴技术实战盛宴 向日葵也有悲伤 运维架构推荐算法数据结构大数据数据库架构
    全球软件技术峰会2025：聚焦大模型开发、智能运维与架构创新，共赴技术实战盛宴在软件定义未来的时代，人工智能与数字化技术正以颠覆性力量重塑全球产业格局。2025年8月15-16日，以"全球专家、卓越智慧"为宗旨的全球软件技术峰会将盛大启幕，特邀全球近50位来自微软、谷歌、亚马逊、字节跳动等企业的技术领袖及一线实战专家，围绕大模型智能应用开发、AI与ML智能运维、软件开发智能化、架构设计与演进四大核
  • AI产品经理面试宝典第42天：学习方法与产品流程解析 TGITCIC AI产品经理一线大厂面试题产品经理AI面试大模型面试AI产品经理面试大模型产品经理面试AI产品大模型产品
    具体问答：学习产品及AI知识的方法问：请谈谈您是如何学习产品及AI知识的，以及您认为哪些资源对您帮助最大答：我的学习体系包含三个维度：分层知识架构、实践验证闭环、资源筛选机制。在知识获取阶段，采用「理论-案例-工具」三级学习法：通过《人工智能：一种现代的方法》构建AI基础框架，用TensorFlow官方文档掌握工程实现，结合《启示录》《俞军产品方法论》理解产品逻辑。实践环节采用「项目反哺」模式，例
  • 重磅！LM Studio AI编程全面免费
    从今天起，LMStudio在家和工作中均可免费使用。查看更新后的条款了解详情。我们的隐私政策保持不变，您可以在此处阅读。在家免费使用，现在也可在工作场所使用LMStudio一直以来都免费供个人使用。这源于我们秉持的根本信念：人工智能应该让人们在自己的机器上轻松访问，无需依赖任何外部资源，并且完全保护隐私。此前，LMStudio应用条款规定，公司或组织若要使用LMStudio，必须联系我们并获得单独
  • Self-Consistency：跨学科一致性的理论与AI推理的可靠性基石 大千AI助手 人工智能Python#Prompt人工智能机器学习神经网络算法大模型幻觉LLM
    本文综合其在逻辑学、心理学及人工智能领域的核心定义、技术实现与前沿进展来对Self-Consistency（自洽性）进行系统性解析。本文由「大千AI助手」原创发布，专注用真话讲AI，回归技术本质。拒绝神话或妖魔化。搜索「大千AI助手」关注我，一起撕掉过度包装，学习真实的AI技术！一、核心定义与跨学科内涵基础概念逻辑学定义：指理论或系统内部逻辑自洽，无矛盾或悖论。例如物理理论中，狭义相对论的速度变换
  • 2023-04-12 王松奇
    京心❤️达理想城店：王松奇2023年4月12日日精进落地真经严格就是爱，放纵既是害正能量语录每一颗螺丝都有标准每一颗螺丝都是标准产值目标：13万台次目标:80台油卡目标：13张今日体验今天开数据分析会台次少保养预存一定要盯紧中间10天要努力冲刺一下
  • 人工智能学习指南：从菜鸟到大神的进击之路 橡晟 人工智能深度学习计算机视觉算法学习python
    人工智能学习指南：从菜鸟到大神的进击之路前言：别慌，AI没那么可怕嘿！想学人工智能？恭喜你，你已经比90%的人更有眼光了！很多人一听到"人工智能"就开始头疼，仿佛这是什么高深莫测的巫术。其实不然，AI就像学做饭一样——刚开始可能会糊锅，但掌握了方法，你也能做出一桌好菜！目录第一章：认清现实，别被忽悠第二章：建立知识地图第三章：实战为王第四章：自检清单——你真的学会了吗？第五章：进阶之路结语：成为A
  • 阴谋爆仓！社科院课堂朱民ST-balance节能风电被骗揭秘！受害者亲述不能出金真相！ 正义青天
    随着互联网的普及，数字经济蓬勃发展，各种线上平台如雨后春笋般涌现。然而，在这些看似繁荣的平台中，不乏一些黑平台，它们以欺诈手段骗取用户的财产，给人们的财产安全带来严重威胁。因此，我们有必要提高警惕，防范黑平台诈骗。针对网上素未谋面的牛散大咖，经济学家等推荐网上投资理财、数字经济，数字体育市场，人工智能项目，数字低碳，慈善投票网站买数字的等等都是骗局若你也不幸被骗遇到此类平台一定不要打草惊蛇，早期不
  • 对标ChatGPT，「文心一言」今日亮相！AI人机时代来临，未来在何方？ AI医学
    本文由「AI医学er」提供医海无涯，AI同舟。关注我们，助力高效科研。3月15日，OpenAI公布了其大型语言模型的最新版本——GPT-4。3月16日，百度文心一言人工智能聊天机器人正式上线。一个时代开始了。OpenAI在官网表示，GPT-4是一个能接受图像和文本输入，并输出文本的多模态模型，是OpenAI在扩展深度学习方面的最新成果。此前的ChatGPT，只能通过向其输入文字提问才能生成文字回答
  • 飞算科技：以原创技术为翼，赋能产业数字化转型
    在数字经济浪潮席卷全球的当下，一批专注于技术创新的中国企业正加速崛起，飞算数智科技（深圳）有限公司（简称“飞算科技”）便是其中的佼佼者。作为一家国家级高新技术企业，飞算科技以自主创新为核心驱动力，凭借互联网科技、大数据、人工智能等前沿技术，为各行业客户插上数字化转型的翅膀。飞算科技的定位清晰而坚定——自主创新型数字科技公司。这一定位不仅体现在其技术研发的方向上，更融入到为客户服务的每一个环节。无论
  • 警惕!北恒私募高级班周一丰，马建军不正规。不让出金,不能提现,大家远离骗局! 昌龙律法
    随着互联网的普及，数字经济蓬勃发展，各种线上平台如雨后春笋般涌现。然而，在这些看似繁荣的平台中，不乏一些黑平台，它们以欺诈手段骗取用户的财产，给人们的财产安全带来严重威胁。因此，我们有必要提高警惕，防范黑平台诈骗。针对网上素未谋面的牛散大咖，经济学家等推荐网上投资理财、数字经济，数字体育市场，人工智能项目，数字低碳，慈善投票网站买数字的等等都是骗局，广大市民对此要提高警惕，若你也不幸被骗遇到此类平
  • 学习人工智能开发的详细指南 Ws＿ 学习人工智能python
    一、引言人工智能（AI）开发是一个充满挑战与机遇的领域，它融合了数学、计算机科学、统计学、认知科学等多个学科的知识。随着大数据、云计算和深度学习技术的快速发展，AI已经成为推动社会进步和产业升级的关键力量。本文将为初学者提供一份详细的学习指南，帮助大家逐步掌握AI开发的核心技能。二、基础知识准备数学基础：线性代数：理解向量、矩阵、线性变换等基本概念，掌握矩阵运算和特征值分解等技巧。概率论与统计学：
  • 计算机发展史：人工智能时代的智能变革与无限可能 jdlxx_dongfangxing 计算机发展史计算机发展史
    在计算机发展的漫长进程中，人工智能时代的到来无疑是最具革命性的篇章之一。它使计算机从单纯的数据处理工具，进化为能够模拟、延伸和拓展人类智能的强大系统，对科学研究、经济发展、社会生活乃至人类文明的走向，都产生了深远且不可逆转的影响。从早期对智能机器的设想，到如今人工智能技术在全球范围内的广泛应用，这一领域经历了无数次理论突破、技术迭代与实践探索，正以前所未有的速度重塑着我们的世界。人工智能的起源与早
  • 走进区块城市，开启你的元宇宙之旅！ 口碑信息传播者
    随着科技的飞速发展，虚拟现实、区块链、人工智能等前沿技术逐渐融入我们的生活。在这个大背景下，元宇宙概念应运而生，成为全球关注的焦点。本文将带领读者走进区块城市，一探元宇宙的究竟，感受这个未来世界的魅力。探索未来，触碰无限可能！国内区块链元宇宙正引领一场前所未有的科技革命，现在正是您加入这场盛宴的最佳时机！在这里，您将亲身体验到一个全新的虚拟世界，感受与现实世界无缝对接的震撼体验。加入国内区块链元宇
  • AI人工智能领域知识图谱在文本分类中的应用技巧 AI天才研究院 AI大模型企业级应用开发实战人工智能知识图谱分类ai
    AI人工智能领域知识图谱在文本分类中的应用技巧关键词：知识图谱、文本分类、图神经网络、实体关系抽取、深度学习、自然语言处理、特征融合摘要：本文深入探讨了知识图谱在文本分类任务中的应用技巧。我们将从知识图谱的基本概念出发，详细分析如何将结构化知识融入传统文本分类流程，介绍最新的图神经网络方法，并通过实际案例展示知识增强型文本分类系统的构建过程。文章特别关注知识表示学习与文本特征的融合策略，以及在不同
  • 小程序领域的营销推广策略 小程序开发2020 小程序ai
    小程序领域的营销推广策略：从流量获取到生态运营的全链路解析关键词：小程序营销、用户增长策略、社交裂变、私域流量运营、数据分析驱动、场景化营销、全域流量整合摘要：本文系统解析小程序营销推广的核心策略体系，从微信生态底层逻辑出发，结合用户生命周期管理理论，构建包含「用户拉新-留存转化-裂变增长-数据迭代」的全链路运营框架。通过深度拆解社交裂变模型、场景化运营策略、私域流量沉淀方法及数据驱动决策体系，结
  • 大学专业科普 | 计算智能、信息学与大数据 鸭鸭鸭进京赶烤 大数据
    一、专业背景随着信息技术的飞速发展，数据的产生速度呈爆炸式增长，传统数据处理技术已经无法满足如此庞大的数据量和复杂的数据类型，大数据专业应运而生，旨在培养能够应对大数据挑战的专业人才。二、主要课程内容数学基础课程高等数学、概率论与数理统计、线性代数是大数据分析的核心数学基础，为数据处理、算法优化和模型构建提供必要的理论支持。计算机基础课程数据结构与算法、计算机网络、操作系统是大数据技术的重要支撑，
  • 大学专业科普 | 人工智能、物联网和云计算技术 鸭鸭鸭进京赶烤 人工智能物联网云计算5G信号处理信息与通信网络
    一、专业概述人工智能专业是一门融合计算机科学、数学、信息学等多学科知识的交叉学科。它旨在培养学生掌握人工智能领域的基本理论、方法和技能，以应对人工智能在各个领域的应用需求和发展挑战。二、主要课程基础课程：包括高等数学、线性代数、概率论与数理统计、离散数学等数学基础课程，为人工智能算法提供理论支撑；以及数据结构、算法设计与分析、计算机组成原理、操作系统、计算机网络等计算机科学基础课程，帮助学生理解人
  • 转行网络安全需要学什么？（非常详细）零基础入门到精通，收藏这一篇就够了 网络安全苏柒 web安全计算机网络网络安全运维转业程序员编程
    什么是网络安全？网络安全是指保护网络系统的硬件、软件及其系统中的数据，破坏、更改、泄露，使系统连续可靠正常地运行，网络服务不会中断。未来，我国将着重发展数字经济，发展云计算、大数据、物联网、工业互联网、区块链和人工智能等产业，这些产业全部都基于网络互联。网络的安全就是以上这些产业能够良性发展的基础，也是建设制造强国和网络强国的基础保障。什么是网络安全工程师？网络安全工程师是负责保护计算机网络系统，
  • 转行网络安全需要学什么？（非常详细）从零基础到精通，收藏这篇就够了！ ～小羊没烦恼～ 黑客技术黑客网络安全web安全安全学习运维网络
    什么是网络安全？网络安全是指保护网络系统的硬件、软件及其系统中的数据，破坏、更改、泄露，使系统连续可靠正常地运行，网络服务不会中断。未来，我国将着重发展数字经济，发展云计算、大数据、物联网、工业互联网、区块链和人工智能等产业，这些产业全部都基于网络互联。网络的安全就是以上这些产业能够良性发展的基础，也是建设制造强国和网络强国的基础保障。什么是网络安全工程师？网络安全工程师是负责保护计算机网络系统，
  • 转行网络安全需要学什么？（非常详细）零基础入门到精通，收藏这一篇就够了 网络安全k叔 web安全计算机网络网络安全编程计算机转业信息安全
    什么是网络安全？网络安全是指保护网络系统的硬件、软件及其系统中的数据，破坏、更改、泄露，使系统连续可靠正常地运行，网络服务不会中断。未来，我国将着重发展数字经济，发展云计算、大数据、物联网、工业互联网、区块链和人工智能等产业，这些产业全部都基于网络互联。网络的安全就是以上这些产业能够良性发展的基础，也是建设制造强国和网络强国的基础保障。什么是网络安全工程师？网络安全工程师是负责保护计算机网络系统，
  • TensorFlow为AI人工智能航空航天领域带来变革 AI原生应用开发 人工智能tensorflowpythonai
    TensorFlow为AI人工智能航空航天领域带来变革关键词：TensorFlow、人工智能、航空航天、机器学习、深度学习、神经网络、自主系统摘要：本文探讨了TensorFlow这一强大的机器学习框架如何推动航空航天领域的创新。我们将从基础概念入手，逐步深入分析TensorFlow在航天器导航、卫星图像处理、飞行器自主决策等关键应用场景中的实现原理。通过实际代码示例和架构图解，展示TensorFl
  • 【源码交付】一站式自助数据分析解决方案（jvs-bi） 愤怒的小青春 java
    简历咨询听说Java简历上写外卖，头条，商城项目没用，到底真的假的。不写这些还能写什么#简历中的项目经历要美团实习体验～❤️入职流程和体验入职先领工牌，电脑（可提前在网上申请入职电脑版本，技术岗应该是mac）还可以申请显24offer帮选个人情况:本硕末流211科班光大银行总行科技研发中心入职:总包24w最高:涨幅两三年普调一级，涨一级简历咨询听说项目写外卖，头条，商城项目没用。有一说一，真的没有
  • 数据分析全攻略：从基础概念到实战应用的完整指南 SickeyLee 产品经理人工智能大数据信息可视化
    数据分析全攻略：从基础概念到实战应用的完整指南数据分析已成为现代商业决策的核心驱动力，但很多人在面对数据时，常常陷入“不知道看什么、怎么分析、如何应用”的困境。本文将系统梳理数据分析的核心知识，从数据的本质到分析流程，从方法工具到实战指标，帮你搭建一套完整的数据分析思维框架，让数据真正为业务服务。一、数据是什么？不止于数字的“信息载体”提到数据，很多人会首先想到数字，但实际上数据的范畴远更广阔。数
  • Python Pandas 实践学习笔记（1）
    PythonPandas教程Pandas是一个开源的、BSD许可证的Python库，为Python编程语言提供高性能、易于使用的数据结构和数据分析工具。Python与Pandas在学术和商业领域都被广泛应用，包括金融、经济、统计学、分析等领域。在本教程中，我们将学习PythonPandas的各种特性以及如何在实践中使用它们。教程对象本教程适用于那些想要学习Pandas基础知识和各种函数的人。对于从
  • 宗毅说 | 乌卡瑟时代的生存思考 裂变学院
    今天，互联网经济、人工智能、全球化发展对我们的影响，要比我们想象得大得多。在多股合力的相互作用下，这个时代的社会特征、商业特征与之前相比显著不同，我称之为乌卡瑟“VUCASE”。备注：乌卡瑟（VUCASE）这个术语是我自创的，来自于乌卡(VUKA）。VUCA是Volatility(易变性)，Uncertainty(不确定性)，Complexity(复杂性)、Ambiguity（模糊性）这四个英文单
  • [论文阅读] 人工智能 + 软件工程 | 单会话方法论：一种以人类为中心的人工智能辅助软件开发协议 张较瘦_ 前沿技术论文阅读人工智能软件工程
    单一对话法（SCM）：AI辅助软件开发的“全局对话”新思路SingleConversationMethodology:AHuman-CenteredProtocolforAI-AssistedSoftwareDevelopmentarXiv:2507.12665SingleConversationMethodology:AHuman-CenteredProtocolforAI-AssistedSo
  • 如何安全使用人工智能大模型
    人工智能大模型的安全漏洞在推送，你只要有不一样的解决方案他就会通过学习学会，在别人讨论相同问题时，就会作为解决问题的推荐方案。这种机制是没办法防的。鉴于此我们只能采取如下措施:1.绝对本地部署，就是部署好以后断网，因为你使用时他还是会手机数据往后台传送，我本地部署的大模型在推理时看性能，网络也是有数据流的。也不知道在交换什么。2.既然搞不清楚那就彻底不相信，断网。那么我们要加快进度，快速完成任务，
  • PyTorch生成式人工智能（18）——循环神经网络详解与实现 盼小辉丶 pytorchrnn自然语言处理
    PyTorch生成式人工智能（18）——循环神经网络详解与实现0.前言1.文本生成的挑战2.循环神经网络2.1文本数据2.2循环神经网络原理3.长短期记忆网络3.自然语言处理基础3.1分词3.2词嵌入3.3词嵌入在自然语言处理中的应用小结系列链接0.前言我们已经学习了如何生成数字和图像等内容。从本节开始，我们将主要聚焦于文本生成。人类语言极其复杂且充满细微差别，不仅仅涉及语法和词汇的理解，还包括上
  • 【人工智能99问】卷积神经网络（CNN）的结构和原理是什么？(10/99)
    文章目录卷积神经网络（CNN）的结构及原理一、CNN的核心结构1.输入层（InputLayer）2.卷积层（ConvolutionalLayer）2.卷积层的核心机制：局部感受野与权值共享3.池化层（PoolingLayer）4.全连接层（FullyConnectedLayer）5.输出层（OutputLayer）6.辅助层二、CNN的工作原理三、CNN的使用场景1.计算机视觉（最核心场景）2.其
  • C/C++Win32编程基础详解视频下载 择善Zach 编程C++Win32
    课题视频：C/C++Win32编程基础详解 视频知识：win32窗口的创建                   windows事件机制 主讲：择善Uncle老师 学习交流群：386620625 验证码：625 --
  • Guava Cache使用笔记 bylijinnan javaguavacache
    1.Guava Cache的get/getIfPresent方法当参数为null时会抛空指针异常 我刚开始使用时还以为Guava Cache跟HashMap一样，get(null)返回null。 实际上Guava整体设计思想就是拒绝null的，很多地方都会执行com.google.common.base.Preconditions.checkNotNull的检查。 2.Guava
  • 解决ora-01652无法通过128（在temp表空间中） 0624chenhong oracle
    解决ora-01652无法通过128（在temp表空间中）扩展temp段的过程 一个sql语句后，大约花了10分钟，好不容易有一个结果，但是报了一个ora-01652错误，查阅了oracle的错误代码说明：意思是指temp表空间无法自动扩展temp段。这种问题一般有两种原因：一是临时表空间空间太小，二是不能自动扩展。 分析过程：    既然是temp表空间有问题，那当
  • Struct在jsp标签 不懂事的小屁孩 struct
    非UI标签介绍： 控制类标签： 1：程序流程控制标签   if   elseif    else <s:if test="isUsed"> <span class="label label-success">True</span> </
  • 按对象属性排序 换个号韩国红果果 JavaScript对象排序
    利用JavaScript进行对象排序，根据用户的年龄排序展示 <script> var bob={ name;bob, age:30 } var peter={ name;peter, age:30 } var amy={ name;amy, age:24 } var mike={ name;mike, age:29 } var john={
  • 大数据分析让个性化的客户体验不再遥远 蓝儿唯美 数据分析
    顾客通过多种渠道制造大量数据，企业则热衷于利用这些信息来实现更为个性化的体验。 分析公司Gartner表示，高级分析会成为客户服务的关键，但是大数据分析的采用目前仅局限于不到一成的企业。 挑战在于企业还在努力适应结构化数据，疲于根据自身的客户关系管理（CRM）系统部署有效的分析框架，以及集成不同的内外部信息源。 然而，面对顾客通过数字技术参与而产生的快速变化的信息，企业需要及时作出反应。要想实
  • java笔记4 a-john java
    操作符 1，使用java操作符       操作符接受一个或多个参数，并生成一个新值。参数的形式与普通的方法调用不用，但是效果是相同的。加号和一元的正号（+）、减号和一元的负号（-）、乘号（*）、除号（/）以及赋值号（=）的用法与其他编程语言类似。       操作符作用于操作数，生成一个新值。另外，有些操作符可能会改变操作数自身的
  • 从裸机编程到嵌入式Linux编程思想的转变------分而治之：驱动和应用程序 aijuans 嵌入式学习
        笔者学习嵌入式Linux也有一段时间了，很奇怪的是很多书讲驱动编程方面的知识，也有很多书将ARM9方面的知识，但是从以前51形式的（对寄存器直接操作，初始化芯片的功能模块）编程方法，和思维模式，变换为基于Linux操作系统编程，讲这个思想转变的书几乎没有，让初学者走了很多弯路，撞了很多难墙。     笔者因此写上自己的学习心得，希望能给和我一样转变
  • 在springmvc中解决FastJson循环引用的问题 asialee 循环引用fastjson
              我们先来看一个例子：           package com.elong.bms; import java.io.OutputStream; import java.util.HashMap; import java.util.Map; import co
  • ArrayAdapter和SimpleAdapter技术总结 百合不是茶 androidSimpleAdapterArrayAdapter高级组件基础
    ArrayAdapter比较简单，但它只能用于显示文字。而SimpleAdapter则有很强的扩展性，可以自定义出各种效果   ArrayAdapter;的数据可以是数组或者是队列        // 获得下拉框对象 AutoCompleteTextView textview = (AutoCompleteTextView) this
  • 九封信 bijian1013 人生励志
            有时候，莫名的心情不好，不想和任何人说话，只想一个人静静的发呆。有时候，想一个人躲起来脆弱，不愿别人看到自己的伤口。有时候，走过熟悉的街角，看到熟悉的背影，突然想起一个人的脸。有时候，发现自己一夜之间就长大了。         2014，写给人
  • Linux下安装MySQL Web 管理工具phpMyAdmin sunjing PHPInstallphpMyAdmin
    PHP http://php.net/ phpMyAdmin http://www.phpmyadmin.net Error compiling PHP on CentOS x64   一、安装Apache 请参阅http://billben.iteye.com/admin/blogs/1985244   二、安装依赖包 sudo yum install gd
  • 分布式系统理论 bit1129 分布式
    FLP One famous theory in distributed computing, known as FLP after the authors Fischer, Lynch, and Patterson, proved that in a distributed system with asynchronous communication and process crashes,
  • ssh2整合(spring+struts2+hibernate)-附源码 白糖_ eclipsespringHibernatemysql项目管理
    最近抽空又整理了一套ssh2框架，主要使用的技术如下： spring做容器，管理了三层(dao,service,actioin)的对象 struts2实现与页面交互(MVC)，自己做了一个异常拦截器，能拦截Action层抛出的异常 hibernate与数据库交互 BoneCp数据库连接池，据说比其它数据库连接池快20倍，仅仅是据说 MySql数据库   项目用eclipse
  • treetable bug记录 braveCS table
    // 插入子节点删除再插入时不能正常显示。修改： //不知改后有没有错，先做个备忘 Tree.prototype.removeNode = function(node) { // Recursively remove all descendants of +node+ this.unloadBranch(node); // Remove
  • 编程之美-电话号码对应英语单词 bylijinnan java算法编程之美
    import java.util.Arrays; public class NumberToWord { /** * 编程之美 电话号码对应英语单词 * 题目： * 手机上的拨号盘，每个数字都对应一些字母，比如2对应ABC，3对应DEF.........，8对应TUV，9对应WXYZ， * 要求对一段数字，输出其代表的所有可能的字母组合
  • jquery ajax读书笔记 chengxuyuancsdn jQuery ajax
    1、jsp页面 <%@ page language="java" import="java.util.*" pageEncoding="GBK"%> <% String path = request.getContextPath(); String basePath = request.getScheme()
  • JWFD工作流拓扑结构解析伪码描述算法 comsci 数据结构算法工作活动J#
      对工作流拓扑结构解析感兴趣的朋友可以下载附件，或者下载JWFD的全部代码进行分析   /*  流程图拓扑结构解析伪码描述算法         public java.util.ArrayList DFS(String graphid, String stepid, int j)
  • oracle I/O 从属进程 daizj oracle
    I/O 从属进程 　　I/O从属进程用于为不支持异步I/O的系统或设备模拟异步I/O.例如，磁带设备(相当慢)就不支持异步I/O.通过使用I/O 从属进程，可以让磁带机模仿通常只为磁盘驱动器提供的功能。就好像支持真正的异步I/O 一样，写设备的进程(调用者)会收集大量数据，并交由写入器写出。数据成功地写出时，写入器(此时写入器是I/O 从属进程，而不是操作系统)会通知原来的调用者，调用者则会
  • 高级排序:希尔排序 dieslrae 希尔排序
    public void shellSort(int[] array){ int limit = 1; int temp; int index; while(limit <= array.length/3){ limit = limit * 3 + 1;
  • 初二下学期难记忆单词 dcj3sjt126com englishword
    kitchen 厨房 cupboard 厨柜 salt 盐 sugar 糖 oil 油 fork 叉；餐叉 spoon 匙；调羹 chopsticks 筷子 cabbage 卷心菜；洋白菜 soup 汤 Italian 意大利的   Indian 印度的 workplace  工作场所 even 甚至；更 Italy 意大利 laugh 笑 m
  • Go语言使用MySQL数据库进行增删改查 dcj3sjt126com mysql
    目前Internet上流行的网站构架方式是LAMP，其中的M即MySQL, 作为数据库，MySQL以免费、开源、使用方便为优势成为了很多Web开发的后端数据库存储引擎。MySQL驱动Go中支持MySQL的驱动目前比较多，有如下几种，有些是支持database/sql标准，而有些是采用了自己的实现接口,常用的有如下几种: http://code.google.c...o-mysql-dri
  • git命令 shuizhaosi888 git
    ---------------设置全局用户名： git config --global user.name "HanShuliang" //设置用户名 git config --global user.email "[email protected]" //设置邮箱 ---------------查看环境配置 git config --li
  • qemu-kvm 网络 nat模式 (四) haoningabc kvmqemu
    qemu-ifup-NAT #!/bin/bash BRIDGE=virbr0 NETWORK=192.168.122.0 GATEWAY=192.168.122.1 NETMASK=255.255.255.0 DHCPRANGE=192.168.122.2,192.168.122.254 TFTPROOT= BOOTP= function check_bridge()
  • 不要让未来的你，讨厌现在的自己 jingjing0907 生活 奋斗 工作 梦想
     故事one 　23岁，他大学毕业，放弃了父母安排的稳定工作，独闯京城，在家小公司混个小职位，工作还算顺手，月薪三千，混了混，混走了一年的光阴。　　　　24岁，有了女朋友，从二环12人的集体宿舍搬到香山民居，一间平房，二人世界，爱爱爱。偶然约三朋四友，打扑克搓麻将，日子快乐似神仙；　　　　25岁，出了几次差，调了两次岗，薪水涨了不过百，生猛狂飙的物价让现实血淋淋，无力为心爱银儿购件大牌
  • 枚举类型详解 一路欢笑一路走 enum枚举详解enumsetenumMap
    枚举类型详解 一.Enum详解      1.1枚举类型的介绍   JDK1.5加入了一个全新的类型的”类”—枚举类型，为此JDK1.5引入了一个新的关键字enum,我们可以这样定义一个枚举类型。      Demo:一个最简单的枚举类   public enum ColorType { RED
  • 第11章 动画效果（上） onestopweb 动画
    index.html <!DOCTYPE html PUBLIC "-//W3C//DTD XHTML 1.0 Transitional//EN" "http://www.w3.org/TR/xhtml1/DTD/xhtml1-transitional.dtd"> <html xmlns="http://www.w3.org/
  • Eclipse中jsp、js文件编辑时，卡死现象解决汇总 ljf_home eclipsejsp卡死js卡死
    使用Eclipse编辑jsp、js文件时，经常出现卡死现象，在网上百度了N次，经过N次优化调整后，卡死现象逐步好转，具体那个方法起到作用，不太好讲。将所有用过的方法罗列如下：   1、取消验证 windows–>perferences–>validation 把 除了manual 下面的全部点掉，build下只留 classpath dependency Valida
  • MySQL编程中的6个重要的实用技巧 tomcat_oracle mysql
    每一行命令都是用分号(;)作为结束 对于MySQL，第一件你必须牢记的是它的每一行命令都是用分号(;)作为结束的，但当一行MySQL被插入在PHP代码中时，最好把后面的分号省略掉，例如： mysql_query("INSERT INTO tablename(first_name,last_name)VALUES('$first_name',$last_name')");
  • zoj 3820 Building Fire Stations(二分+bfs) 阿尔萨斯 Build
    题目链接：zoj 3820 Building Fire Stations 题目大意：给定一棵树，选取两个建立加油站，问说所有点距离加油站距离的最大值的最小值是多少，并且任意输出一种建立加油站的方式。 解题思路：二分距离判断，判断函数的复杂度是o(n)，这样的复杂度应该是o(nlogn)，即使常数系数偏大，但是居然跑了4.5s，也是醉了。 判断函数里面做了3次bfs，但是每次bfs节点最多
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他