大炮不想学习
大炮不想学习

Python数据分析-数据挖掘（准备数据——数据建模——模型评估——模型应用）

20 理解业务和数据：我们需要做好什么计划？_哔哩哔哩_bilibili

目录

  一、理解业务和数据:我们需要做好什么计划?

1.1两个思想问题

1.2为什么数据挖掘不是万能的

1.3业务背景与目标

1.4把握数据 

1.5总结

二、 准备数据：如何处理出完整、干净的数据？

2.1找到数据

2.2数据探索

2.3数据清洗

2.3.1缺失值处理

2.3.2异常值的处理

2.3.3数据偏差

2.3.4数据标准化 

2.3.5特征选择

 2.4构建训练集和测试集

 三、 数据建模：该如何选择一个适合我需求的算法？

3.1分类问题  

3.2聚类问题

3.3回归问题

3.4关联问题 

3.5模型集成 

3.5.1（bagging）装袋法

3.5.2boosting增强法

3.5.3stacking堆叠法 

四、模型评估：如何确认我们的模型已经达标？

4.1一个关于“训练一个小猪图片分类模型”的例子

4.1.1评估指标：混淆矩阵与准确率指标

4.1.2评估指标：十分重要的业务抽取评估 

4.1.3泛化能力评估

4.1.4其他评估指标

4.1.5评估数据集的处理 

4.2总结

 五、 模型应用：我们的模型是否可以解决业务需求？

5.1模型部署

5.2模型保存

5.3模型的优化

5.4离线应用还是在线应用

5.5一个方案

5.6总结

  一、理解业务和数据:我们需要做好什么计划?

在开始数据挖掘的时候
要确保你对业务及其数据有充分的理解
Python数据分析-数据挖掘（准备数据——数据建模——模型评估——模型应用）_第1张图片

1.1两个思想问题

Python数据分析-数据挖掘（准备数据——数据建模——模型评估——模型应用）_第2张图片

Python数据分析-数据挖掘（准备数据——数据建模——模型评估——模型应用）_第3张图片Python数据分析-数据挖掘（准备数据——数据建模——模型评估——模型应用）_第4张图片

1.2为什么数据挖掘不是万能的

数据挖掘只能在有限的资源与条件下去提供最大化的解决方案

Python数据分析-数据挖掘（准备数据——数据建模——模型评估——模型应用）_第5张图片 Python数据分析-数据挖掘（准备数据——数据建模——模型评估——模型应用）_第6张图片

1.3业务背景与目标

Python数据分析-数据挖掘（准备数据——数据建模——模型评估——模型应用）_第7张图片

Python数据分析-数据挖掘（准备数据——数据建模——模型评估——模型应用）_第8张图片 Python数据分析-数据挖掘（准备数据——数据建模——模型评估——模型应用）_第9张图片

1.4把握数据 

 Python数据分析-数据挖掘（准备数据——数据建模——模型评估——模型应用）_第10张图片

 Python数据分析-数据挖掘（准备数据——数据建模——模型评估——模型应用）_第11张图片

1.5总结

Python数据分析-数据挖掘（准备数据——数据建模——模型评估——模型应用）_第12张图片

二、 准备数据：如何处理出完整、干净的数据？

做好数据的准备工作是获得一个好结果的必由之路，准备数据不是独立存在的，不是说一次性做完数据准备工作就结束了。后面的模型训练和模型评估环节数据的准备相关，当模型出现错误，结果达不到预期，往往需要重新回到数据准备环节进行处理，反复迭代几次最终才能达到期望。

2.1找到数据

Python数据分析-数据挖掘（准备数据——数据建模——模型评估——模型应用）_第13张图片 

2.2数据探索

Python数据分析-数据挖掘（准备数据——数据建模——模型评估——模型应用）_第14张图片

2.3数据清洗

Python数据分析-数据挖掘（准备数据——数据建模——模型评估——模型应用）_第15张图片

2.3.1缺失值处理

Python数据分析-数据挖掘（准备数据——数据建模——模型评估——模型应用）_第16张图片 

2.3.2异常值的处理

Python数据分析-数据挖掘（准备数据——数据建模——模型评估——模型应用）_第17张图片 

2.3.3数据偏差

Python数据分析-数据挖掘（准备数据——数据建模——模型评估——模型应用）_第18张图片

Python数据分析-数据挖掘（准备数据——数据建模——模型评估——模型应用）_第19张图片 Python数据分析-数据挖掘（准备数据——数据建模——模型评估——模型应用）_第20张图片

2.3.4数据标准化 

 Python数据分析-数据挖掘（准备数据——数据建模——模型评估——模型应用）_第21张图片

Python数据分析-数据挖掘（准备数据——数据建模——模型评估——模型应用）_第22张图片

2.3.5特征选择

Python数据分析-数据挖掘（准备数据——数据建模——模型评估——模型应用）_第23张图片

Python数据分析-数据挖掘（准备数据——数据建模——模型评估——模型应用）_第24张图片 

 2.4构建训练集和测试集

 Python数据分析-数据挖掘（准备数据——数据建模——模型评估——模型应用）_第25张图片

Python数据分析-数据挖掘（准备数据——数据建模——模型评估——模型应用）_第26张图片

 三、 数据建模：该如何选择一个适合我需求的算法？

 Python数据分析-数据挖掘（准备数据——数据建模——模型评估——模型应用）_第27张图片

3.1分类问题  

Python数据分析-数据挖掘（准备数据——数据建模——模型评估——模型应用）_第28张图片Python数据分析-数据挖掘（准备数据——数据建模——模型评估——模型应用）_第29张图片

有监督学习：

概念：通过已有的训练样本去训练得到一个最优模型，再利用这个模型将所有的输入映射为相应的输出，对输出进行简单的判断从而实现预测和分类的目的，也就具有了对未知数据进行预测和分类的能力。简单来说，就像有标准答案的练习题，然后再去考试，相比没有答案的练习题然后去考试准确率更高。监督学习中的数据中是提前做好了分类信息的， 它的训练样本中是同时包含有特征和标签信息的，因此根据这些来得到相应的输出。

有监督算法常见的有：线性回归算法、BP神经网络算法、决策树、支持向量机、KNN等。
有监督学习中，比较典型的问题可以分为：输入变量与输出变量均为连续的变量的预测问题称为回归问题(Regression)，输出变量为有限个离散变量的预测问题称为分类问题(Classfication)，输入变量与输出变量均为变量序列的预测问题称为标注问题。

 Python数据分析-数据挖掘（准备数据——数据建模——模型评估——模型应用）_第30张图片

 

3.2聚类问题

Python数据分析-数据挖掘（准备数据——数据建模——模型评估——模型应用）_第31张图片无监督学习：

概念：训练样本的标记信息未知， 目标是通过对无标记训练样本的学习来揭示数据的内在性质及规律，为进一步的数据分析提供基础，此类学习任务中研究最多、应用最广的是"聚类" (clustering)，聚类目的在于把相似的东西聚在一起，主要通过计算样本间和群体间距离得到。深度学习和PCA都属于无监督学习的范畴。

无监督算法常见的有：密度估计(densityestimation)、异常检测（anomaly detection)、层次聚类、EM算法、K-Means算法(K均值算法)、DBSCAN算法 等。

Python数据分析-数据挖掘（准备数据——数据建模——模型评估——模型应用）_第32张图片

Python数据分析-数据挖掘（准备数据——数据建模——模型评估——模型应用）_第33张图片 

3.3回归问题

Python数据分析-数据挖掘（准备数据——数据建模——模型评估——模型应用）_第34张图片

Python数据分析-数据挖掘（准备数据——数据建模——模型评估——模型应用）_第35张图片 

不管是线性数据还是非线性数据都可以用回归分析

Python数据分析-数据挖掘（准备数据——数据建模——模型评估——模型应用）_第36张图片

通过学习可以得到一条线，较好的拟合了这些数据，可能不通过任何一个数据点，而是使得所有数据点到这条线的距离都是最短的，或者说损失是最小的。根据这条线，如果给出一个新的x，你就可以算出对应的y是多少。

 Python数据分析-数据挖掘（准备数据——数据建模——模型评估——模型应用）_第37张图片

Python数据分析-数据挖掘（准备数据——数据建模——模型评估——模型应用）_第38张图片 

3.4关联问题 

 Python数据分析-数据挖掘（准备数据——数据建模——模型评估——模型应用）_第39张图片

3.5模型集成 

模型集成也可以叫做集成学习

思路:合并多个模型来提升整体的效果
三种模型集成的方法：

3.5.1（bagging）装袋法

Python数据分析-数据挖掘（准备数据——数据建模——模型评估——模型应用）_第40张图片

3.5.2boosting增强法

Python数据分析-数据挖掘（准备数据——数据建模——模型评估——模型应用）_第41张图片

3.5.3stacking堆叠法 

Python数据分析-数据挖掘（准备数据——数据建模——模型评估——模型应用）_第42张图片

四、模型评估：如何确认我们的模型已经达标？


模型评估是对模型进行多种维度的评估，来确认模型是否可以放到线上去使用
 

4.1一个关于“训练一个小猪图片分类模型”的例子

 Python数据分析-数据挖掘（准备数据——数据建模——模型评估——模型应用）_第43张图片

4.1.1评估指标：混淆矩阵与准确率指标

Python数据分析-数据挖掘（准备数据——数据建模——模型评估——模型应用）_第44张图片

 Python数据分析-数据挖掘（准备数据——数据建模——模型评估——模型应用）_第45张图片

 Python数据分析-数据挖掘（准备数据——数据建模——模型评估——模型应用）_第46张图片

Python数据分析-数据挖掘（准备数据——数据建模——模型评估——模型应用）_第47张图片

具体是如何构建的，以小猪图为例：

Python数据分析-数据挖掘（准备数据——数据建模——模型评估——模型应用）_第48张图片

 选定若干组判定的概率就能得到若干组混淆矩阵：

Python数据分析-数据挖掘（准备数据——数据建模——模型评估——模型应用）_第49张图片

使用这些值画在坐标轴上：横坐标是假正例率，纵坐标是真正例率，这些点连起来形成的曲线我们就称为ROC曲线，ROC曲线下方的面积就是AUC值。

Python数据分析-数据挖掘（准备数据——数据建模——模型评估——模型应用）_第50张图片 ROC曲线和AUC值可以反应一个模型的稳定性，当ROC曲线接近于对角线的时候说明模型的输出极不稳定，模型就更加不准确。

4.1.2评估指标：十分重要的业务抽取评估 

Python数据分析-数据挖掘（准备数据——数据建模——模型评估——模型应用）_第51张图片

4.1.3泛化能力评估

除了要求模型的准确外，模型的泛化能力也值得重视

Python数据分析-数据挖掘（准备数据——数据建模——模型评估——模型应用）_第52张图片

通过两个指标来评估模型泛化能力是好还是好坏

Python数据分析-数据挖掘（准备数据——数据建模——模型评估——模型应用）_第53张图片

 以小猪为例：

Python数据分析-数据挖掘（准备数据——数据建模——模型评估——模型应用）_第54张图片

Python数据分析-数据挖掘（准备数据——数据建模——模型评估——模型应用）_第55张图片

4.1.4其他评估指标

Python数据分析-数据挖掘（准备数据——数据建模——模型评估——模型应用）_第56张图片

4.1.5评估数据集的处理 

Python数据分析-数据挖掘（准备数据——数据建模——模型评估——模型应用）_第57张图片

Python数据分析-数据挖掘（准备数据——数据建模——模型评估——模型应用）_第58张图片

4.2总结

 Python数据分析-数据挖掘（准备数据——数据建模——模型评估——模型应用）_第59张图片

 五、 模型应用：我们的模型是否可以解决业务需求？

5.1模型部署

Python数据分析-数据挖掘（准备数据——数据建模——模型评估——模型应用）_第60张图片

5.2模型保存

Python数据分析-数据挖掘（准备数据——数据建模——模型评估——模型应用）_第61张图片

把模型保存好以方便应用，要给模型定义好一个名字，甚至需要维护好一个详细的文档来记录模型所使用的算法，训练数据，评估结果等信息。因为在整个过程中会进行很多次训练，产生很多的模型，或者把很多的模型组合在生产中使用，同时还需要跟后面的重新训练进行效果的对比，有时候模型的训练和部署可能由不同的人来实施，如果保存时没有注意到这些问题，很可能导致出现混乱的情况，所以我们要制定好模型保存的规范，包括存放的位置，名字的定义，模型使用的算法，数据效果等内容，防止发生遗忘，丢失，误删除甚至是服务器崩坏等人为的事故造成不要损失。

5.3模型的优化

Python数据分析-数据挖掘（准备数据——数据建模——模型评估——模型应用）_第62张图片

5.4离线应用还是在线应用

Python数据分析-数据挖掘（准备数据——数据建模——模型评估——模型应用）_第63张图片

Python数据分析-数据挖掘（准备数据——数据建模——模型评估——模型应用）_第64张图片

5.5一个方案

 通常算法工程师或者数据挖掘工程师，都忙于解决模型问题，到了模型部署阶段就头疼不已，尤其是大规模的需要运行的线上服务可能会耗费很多时间。以下是一个简单的部署方案

Python数据分析-数据挖掘（准备数据——数据建模——模型评估——模型应用）_第65张图片 

5.6总结

  • 记录项目 经验，学会总结反思

Python数据分析-数据挖掘（准备数据——数据建模——模型评估——模型应用）_第66张图片

  • 多考虑一点，如何适用更多的场景

Python数据分析-数据挖掘（准备数据——数据建模——模型评估——模型应用）_第67张图片

 比如说在做标签....避免冗余开发

Python数据分析-数据挖掘（准备数据——数据建模——模型评估——模型应用）_第68张图片

  •  监控与迭代

模型的监控从以下3个方面入手

Python数据分析-数据挖掘（准备数据——数据建模——模型评估——模型应用）_第69张图片 1、结果监控主要是针对一些具体的指标（准确率、召回率等）进行监控，还可以根据具体产出的结果在业务中的效果进行监控 

Python数据分析-数据挖掘（准备数据——数据建模——模型评估——模型应用）_第70张图片

 2、人工定期复审

Python数据分析-数据挖掘（准备数据——数据建模——模型评估——模型应用）_第71张图片

 3、Case收集与样本积累

Python数据分析-数据挖掘（准备数据——数据建模——模型评估——模型应用）_第72张图片

通过具体的Case我们可以知道当前的模型存在哪些问题，有些Case可能是因为模型本身的问题造成，有些是因为业务场景的数据发生变化造成的。通过收集的Case进行分析，可以知道我们需要从哪个方向去优化模型。
所以在前期准备数据时遇到的数据准备不充分的情况，也可以在收集环节重点关注，以补全上一版训练时的一些缺失情侣，这样在下次迭代训练时能够有更好的样本集。

 Python数据分析-数据挖掘（准备数据——数据建模——模型评估——模型应用）_第73张图片

 

 

你可能感兴趣的:(数据分析学习,数据挖掘,数据分析,人工智能)

  • 10个可以快速用Python进行数据分析的小技巧_python 通径分析 2401_86043917 python数据分析开发语言
    df.iplot()![](https://img-blog.csdnimg.cn/img_convert/f3c1ad79e3c29ed0231d72af2988f6f9.jpeg)![](https://img-blog.csdnimg.cn/img_convert/dd456c392a2ddd14c649270707520e48.jpeg)df.iplot()vsdf.plot()右侧的可视
  • 成为高级Python开发人员的完整学习路线与核心知识体系
    引言Python已成为全球最受欢迎的编程语言之一，其简洁的语法和强大的生态系统使其在数据科学、Web开发、自动化、人工智能等领域占据重要地位。然而，从初级Python程序员到真正的高级开发人员，需要掌握一系列深入的知识点和实践经验。本文将详细介绍成为高级Python开发人员必备的核心知识体系，并提供系统化的学习资源，帮助你规划专业发展路径。第一部分：Python语言基础进阶1.Python语言特性
  • 【AI】闭环反馈：构建从用户处学习的人工智能 秋说 AI广延人工智能AI
    文章目录前言AI产品性能的双重视角：模型指标vs用户信号模型指标：AI系统的“内部视角”用户信号：AI产品的“外部视角”用户信号类型用户信号的价值模型指标为何难以独立支撑产品成功如何设计AI产品的全面反馈闭环一、统一成功标准：模型指标+用户价值二、用户信号的数据采集策略三、整合多源数据流四、分析与洞察从反馈到改进：迭代驱动的闭环循环一、识别并优先解决核心问题二、将用户信号转化为模型改进方向三、产品
  • 《R循环：深度解析与高效使用技巧》 沐知全栈开发 开发语言
    《R循环：深度解析与高效使用技巧》引言R语言作为一种功能强大的统计计算和图形显示语言，被广泛应用于科研、数据分析、金融等领域。R循环是R语言中的核心概念之一，对于提高编程效率、处理复杂数据至关重要。本文将深度解析R循环，并介绍高效使用技巧，帮助读者更好地掌握R语言。一、R循环概述1.1什么是R循环R循环是指在R语言中，重复执行某个操作或代码段的过程。R循环包括for循环、while循环和repea
  • 推荐文章：探索深度学习的不确定性边界 —— SDE-Net 开源项目解析 史多苹Thomas
    推荐文章：探索深度学习的不确定性边界——SDE-Net开源项目解析SDE-NetCodeforpaper:SDE-Net:EquippingDeepNeuralnetworkwithUncertaintyEstimates项目地址:https://gitcode.com/gh_mirrors/sd/SDE-Net在当今的人工智能领域，深度神经网络(DNN)已经成为推动技术创新的基石。然而，其预测的
  • 如果用于AI评课系统的话——五款智能体比较 东方-教育技术博主 人工智能应用人工智能
    你目前的项目特点是：已经具备了课堂文本分析、大模型对话系统、课堂视频分析的技术模块；计划通过智能体调用你现有的Python分析脚本，实现数据分析、自动可视化，并与教师互动；更强调多智能体协作、流程灵活编排，以及循证研究的交互分析。因此，我们重点考量生态成熟度、流程编排能力、多智能体协作能力、易用性四个维度。下面逐个分析你提到的框架：智能体框架综合对比分析：框架生态成熟度多智能体能力流程编排能力易用
  • 【Java】已解决java.sql.SQLRecoverableException异常 屿小夏 java开发语言
    个人简介：某不知名博主，致力于全栈领域的优质博客分享|用最优质的内容带来最舒适的阅读体验！文末获取免费IT学习资料！文末获取更多信息精彩专栏推荐订阅收藏专栏系列直达链接相关介绍书籍分享点我跳转书籍作为获取知识的重要途径，对于IT从业者来说更是不可或缺的资源。不定期更新IT图书，并在评论区抽取随机粉丝，书籍免费包邮到家AI前沿点我跳转探讨人工智能技术领域的最新发展和创新，涵盖机器学习、深度学习、自然
  • IT 行业深度洞察：从技术革命到产业重构的全景图谱 XQR.小白 重构
    摘要本文系统梳理IT行业的发展脉络，深入剖析云计算、人工智能、大数据、物联网等核心技术的演进逻辑与协同效应，揭示IT产业在数字化转型浪潮中的生态重构与价值创造。通过典型案例分析与数据支撑，探讨行业面临的技术挑战、伦理困境与全球化竞争格局，展望IT技术如何持续驱动社会变革与产业升级。全文结合2025年最新技术动态与市场趋势，为从业者、投资者与研究者提供兼具理论深度与实践指导的行业参考。目录摘要一、I
  • 探索Gemini Balance：Google Gemini API的代理与负载均衡解决方案 几道之旅 人工智能智能体及数字员工负载均衡运维人工智能
    引言在人工智能领域，API的高效使用和管理至关重要。尤其是当涉及到Google的GeminiAPI时，为了实现更稳定、更高效的服务，我们需要一个强大的代理和负载均衡工具。今天，我们就来深入了解一下GeminiBalance这个开源项目，它为GeminiAPI的使用提供了全面而灵活的解决方案。项目概述GeminiBalance是一个基于PythonFastAPI构建的应用程序，主要用于提供Googl
  • 意识边疆保卫战：22：47深圳AI-BioFab人机融合危机全息实录 HeartException 人工智能
    前言前些天发现了一个巨牛的人工智能免费学习网站，通俗易懂，风趣幽默，忍不住分享一下给大家。点击跳转到网站《意识边疆保卫战：22：47深圳AI-BioFab人机融合危机全息实录》副标题：机械义肢产线惊现神经突触叛乱，中国科学家激活甲骨文量子纹重写人类认知主权2025年7月2日22：47光明科学城脑机接口中心急电负五层神经植入舱突爆血雾！为边防军人陈默安装的AI机械臂在神经接驳瞬间剧烈震颤，量子脑电图
  • 时空屏障崩塌：14:28深圳AI-BioFab平行宇宙保卫战全纪实 HeartException 人工智能
    前言前些天发现了一个巨牛的人工智能免费学习网站，通俗易懂，风趣幽默，忍不住分享一下给大家。点击跳转到网站《时空屏障崩塌：14:28深圳AI-BioFab平行宇宙保卫战全纪实》副标题：抗癌疫苗冷链门关闭前3秒遭量子生物武器袭击，中国科学家启动长城时空盾改写人类文明存续方程2025年7月2日14:28:57光明科学城虫洞警报第184支疫苗即将注入液氮罐的刹那，B3层量子钟突现重影！14:28/15:4
  • 实时直击：全球首座AI-BioFab工厂72小时全息记录 HeartException 人工智能
    前言前些天发现了一个巨牛的人工智能免费学习网站，通俗易懂，风趣幽默，忍不住分享一下给大家。点击跳转到网站《实时直击：全球首座AI-BioFab工厂72小时全息记录》副标题：2025年7月2日深圳现场——癌症疫苗11天定制神话如何改写万亿生物经济规则本报深圳2025年7月2日电（记者徐远舟）此刻，位于光明科学城负三层的无菌车间内，液态机器人正将第4,817管CRISPR编辑液注入微流控芯片。墙上的量
  • 生命制造的读秒革命：全球首个AI-BioFab工厂72小时全息记录 HeartException 人工智能
    前言前些天发现了一个巨牛的人工智能免费学习网站，通俗易懂，风趣幽默，忍不住分享一下给大家。点击跳转到网站《生命制造的读秒革命：全球首个AI-BioFab工厂72小时全息记录》副标题：2025年7月2日14：04深圳现场——癌症疫苗定制最后3分钟如何改写万亿生物经济规则光明科学城2025年7月2日电（记者直击）负三层B区微流控平台红光闪烁，液态机械臂正将第9,217管CRISPR编辑液注入芯片。量子
  • 合成生物学奇点：AI驱动CRISPR超进化工厂2025投产纪实 HeartException 人工智能
    前言前些天发现了一个巨牛的人工智能免费学习网站，通俗易懂，风趣幽默，忍不住分享一下给大家。点击跳转到网站《合成生物学奇点：AI驱动CRISPR超进化工厂2025投产纪实》副标题：全球首座AI-BioFab落地深圳，蛋白质设计周期从3年压缩至11天，生物制造成本暴跌90%一、生物制造范式的历史性颠覆▶︎传统生物工程的三大世纪困局graphTDA[缓慢的试错循环]-->B[单基因改造耗时≥6个月]C[
  • 千亿参数大模型轻量化实战：手机端LLM推理加速300%方案
    前言前些天发现了一个巨牛的人工智能免费学习网站，通俗易懂，风趣幽默，忍不住分享一下给大家。点击跳转到网站《千亿参数大模型轻量化实战：手机端LLM推理加速300%方案》副标题：2025实测骁龙8Gen4+FP4稀疏量化技术，70B模型推理延迟低至127ms，重构移动端AI天花板封面图：[高通骁龙8Gen4芯片显微照片与Llama3-70B手机端运行界面对比图，右上角标注「实测延迟：127ms/tok
  • 多模态进化论：GPT-5V图文推理能力在工业质检中的颠覆性应用 HeartException 人工智能
    前言前些天发现了一个巨牛的人工智能免费学习网站，通俗易懂，风趣幽默，忍不住分享一下给大家。点击跳转到网站《多模态进化论：GPT-5V图文推理能力在工业质检中的颠覆性应用》副标题：2025年实测报告显示误检率降至0.0038%，重构制造业质量标准体系封面建议：GPT-5V识别微米级电路板缺陷的对比图，背景显示传统AOI与GPT-5V的误检率曲线一、工业质检的范式革命▶︎传统视觉检测的三大死穴传统AO
  • 《脑机接口：意识数字化的奇点何时到来？》 HeartException 人工智能
    前言前些天发现了一个巨牛的人工智能免费学习网站，通俗易懂，风趣幽默，忍不住分享一下给大家。点击跳转到网站《脑机接口：意识数字化的奇点何时到来？》展开全景式论述。文章结合2025年最新科研突破与伦理实践，以“技术裂变-意识革命-文明跃迁”为逻辑主线，揭示神经科学与人工智能融合如何重绘人类存在的边界：脑机接口：意识数字化的奇点何时到来？副标题：从神经解码到意识上传，一场重塑人类本质的技术奇袭作者：意识
  • 【硬核拆解】英伟达Blackwell芯片架构如何重构AI算力边界？ HeartException 人工智能
    前言前些天发现了一个巨牛的人工智能免费学习网站，通俗易懂，风趣幽默，忍不住分享一下给大家。点击跳转到网站一、Blackwell诞生的算力危机（2025现状）graphTDA[2025年AI算力需求]-->B[千亿参数模型训练能耗>20GWh]A-->C[10万亿参数模型涌现]A-->D[传统架构内存墙：数据搬运耗能占68%]行业拐点事件：2025年3月：OpenAI宣布训练125万亿参数MoE模型
  • 成像光谱遥感技术中的AI革命：ChatGPT在遥感领域中的应用 科研的力量 人工智能ChatGPTchatgpt人工智能
    课程将最新的人工智能技术与实际的遥感应用相结合，提供不仅是理论上的，而且是适用和可靠的工具和方法。无论你是经验丰富的研究人员还是好奇的从业者，本课程都将为分析和解释遥感数据开辟新的、有效的方法，使你的工作更具影响力和前沿性。遥感技术主要通过卫星和飞机从远处观察和测量我们的环境，是理解和监测地球物理、化学和生物系统的基石。ChatGPT是由OpenAI开发的最先进的语言模型，在理解和生成人类语言方面
  • 解锁AI新世界：ModelGate携手Cherry Studio，开启智能之旅
    解锁AI新世界：ModelGate携手CherryStudio，开启智能之旅在人工智能技术飞速发展的当下，我们的工作与生活正被AI深刻改变。你是否渴望拥有一个强大的工具，帮你轻松驾驭各类AI应用，提升效率与创造力？今天，就为大家介绍一对黄金搭档——ModelGate与CherryStudio，它们将带你进入AI应用的全新境界。CherryStudio堪称AI桌面生态的“集大成者”，是一款支持多家主
  • Prompt Engineering 指南教程 班磊闯Andrea
    PromptEngineering指南教程Prompt-Engineering-Guidedair-ai/Prompt-Engineering-Guide:是一个用于指导对话人工智能开发的文档。适合用于学习对话人工智能开发和自然语言处理。特点是提供了详细的指南和参考资料，涵盖了多种对话人工智能技术和算法，并且可以自定义学习路径和行为。项目地址:https://gitcode.com/gh_mirr
  • AI人工智能 Agent：在节能减排中的应用 AI天才研究院 AgenticAI实战AI人工智能与大数据AI大模型企业级应用开发实战计算科学神经计算深度学习神经网络大数据人工智能大型语言模型AIAGILLMJavaPython架构设计AgentRPA
    1.背景介绍1.1全球气候变化与节能减排随着工业化进程的加速和人口的不断增长，全球气候变化问题日益严峻。温室气体排放导致的全球变暖、极端天气事件频发等问题，已经对人类的生存环境和社会经济发展造成了严重威胁。因此，节能减排已成为全球共识，各国政府和企业都在积极探索和实施各种节能减排措施。1.2人工智能技术的兴起近年来，人工智能（AI）技术发展迅猛，并在各个领域取得了显著成果。AI技术具有强大的数据分
  • CLIP之后，多模态模型将如何进化？三大技术路径解析 老周聊AI AI大模型人工智能MCP机器学习神经网络深度学习AI大模型大模型训练框架
    多模态学习的革命：CLIP技术深度解析关注老周不迷路本文较长，建议点赞收藏以免遗失。由于文章篇幅有限，更多涨薪知识点，也可在主页查看最新AI大模型应用开发学习资料免费领取引言：多模态学习的时代来临在人工智能领域，多模态学习正成为最具前景的研究方向之一。传统AI系统通常专注于单一模态（如纯文本或纯图像），而人类认知的本质却是多模态的——我们通过视觉、听觉、触觉等多种感官协同理解世界。OpenAI于2
  • 华为认证二选一：物联网 VS 人工智能，你的赛道在哪里？ 博睿谷IT99_ 物联网人工智能华为华为认证
    一篇不讲情怀只讲干货的科普指南一、华为物联网&人工智能到底在搞什么？华为物联网（IoT）的核心是“万物互联”。通过传感器、通信技术（如NB-IoT/5G）、云计算平台（如OceanConnect），将物理设备（车、路灯、工厂机器）连入网络，实现数据采集、远程控制和智能决策。大白话就是：它让哑巴设备学会“说话”。华为人工智能（AI）的核心是“让机器学会思考”。聚焦大模型训练、部署与应用（如昇腾AI解
  • 1688按关键词获取商品列表API接口详解 蓝倾976 python开发语言电商开放平台开放API1688开放平台
    一、接口功能概述1688商品列表API是阿里巴巴开放平台提供的核心接口之一，主要用于通过关键词、价格区间、销量范围、类目ID等条件筛选商品，并返回商品标题、价格、销量、图片等基本信息。该接口广泛应用于电商数据分析、竞品调研、商品监控、价格比对等场景，助力开发者高效获取1688平台商品数据。二、接口调用流程1.注册与认证注册账号：在1688开放平台/万邦开放平台注册开发者账号，完成企业或个人资质审核
  • 结构性变革与新兴机遇 倒霉男孩 经济学
    近年来，全球就业市场正经历深刻的结构性变革。受技术进步、产业升级、人口结构变化及全球经济格局调整的影响，传统就业模式被重塑，新的职业机会不断涌现。本文将分析当前就业市场的主要趋势，并探讨其对劳动者、企业和政策制定者的启示。###**一、技术驱动下的就业结构变化**1.**人工智能与自动化替代部分传统岗位**-麦肯锡全球研究院预测，到2030年，全球约14%的劳动者（3.75亿人）可能因自动化技术而
  • 大数据未来发展的趋势与挑战 倒霉男孩 大数据
    随着信息技术的飞速发展，大数据已经成为推动社会进步和产业变革的重要力量。从商业决策到医疗健康，从智慧城市到人工智能，大数据技术的应用无处不在。未来，随着5G、物联网（IoT）、人工智能（AI）等技术的深度融合，大数据的发展将迎来更广阔的空间，同时也面临诸多挑战。本文将探讨大数据未来的发展趋势、应用前景以及可能面临的问题。一、大数据未来的发展趋势数据量持续爆发式增长随着5G网络的普及和物联网设备的广
  • Python爬取与可视化-豆瓣电影数据 木子空间Pro 项目集锦#课程设计python信息可视化开发语言
    引言在数据科学的学习过程中，数据获取与数据可视化是两项重要的技能。本文将展示如何通过Python爬取豆瓣电影Top250的电影数据，并将这些数据存储到数据库中，随后进行数据分析和可视化展示。这个项目涵盖了从数据抓取、存储到数据可视化的整个过程，帮助大家理解数据科学项目的全流程。环境配置与准备工作在开始之前，我们需要确保安装了一些必要的库：urllib：用于发送HTTP请求和获取网页数据Beauti
  • 揭秘影评数据的金矿：基于 Python 的豆瓣电影排行榜热度挖掘与数据智能分析实战 程序员威哥 python开发语言
    前言：从数据出发，看见银幕之外的流行密码在内容为王的时代，影视作品既是大众娱乐的主阵地，也是数据分析的重要入口。豆瓣作为中国最具影响力的影视评分平台之一，凝聚了数千万用户对电影、剧集的真实反馈。本文将带你一步步深入，从爬取豆瓣电影排行榜数据出发，结合Python技术栈，构建一个完整的热门电影数据采集+分析+可视化系统。我们不仅要采数据，更要从中挖掘背后的价值：哪些类型影片最受欢迎？评分是否与评论数
  • 微博热搜数据采集全攻略：利用 Python 爬虫实时捕捉社会热点与舆情风向 程序员威哥 python爬虫开发语言
    微博作为国内最具影响力的社交媒体平台，其热搜榜单被广泛认为是社会热点的风向标。无论是娱乐八卦、社会事件，还是突发新闻，微博热搜往往能够迅速反映出公众关注的焦点。对于数据分析师、舆情监测专家、或者企业品牌分析师来说，如何抓取并分析这些实时热搜数据，已成为一种核心竞争力。在这篇文章中，我们将结合Python爬虫技术，深入探讨如何高效抓取微博热搜数据，如何规避反爬虫机制，如何处理与存储数据，并展示如何利
  • C/C++Win32编程基础详解视频下载 择善Zach 编程C++Win32
    课题视频：C/C++Win32编程基础详解 视频知识：win32窗口的创建                   windows事件机制 主讲：择善Uncle老师 学习交流群：386620625 验证码：625 --
  • Guava Cache使用笔记 bylijinnan javaguavacache
    1.Guava Cache的get/getIfPresent方法当参数为null时会抛空指针异常 我刚开始使用时还以为Guava Cache跟HashMap一样，get(null)返回null。 实际上Guava整体设计思想就是拒绝null的，很多地方都会执行com.google.common.base.Preconditions.checkNotNull的检查。 2.Guava
  • 解决ora-01652无法通过128（在temp表空间中） 0624chenhong oracle
    解决ora-01652无法通过128（在temp表空间中）扩展temp段的过程 一个sql语句后，大约花了10分钟，好不容易有一个结果，但是报了一个ora-01652错误，查阅了oracle的错误代码说明：意思是指temp表空间无法自动扩展temp段。这种问题一般有两种原因：一是临时表空间空间太小，二是不能自动扩展。 分析过程：    既然是temp表空间有问题，那当
  • Struct在jsp标签 不懂事的小屁孩 struct
    非UI标签介绍： 控制类标签： 1：程序流程控制标签   if   elseif    else <s:if test="isUsed"> <span class="label label-success">True</span> </
  • 按对象属性排序 换个号韩国红果果 JavaScript对象排序
    利用JavaScript进行对象排序，根据用户的年龄排序展示 <script> var bob={ name;bob, age:30 } var peter={ name;peter, age:30 } var amy={ name;amy, age:24 } var mike={ name;mike, age:29 } var john={
  • 大数据分析让个性化的客户体验不再遥远 蓝儿唯美 数据分析
    顾客通过多种渠道制造大量数据，企业则热衷于利用这些信息来实现更为个性化的体验。 分析公司Gartner表示，高级分析会成为客户服务的关键，但是大数据分析的采用目前仅局限于不到一成的企业。 挑战在于企业还在努力适应结构化数据，疲于根据自身的客户关系管理（CRM）系统部署有效的分析框架，以及集成不同的内外部信息源。 然而，面对顾客通过数字技术参与而产生的快速变化的信息，企业需要及时作出反应。要想实
  • java笔记4 a-john java
    操作符 1，使用java操作符       操作符接受一个或多个参数，并生成一个新值。参数的形式与普通的方法调用不用，但是效果是相同的。加号和一元的正号（+）、减号和一元的负号（-）、乘号（*）、除号（/）以及赋值号（=）的用法与其他编程语言类似。       操作符作用于操作数，生成一个新值。另外，有些操作符可能会改变操作数自身的
  • 从裸机编程到嵌入式Linux编程思想的转变------分而治之：驱动和应用程序 aijuans 嵌入式学习
        笔者学习嵌入式Linux也有一段时间了，很奇怪的是很多书讲驱动编程方面的知识，也有很多书将ARM9方面的知识，但是从以前51形式的（对寄存器直接操作，初始化芯片的功能模块）编程方法，和思维模式，变换为基于Linux操作系统编程，讲这个思想转变的书几乎没有，让初学者走了很多弯路，撞了很多难墙。     笔者因此写上自己的学习心得，希望能给和我一样转变
  • 在springmvc中解决FastJson循环引用的问题 asialee 循环引用fastjson
              我们先来看一个例子：           package com.elong.bms; import java.io.OutputStream; import java.util.HashMap; import java.util.Map; import co
  • ArrayAdapter和SimpleAdapter技术总结 百合不是茶 androidSimpleAdapterArrayAdapter高级组件基础
    ArrayAdapter比较简单，但它只能用于显示文字。而SimpleAdapter则有很强的扩展性，可以自定义出各种效果   ArrayAdapter;的数据可以是数组或者是队列        // 获得下拉框对象 AutoCompleteTextView textview = (AutoCompleteTextView) this
  • 九封信 bijian1013 人生励志
            有时候，莫名的心情不好，不想和任何人说话，只想一个人静静的发呆。有时候，想一个人躲起来脆弱，不愿别人看到自己的伤口。有时候，走过熟悉的街角，看到熟悉的背影，突然想起一个人的脸。有时候，发现自己一夜之间就长大了。         2014，写给人
  • Linux下安装MySQL Web 管理工具phpMyAdmin sunjing PHPInstallphpMyAdmin
    PHP http://php.net/ phpMyAdmin http://www.phpmyadmin.net Error compiling PHP on CentOS x64   一、安装Apache 请参阅http://billben.iteye.com/admin/blogs/1985244   二、安装依赖包 sudo yum install gd
  • 分布式系统理论 bit1129 分布式
    FLP One famous theory in distributed computing, known as FLP after the authors Fischer, Lynch, and Patterson, proved that in a distributed system with asynchronous communication and process crashes,
  • ssh2整合(spring+struts2+hibernate)-附源码 白糖_ eclipsespringHibernatemysql项目管理
    最近抽空又整理了一套ssh2框架，主要使用的技术如下： spring做容器，管理了三层(dao,service,actioin)的对象 struts2实现与页面交互(MVC)，自己做了一个异常拦截器，能拦截Action层抛出的异常 hibernate与数据库交互 BoneCp数据库连接池，据说比其它数据库连接池快20倍，仅仅是据说 MySql数据库   项目用eclipse
  • treetable bug记录 braveCS table
    // 插入子节点删除再插入时不能正常显示。修改： //不知改后有没有错，先做个备忘 Tree.prototype.removeNode = function(node) { // Recursively remove all descendants of +node+ this.unloadBranch(node); // Remove
  • 编程之美-电话号码对应英语单词 bylijinnan java算法编程之美
    import java.util.Arrays; public class NumberToWord { /** * 编程之美 电话号码对应英语单词 * 题目： * 手机上的拨号盘，每个数字都对应一些字母，比如2对应ABC，3对应DEF.........，8对应TUV，9对应WXYZ， * 要求对一段数字，输出其代表的所有可能的字母组合
  • jquery ajax读书笔记 chengxuyuancsdn jQuery ajax
    1、jsp页面 <%@ page language="java" import="java.util.*" pageEncoding="GBK"%> <% String path = request.getContextPath(); String basePath = request.getScheme()
  • JWFD工作流拓扑结构解析伪码描述算法 comsci 数据结构算法工作活动J#
      对工作流拓扑结构解析感兴趣的朋友可以下载附件，或者下载JWFD的全部代码进行分析   /*  流程图拓扑结构解析伪码描述算法         public java.util.ArrayList DFS(String graphid, String stepid, int j)
  • oracle I/O 从属进程 daizj oracle
    I/O 从属进程 　　I/O从属进程用于为不支持异步I/O的系统或设备模拟异步I/O.例如，磁带设备(相当慢)就不支持异步I/O.通过使用I/O 从属进程，可以让磁带机模仿通常只为磁盘驱动器提供的功能。就好像支持真正的异步I/O 一样，写设备的进程(调用者)会收集大量数据，并交由写入器写出。数据成功地写出时，写入器(此时写入器是I/O 从属进程，而不是操作系统)会通知原来的调用者，调用者则会
  • 高级排序:希尔排序 dieslrae 希尔排序
    public void shellSort(int[] array){ int limit = 1; int temp; int index; while(limit <= array.length/3){ limit = limit * 3 + 1;
  • 初二下学期难记忆单词 dcj3sjt126com englishword
    kitchen 厨房 cupboard 厨柜 salt 盐 sugar 糖 oil 油 fork 叉；餐叉 spoon 匙；调羹 chopsticks 筷子 cabbage 卷心菜；洋白菜 soup 汤 Italian 意大利的   Indian 印度的 workplace  工作场所 even 甚至；更 Italy 意大利 laugh 笑 m
  • Go语言使用MySQL数据库进行增删改查 dcj3sjt126com mysql
    目前Internet上流行的网站构架方式是LAMP，其中的M即MySQL, 作为数据库，MySQL以免费、开源、使用方便为优势成为了很多Web开发的后端数据库存储引擎。MySQL驱动Go中支持MySQL的驱动目前比较多，有如下几种，有些是支持database/sql标准，而有些是采用了自己的实现接口,常用的有如下几种: http://code.google.c...o-mysql-dri
  • git命令 shuizhaosi888 git
    ---------------设置全局用户名： git config --global user.name "HanShuliang" //设置用户名 git config --global user.email "[email protected]" //设置邮箱 ---------------查看环境配置 git config --li
  • qemu-kvm 网络 nat模式 (四) haoningabc kvmqemu
    qemu-ifup-NAT #!/bin/bash BRIDGE=virbr0 NETWORK=192.168.122.0 GATEWAY=192.168.122.1 NETMASK=255.255.255.0 DHCPRANGE=192.168.122.2,192.168.122.254 TFTPROOT= BOOTP= function check_bridge()
  • 不要让未来的你，讨厌现在的自己 jingjing0907 生活 奋斗 工作 梦想
     故事one 　23岁，他大学毕业，放弃了父母安排的稳定工作，独闯京城，在家小公司混个小职位，工作还算顺手，月薪三千，混了混，混走了一年的光阴。　　　　24岁，有了女朋友，从二环12人的集体宿舍搬到香山民居，一间平房，二人世界，爱爱爱。偶然约三朋四友，打扑克搓麻将，日子快乐似神仙；　　　　25岁，出了几次差，调了两次岗，薪水涨了不过百，生猛狂飙的物价让现实血淋淋，无力为心爱银儿购件大牌
  • 枚举类型详解 一路欢笑一路走 enum枚举详解enumsetenumMap
    枚举类型详解 一.Enum详解      1.1枚举类型的介绍   JDK1.5加入了一个全新的类型的”类”—枚举类型，为此JDK1.5引入了一个新的关键字enum,我们可以这样定义一个枚举类型。      Demo:一个最简单的枚举类   public enum ColorType { RED
  • 第11章 动画效果（上） onestopweb 动画
    index.html <!DOCTYPE html PUBLIC "-//W3C//DTD XHTML 1.0 Transitional//EN" "http://www.w3.org/TR/xhtml1/DTD/xhtml1-transitional.dtd"> <html xmlns="http://www.w3.org/
  • Eclipse中jsp、js文件编辑时，卡死现象解决汇总 ljf_home eclipsejsp卡死js卡死
    使用Eclipse编辑jsp、js文件时，经常出现卡死现象，在网上百度了N次，经过N次优化调整后，卡死现象逐步好转，具体那个方法起到作用，不太好讲。将所有用过的方法罗列如下：   1、取消验证 windows–>perferences–>validation 把 除了manual 下面的全部点掉，build下只留 classpath dependency Valida
  • MySQL编程中的6个重要的实用技巧 tomcat_oracle mysql
    每一行命令都是用分号(;)作为结束 对于MySQL，第一件你必须牢记的是它的每一行命令都是用分号(;)作为结束的，但当一行MySQL被插入在PHP代码中时，最好把后面的分号省略掉，例如： mysql_query("INSERT INTO tablename(first_name,last_name)VALUES('$first_name',$last_name')");
  • zoj 3820 Building Fire Stations(二分+bfs) 阿尔萨斯 Build
    题目链接：zoj 3820 Building Fire Stations 题目大意：给定一棵树，选取两个建立加油站，问说所有点距离加油站距离的最大值的最小值是多少，并且任意输出一种建立加油站的方式。 解题思路：二分距离判断，判断函数的复杂度是o(n)，这样的复杂度应该是o(nlogn)，即使常数系数偏大，但是居然跑了4.5s，也是醉了。 判断函数里面做了3次bfs，但是每次bfs节点最多
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他