繁华落尽心伤

深入浅出Python机器学习14——从数据获取到话题提取

简单页面的爬取

准备 Request 库和 User Agent

在日常工作中我们有时候需要一个简单的程序代替人工进行大规模的阅读去爬取有用的信息，也就是我们常说的“爬虫”程序。
首先我们需要安装一个简单的Requests库（当然你也可以安装其它的库进行爬虫）

	pip install requests

Request 库是一个常用的 http 请求库，它本身是用 Python 编写的。Request 基于 urllib，但是比 urllib 的易用性要好很多。而且语法简单一点，功能一点也不弱。
在 Request 库安装完成之后，要对目标网站进行请求之前还需要搞清楚自己的 user agent。
User agent 一般翻译为 “ 用户代理 ”，它的作用是向服务器 “ 自报家门 ”，告诉服务器我们的电脑操作系统、CPU、浏览器、以及浏览器的版本信息。这样便可以让爬虫假装是一个正常用户在使用浏览器对目标的服务器发出请求，不然很容易被识破身份。对于有些网站用户的 user agent 进行校验，如果没有的话，就会被服务器据之门外。
想要知道自己的 user agent 直接浏览器中搜索 “ UA 查询 ”：

然后随便点开一个，这里点击的是第一个链接，得到下图：

可以看到使用的浏览器是 Firefox，版本是 68.0。渲染引擎是 Gecko 68.0，操作系统是 ubuntu

	Mozilla/5.0(X11; Ubuntu; Linux x86_64; rv:68.0)Gecko/20100101 Firefox/68.0

确定一个目标网站并分析其结构

确定一个网站，例如 www.toutiao.com，如图所示：

接着选择科技专栏，这一栏地址是 http://www.toutiao.com/ch/news_tech/ ：

点击一条信息如锦鲤女孩一夜暴富，并记录地址 https://www.toutiao.com/a6706027965865541896/。

进行爬取并保存为本地文件

接下来使用锦鲤女孩做个实验：

程序显示导入了 requests 库，并使用了之前查询到的 User Agent 来制定爬虫的 headers。接下来用 requests 向服务器发送请求：

程序中使用了刚才锦鲤女孩新闻的那个链接，headers 参数就传入 user agent。可以看到传入的 html 文件。下面查看一下 requests 的编码方式：

可以看到默认编码方式为 utf-8。有些时候可能是其它方式的编码，在之前的图中找到运行结果中的 charset 的部分：

从图中可以看到这个新闻的正文页面采用的是 “ utf-8 ” 的编码方式。
理论上，requests 库可以根据页面头猜测页面的编码方式，但它的猜测的正确率并不高,虽然这里猜测正确了。若是猜测错误，可以通过如下方式进行调整：

	# 修改 encoding 为 utf-8
	r.encoding = 'utf-8'
	# 重新打印结果
	print(r.text)

得到正确的编码方式之后，为了让页面更加清晰易读，可以采用以下两种方式：一是将这个页面保存为 html 文件，这样就可以用浏览器打开，从而进行清晰地阅读其中的内容；另一种方法是使用 html 解析器，将页面中重要的内容抽取出来，保存为所需要的任意格式的文件（如 CSV）。
下面用第一个方法实现文件的保存：

运行代码后，可得到如下结果：

这里只是简单的展示了 requests 的基本用法，如果这样将整个页面复制下来并没有什么意义，然而降低了阅读效率。

稍微复杂一点的爬取

如果单纯爬取一个页面并保存，并不会提高我们的效率。实际中我们所期望的结果应该如下图中所示，查看各个专栏有没有我们所需的标题和链接。

确定目标页面并进行分析

在网页页面上单击鼠标右键，再弹出的菜单中选择 “ 检查 ” 这一项可得下图：

图中蓝色底纹选中的就是锦鲤女孩对应的元素，而它存储于下面图中蓝色底纹的元素中，此处已经点击

元素，继续展开第一个

元素后可以得到下图：

接下来，就是要使用 HTML 解析器来获取这些内容，但是现在出现了一个新的问题，我们需要让 HTML 解析器只拽去标题的文本和对应的链接，而不希望有多余的内容被提取出来。所以 “ 正则表达式 ” 就闪亮登场了。

Python 中的正则表达式

正则表达式是一个特殊的字符序列，它能帮助我们方便地检查一个字符串是否与某种模式匹配。
Python 中，有一个称为 re 的模块能够提供全部的正则表达式功能，下面实例介绍一下。
例 1：

上面程序中，我们先导入了 re 模块，指定 re 的匹配模式为：\d+，意思是匹配一个或多个数字，这里 “ \d+ ” 被称为元字符，如果我们不添加 “ + ” 的话，那就只会匹配 1 个数字。
“ \d+ ” 前面的 “ r ” 意思是不要对 “ \ ” 进行转义——我们知道，在 Python 中，“ \ ” 表示转义符，如我们常用的 “ \n ” 就表示换行。如果不希望 Python 对 “ \ ” 进行转义，有两种方法；一是在转义符前面再增加一个斜杠 “ \ ” ,如 “ \n ” ，那么 Python 就不会对字符进行转义；另一种方法就是再前面添加 “ r ”,如本例中的 “ r ’ \d+ ’ ”。
从结果可以看出，指定的匹配模式是从开头匹配数字，第一句不是数字开头，程序打印了 “ 匹配失败 ”。而第二句是数字开头，所以匹配成功，而后使用 .group() 可以获得匹配的内容，因此将数字打印了出来。
例 2：
这个例子中，数字移动到中间的位置，然后使用.search() 来进行搜索。从结果看出来，数字依然可以被搜索出来。
此外，re 模块还提供了多种语法可以实现不同的功能，如例 3：

这里我们使用了 .split() 方法将数字之间的文本拆分出来，结果显示把整句话的文字都拆分出来了。
此外，还可以用 .findall() 语法把数字全部提取出来，如下例 4：

可以看到，把整句话的数字提取出来了。使用正则表达式不仅仅可以匹配数字，还可以使用其他的元字符来匹配各种各样的内容。下表是正则化中比较常用的元字符列表：

实例	描述
-	匹配除 “ \n ” 之外的任何单个字符，要匹配包括 “ \n ” 在内的任何字符，请使用象 ’ [.\n] ’ 的模式。
\d	匹配一个数字字符，等价于 [0-9]
\D	匹配一个非数字字符，等价于[^0-9]
\s	匹配任何空白字符，包括空格、字符表、换页符等等，等价于 [\f\n\r\t\v]
\S	匹配任何非空白字符。等价于 [^\f\n\r\t\v]
\w	匹配包括下划线的任何单词字符。等价于 ‘[A-Za-z0-9]’
\W	匹配任何非单词字符。等价于 ‘[^A-Za-z0-9]’

使用 BeautifulSoup 进行 HTML 解析

在 Python 中，有两个常用的用于 HTML 解析的库，分别是 “ lxml ” 和 “ BeautifulSoup ”，它们都可以从 HTML 文件或者 XML 文件中提取给类型的数据。二者的功能没有太大的区别，下面用 BeautifulSoup 进行介绍。首先安装相应的软件包：

	# 安装 BeautifulSoup4 包
	pip intsall beautifulsoup4
	# 安装 lxml 包
	pip install lxml

接下来用 requests 库爬取的页面进行来介绍 BeautifulSoup 的使用方法。

可以看到，先导入了 BeautifulSoup，然后创建一个名为 soup 的对象，这里指定了 BeautifulSoup 使用 lxml 作为 HTML 解析器（也可以不使用 lxml，也可以用 Python 标准库中的 HTML 解析器。不过实际应用中，lxml 解析的速度会比 Python 标准库快一些）。

结果中可以看出，文件包含了若干个标签（Tag），每个标签都注明了其作用。例如，标签注明出这部分是 HTML 文件的头部，而标签表明这部分是文件的标题，每个标签以反斜杠 “ / ” 结束，如表示标题部分结束。
下面例子中，使用 BeautifulSoup 将 title 进行提取：

可以看到 BeautifulSoup 将页面标题进行了提取，但是提取的内容还带着标签和 ,如果只要结果中只有中间的文字，而不是显示标签的内容，可以使用以下两种方法来提取。
一、使用 .string 来提取文字部分：

二、使用 .get_text() 来提取文字部分：

可以发现结果是完全一样的，所以使用的时候两种方式可以互换。
从上面可以看出，使用 BeautifulSoup 进行 HTML 文件的数据提取是非常容易的，下面尝试着提取正文的部分，首先得查看一下对象 soup，看一下正文保存在那个标签中。

代码读取显示有问题，可以试试查找其它的标签
程序中使用了 soup.div.string 来提取

标签的正文内容，可以发现这个标签正文中没有字符串形式的内容。而且默认情况下只对第一个

标签的内容进行提取，下面使用 BeautifulSoup 中的 find_all 来找到所有

标签的内容并进行提取。

可以看到依旧没有内容。原因是这里所爬取的网页中，没有选择合适的标签，大家可以试试其它网页，然后查找有文字的标签进行提取。
对文字的提取的基本技能如上，如果要对其中的链接提取，可以回到 soup 对象中然后找到包含链接的部分进行试验，这里以

标签的正文内容为示范来提取链接（结果是没有链接的，因为前面已经看到正文没有内容）：

上面使用了 BeautifulSoup 中的 find_all() 来寻找所有的

标签，然后用 [-1] 来把最后一个标签赋值给变量 link，接下来使用了 .get(’ herf ') 语句将标签中的链接进行提取。

对目标页面进行爬取并保存到本地

在上向 https://www.toutiao.com/ch/news_tech/ 发出请求时，我们可以发现在 soup 中爬取的链接中有 media 这个单词，这个给了我们带来了很大的便利，只要使用正则表达式匹配 media 就可以获得相应的标题和链接。

下面继续查看一下 csv 文件的内容，如下：

可以看出，相应的标题和链接已经存取下来。在实际中可以根据自己感兴趣的关键词进行搜索。

对文本数据进行话题提取

前面介绍了如何使用 Python 的 Requests 库和 BeautifulSoup 库实现一个简单的爬虫程序，把网页上的内容爬取下来并保存为本地文件。而如果程序爬取的文本特别多的时候，即使保存在本地，也要花费长时间去读取。如果希望快速了解一大段文字的核心内容，可以使用 “ 潜在狄利克雷分布 ” （Latent Dirichlet Allocation）来对文本进行话题提取。

寻找目标网站并分析结构

下面在 “ 百思不得姐 ” 网页中练习潜在狄利克雷分布进行话题提取。可以看到地址栏显示为 http://www.budejie.com/text/ ，说明文字的段子页面是以 text 为后缀的，继续分析这个页面会发现每个页面包含 20 个文字段子，单击下一页会发现地址栏的内容变为 http://www.budejie.com/text/2。

可以看到，该网站是在网址最后加上数字来区分页面，这样我们就可以使用 for 循环来爬取所有页面的信息，需要注意的是，这个网站只显示 50 页最新的段子，翻到第 51 页的时候，会提示找不到页面：

这样的话，我们把目标页面锁定在 1 ~ 50，接下来检查一下页面的结构，子网页上单击鼠标右键，选择 “ 检查 ” 选项：

可以看到段子的正文保存在

标签中。知道了网站的结构，也找到了内容所在位置，下面就可以进行对内容的爬取了。

编写爬虫进行内容爬取

直接给出程序：

接着将爬取到的内容存入 txt 文档中。

这样文件夹中就多了一个 jokes.txt 的文件。

- 使用潜在狄利克雷分布进行话题提取

潜在狄利克雷分布（Latent Dirichlet Allocation，LDA）是基于不同的词语共同出现的频率来进行分组的模型，比如在某个文档中，“ 妹子 ” 和 “ 吃货 ” 这两个词经常同时出现，那么 LDA 便会将这个两个词归入同一个话题（Topic）中。对于 LDA 模型来说，文本必须是一些由话题组合成的集合，但需要注意的是，对于机器来说，“ 话题 ” 这个词的含义和日常所理解的是完全不同的概念，机器所理解的 “ 话题 ”，并非语义学上所指的话题，而只是通过对文本进行特征提取后所进行的聚类（clustering）。下面开始使用潜在狄利克雷分布对爬取的段子进行话题分类，在不同的话题中，哪些词共同出现的频率最高。
首先，需要载入之前保存的 txt 文件，并且把文本数据提取出来：

在用结巴分词工具，对段子的文本进行分词处理：

之后会发现，文件夹中多了一个 cutjokes.txt 的文件。
接下来，需要用这个进行过分词处理的文件来进行话题提取的工作，首先需要将文本数据转化为向量，运用 CountVestorizer 或者是 TfidfVectorizer，下面用 TfidfVectorizer，然后使用 LDA 模型进行话题提取：

从结果中可以看出，我们将每个话题中共同出现频率最高的 20 个词语给统计了出来。

网页爬取补充

之前主要是使用别人整理好的数据集来进行机器学习算法模型训练，但是在实际情况中，很难找到非常合适的数据集。针对这个问题题，在这部分使用了 Python 进行数据爬取的方法，以及使用潜在狄利克雷分布对文本数据进行话题提取的方法。这里使用的是简单的爬虫，如果希望进行更加复杂的爬虫，可以使用 Python 的另外一个库，称为 Scrapy，这也是目前最常用的用于开发爬虫的工具之一。
话题提取也是自然语言处理中的一小部分，目前非常流行的研究方向是——使用循环神经网络（RNNs）来进行文本的处理。

小编机器学习学的一般，只是日常做做比记加深一下印象，望读者不吝赐教，谢谢！

你可能感兴趣的:(机器学习,深入浅出python机器学习)

机器学习与深度学习间关系与区别 ℒℴѵℯ心·动ꦿ໊ོ꫞ 人工智能学习深度学习 python
一、机器学习概述定义机器学习（MachineLearning,ML）是一种通过数据驱动的方法，利用统计学和计算算法来训练模型，使计算机能够从数据中学习并自动进行预测或决策。机器学习通过分析大量数据样本，识别其中的模式和规律，从而对新的数据进行判断。其核心在于通过训练过程，让模型不断优化和提升其预测准确性。主要类型1.监督学习（SupervisedLearning）监督学习是指在训练数据集中包含输入
数字里的世界17期：2021年全球10大顶级数据中心，中国移动榜首张三叨
你知道吗？2016年，全球的数据中心共计用电4160亿千瓦时，比整个英国的发电量还多40％！前言每天，我们都会创造超过250万TB的数据。并且随着物联网（IOT）的不断普及，这一数据将持续增长。如此庞大的数据被存储在被称为“数据中心”的专用设施中。虽然最早的数据中心建于20世纪40年代，但直到1997-2000年的互联网泡沫期间才逐渐成为主流。当前人类的技术，比如人工智能和机器学习，已经将我们推向
nosql数据库技术与应用知识点皆过客，揽星河 NoSQL nosql 数据库大数据数据分析数据结构非关系型数据库
Nosql知识回顾大数据处理流程数据采集(flume、爬虫、传感器)数据存储(本门课程NoSQL所处的阶段)Hdfs、MongoDB、HBase等数据清洗(入仓)Hive等数据处理、分析(Spark、Flink等)数据可视化数据挖掘、机器学习应用(Python、SparkMLlib等)大数据时代存储的挑战(三高)高并发(同一时间很多人访问)高扩展(要求随时根据需求扩展存储)高效率(要求读写速度快)
Python开发常用的三方模块如下：换个网名有点难 python 开发语言
Python是一门功能强大的编程语言，拥有丰富的第三方库，这些库为开发者提供了极大的便利。以下是100个常用的Python库，涵盖了多个领域：1、NumPy，用于科学计算的基础库。2、Pandas，提供数据结构和数据分析工具。3、Matplotlib，一个绘图库。4、Scikit-learn，机器学习库。5、SciPy，用于数学、科学和工程的库。6、TensorFlow，由Google开发的开源机
Python实现简单的机器学习算法 master_chenchengg python python 办公效率 python开发 IT
Python实现简单的机器学习算法开篇：初探机器学习的奇妙之旅搭建环境：一切从安装开始必备工具箱第一步：安装Anaconda和JupyterNotebook小贴士：如何配置Python环境变量算法初体验：从零开始的Python机器学习线性回归：让数据说话数据准备：从哪里找数据编码实战：Python实现线性回归模型评估：如何判断模型好坏逻辑回归：从分类开始理论入门：什么是逻辑回归代码实现：使用skl
遥感影像的切片处理 sand&wich 计算机视觉 python 图像处理
在遥感影像分析中，经常需要将大尺寸的影像切分成小片段，以便于进行详细的分析和处理。这种方法特别适用于机器学习和图像处理任务，如对象检测、图像分类等。以下是如何使用Python和OpenCV库来实现这一过程，同时确保每个影像片段保留正确的地理信息。准备环境首先，确保安装了必要的Python库，包括numpy、opencv-python和xml.etree.ElementTree。这些库将用于图像处理
ai绘画工具midjourney怎么下载？附作品管理教程设计师早上好
Midjourney是一款功能强大的AI绘画工具，它使用机器学习技术和深度神经网络等算法，可以生成各种艺术风格的绘画作品。在创意设计、广告宣传等方面有着广泛的应用前景。那么，ai绘画工具midjourney怎么下载？本文将为您介绍Midjourney的下载以及作品的相关管理。一、Midjourney下载Midjourney的下载非常简单，只需打开Midjourney官网（点击“GetMidjour
[实践应用] 深度学习之模型性能评估指标 YuanDaima2048 深度学习工具使用深度学习人工智能损失函数性能评估 pytorch python 机器学习
文章总览：YuanDaiMa2048博客文章总览深度学习之模型性能评估指标分类任务回归任务排序任务聚类任务生成任务其他介绍在机器学习和深度学习领域，评估模型性能是一项至关重要的任务。不同的学习任务需要不同的性能指标来衡量模型的有效性。以下是对一些常见任务及其相应的性能评估指标的详细解释和总结。分类任务分类任务是指模型需要将输入数据分配到预定义的类别或标签中。以下是分类任务中常用的性能指标：准确率(
机器学习-聚类算法不良人龍木木机器学习机器学习算法聚类
机器学习-聚类算法1.AHC2.K-means3.SC4.MCL仅个人笔记，感谢点赞关注！1.AHC2.K-means3.SC传统谱聚类：个人对谱聚类算法的理解以及改进4.MCL目前仅专注于NLP的技术学习和分享感谢大家的关注与支持！
未来软件市场是怎么样的？做开发的生存空间如何？ cesske 软件需求
目录前言一、未来软件市场的发展趋势二、软件开发人员的生存空间前言未来软件市场是怎么样的？做开发的生存空间如何？一、未来软件市场的发展趋势技术趋势：人工智能与机器学习：随着技术的不断成熟，人工智能将在更多领域得到应用，如智能客服、自动驾驶、智能制造等，这将极大地推动软件市场的增长。云计算与大数据：云计算服务将继续普及，大数据技术的应用也将更加广泛。企业将更加依赖云计算和大数据来优化运营、提升效率，并
python中zeros用法_Python中的numpy.zeros()用法江平舟 python中zeros用法
numpy.zeros()函数是最重要的函数之一,广泛用于机器学习程序中。此函数用于生成包含零的数组。numpy.zeros()函数提供给定形状和类型的新数组,并用零填充。句法numpy.zeros(shape,dtype=float,order='C'参数形状：整数或整数元组此参数用于定义数组的尺寸。此参数用于我们要在其中创建数组的形状,例如(3,2)或2。dtype：数据类型(可选)此参数用于
【NumPy】深入解析numpy.zeros()函数二七830 numpy
欢迎莅临我的个人主页这里是我深耕Python编程、机器学习和自然语言处理（NLP）领域，并乐于分享知识与经验的小天地！博主简介：我是二七830，一名对技术充满热情的探索者。多年的Python编程和机器学习实践，使我深入理解了这些技术的核心原理，并能够在实际项目中灵活应用。尤其是在NLP领域，我积累了丰富的经验，能够处理各种复杂的自然语言任务。技术专长：我熟练掌握Python编程语言，并深入研究了机
【中国国际航空-注册_登录安全分析报告】风控牛验证码接口安全评测系列安全行为验证极验网易易盾智能手机
前言由于网站注册入口容易被黑客攻击，存在如下安全问题：1.暴力破解密码，造成用户信息泄露2.短信盗刷的安全问题，影响业务及导致用户投诉3.带来经济损失，尤其是后付费客户，风险巨大，造成亏损无底洞所以大部分网站及App都采取图形验证码或滑动验证码等交互解决方案，但在机器学习能力提高的当下，连百度这样的大厂都遭受攻击导致点名批评，图形验证及交互验证方式的安全性到底如何？请看具体分析一、中国国际航空PC
机器学习流形数据降维：UMAP 降维算法小嗷犬 Python 机器学习 #数据分析及可视化机器学习算法人工智能
✅作者简介：人工智能专业本科在读，喜欢计算机与编程，写博客记录自己的学习历程。个人主页：小嗷犬的个人主页个人网站：小嗷犬的技术小站个人信条：为天地立心，为生民立命，为往圣继绝学，为万世开太平。本文目录UMAP简介理论基础特点与优势应用场景在Python中使用UMAP安装umap-learn库使用UMAP可视化手写数字数据集UMAP简介UMAP（UniformManifoldApproximatio
七.正则化愿风去了
吴恩达机器学习之正则化（Regularization）http://www.cnblogs.com/jianxinzhou/p/4083921.html从数学公式上理解L1和L2https://blog.csdn.net/b876144622/article/details/81276818虽然在线性回归中加入基函数会使模型更加灵活，但是很容易引起数据的过拟合。例如将数据投影到30维的基函数上，模
机器学习-------数据标准化罔闻_spider 数据分析算法机器学习人工智能
什么是归一化，它与标准化的区别是什么？一作用在做训练时，需要先将特征值与标签标准化，可以防止梯度防炸和过拟合；将标签标准化后，网络预测出的数据是符合标准正态分布的—StandarScaler()，与真实值有很大差别。因为StandarScaler()对数据的处理是（真实值-平均值）/标准差。同时在做预测时需要将输出数据逆标准化提升模型精度：标准化/归一化使不同维度的特征在数值上更具比较性，提高分类
分享一个基于python的电子书数据采集与可视化分析 hadoop电子书数据分析与推荐系统 spark大数据毕设项目（源码、调试、LW、开题、PPT) 计算机源码社 Python项目大数据大数据 python hadoop 计算机毕业设计选题计算机毕业设计源码数据分析 spark毕设
作者：计算机源码社个人简介：本人八年开发经验，擅长Java、Python、PHP、.NET、Node.js、Android、微信小程序、爬虫、大数据、机器学习等，大家有这一块的问题可以一起交流！学习资料、程序开发、技术解答、文档报告如需要源码，可以扫取文章下方二维码联系咨询Java项目微信小程序项目Android项目Python项目PHP项目ASP.NET项目Node.js项目选题推荐项目实战|p
两种方法判断Python的位数是32位还是64位 sanqima Python编程电脑 python 开发语言
Python从1991年发布以来，凭借其简洁、清晰、易读的语法、丰富的标准库和第三方工具，在Web开发、自动化测试、人工智能、图形识别、机器学习等领域发展迅猛。 Python是一种胶水语言，通过Cython库与C/C++语言进行链接，通过Jython库与Java语言进行链接。 Python是跨平台的，可运行在多种操作系统上，包括但不限于Windows、Linux和macOS。这意味着用Py
使用最大边际相关性(MMR)选择示例：提高AI模型的多样性和相关性 aehrutktrjk 人工智能 easyui 前端 python
使用最大边际相关性(MMR)选择示例：提高AI模型的多样性和相关性引言在机器学习和自然语言处理领域，选择合适的训练示例对模型性能至关重要。最大边际相关性(MaximalMarginalRelevance,MMR)是一种优秀的示例选择方法，它不仅考虑了示例与输入的相关性，还注重保持所选示例之间的多样性。本文将深入探讨如何使用MMR来选择示例，以提高AI模型的性能和泛化能力。什么是最大边际相关性(MM
LangChain集成指南:如何利用多样化的AI提供商 aehrutktrjk 人工智能 langchain python
LangChain集成指南:如何利用多样化的AI提供商引言在人工智能和机器学习领域,LangChain已成为一个强大而灵活的框架,允许开发者轻松集成各种AI服务提供商。本文将深入探讨LangChain的集成能力,介绍如何利用不同的AI提供商来增强你的应用程序,并提供实用的代码示例。LangChain集成概览LangChain支持多种AI提供商的集成,这些集成可以分为两类:独立包集成:这些提供商有独
机器学习VS深度学习 nfgo 机器学习
机器学习（MachineLearning,ML）和深度学习（DeepLearning,DL）是人工智能（AI）的两个子领域，它们有许多相似之处，但在技术实现和应用范围上也有显著区别。下面从几个方面对两者进行区分：1.概念层面机器学习：是让计算机通过算法从数据中自动学习和改进的技术。它依赖于手动设计的特征和数学模型来进行学习，常用的模型有决策树、支持向量机、线性回归等。深度学习：是机器学习的一个子领
大数据毕业设计hadoop+spark+hive知识图谱租房数据分析可视化大屏租房推荐系统 58同城租房爬虫房源推荐系统房价预测系统计算机毕业设计机器学习深度学习人工智能 2401_84572577 程序员大数据 hadoop 人工智能
做了那么多年开发，自学了很多门编程语言，我很明白学习资源对于学一门新语言的重要性，这些年也收藏了不少的Python干货，对我来说这些东西确实已经用不到了，但对于准备自学Python的人来说，或许它就是一个宝藏，可以给你省去很多的时间和精力。别在网上瞎学了，我最近也做了一些资源的更新，只要你是我的粉丝，这期福利你都可拿走。我先来介绍一下这些东西怎么用，文末抱走。（1）Python所有方向的学习路线（
【机器学习与R语言】1-机器学习简介苹果酱0567 面试题汇总与解析 java 中间件开发语言 spring boot 后端
1.基本概念机器学习：发明算法将数据转化为智能行为数据挖掘VS机器学习：前者侧重寻找有价值的信息，后者侧重执行已知的任务。后者是前者的先期准备过程：数据——>抽象化——>一般化。或者：收集数据——推理数据——归纳数据——发现规律抽象化：训练：用一个特定模型来拟合数据集的过程用方程来拟合观测的数据：观测现象——数据呈现——模型建立。通过不同的格式来把信息概念化一般化：一般化：将抽象化的知识转换成可用
Python前沿技术：机器学习与人工智能 4.0啊 Python 人工智能 python 机器学习
Python前沿技术：机器学习与人工智能一、引言随着科技的飞速发展，机器学习和人工智能（AI）已经成为了计算机科学领域的热门话题。Python作为一门易学易用且功能强大的编程语言，已经成为了这两个领域的首选语言之一。本文将深入探讨Python在机器学习和人工智能领域的应用，以及一些前沿技术和工具。二、Python机器学习基础2.1机器学习概述机器学习是人工智能（AI）的一个关键子集，它的核心在于让
chatgpt赋能python：如何在Python中计算平均值 tulingtest ChatGpt python chatgpt numpy 计算机
如何在Python中计算平均值计算平均值是数据分析、统计和机器学习等许多领域中的常见任务。Python作为一门功能强大且易于学习的编程语言，为计算平均值提供了多种方法。在本文中，我们将介绍如何在Python中计算平均值。什么是平均值简单来说，平均值是一组数字的总和除以数字的数量。例如，对于数字序列1，3，5，7，9，平均值是(1+3+5+7+9)/5=5。平均值在数据分析中非常有用，因为它可以提供
Python 初学者入门必知： Anaconda是什么？有什么作用？怎么使用？懒大王爱吃狼 Python基础 python 开发语言 python基础 python学习 anaconda anaconda安装 python教程
初学者在学习Python时，经常看到的一个名字是Anaconda。究竟什么是Anaconda，为什么它如此受欢迎？在这篇文章中，我们将探讨Anaconda，了解Anaconda的从安装到使用的。Anaconda是一个免费开源的Python和R编程发行版，包含上千个适用于数据科学和机器学习的包。同时，配备了Spyder和Jupyternotebook等工具，初学者可以使用它们来学习Python，使用
每天五分钟玩转深度学习PyTorch：模型参数优化器torch.optim 幻风_huanfeng 深度学习框架pytorch 深度学习 pytorch 人工智能神经网络机器学习优化算法
本文重点在机器学习或者深度学习中，我们需要通过修改参数使得损失函数最小化(或最大化)，优化算法就是一种调整模型参数更新的策略。在pytorch中定义了优化器optim，我们可以使用它调用封装好的优化算法，然后传递给它神经网络模型参数，就可以对模型进行优化。本文是学习第6步(优化器)，参考链接pytorch的学习路线随机梯度下降算法在深度学习和机器学习中，梯度下降算法是最常用的参数更新方法，它的公式
一切皆是映射：AI的去中心化：区块链技术的融合 AI大模型应用之禅计算科学神经计算深度学习神经网络大数据人工智能大型语言模型 AI AGI LLM Java Python 架构设计 Agent RPA
一切皆是映射：AI的去中心化：区块链技术的融合作者：禅与计算机程序设计艺术/ZenandtheArtofComputerProgramming关键词：AI，区块链，去中心化，智能合约，共识机制，数据安全，隐私保护，分布式账本技术，机器学习，数据隐私1.背景介绍1.1问题的由来随着人工智能（AI）技术的快速发展，其在各个领域的应用越来越广泛，从自动驾驶、智能医疗到金融服务，AI正在改变着我们的生活。
第五届核磁机器学习班（训练营：2023.6.5~6.17）茗创科技
茗创科技专注于脑科学数据处理，涵盖（EEG/ERP,fMRI,结构像,DTI,ASL,FNIRS）等，欢迎留言讨论及转发推荐，也欢迎了解茗创科技的脑电课程，数据处理服务及脑科学工作站销售业务，可添加我们的工程师（微信号MCKJ-zhouyi或17373158786）咨询。★课程简介★基于血氧水平依赖的功能磁共振成像(fMRI)技术,利用其数据构建的功能性脑网络后,发现脑并不是一个单纯对外界刺激进行
如何有效的学习AI大模型？ Python程序员罗宾学习人工智能语言模型自然语言处理架构
学习AI大模型是一个系统性的过程，涉及到多个学科的知识。以下是一些建议，帮助你更有效地学习AI大模型：基础知识储备：数学基础：学习线性代数、概率论、统计学和微积分等，这些是理解机器学习算法的数学基础。编程技能：掌握至少一种编程语言，如Python，因为大多数AI模型都是用Python实现的。理论学习：机器学习基础：了解监督学习、非监督学习、强化学习等基本概念。深度学习：学习神经网络的基本结构，如卷
集合框架天子之骄 java 数据结构集合框架
集合框架集合框架可以理解为一个容器，该容器主要指映射(map)、集合(set)、数组(array)和列表(list)等抽象数据结构。从本质上来说，Java集合框架的主要组成是用来操作对象的接口。不同接口描述不同的数据类型。简单介绍： Collection接口是最基本的接口，它定义了List和Set，List又定义了LinkLi
Table Driven（表驱动）方法实例 bijian1013 java enum Table Driven 表驱动
实例一： /** * 驾驶人年龄段 * 保险行业，会对驾驶人的年龄做年龄段的区分判断 * 驾驶人年龄段：01-[18,25);02-[25,30);03-[30-35);04-[35,40);05-[40,45);06-[45,50);07-[50-55);08-[55,+∞) */ public class AgePeriodTest { //if...el
Jquery 总结 cuishikuan java jquery Ajax Web jquery方法
1.$.trim方法用于移除字符串头部和尾部多余的空格。如：$.trim(' Hello ') // Hello2.$.contains方法返回一个布尔值，表示某个DOM元素（第二个参数）是否为另一个DOM元素（第一个参数）的下级元素。如：$.contains(document.documentElement, document.body); 3.$
面向对象概念的提出麦田的设计者 java 面向对象面向过程
面向对象中，一切都是由对象展开的，组织代码，封装数据。在台湾面向对象被翻译为了面向物件编程，这充分说明了，这种编程强调实体。下面就结合编程语言的发展史，聊一聊面向过程和面向对象。 c语言由贝尔实
linux网口绑定被触发 linux
刚在一台IBM Xserver服务器上装了RedHat Linux Enterprise AS 4，为了提高网络的可靠性配置双网卡绑定。一、环境描述我的RedHat Linux Enterprise AS 4安装双口的Intel千兆网卡，通过ifconfig -a命令看到eth0和eth1两张网卡。二、双网卡绑定步骤： 2.1 修改/etc/sysconfig/network
XML基础语法肆无忌惮_ xml
一、什么是XML？ XML全称是Extensible Markup Language，可扩展标记语言。很类似HTML。XML的目的是传输数据而非显示数据。XML的标签没有被预定义，你需要自行定义标签。XML被设计为具有自我描述性。是W3C的推荐标准。二、为什么学习XML？用来解决程序间数据传输的格式问题做配置文件充当小型数据库三、XML与HTM
为网页添加自己喜欢的字体知了ing 字体秒表 css
@font-face { font-family: miaobiao;//定义字体名字 font-style: normal; font-weight: 400; src: url('font/DS-DIGI-e.eot');//字体文件 } 使用： <label style="font-size:18px;font-famil
redis范围查询应用-查找IP所在城市矮蛋蛋 redis
原文地址： http://www.tuicool.com/articles/BrURbqV 需求根据IP找到对应的城市原来的解决方案 oracle表（ip_country）：查询IP对应的城市： 1.把a.b.c.d这样格式的IP转为一个数字，例如为把210.21.224.34转为3524648994 2. select city from ip_
输入两个整数，计算百分比 alleni123 java
public static String getPercent(int x, int total){ double result=(x*1.0)/(total*1.0); System.out.println(result); DecimalFormat df1=new DecimalFormat("0.0000%");
百合——————>怎么学习计算机语言百合不是茶 java 移动开发
对于一个从没有接触过计算机语言的人来说，一上来就学面向对象，就算是心里上面接受的了，灵魂我觉得也应该是跟不上的，学不好是很正常的现象，计算机语言老师讲的再多，你在课堂上面跟着老师听的再多，我觉得你应该还是学不会的，最主要的原因是你根本没有想过该怎么来学习计算机编程语言，记得大一的时候金山网络公司在湖大招聘我们学校一个才来大学几天的被金山网络录取，一个刚到大学的就能够去和
linux下tomcat开机自启动 bijian1013 tomcat
方法一：修改Tomcat/bin/startup.sh 为: export JAVA_HOME=/home/java1.6.0_27 export CLASSPATH=$CLASSPATH:$JAVA_HOME/lib/tools.jar:$JAVA_HOME/lib/dt.jar:. export PATH=$JAVA_HOME/bin:$PATH export CATALINA_H
spring aop实例 bijian1013 java spring AOP
1.AdviceMethods.java package com.bijian.study.spring.aop.schema; public class AdviceMethods { public void preGreeting() { System.out.println("--how are you!--"); } } 2.beans.x
[Gson八]GsonBuilder序列化和反序列化选项enableComplexMapKeySerialization bit1129 serialization
enableComplexMapKeySerialization配置项的含义 Gson在序列化Map时，默认情况下，是调用Key的toString方法得到它的JSON字符串的Key，对于简单类型和字符串类型，这没有问题，但是对于复杂数据对象，如果对象没有覆写toString方法，那么默认的toString方法将得到这个对象的Hash地址。 GsonBuilder用于
【Spark九十一】Spark Streaming整合Kafka一些值得关注的问题 bit1129 Stream
包括Spark Streaming在内的实时计算数据可靠性指的是三种级别： 1. At most once，数据最多只能接受一次，有可能接收不到 2. At least once, 数据至少接受一次，有可能重复接收 3. Exactly once 数据保证被处理并且只被处理一次，具体的多读几遍http://spark.apache.org/docs/lates
shell脚本批量检测端口是否被占用脚本 ronin47
#!/bin/bash cat ports |while read line do#nc -z -w 10 $line nc -z -w 2 $line 58422>/dev/null2>&1if[ $?-eq 0]then echo $line:ok else echo $line:fail fi done 这里的ports 既可以是文件
java-2.设计包含min函数的栈 bylijinnan java
具体思路参见：http://zhedahht.blog.163.com/blog/static/25411174200712895228171/ import java.util.ArrayList; import java.util.List; public class MinStack { //maybe we can use origin array rathe
Netty源码学习-ChannelHandler bylijinnan java netty
一般来说，“有状态”的ChannelHandler不应该是“共享”的，“无状态”的ChannelHandler则可“共享” 例如ObjectEncoder是“共享”的, 但 ObjectDecoder 不是因为每一次调用decode方法时，可能数据未接收完全（incomplete），它与上一次decode时接收到的数据“累计”起来才有可能是完整的数据，是“有状态”的 p
java生成随机数 cngolon java
方法一： /** * 生成随机数 * @author [email protected] * @return */ public synchronized static String getChargeSequenceNum(String pre){ StringBuffer sequenceNum = new StringBuffer(); Date dateTime = new D
POI读写海量数据 ctrain 海量数据
import java.io.FileOutputStream; import java.io.OutputStream; import org.apache.poi.xssf.streaming.SXSSFRow; import org.apache.poi.xssf.streaming.SXSSFSheet; import org.apache.poi.xssf.streaming
mysql 日期格式化date_format详细使用 daizj mysql date_format 日期格式转换日期格式化
日期转换函数的详细使用说明 DATE_FORMAT(date,format) Formats the date value according to the format string. The following specifiers may be used in the format string. The&n
一个程序员分享8年的开发经验 dcj3sjt126com 程序员
在中国有很多人都认为IT行为是吃青春饭的，如果过了30岁就很难有机会再发展下去!其实现实并不是这样子的，在下从事.NET及JAVA方面的开发的也有8年的时间了，在这里在下想凭借自己的亲身经历，与大家一起探讨一下。明确入行的目的很多人干IT这一行都冲着“收入高”这一点的，因为只要学会一点HTML, DIV+CSS，要做一个页面开发人员并不是一件难事，而且做一个页面开发人员更容
android欢迎界面淡入淡出效果 dcj3sjt126com android
很多Android应用一开始都会有一个欢迎界面，淡入淡出效果也是用得非常多的，下面来实现一下。主要代码如下： package com.myaibang.activity; import android.app.Activity;import android.content.Intent;import android.os.Bundle;import android.os.CountDown
linux 复习笔记之常见压缩命令 eksliang tar解压 linux系统常见压缩命令 linux压缩命令 tar压缩
转载请出自出处:http://eksliang.iteye.com/blog/2109693 linux中常见压缩文件的拓展名 *.gz gzip程序压缩的文件 *.bz2 bzip程序压缩的文件 *.tar tar程序打包的数据，没有经过压缩 *.tar.gz tar程序打包后，并经过gzip程序压缩 *.tar.bz2 tar程序打包后，并经过bzip程序压缩 *.zi
Android 应用程序发送shell命令 gqdy365 android
项目中需要直接在APP中通过发送shell指令来控制lcd灯，其实按理说应该是方案公司在调好lcd灯驱动之后直接通过service送接口上来给APP，APP调用就可以控制了，这是正规流程，但我们项目的方案商用的mtk方案，方案公司又没人会改，只调好了驱动，让应用程序自己实现灯的控制，这不蛋疼嘛！！！！发就发吧！一、关于shell指令：我们知道，shell指令是Linux里面带的
java 无损读取文本文件 hw1287789687 读取文件无损读取读取文本文件 charset
java 如何无损读取文本文件呢？以下是有损的 @Deprecated public static String getFullContent(File file, String charset) { BufferedReader reader = null; if (!file.exists()) { System.out.println("getFull
Firebase 相关文章索引 justjavac firebase
Awesome Firebase 最近谷歌收购Firebase的新闻又将Firebase拉入了人们的视野，于是我做了这个 github 项目。 Firebase 是一个数据同步的云服务，不同于 Dropbox 的「文件」，Firebase 同步的是「数据」，服务对象是网站开发者，帮助他们开发具有「实时」（Real-Time）特性的应用。开发者只需引用一个 API 库文件就可以使用标准 RE
C++学习重点 lx.asymmetric C++笔记
1.c++面向对象的三个特性：封装性，继承性以及多态性。 2.标识符的命名规则：由字母和下划线开头，同时由字母、数字或下划线组成；不能与系统关键字重名。 3.c++语言常量包括整型常量、浮点型常量、布尔常量、字符型常量和字符串性常量。 4.运算符按其功能开以分为六类：算术运算符、位运算符、关系运算符、逻辑运算符、赋值运算符和条件运算符。 &n
java bean和xml相互转换 q821424508 java bean xml xml和bean转换 java bean和xml转换
这几天在做微信公众号做的过程中想找个java bean转xml的工具，找了几个用着不知道是配置不好还是怎么回事，都会有一些问题，然后脑子一热谢了一个javabean和xml的转换的工具里，自己用着还行，虽然有一些约束吧，还是贴出来记录一下顺便你提一下下，这个转换工具支持属性为集合、数组和非基本属性的对象。 packag
C 语言初级位运算 1140566087 位运算 c
第十章位运算 1、位运算对象只能是整形或字符型数据，在VC6.0中int型数据占4个字节 2、位运算符：运算符作用 ~ 按位求反 << 左移 >> 右移 & 按位与 ^ 按位异或 | 按位或他们的优先级从高到低； 3、位运算符的运算功能： a、按位取反： ~01001101 = 101
14点睛Spring4.1-脚本编程 wiselyman spring4
14.1 Scripting脚本编程脚本语言和java这类静态的语言的主要区别是:脚本语言无需编译,源码直接可运行; 如果我们经常需要修改的某些代码,每一次我们至少要进行编译,打包,重新部署的操作,步骤相当麻烦; 如果我们的应用不允许重启,这在现实的情况中也是很常见的; 在spring中使用脚本编程给上述的应用场景提供了解决方案,即动态加载bean; spring支持脚本

按字母分类： A B C D E F G H I J K L M N O P Q R S T U V W X Y Z 其他