hwwaizs
hwwaizs

python数据分析及可视化（十九）Power BI中M函数的使用、数据建模、度量值、DAX

M函数

python数据分析及可视化（十九）Power BI中M函数的使用、数据建模、度量值、DAX_第1张图片
用鼠标操作的步骤背后的逻辑都是M函数，在编辑器里都会有体现出来，选中左侧的表名称，点击右键，选择高级编辑器，就会进入到高级编辑器界面，里面会显示每一步的操作步骤。

M函数基本规范

  1. M函数对大小写敏感，每一个字母必须按函数规范书写，第一个字母都是大写
  2. 表被称为Table，每行的内容是一个Record，每列的内容是一个List
  3. 行标用大括号{ }，比如取第一行的内容：=表{0} //PQ的第一行从0开始
  4. 列标用中括号[ ]，比如取自定义列的内容：=表[自定义]
  5. 取第一行自定义列的内容：=表{0}[自定义]，使用的时候必须遵循规范。DataFrame对象的取值是先列后行。

常用的M函数：

点击主页–新建查询–新建源，点击空查询进入到查询语句界面，输入查询语句 =#shared ，回车后就会显示常见的M函数，单击某个函数，就会弹出示例，输入参数进行简单的调用。
python数据分析及可视化（十九）Power BI中M函数的使用、数据建模、度量值、DAX_第2张图片
● 聚合函数
○ 求和：List.Sum()
○ 求最小值：List.Min()
○ 求最大值：List.Max()
○ 求平均值：List.Average()
● 文本函数
○ 取文本长度：Text.Length()
○ 取文本空格：Text.Trim()
○ 取前n个字符：Text.Start(文本,n)
○ 取后n个字符：Text.End(文本,n)
● 提取数据函数
○ 从Excel表中提取数据：Excel.Workbook()
○ 从Csv/Txt中提取数据：Csv.Document()
● 条件函数
○ if else then

数据建模

数据建模使用的语言为DAX函数。PowerBI 的数据建模是利用Excel的Power pivot插件，已经内嵌到PowerBI 的桌面版中，两者的功能基本相同，透视表只能从单个表中取出数据。若要把其他表中的数据也放进来就要用到VLOOKUP函数，把其他的表合并进来，再把字段放到透视表中，这些在Excel中都可以实现。如果设计的数据量比较大，数据维度很多的话，Excel就不能满足需求，而PowerBI可以从多个表格、多种来源的数据中根据不同的数据维度，不同的逻辑来整合、聚合数据。

数据建模基础

加载数据建模示例文件，产品明细表中显示的电子产品的专卖店销售的产品为手机、电脑、平板，每一类又来自三种不同的品牌。不同的产品不同的类别，共有9个产品。销售明细表记录的是产品每一天的销售数据，类别表中的产品类别、品牌表中的品牌名称分别跟产品明细表中的类别和品牌是相互对应的，产品明细表中的产品编号和销售明细表中的商品编号进行对应。

  • 产品明细表
    python数据分析及可视化（十九）Power BI中M函数的使用、数据建模、度量值、DAX_第3张图片
  • 类别表
    在这里插入图片描述
  • 品牌表
    在这里插入图片描述
  • 销售明细表
    python数据分析及可视化（十九）Power BI中M函数的使用、数据建模、度量值、DAX_第4张图片
    可以在左侧的模型中建立关系，如果两个表的字段名称，字段内容都一样的话，会自动创建关系，如产品明细表和销售明细表的产品名称会自动创建关系，用线进行了连接。双击关系连接线，会弹出编辑关系的对话框，建立数据模型。
    python数据分析及可视化（十九）Power BI中M函数的使用、数据建模、度量值、DAX_第5张图片
    依次将类别表中的产品类别和产品明细表中的类别、品牌表中的品牌名称和产品明细表中的品牌依次建立联系。
    python数据分析及可视化（十九）Power BI中M函数的使用、数据建模、度量值、DAX_第6张图片
    基数：两个连接字段的对应关系，其实为两个表的字段建立关联。
    学生表 (学生id 学生姓名）
    课程表 （课程id 课程名）
    成绩表 （学生id 课程id 分数）
    班级表 (班级id 学生id)
    ● 多对一
    一个班级包含了很多学生
    ● 一对多
    很多学生都在一个班级
    ● 多对多
    一门课对应多个学生选择 一个学生也可以有多个课程可以选，学生表和课程表之间的关系。
    ● 一对一
    一门课程应该对应一个分数，成绩表和课程表之间的关系。

交叉筛选方向：表示数据筛选方向
● 单向：一个表只能对另一个表筛选，而不能反向
● 双向：两个表可以互相筛选

度量值

度量值用于一些最常见的数据分析。 简单汇总（如总和、平均值、最小值、最大值和计数）可以通过“字段”选项进行设置。 度量值的计算结果也始终随着你与的报表的交互而改变，以便进行快速和动态的临时数据浏览。度量值不是一列，与增加列很相似，是放在虚拟内存中的值，值会随着筛选的数据进行更改 。
根据建立的数据模型来做数据分析，统计各个品牌的销售额。销售额无法通过单一的一张表得到，在销售明细表中点右键，选择增加度量值，名称为销售金额，内容为 =SUM(‘销售明细’[销售额])，在右侧的字段里，会出现销售金额的字段名，图表跟正常的字段名不一样。
python数据分析及可视化（十九）Power BI中M函数的使用、数据建模、度量值、DAX_第7张图片
这时销售金额在表中看不到数据，可以切换到报表界面，可视化生成视觉对象中选择卡片图，把字段中的销售金额添加到可视化对象中的字段中，显示销售金额的值。
python数据分析及可视化（十九）Power BI中M函数的使用、数据建模、度量值、DAX_第8张图片
销售金额为销售列累计求和的值，不算是单独的一列，对原数据没有影响，只是一个度量值，是虚拟汇总的结果，一直在内存当中可以快速和动态的进行修改的临时数据，如果不保存的话，软件关闭，度量值就会消失。有时候要求人均的消费金额，平均金额等，但是又不想去新增加一列数据，就可以以新建度量值的方式进行简单的数据汇总，便于我们在画布中看到汇总的数据信息。
在报表界面新增切片器，把品牌表中的品牌名称放到切片器的字段里，不进行选择的时候，显示为总的销售金额，选中某一个框就显示某一个品牌的销售金额。
python数据分析及可视化（十九）Power BI中M函数的使用、数据建模、度量值、DAX_第9张图片
度量值会跟随报表的交互而改变得到的结果。
度量值是通过大量的公式来建立的虚拟字段的数据值，不会影响到原数据，也不会改变数据建模。把它放到报表上进行交互的时候就会体现它巨大的功能，也可以跟随切片器进行变化，度量值可以根据DAX函数来创建的，也被称为移动的公式。
销售总金额，日期数据里有层级结构的，可以在日期数据中选择年，月份的数据，这里的月份指的是每一年1月份的销售总额，可以新建一个切片器进行筛选。
python数据分析及可视化（十九）Power BI中M函数的使用、数据建模、度量值、DAX_第10张图片
也可以选择日期层次结构进行依次展开，分别显示获取的数据。
python数据分析及可视化（十九）Power BI中M函数的使用、数据建模、度量值、DAX_第11张图片
python数据分析及可视化（十九）Power BI中M函数的使用、数据建模、度量值、DAX_第12张图片
增加门店城市和日期表，建立关系如下图所示：
python数据分析及可视化（十九）Power BI中M函数的使用、数据建模、度量值、DAX_第13张图片
新建度量值是在表中建立的，后期建立的度量值比较多的话，需要一个表一个表的展开，不容易查找，可以新建一张表，所有的度量值都放到这张表里，便于管理。
在主页选项卡下，计算选项组中，新建表选项，新建一张表，表名为度量值，在度量值表处点右键，新建度量值，输入 销售总额 = SUM(‘销售明细’[销售额]) ，输入回车；依次创建本年和上一年的销售额,本年累计销售额 = TOTALYTD([销售总额],‘日期表’[日期])；上年累计销售额 = TOTALYTD([销售总额],SAMEPERIODLASTYEAR(‘日期表’[日期]))。TOTALYTD指的是从年初到本月的金额，实现的是累加，SAMEPERIODLASTYEAR返回的是上一年同期的日期表，
新建度量值 累计同比增长率 = DIVIDE([本年累计销售额],[上年累计销售额])-1
把上述新建的度量值放到矩阵里，就可以得到累计的销售同比增长率，增加年度、门店城市、品牌名称切片器可以更加精准的分析。
python数据分析及可视化（十九）Power BI中M函数的使用、数据建模、度量值、DAX_第14张图片
通过创建的4个度量值来实现了多种维度数据的比较，利用上下文的内容进行筛选，上下文指的是度量值所处的环境。北京2017年截止5月的苹果手机累计销售额，上下文数据指的是北京市、苹果品牌、手机、年度为2017、月份为5月份这五个维度。上下文环境不同，所展示的数据也不一样。度量值不会浪费内存，只有被拖拽到图表上才会执行运算，度量值可以循环使用。

DAX

DAX指的是数据分析表达式，从数据分析的层次上认识公式。数据分析从茫茫的数据中提取有用的信息，执行一定的运算并得出结论的过程。DAX的主要功能也是查询和运算，负责筛选出来有用的数据集合，再利用聚合函数执行的计算。度量值的计算依赖于上下文，上下文又分为外部上下文（可以看的见的筛选条件，标签、切片器等）和内部上下文（创建度量值的公式），查询、筛选函数可以扩大、限制、重置等。度量值是PowerBI建模的灵魂，DAX是度量值使用的灵魂。数据建模重要的是度量值，度量值重要的是DAX公式。它的使用范围可以在Power BI 的数据建模，除了创建度量值，也可以新建列。
在日期表中增加列，选择表工具选项卡下计算选项组中的 新建列，输入 月份 = FORMAT(‘日期表’[日期],“MM”)，这里引用的表用单引号，引用的列用方括号，引用字符串用双引号，两个M表示两位数。
python数据分析及可视化（十九）Power BI中M函数的使用、数据建模、度量值、DAX_第15张图片
但是不建议在此处增加列，可以在转换数据，Power Query界面增加列。

DAX 参数的基本格式

● 表名用单引号’ '，如 ‘日期表’
● 字段用中括号[ ]，如[日期]
● 度量值也是用中括号[ ]
● 引用字段始终要包含表名，用以和度量值（前没有表名称）区分开

聚合函数

这几个函数的使用跟Excel中一样。
● SUM
● AVERAGE
● MIN
● MAX
这几个函数可以循环访问表的每一行，并执行计算，迭代函数
● SUMX
● AVERAGEX
● MINX
● MAXX
● RANGX
其他聚合函数
● COUNT： 计数
● COUNTROWS: 计算行数
● DISTINCTCOUNT: 计算不重复值的个数

时间函数
● PREVIOUSYEAR/Q/M/D:上一年/季/月/日
● NEXTYEAR/Q/M/D:下一年/季/月/日
● TOTALYTD/QTD/MTD:年/季/月初至今
● SAMEPERIODLASTYEAR:上年同期
● PARALLELPERIOD:上一期
● DATESINPERIOD:指定期间的日期

筛选函数
● FILTER:筛选
● ALL:所有值，可以清除筛选
● ALLEXCEPT:保留指定列
● VALUES:返回不重复值

常用的DAX函数

CALCULATE函数

语法：
CALCULATE(,,…)
■ 第一个参数是计算表达式，可以执行各种聚合运算
■ 从第二个参数开始，是一系列筛选条件，可以为空；如果多个筛选条件，用逗号分隔
■ 所有晒选条件的交集形成最终的筛选数据集合
■ 根据筛选出的数据集合执行第一个参数的聚合运算并返回运算结果
求每一种产品的数量。
新建度量值，产品数量 = COUNTROWS(‘产品明细’) 。
python数据分析及可视化（十九）Power BI中M函数的使用、数据建模、度量值、DAX_第16张图片
使用CALCULATE函数创建度量值，产品数量1 = CALCULATE([产品数量])。在这里 [产品数量] 等效于 COUNTROWS(‘产品明细’)
python数据分析及可视化（十九）Power BI中M函数的使用、数据建模、度量值、DAX_第17张图片
求苹果的品牌有几种。
新建度量值， 产品数量2 = CALCULATE([产品数量],‘产品明细’[品牌]=“苹果”)，只筛选品牌为苹果的产品，限制了外部的上下文，只计算筛选内容数据的计算。
python数据分析及可视化（十九）Power BI中M函数的使用、数据建模、度量值、DAX_第18张图片
新建度量值，产品数量3 = CALCULATE([产品数量],ALL(‘产品明细’))，筛选条件选择的是ALL函数，清除产品明细表中所有的筛选，显示的9为所有产品的数量，增加切片器，不会影响统计结果的变化。
python数据分析及可视化（十九）Power BI中M函数的使用、数据建模、度量值、DAX_第19张图片
计算每种数量占总产品数量的比重。
新建度量值，产品占比 = [产品数量]/[产品数量3]，产品数量3 不会受外部数量的影响，好比除的是固定的值 一样。
python数据分析及可视化（十九）Power BI中M函数的使用、数据建模、度量值、DAX_第20张图片
新建度量值，产品数量4 = CALCULATE([产品数量],ALL(‘产品明细’[产品名称]),‘产品明细’[类别]=“手机”)。先用ALL清除了外部的上下文筛选的影响因素，增加筛选条件查询类别为手机的产品数量，从所有产品中统计了类别为手机的产品的数量，每行的结果返回都是3。
python数据分析及可视化（十九）Power BI中M函数的使用、数据建模、度量值、DAX_第21张图片

FILTER函数

主要是用于筛选，语法
FILTER(

,)
■ 第一个参数
是要筛选的表
■ 第二个参数是筛选条件
■ 返回的是一张表，不能单独使用，需要与其他函数结合使用
比较简单的筛选就没必要用FILTER函数。
新建度量值，产品数量5 = CALCULATE([产品数量],FILTER(ALL(‘产品明细’[品牌]),‘产品明细’[品牌]=“苹果”))，筛选的结果和产品数量2一样。
python数据分析及可视化（十九）Power BI中M函数的使用、数据建模、度量值、DAX_第22张图片
找出销售额超过2000万的城市的销售金额。新建度量值，销售金额大于2000万的城市的销售额 = CALCULATE([销售总额],FILTER(ALL(‘门店城市’),[销售总额]>20000000))。
python数据分析及可视化（十九）Power BI中M函数的使用、数据建模、度量值、DAX_第23张图片

HASONEVALUE

HASONEVALUE()，返回值为True或者False

  • 参数只有一个，为列名；
  • 作用：判断外部上下文中是否为该列中的唯一值，做切片器交互时十分有用。
    不显示明细项的值。新建度量值，方法1 = IF(HASONEVALUE(‘产品明细’[产品名称]),BLANK(),[销售金额大于2000万的城市的销售额])，实现的效果不显示当前的细分项，只显示最后的总结果值。
    python数据分析及可视化（十九）Power BI中M函数的使用、数据建模、度量值、DAX_第24张图片
    不显示总计值，只显示明细项的内容。方法2 = IF(HASONEVALUE(‘产品明细’[产品名称]),[销售金额大于2000万的城市的销售额],BLANK())，实现的效果是只显示当前的明细项，不显示总计的结果。
    python数据分析及可视化（十九）Power BI中M函数的使用、数据建模、度量值、DAX_第25张图片

SUMX 函数

SUMX(

,)，总计项为各明细项之和。该函数为迭代函数，可以对表进行逐行的运算。

  • 第一个参数为被运算的表 table
  • 第二个参数是对表中的每一行计算的表达式
    新建度量值，方法3 = SUMX(‘产品明细’,[销售金额大于2000万的城市的销售额])，实现的功能是总计项为各个明细项目的和。
    python数据分析及可视化（十九）Power BI中M函数的使用、数据建模、度量值、DAX_第26张图片
    SUMX函数可以代替CALCULATE函数，来实现方法3的效果。新建度量值，SUMX方法 = SUMX(‘产品明细’,SUMX(FILTER(ALL(‘销售明细’[门店城市]),[销售总额]>20000000),[销售总额]))，实现的效果和方法3类似，没有用到之前“”“大于2000万的城市的销售额”的度量值，但是对内存的消耗比较大。在实际分析中遇到相似的情况可以根据具体的逻辑关系和展现出来的需求来选择不同的方式来进行处理。
    python数据分析及可视化（十九）Power BI中M函数的使用、数据建模、度量值、DAX_第27张图片

EARLIER函数

之前使用Power BI 进行数据分析的时候都是对整列字段进行的操作，并没有做更细分的分析，如果要分析数据的每一行，提取每一行的数据，在Excel中是比较容易实现的，Excel是对单元格的操作，也可以借助EARLIER函数来实现。
EARLIER(,)

  • 第一个参数是列名称
  • 第二个参数一般可以省略
  • EARLIER函数提取本行对应的该列的值，实际上就是提取本行和参数列交叉的单元格
    该函数是指定上下文重要的工具。
    导入订单表，点击主页，查询选项组中转换数据，进入Power Query界面，选择添加列选项卡下常规选项组中的索引列，选择从1开始的，更改名称为序号。选择主页，关闭并应用。
    求两个订单的时间间隔，从下一个订单的日期减去当前订单的日期，为了计算方便，新建列提取出来下一个订单日期，下一个订单日期 = SUMX(FILTER(‘订单表’,‘订单表’[序号]=EARLIER(‘订单表’[序号])+1),‘订单表’[订单日期])，查询的是订单表，查询的内容是订单表的序号，用EARLIER函数获取当前行的序号。再新建一列，把这两列用于相减得到的相隔天数，间隔 = IF([下一个订单日期]=BLANK(),BLANK(),[下一个订单日期]-[订单日期])，然后把间隔列的数据类型改为整数，就得到了两个订单之间的间隔日期。最后一行有空值，没有下一个日期，为了避免出现不合理的数值，用IF 进行了判断。
    python数据分析及可视化（十九）Power BI中M函数的使用、数据建模、度量值、DAX_第28张图片
    求每个订单日期的累计销售金额。第二天的累计金额为第二天加上第一天的金额。新建列，累计销售额 = SUMX(FILTER(‘订单表’,‘订单表’[序号]<= EARLIER(‘订单表’[序号])),‘订单表’[销售额])，用EARLIER函数求当前行的序号，再把小于等于当前行的所有行进行累加。
    python数据分析及可视化（十九）Power BI中M函数的使用、数据建模、度量值、DAX_第29张图片
    求截止目前订单每种产品的销量。新建列，产品累计销量 = SUMX(FILTER(‘订单表’,‘订单表’[序号]<= EARLIER(‘订单表’[序号]) && ‘订单表’[产品名称]=EARLIER(‘订单表’[产品名称])),‘订单表’[销售数量])，不仅可以用EARLIER函数筛选小于当前行的序号，还可以利用它求得当前行的产品名称，同时符合两个条件的销量进行累加，得到最终的结果。先获取本行的记录，然后再做各种聚合运算，本行的记录可以称为行的上下文，EARLIER正是获取上下文的函数之一。

你可能感兴趣的:(python数据分析,数据分析,python,数据挖掘)

  • Python实例：PyMuPDF实现PDF翻译，英文翻译为中文，并按段落创建中文PDF 布啦啦李 pypdf2使用教程pdfpymupdfPyMuPDFPDF翻译中文乱码创建PDF
    基于PyMuPDF与百度翻译的PDF翻译处理系统开发：中文乱码解决方案与自动化排版实践一、功能预览：将英文翻译为中文后创建的PDF二、完整代码fromreportlab.lib.pagesizesimportletterfromreportlab.lib.stylesimportgetSampleStyleSheet,ParagraphStyle
  • Python3的安装 Ladeng_uncle pythonpython后端
    环境信息操作系统：CentOSLinuxrelease7.6.1810Python：3.6.5现状说明当前CentOS系统自带了python2.7.5，因为yum会用到python2，所以不能删除，此次安装了python3之后就保持两个版本长期共存吧。本次安装采用的是下载python源码再编译的方式；操作步骤以root身份登录CentOS，以下操作都在默认的~目录下：1、yum更新：yumupda
  • Centos保持运行Python程序 AIOT魔法师 FlaskCentospythonlinuxcentos
    将工程部署到云端之后，使用ssh连接服务器输入命令启动Python程序后断开ssh后工程也就关了，针对上述情况我们需要对其进行设置，使用特殊指令运行程序，首先进入工程路径使用下面指令运行Python程序。nohuppython-uFlask_Server.py>test.log2>&1&之后断开连接后一直保持着运行。
  • putty运行python代码_当我关闭putty时如何保持python脚本运行 weixin_39943000 putty运行python代码
    我准备在VPS上运行Ubuntu上的python脚本.这是机器学习培训过程,因此需要花费大量时间进行培训.如何在不停止该过程的情况下关闭腻子.解决方法:您有两个主要选择：>使用nohup运行命令.这会将它与您的会话取消关联,并在断开连接后让它继续运行：nohuppythonScript.py请注意,该命令的stdout将附加到名为nohup.out的文件中,除非您重定向它(nohuppythonS
  • 【Linux】Linux系统SSH客户端断开后保持进程继续运行配置方法；Python等脚本在终端后台运行的方法 别出BUG求求了 linuxlinuxssh断开连接后继续运行Python脚本后台运行
    0.概述在Linux系统中，通常我们在执行一些运行时间比较长的任务时，必须等待执行完毕才能断开SSH连接或关闭客户端软件，否则可能会导致执行中断。本文介绍几种保障程序在用户退出登录后持续运行的方法。一、方法1.使用nohup执行nohup可以使后面的命令不会响应挂断（SIGHUP）信号。也就是说，通过远程登录执行nohup命令后，即使退出登录后，程序还是会正常执行。通常情况下，nohup命令最后会
  • ONNX GraphSurgeon详细介绍 Lntano__y 模型部署算法
    ONNXGraphSurgeon(ONNX-GS)是一个用于操作和修改ONNX（OpenNeuralNetworkExchange）模型图的Python库。它允许开发者在ONNX模型的图结构中进行修改、优化、插入节点、删除节点以及其他图结构操作，是在深度学习推理部署过程中非常有用的工具。ONNXGraphSurgeon常用于TensorRT中，用来优化和调整ONNX模型，以便于模型可以高效地在GP
  • ROS2使用RCLPY编写节点 ct1027038527 python开发语言
    1.创建文件夹mkdir-pchapt2/chapt2_ws_py/src/2.进入指定文件夹cdchapt2/chapt2_ws_py/src/3.创建Python功能包ros2pkgcreateexample_py--build-typeament_python--dependenciesrclpy4.编写节点在example_py/example_py下创建node_02.py接着我们开始编
  • python socket网络编程 S_Sorin python安全网络python
    一：基本概念服务器：提供服务的一方，负责监听特定端口，等待客户端的连接请求并提供相应服务。客户端：请求服务的一方，向服务器发起连接请求，与服务器进行数据通信以获取所需服务。套接字（Socket）：网络通信的端点，可理解为网络通信中的一个接口或端口，用于在不同计算机之间发送和接收数据。三次握手TCP三次握手是TCP/IP协议族中，建立TCP连接时使用的一种机制，用于确保通信双方都准备好进行数据传输，
  • Linux CentOS 终端关闭后 Python程序仍然运行设置方法 Think Spatial 空间思维 ITpython开发语言语法
    服务器：CentOS8安装Pythonsudodnfinstallpython3查看Versionpython3--version安装pippipinstall--upgradepip后台运行python程序原本运行命令为pythonmain.py后台运行的命令直接执行nohuppython3main.py将输出放到main.log文件中nohuppython3main.py>main.log查看
  • 学习总结项目 苏小夕夕 学习人工智能深度学习机器学习
    近段时间学习了机器学习、线性回归和softmax回归、多层感知机、卷积神经网络、Pytorch神经网络工具箱、Python数据处理工具箱、图像分类等的知识，学习了利用神经网络实现cifar10的操作、手写图像识别项目以及其对应的实验项目报告总结。项目总结本次项目我使用了VGG19模型、AlexNet模型和已使用的VGG16模型进行对比，在已有的条件下，对代码进行更改是，结果展示中，VGG19模型的
  • ros2 rclpy 详解 --创建 python类型节点 Lntano__y ros2学习pythonpythonros2rclpy
    rclpy是ROS2(RobotOperatingSystem2)中用于Python的客户端库。它提供了与ROS2系统交互的API，使开发者能够使用Python编写ROS2节点、发布和订阅消息、调用服务、定时器等。rclpy是ROS2的核心库之一，为Python开发者提供了与ROS2系统进行通信的能力。rclpy的基本功能创建节点：提供创建和管理ROS2节点的功能。发布/订阅消息：支持创建发布者和
  • 使用Python从酷狗音乐网站下载音乐 0zxm 爬虫实战项目python网络爬虫前端xhtml
    当然可以！以下是你的博客文章的Markdown格式：使用Python从酷狗音乐网站下载音乐!!!本程序仅供学习参考1.程序介绍这个程序使用了Python的requests库，以及一些哈希算法来实现从酷狗音乐网站搜索歌曲并下载的功能。下面是它的主要功能：从酷狗音乐网站搜索歌曲展示搜索结果列表选择并下载指定的歌曲2.代码实现#代码实现部分，包括get_signature、get_list、show_l
  • python数据分析一周速成2.连表查询【含数据库实战项目】 噼里啪啦噼酷啪Q 数据分析数据分析CDApython
    连表查询结合数据库实战（sql和hive跨库取数）数据准备#前面省略数据库连接，提示：可以用pymysql和pyhive模块pre_sql="""selectap,timefrombiaoyiawherea.time>20250101"""sql_df=run_mysql(pre_sql)pre_hive="""selectapplication_number,activation_dtefrom
  • python爬取房源数据_python爬取安居客二手房网站数据（转） weixin_39897758 python爬取房源数据
    之前没课的时候写过安居客的爬虫，但那也是小打小闹，那这次呢，还是小打小闹哈哈，现在开始正式进行爬虫书写首先，需要分析一下要爬取的网站的结构：作为一名河南的学生，那就看看郑州的二手房信息吧！在上面这个页面中，我们可以看到一条条的房源信息，从中我们发现了什么，发现了连郑州的二手房都是这么的贵，作为即将毕业的学生狗惹不起啊惹不起还是正文吧！！！由上可以看到网页一条条的房源信息，点击进去后就会发现：房源的
  • 浙大出DeepSeek手册了 deepseek
    浙江大学这版《DeepSeek行业应用案例集》，153页，干货满满，内容涵盖：农业、机器人、智能驾驶、无人快递等多个方面的实战应用。清华DeepSeek手册北大DeepSeek手册在公众号Python小二后台回复浙大DP免费领取
  • python爬虫项目（十二）：爬取各大音乐平台排行榜并分析音乐类型趋势 人工智能_SYBH 爬虫试读2025年爬虫百篇实战宝典:从入门到精通python爬虫开发语言python爬虫项目python爬虫
    目录1.项目简介2.工具与技术3.爬取音乐平台排行榜数据3.1使用requests和BeautifulSoup爬取网易云音乐排行榜3.2爬取QQ音乐排行榜4.数据处理4.1合并数据5.分析音乐类型趋势5.1使用关键词匹配类型6.数据可视化6.1绘制音乐类型分布图6.2绘制时间趋势图7.总结爬取各大音乐平台排行榜并分析音乐类型趋势是一个有趣且有意义的项目。我们可以通过以下步骤来实现：1.项目简介本项
  • 【基于国产RK3588-NPU的yolov5的AI智能盒子】 贝壳里的沙 人工智能
    基于国产RK3588-NPU的yolov5的AI智能盒子背景识别效果区别Python版本目标识别实现cmake（c/c++）版本实现背景前面写了一篇关于基YOLOV5实现的AI智能盒子的实现方案，这篇文章着重讲了如何在NVIDIA-英伟达芯片上如何实现目标识别的过程(可能已经被官方屏蔽了)。但是因为中美芯片限制问题，很多朋友联系到我，跟我提了是否可以基于国产芯片来迁移yolov5框架平台？国产芯片
  • 【python爬虫】免费爬取网易云音乐完整教程（附带源码） 景天科技苑 爬虫副业实战零基础进阶教学python爬虫开发语言js逆向
    ✨✨欢迎大家来到景天科技苑✨✨养成好习惯，先赞后看哦~所属专栏：爬虫实战，零基础、进阶教学景天的主页：景天科技苑文章目录网易云逆向网易云逆向https://music.163.com/下载云音乐胡广生等，可以选择自己喜欢的歌曲首先，我们可以先根据抓包找到的m4a文件，下载试试在这个请求
  • 【大模型】DeepSeek-R1-Distill-Qwen部署及API调用 油泼辣子多加 大模型实战算法gptlangchain人工智能
    DeepSeek-R1-Distill-Qwen是由中国人工智能公司深度求索（DeepSeek）开发的轻量化大语言模型，基于阿里巴巴的Qwen系列模型通过知识蒸馏技术优化而来。当前模型开源后，我们可以将其部署，使用API方式进行本地调用1.部署环境本文中的部署基础环境如下所示：PyTorch2.5.1Python3.12(ubuntu22.04)Cuda12.4GPURTX3090(24GB)*1
  • Python 课课练 (八)：函数课后练习题 Amo Xiang Python3入门与进阶pythonlambda函数
    目录一、函数课后练习题练习前置知识ChapterOne:开启Python之旅ChapterTwo:Python语言基础、运算符与表达式、程序的控制结构合集ChapterThree:Python序列之字符串操作详解ChapterFour:Python序列之列表、元组操作详解合集超详细的Python基础语句总结(多实例、视频讲解持续更新)一、函数课后练习题(1)关于函数的介绍与特点说法错误的是()？A
  • web组态可视化平台 万维——组态 物联网编辑器数学建模前端低代码
    Web组态可视化软件是一种用于创建、管理和展示工业自动化、物联网（IoT）和智能建筑等领域的图形化界面的工具。它允许用户通过Web浏览器实时监控和控制设备、系统或流程。以下是几款常见的Web组态可视化软件：1.ThingsBoard特点:开源、支持物联网设备管理、数据可视化、报警管理。适用场景:物联网平台、设备监控、数据分析。优势:高度可定制化，支持多种协议（MQTT、CoAP、HTTP等）。2.
  • 告别“装Python踩坑”：专家级避坑指南，新手老手都适用 清水白石008 人工智能学习笔记职业生涯python开发语言
    告别“装Python踩坑”：专家级避坑指南，新手老手都适用Python，这门简洁而强大的编程语言，已成为数据科学、Web开发、自动化运维等领域的首选。然而，对于许多初学者甚至一些有经验的开发者来说，Python的安装过程并非总是顺风顺水，各种“坑”层出不穷，轻则浪费时间，重则影响学习热情。我深知安装过程中的痛点。因此，本文将结合多年的实战经验，为您奉上一份专家级Python安装避坑指南，旨在帮助您
  • 智能遥感新质生产力：ChatGPT、Python和OpenCV强强联合；空天地遥感数据分析的全流程；地面数据、无人机数据、卫星数据、多源数据等处理 小艳加油 DeepSeekChatGPT遥感遥感新质生产力ChatGPTOpenCV遥感数据处理
    通过系统化的模块设计和丰富的实战案例，深入理解和掌握遥感数据的处理与计算。不仅涵盖了从零基础入门Python编程、OpenCV视觉处理的基础知识，还将借助ChatGPT智能支持，引导您掌握遥感影像识别和分析的进阶技术。更为重要的是，通过15个经过精心设计的真实案例，深度参与地质监测、城市规划、农业分析、生态评估等不同场景下的遥感应用实践。层层递进、结构严谨，帮助您系统性掌握从数据预处理、图像增强、
  • 利用大型语言模型进行市场分析与预测 AI天才研究院 DeepSeekR1&大数据AI人工智能大模型AI大模型企业级应用开发实战AI实战计算科学神经计算深度学习神经网络大数据人工智能大型语言模型AIAGILLMJavaPython架构设计AgentRPA
    1.背景介绍随着信息技术的飞速发展，企业积累了海量的文本数据，例如社交媒体帖子、产品评论、新闻报道等。这些数据蕴藏着丰富的市场信息，可以帮助企业更好地了解消费者需求、预测市场趋势、优化营销策略。然而，传统的数据分析方法往往难以有效地处理和分析这些非结构化文本数据。近年来，随着自然语言处理（NLP）技术的进步，大型语言模型（LLMs）在文本分析领域展现出强大的能力，为市场分析与预测带来了新的机遇。L
  • 【2020蓝桥杯省赛“蛇形填数“python实现】纯暴力规律求解 自由之翼explore 蓝桥杯python职场和发展算法
    原题如下在网上找的python解答都让我云里雾里的，无奈自己太笨，于是乎开始寻找这个问题的简单规律，最后倒确实找到了：（我先用MatLab生成了一个蛇形矩阵，这段代码是在CSDN上找的）%Zigzagscanningn=8;a=zeros(n);%初始化a(1,1)=1;i=1;%行j=1;%列f=0;%标志位1表示行增加列减小k=2;%循环赋值从左上角开始循环while(kn^2)break;e
  • 基于DeepSeek的智能数据分析和自动化处理系统：引领BI行业新变革 招风的黑耳 数据分析
    近期，一款基于DeepSeekAPI的智能数据分析和自动化处理系统横空出世，以其强大的功能和灵活的可扩展性，为BI行业带来了颠覆性的变革。该系统支持多类型数据分析，包括文本、指标和日志等。在文本分析方面，它能够提取关键信息，如人名、地名、时间等，帮助用户快速把握文本要点。同时，系统还能进行情感分析和紧急程度评估，为用户提供更加深入的文本洞察。在指标分析上，系统擅长统计分析、异常检测和趋势预测，助力
  • Linux虚拟化技术：Docker与KVM的原理与应用 鸽芷咕 linuxdocker运维
    鸽芷咕：个人主页个人专栏:《C++干货基地》《粉丝福利》⛺️生活的理想，就是为了理想的生活!博主简介博主致力于嵌入式、Python、人工智能、C/C++领域和各种前沿技术的优质博客分享，用最优质的内容带来最舒适的阅读体验！在博客领域获得C/C++领域优质、CSDN年度征文第一、掘金2023年人气作者、华为云享专家、支付宝开放社区优质博主等头衔。个人社区&个人社群加入点击即可介绍加入链接个人社群社群
  • 快来收藏，欢迎打卡，编程自学成长指南 猫咪薄荷 算法数据结构线性回归链表排序算法动态规划leetcode
    自学编程是一段充满挑战和成就感的旅程。为了帮助初学者顺利起步，以下是一个全面的编程自学成长指南，涵盖从语言选择到实践项目的各个方面，助您在编程之路上稳步前行。1.确定学习目标首先，明确您学习编程的目的。这有助于选择合适的编程语言和学习路径。•Web开发：如果您对构建网站感兴趣，建议学习HTML、CSS和JavaScript等语言。•数据分析：对于数据处理和分析，Python是一个强大的工具。•移动
  • Python函数与模块 第④颗VC小铁树 python数据库开发语言笔记其他经验分享百度
    包含编程资料、学习路线图、源代码、软件安装包等！【[点击这里]】！一、函数函数是一段可以重复使用的代码，通过传递的参数返回不同的结果，前面章节已经使用了Python定义的函数如range()、len()、input()，本章讲解用户自定义的函数。对于重复使用的代码，可以编写为自定义函数以便于重复使用代码，同时提高开发人员的开发效率。函数可以分为无参函数和带参函数。1.1无参函数Python的自定义
  • 计算机学习的五大避坑指南新手必藏 编程诗人华仔 架构设计学习java软件工程golang开发语言c语言python
    避坑一：盲目跟风学习编程语言技术性深化：在选择编程语言时，要考虑语言的特点、适用场景以及未来发展趋势。例如，Java适合企业级应用开发，Python在数据分析和人工智能领域有广泛应用，而JavaScript则是前端开发的基础。明确自己的职业发展方向，选择与之匹配的语言进行深入学习。避坑二：忽视基础知识的掌握技术性深化：深入理解算法如排序、搜索等，熟悉常见的数据结构如链表、栈、队列、树等，并掌握设计
  • TOMCAT在POST方法提交参数丢失问题 357029540 javatomcatjsp
    摘自http://my.oschina.net/luckyi/blog/213209 昨天在解决一个BUG时发现一个奇怪的问题，一个AJAX提交数据在之前都是木有问题的，突然提交出错影响其他处理流程。 检查时发现页面处理数据较多，起初以为是提交顺序不正确修改后发现不是由此问题引起。于是删除掉一部分数据进行提交，较少数据能够提交成功。 恢复较多数据后跟踪提交FORM DATA ，发现数
  • 在MyEclipse中增加JSP模板 删除-2008-08-18 ljy325 jspxmlMyEclipse
    在D:\Program Files\MyEclipse 6.0\myeclipse\eclipse\plugins\com.genuitec.eclipse.wizards_6.0.1.zmyeclipse601200710\templates\jsp  目录下找到Jsp.vtl，复制一份，重命名为jsp2.vtl,然后把里面的内容修改为自己想要的格式，保存。 然后在 D:\Progr
  • JavaScript常用验证脚本总结 eksliang JavaScriptjavaScript表单验证
         转载请出自出处：http://eksliang.iteye.com/blog/2098985        下面这些验证脚本，是我在这几年开发中的总结，今天把他放出来，也算是一种分享吧，现在在我的项目中也在用！包括日期验证、比较，非空验证、身份证验证、数值验证、Email验证、电话验证等等...! &nb
  • 微软BI（4） 18289753290 微软BI SSIS
    1） Q:查看ssis里面某个控件输出的结果：  A MessageBox.Show(Dts.Variables["v_lastTimestamp"].Value.ToString()); 这是我们在包里面定义的变量 2):在关联目的端表的时候如果是一对多的关系，一定要选择唯一的那个键作为关联字段。 3) Q：ssis里面如果将多个数据源的数据插入目的端一
  • 定时对大数据量的表进行分表对数据备份 酷的飞上天空 大数据量
    工作中遇到数据库中一个表的数据量比较大，属于日志表。正常情况下是不会有查询操作的，但如果不进行分表数据太多，执行一条简单sql语句要等好几分钟。。   分表工具：linux的shell + mysql自身提供的管理命令 原理：使用一个和原表数据结构一样的表，替换原表。   linux shell内容如下： =======================开始 
  • 本质的描述与因材施教 永夜-极光 感想随笔
             不管碰到什么事,我都下意识的想去探索本质,找寻一个最形象的描述方式。        我坚信,世界上对一件事物的描述和解释,肯定有一种最形象,最贴近本质,最容易让人理解        &
  • 很迷茫。。。 随便小屋 随笔
    小弟我今年研一，也是从事的咱们现在最流行的专业（计算机）。本科三流学校，为了能有个更好的跳板，进入了考研大军，非常有幸能进入研究生的行业（具体学校就不说了，怕把学校的名誉给损了）。   先说一下自身的条件，本科专业软件工程。主要学习就是软件开发，几乎和计算机没有什么区别。因为学校本身三流，也就是让老师带着学生学点东西，然后让学生毕业就行了。对专业性的东西了解的非常浅。就那学的语言来说
  • 23种设计模式的意图和适用范围 aijuans 设计模式
    Factory Method 意图 定义一个用于创建对象的接口，让子类决定实例化哪一个类。Factory Method 使一个类的实例化延迟到其子类。 　　适用性 当一个类不知道它所必须创建的对象的类的时候。 　　当一个类希望由它的子类来指定它所创建的对象的时候。 　　当类将创建对象的职责委托给多个帮助子类中的某一个，并且你希望将哪一个帮助子类是代理者这一信息局部化的时候。 Abstr
  • Java中的synchronized和volatile aoyouzi javavolatilesynchronized
    说到Java的线程同步问题肯定要说到两个关键字synchronized和volatile。说到这两个关键字，又要说道JVM的内存模型。JVM里内存分为main memory和working memory。 Main memory是所有线程共享的，working memory则是线程的工作内存，它保存有部分main memory变量的拷贝，对这些变量的更新直接发生在working memo
  • js数组的操作和this关键字 百合不是茶 js数组操作this关键字
    js数组的操作;   一:数组的创建: 1、数组的创建 var array = new Array();　//创建一个数组 var array = new Array([size]);　//创建一个数组并指定长度，注意不是上限，是长度 var arrayObj = new Array([element0[, element1[, ...[, elementN]]]
  • 别人的阿里面试感悟 bijian1013 面试分享工作感悟阿里面试
    原文如下：http://greemranqq.iteye.com/blog/2007170         一直做企业系统，虽然也自己一直学习技术，但是感觉还是有所欠缺，准备花几个月的时间，把互联网的东西，以及一些基础更加的深入透析，结果这次比较意外，有点突然，下面分享一下感受吧！    &nb
  • 淘宝的测试框架Itest Bill_chen springmaven框架单元测试JUnit
    Itest测试框架是TaoBao测试部门开发的一套单元测试框架，以Junit4为核心， 集合DbUnit、Unitils等主流测试框架，应该算是比较好用的了。 近期项目中用了下，有关itest的具体使用如下： 1.在Maven中引入itest框架： <dependency>   <groupId>com.taobao.test</groupId&g
  • 【Java多线程二】多路条件解决生产者消费者问题 bit1129 java多线程
    package com.tom; import java.util.LinkedList; import java.util.Queue; import java.util.concurrent.ThreadLocalRandom; import java.util.concurrent.locks.Condition; import java.util.concurrent.loc
  • 汉字转拼音pinyin4j 白糖_ pinyin4j
    以前在项目中遇到汉字转拼音的情况，于是在网上找到了pinyin4j这个工具包，非常有用，别的不说了，直接下代码：   import java.util.HashSet; import java.util.Set; import net.sourceforge.pinyin4j.PinyinHelper; import net.sourceforge.pinyin
  • org.hibernate.TransactionException: JDBC begin failed解决方案 bozch ssh数据库异常DBCP
    org.hibernate.TransactionException: JDBC begin failed:     at org.hibernate.transaction.JDBCTransaction.begin(JDBCTransaction.java:68)    at org.hibernate.impl.SessionImp
  • java-并查集（Disjoint-set）-将多个集合合并成没有交集的集合 bylijinnan java
    import java.util.ArrayList; import java.util.Arrays; import java.util.HashMap; import java.util.HashSet; import java.util.Iterator; import java.util.List; import java.util.Map; import java.ut
  • Java PrintWriter打印乱码 chenbowen00 java
    一个小程序读写文件，发现PrintWriter输出后文件存在乱码，解决办法主要统一输入输出流编码格式。 读文件： BufferedReader 从字符输入流中读取文本，缓冲各个字符，从而提供字符、数组和行的高效读取。 可以指定缓冲区的大小，或者可使用默认的大小。大多数情况下，默认值就足够大了。 通常，Reader 所作的每个读取请求都会导致对基础字符或字节流进行相应的读取请求。因
  • [天气与气候]极端气候环境 comsci 环境
          如果空间环境出现异变...外星文明并未出现,而只是用某种气象武器对地球的气候系统进行攻击,并挑唆地球国家间的战争,经过一段时间的准备...最大限度的削弱地球文明的整体力量,然后再进行入侵......      那么地球上的国家应该做什么样的防备工作呢?  &n
  • oracle order by与union一起使用的用法 daizj UNIONoracleorder by
    当使用union操作时，排序语句必须放在最后面才正确，如下： 只能在union的最后一个子查询中使用order by，而这个order by是针对整个unioning后的结果集的。So： 如果unoin的几个子查询列名不同，如 Sql代码  select supplier_id, supplier_name  from suppliers  UNI
  • zeus持久层读写分离单元测试 deng520159 单元测试
    本文是zeus读写分离单元测试,距离分库分表,只有一步了.上代码: 1.ZeusMasterSlaveTest.java package com.dengliang.zeus.webdemo.test; import java.util.ArrayList; import java.util.List; import org.junit.Assert; import org.j
  • Yii 截取字符串(UTF-8) 使用组件 dcj3sjt126com yii
    1.将Helper.php放进protected\components文件夹下。 2.调用方法：   Helper::truncate_utf8_string($content,20,false);   //不显示省略号  Helper::truncate_utf8_string($content,20);  //显示省略号  &n
  • 安装memcache及php扩展 dcj3sjt126com PHP
    安装memcache    tar zxvf memcache-2.2.5.tgz     cd memcache-2.2.5/     /usr/local/php/bin/phpize (?)    ./configure --with-php-confi
  • JsonObject 处理日期 feifeilinlin521 javajsonJsonOjbectJsonArrayJSONException
        写这边文章的初衷就是遇到了json在转换日期格式出现了异常 net.sf.json.JSONException: java.lang.reflect.InvocationTargetException  原因是当你用Map接收数据库返回了java.sql.Date 日期的数据进行json转换出的问题话不多说  直接上代码  &n
  • Ehcache（06）——监听器 234390216 监听器listenerehcache
    监听器          Ehcache中监听器有两种，监听CacheManager的CacheManagerEventListener和监听Cache的CacheEventListener。在Ehcache中，Listener是通过对应的监听器工厂来生产和发生作用的。下面我们将来介绍一下这两种类型的监听器。  
  • activiti 自带设计器中chrome 34版本不能打开bug的解决 jackyrong Activiti
      在acitivti modeler中，如果是chrome 34，则不能打开该设计器，其他浏览器可以， 经证实为bug，参考 http://forums.activiti.org/content/activiti-modeler-doesnt-work-chrome-v34 修改为，找到 oryx.debug.js 在最头部增加 if (!Document.
  • 微信收货地址共享接口-终极解决 laotu5i0 微信开发
       最近要接入微信的收货地址共享接口，总是不成功，折腾了好几天，实在没办法网上搜到的帖子也是骂声一片。我把我碰到并解决问题的过程分享出来，希望能给微信的接口文档起到一个辅助作用，让后面进来的开发者能快速的接入，而不需要像我们一样苦逼的浪费好几天，甚至一周的青春。各种羞辱、谩骂的话就不说了，本人还算文明。    如果你能搜到本贴，说明你已经碰到了各种 ed
  • 关于人才 netkiller.github.com 工作面试招聘netkiller人才
    关于人才 每个月我都会接到许多猎头的电话，有些猎头比较专业，但绝大多数在我看来与猎头二字还是有很大差距的。 与猎头接触多了，自然也了解了他们的工作，包括操作手法，总体上国内的猎头行业还处在初级阶段。 总结就是“盲目推荐，以量取胜”。 目前现状 许多从事人力资源工作的人，根本不懂得怎么找人才。处在人才找不到企业，企业找不到人才的尴尬处境。 企业招聘，通常是需要用人的部门提出招聘条件，由人
  • 搭建 CentOS 6 服务器 - 目录 rensanning centos
    (1) 安装CentOS ISO（desktop/minimal）、Cloud（AWS/阿里云）、Virtualization（VMWare、VirtualBox） 详细内容 (2) Linux常用命令 cd、ls、rm、chmod...... 详细内容 (3) 初始环境设置 用户管理、网络设置、安全设置...... 详细内容 (4) 常驻服务Daemon
  • 【求助】mongoDB无法更新主键 toknowme mongodb
      Query query = new Query();          query.addCriteria(new Criteria("_id").is(o.getId()));                &n
  • jquery 页面滚动到底部自动加载插件集合 xp9802 jquery
    很多社交网站都使用无限滚动的翻页技术来提高用户体验，当你页面滑到列表底部时候无需点击就自动加载更多的内容。下面为你推荐 10 个 jQuery 的无限滚动的插件： 1. jQuery ScrollPagination jQuery ScrollPagination plugin 是一个 jQuery 实现的支持无限滚动加载数据的插件。 2. jQuery Screw S