hwwaizs
hwwaizs

python数据分析及可视化（十九）Power BI中M函数的使用、数据建模、度量值、DAX

M函数

python数据分析及可视化（十九）Power BI中M函数的使用、数据建模、度量值、DAX_第1张图片
用鼠标操作的步骤背后的逻辑都是M函数，在编辑器里都会有体现出来，选中左侧的表名称，点击右键，选择高级编辑器，就会进入到高级编辑器界面，里面会显示每一步的操作步骤。

M函数基本规范

  1. M函数对大小写敏感，每一个字母必须按函数规范书写，第一个字母都是大写
  2. 表被称为Table，每行的内容是一个Record，每列的内容是一个List
  3. 行标用大括号{ }，比如取第一行的内容：=表{0} //PQ的第一行从0开始
  4. 列标用中括号[ ]，比如取自定义列的内容：=表[自定义]
  5. 取第一行自定义列的内容：=表{0}[自定义]，使用的时候必须遵循规范。DataFrame对象的取值是先列后行。

常用的M函数：

点击主页–新建查询–新建源，点击空查询进入到查询语句界面，输入查询语句 =#shared ，回车后就会显示常见的M函数，单击某个函数，就会弹出示例，输入参数进行简单的调用。
python数据分析及可视化（十九）Power BI中M函数的使用、数据建模、度量值、DAX_第2张图片
● 聚合函数
○ 求和：List.Sum()
○ 求最小值：List.Min()
○ 求最大值：List.Max()
○ 求平均值：List.Average()
● 文本函数
○ 取文本长度：Text.Length()
○ 取文本空格：Text.Trim()
○ 取前n个字符：Text.Start(文本,n)
○ 取后n个字符：Text.End(文本,n)
● 提取数据函数
○ 从Excel表中提取数据：Excel.Workbook()
○ 从Csv/Txt中提取数据：Csv.Document()
● 条件函数
○ if else then

数据建模

数据建模使用的语言为DAX函数。PowerBI 的数据建模是利用Excel的Power pivot插件，已经内嵌到PowerBI 的桌面版中，两者的功能基本相同，透视表只能从单个表中取出数据。若要把其他表中的数据也放进来就要用到VLOOKUP函数，把其他的表合并进来，再把字段放到透视表中，这些在Excel中都可以实现。如果设计的数据量比较大，数据维度很多的话，Excel就不能满足需求，而PowerBI可以从多个表格、多种来源的数据中根据不同的数据维度，不同的逻辑来整合、聚合数据。

数据建模基础

加载数据建模示例文件，产品明细表中显示的电子产品的专卖店销售的产品为手机、电脑、平板，每一类又来自三种不同的品牌。不同的产品不同的类别，共有9个产品。销售明细表记录的是产品每一天的销售数据，类别表中的产品类别、品牌表中的品牌名称分别跟产品明细表中的类别和品牌是相互对应的，产品明细表中的产品编号和销售明细表中的商品编号进行对应。

  • 产品明细表
    python数据分析及可视化（十九）Power BI中M函数的使用、数据建模、度量值、DAX_第3张图片
  • 类别表
    在这里插入图片描述
  • 品牌表
    在这里插入图片描述
  • 销售明细表
    python数据分析及可视化（十九）Power BI中M函数的使用、数据建模、度量值、DAX_第4张图片
    可以在左侧的模型中建立关系，如果两个表的字段名称，字段内容都一样的话，会自动创建关系，如产品明细表和销售明细表的产品名称会自动创建关系，用线进行了连接。双击关系连接线，会弹出编辑关系的对话框，建立数据模型。
    python数据分析及可视化（十九）Power BI中M函数的使用、数据建模、度量值、DAX_第5张图片
    依次将类别表中的产品类别和产品明细表中的类别、品牌表中的品牌名称和产品明细表中的品牌依次建立联系。
    python数据分析及可视化（十九）Power BI中M函数的使用、数据建模、度量值、DAX_第6张图片
    基数：两个连接字段的对应关系，其实为两个表的字段建立关联。
    学生表 (学生id 学生姓名）
    课程表 （课程id 课程名）
    成绩表 （学生id 课程id 分数）
    班级表 (班级id 学生id)
    ● 多对一
    一个班级包含了很多学生
    ● 一对多
    很多学生都在一个班级
    ● 多对多
    一门课对应多个学生选择 一个学生也可以有多个课程可以选，学生表和课程表之间的关系。
    ● 一对一
    一门课程应该对应一个分数，成绩表和课程表之间的关系。

交叉筛选方向：表示数据筛选方向
● 单向：一个表只能对另一个表筛选，而不能反向
● 双向：两个表可以互相筛选

度量值

度量值用于一些最常见的数据分析。 简单汇总（如总和、平均值、最小值、最大值和计数）可以通过“字段”选项进行设置。 度量值的计算结果也始终随着你与的报表的交互而改变，以便进行快速和动态的临时数据浏览。度量值不是一列，与增加列很相似，是放在虚拟内存中的值，值会随着筛选的数据进行更改 。
根据建立的数据模型来做数据分析，统计各个品牌的销售额。销售额无法通过单一的一张表得到，在销售明细表中点右键，选择增加度量值，名称为销售金额，内容为 =SUM(‘销售明细’[销售额])，在右侧的字段里，会出现销售金额的字段名，图表跟正常的字段名不一样。
python数据分析及可视化（十九）Power BI中M函数的使用、数据建模、度量值、DAX_第7张图片
这时销售金额在表中看不到数据，可以切换到报表界面，可视化生成视觉对象中选择卡片图，把字段中的销售金额添加到可视化对象中的字段中，显示销售金额的值。
python数据分析及可视化（十九）Power BI中M函数的使用、数据建模、度量值、DAX_第8张图片
销售金额为销售列累计求和的值，不算是单独的一列，对原数据没有影响，只是一个度量值，是虚拟汇总的结果，一直在内存当中可以快速和动态的进行修改的临时数据，如果不保存的话，软件关闭，度量值就会消失。有时候要求人均的消费金额，平均金额等，但是又不想去新增加一列数据，就可以以新建度量值的方式进行简单的数据汇总，便于我们在画布中看到汇总的数据信息。
在报表界面新增切片器，把品牌表中的品牌名称放到切片器的字段里，不进行选择的时候，显示为总的销售金额，选中某一个框就显示某一个品牌的销售金额。
python数据分析及可视化（十九）Power BI中M函数的使用、数据建模、度量值、DAX_第9张图片
度量值会跟随报表的交互而改变得到的结果。
度量值是通过大量的公式来建立的虚拟字段的数据值，不会影响到原数据，也不会改变数据建模。把它放到报表上进行交互的时候就会体现它巨大的功能，也可以跟随切片器进行变化，度量值可以根据DAX函数来创建的，也被称为移动的公式。
销售总金额，日期数据里有层级结构的，可以在日期数据中选择年，月份的数据，这里的月份指的是每一年1月份的销售总额，可以新建一个切片器进行筛选。
python数据分析及可视化（十九）Power BI中M函数的使用、数据建模、度量值、DAX_第10张图片
也可以选择日期层次结构进行依次展开，分别显示获取的数据。
python数据分析及可视化（十九）Power BI中M函数的使用、数据建模、度量值、DAX_第11张图片
python数据分析及可视化（十九）Power BI中M函数的使用、数据建模、度量值、DAX_第12张图片
增加门店城市和日期表，建立关系如下图所示：
python数据分析及可视化（十九）Power BI中M函数的使用、数据建模、度量值、DAX_第13张图片
新建度量值是在表中建立的，后期建立的度量值比较多的话，需要一个表一个表的展开，不容易查找，可以新建一张表，所有的度量值都放到这张表里，便于管理。
在主页选项卡下，计算选项组中，新建表选项，新建一张表，表名为度量值，在度量值表处点右键，新建度量值，输入 销售总额 = SUM(‘销售明细’[销售额]) ，输入回车；依次创建本年和上一年的销售额,本年累计销售额 = TOTALYTD([销售总额],‘日期表’[日期])；上年累计销售额 = TOTALYTD([销售总额],SAMEPERIODLASTYEAR(‘日期表’[日期]))。TOTALYTD指的是从年初到本月的金额，实现的是累加，SAMEPERIODLASTYEAR返回的是上一年同期的日期表，
新建度量值 累计同比增长率 = DIVIDE([本年累计销售额],[上年累计销售额])-1
把上述新建的度量值放到矩阵里，就可以得到累计的销售同比增长率，增加年度、门店城市、品牌名称切片器可以更加精准的分析。
python数据分析及可视化（十九）Power BI中M函数的使用、数据建模、度量值、DAX_第14张图片
通过创建的4个度量值来实现了多种维度数据的比较，利用上下文的内容进行筛选，上下文指的是度量值所处的环境。北京2017年截止5月的苹果手机累计销售额，上下文数据指的是北京市、苹果品牌、手机、年度为2017、月份为5月份这五个维度。上下文环境不同，所展示的数据也不一样。度量值不会浪费内存，只有被拖拽到图表上才会执行运算，度量值可以循环使用。

DAX

DAX指的是数据分析表达式，从数据分析的层次上认识公式。数据分析从茫茫的数据中提取有用的信息，执行一定的运算并得出结论的过程。DAX的主要功能也是查询和运算，负责筛选出来有用的数据集合，再利用聚合函数执行的计算。度量值的计算依赖于上下文，上下文又分为外部上下文（可以看的见的筛选条件，标签、切片器等）和内部上下文（创建度量值的公式），查询、筛选函数可以扩大、限制、重置等。度量值是PowerBI建模的灵魂，DAX是度量值使用的灵魂。数据建模重要的是度量值，度量值重要的是DAX公式。它的使用范围可以在Power BI 的数据建模，除了创建度量值，也可以新建列。
在日期表中增加列，选择表工具选项卡下计算选项组中的 新建列，输入 月份 = FORMAT(‘日期表’[日期],“MM”)，这里引用的表用单引号，引用的列用方括号，引用字符串用双引号，两个M表示两位数。
python数据分析及可视化（十九）Power BI中M函数的使用、数据建模、度量值、DAX_第15张图片
但是不建议在此处增加列，可以在转换数据，Power Query界面增加列。

DAX 参数的基本格式

● 表名用单引号’ '，如 ‘日期表’
● 字段用中括号[ ]，如[日期]
● 度量值也是用中括号[ ]
● 引用字段始终要包含表名，用以和度量值（前没有表名称）区分开

聚合函数

这几个函数的使用跟Excel中一样。
● SUM
● AVERAGE
● MIN
● MAX
这几个函数可以循环访问表的每一行，并执行计算，迭代函数
● SUMX
● AVERAGEX
● MINX
● MAXX
● RANGX
其他聚合函数
● COUNT： 计数
● COUNTROWS: 计算行数
● DISTINCTCOUNT: 计算不重复值的个数

时间函数
● PREVIOUSYEAR/Q/M/D:上一年/季/月/日
● NEXTYEAR/Q/M/D:下一年/季/月/日
● TOTALYTD/QTD/MTD:年/季/月初至今
● SAMEPERIODLASTYEAR:上年同期
● PARALLELPERIOD:上一期
● DATESINPERIOD:指定期间的日期

筛选函数
● FILTER:筛选
● ALL:所有值，可以清除筛选
● ALLEXCEPT:保留指定列
● VALUES:返回不重复值

常用的DAX函数

CALCULATE函数

语法：
CALCULATE(,,…)
■ 第一个参数是计算表达式，可以执行各种聚合运算
■ 从第二个参数开始，是一系列筛选条件，可以为空；如果多个筛选条件，用逗号分隔
■ 所有晒选条件的交集形成最终的筛选数据集合
■ 根据筛选出的数据集合执行第一个参数的聚合运算并返回运算结果
求每一种产品的数量。
新建度量值，产品数量 = COUNTROWS(‘产品明细’) 。
python数据分析及可视化（十九）Power BI中M函数的使用、数据建模、度量值、DAX_第16张图片
使用CALCULATE函数创建度量值，产品数量1 = CALCULATE([产品数量])。在这里 [产品数量] 等效于 COUNTROWS(‘产品明细’)
python数据分析及可视化（十九）Power BI中M函数的使用、数据建模、度量值、DAX_第17张图片
求苹果的品牌有几种。
新建度量值， 产品数量2 = CALCULATE([产品数量],‘产品明细’[品牌]=“苹果”)，只筛选品牌为苹果的产品，限制了外部的上下文，只计算筛选内容数据的计算。
python数据分析及可视化（十九）Power BI中M函数的使用、数据建模、度量值、DAX_第18张图片
新建度量值，产品数量3 = CALCULATE([产品数量],ALL(‘产品明细’))，筛选条件选择的是ALL函数，清除产品明细表中所有的筛选，显示的9为所有产品的数量，增加切片器，不会影响统计结果的变化。
python数据分析及可视化（十九）Power BI中M函数的使用、数据建模、度量值、DAX_第19张图片
计算每种数量占总产品数量的比重。
新建度量值，产品占比 = [产品数量]/[产品数量3]，产品数量3 不会受外部数量的影响，好比除的是固定的值 一样。
python数据分析及可视化（十九）Power BI中M函数的使用、数据建模、度量值、DAX_第20张图片
新建度量值，产品数量4 = CALCULATE([产品数量],ALL(‘产品明细’[产品名称]),‘产品明细’[类别]=“手机”)。先用ALL清除了外部的上下文筛选的影响因素，增加筛选条件查询类别为手机的产品数量，从所有产品中统计了类别为手机的产品的数量，每行的结果返回都是3。
python数据分析及可视化（十九）Power BI中M函数的使用、数据建模、度量值、DAX_第21张图片

FILTER函数

主要是用于筛选，语法
FILTER(

,)
■ 第一个参数
是要筛选的表
■ 第二个参数是筛选条件
■ 返回的是一张表，不能单独使用，需要与其他函数结合使用
比较简单的筛选就没必要用FILTER函数。
新建度量值，产品数量5 = CALCULATE([产品数量],FILTER(ALL(‘产品明细’[品牌]),‘产品明细’[品牌]=“苹果”))，筛选的结果和产品数量2一样。
python数据分析及可视化（十九）Power BI中M函数的使用、数据建模、度量值、DAX_第22张图片
找出销售额超过2000万的城市的销售金额。新建度量值，销售金额大于2000万的城市的销售额 = CALCULATE([销售总额],FILTER(ALL(‘门店城市’),[销售总额]>20000000))。
python数据分析及可视化（十九）Power BI中M函数的使用、数据建模、度量值、DAX_第23张图片

HASONEVALUE

HASONEVALUE()，返回值为True或者False

  • 参数只有一个，为列名；
  • 作用：判断外部上下文中是否为该列中的唯一值，做切片器交互时十分有用。
    不显示明细项的值。新建度量值，方法1 = IF(HASONEVALUE(‘产品明细’[产品名称]),BLANK(),[销售金额大于2000万的城市的销售额])，实现的效果不显示当前的细分项，只显示最后的总结果值。
    python数据分析及可视化（十九）Power BI中M函数的使用、数据建模、度量值、DAX_第24张图片
    不显示总计值，只显示明细项的内容。方法2 = IF(HASONEVALUE(‘产品明细’[产品名称]),[销售金额大于2000万的城市的销售额],BLANK())，实现的效果是只显示当前的明细项，不显示总计的结果。
    python数据分析及可视化（十九）Power BI中M函数的使用、数据建模、度量值、DAX_第25张图片

SUMX 函数

SUMX(

,)，总计项为各明细项之和。该函数为迭代函数，可以对表进行逐行的运算。

  • 第一个参数为被运算的表 table
  • 第二个参数是对表中的每一行计算的表达式
    新建度量值，方法3 = SUMX(‘产品明细’,[销售金额大于2000万的城市的销售额])，实现的功能是总计项为各个明细项目的和。
    python数据分析及可视化（十九）Power BI中M函数的使用、数据建模、度量值、DAX_第26张图片
    SUMX函数可以代替CALCULATE函数，来实现方法3的效果。新建度量值，SUMX方法 = SUMX(‘产品明细’,SUMX(FILTER(ALL(‘销售明细’[门店城市]),[销售总额]>20000000),[销售总额]))，实现的效果和方法3类似，没有用到之前“”“大于2000万的城市的销售额”的度量值，但是对内存的消耗比较大。在实际分析中遇到相似的情况可以根据具体的逻辑关系和展现出来的需求来选择不同的方式来进行处理。
    python数据分析及可视化（十九）Power BI中M函数的使用、数据建模、度量值、DAX_第27张图片

EARLIER函数

之前使用Power BI 进行数据分析的时候都是对整列字段进行的操作，并没有做更细分的分析，如果要分析数据的每一行，提取每一行的数据，在Excel中是比较容易实现的，Excel是对单元格的操作，也可以借助EARLIER函数来实现。
EARLIER(,)

  • 第一个参数是列名称
  • 第二个参数一般可以省略
  • EARLIER函数提取本行对应的该列的值，实际上就是提取本行和参数列交叉的单元格
    该函数是指定上下文重要的工具。
    导入订单表，点击主页，查询选项组中转换数据，进入Power Query界面，选择添加列选项卡下常规选项组中的索引列，选择从1开始的，更改名称为序号。选择主页，关闭并应用。
    求两个订单的时间间隔，从下一个订单的日期减去当前订单的日期，为了计算方便，新建列提取出来下一个订单日期，下一个订单日期 = SUMX(FILTER(‘订单表’,‘订单表’[序号]=EARLIER(‘订单表’[序号])+1),‘订单表’[订单日期])，查询的是订单表，查询的内容是订单表的序号，用EARLIER函数获取当前行的序号。再新建一列，把这两列用于相减得到的相隔天数，间隔 = IF([下一个订单日期]=BLANK(),BLANK(),[下一个订单日期]-[订单日期])，然后把间隔列的数据类型改为整数，就得到了两个订单之间的间隔日期。最后一行有空值，没有下一个日期，为了避免出现不合理的数值，用IF 进行了判断。
    python数据分析及可视化（十九）Power BI中M函数的使用、数据建模、度量值、DAX_第28张图片
    求每个订单日期的累计销售金额。第二天的累计金额为第二天加上第一天的金额。新建列，累计销售额 = SUMX(FILTER(‘订单表’,‘订单表’[序号]<= EARLIER(‘订单表’[序号])),‘订单表’[销售额])，用EARLIER函数求当前行的序号，再把小于等于当前行的所有行进行累加。
    python数据分析及可视化（十九）Power BI中M函数的使用、数据建模、度量值、DAX_第29张图片
    求截止目前订单每种产品的销量。新建列，产品累计销量 = SUMX(FILTER(‘订单表’,‘订单表’[序号]<= EARLIER(‘订单表’[序号]) && ‘订单表’[产品名称]=EARLIER(‘订单表’[产品名称])),‘订单表’[销售数量])，不仅可以用EARLIER函数筛选小于当前行的序号，还可以利用它求得当前行的产品名称，同时符合两个条件的销量进行累加，得到最终的结果。先获取本行的记录，然后再做各种聚合运算，本行的记录可以称为行的上下文，EARLIER正是获取上下文的函数之一。

你可能感兴趣的:(python数据分析,数据分析,python,数据挖掘)

  • 理解Gunicorn：Python WSGI服务器的基石 范范0825 ipythonlinux运维
    理解Gunicorn：PythonWSGI服务器的基石介绍Gunicorn，全称GreenUnicorn，是一个为PythonWSGI（WebServerGatewayInterface）应用设计的高效、轻量级HTTP服务器。作为PythonWeb应用部署的常用工具，Gunicorn以其高性能和易用性著称。本文将介绍Gunicorn的基本概念、安装和配置，帮助初学者快速上手。1.什么是Gunico
  • Python数据分析与可视化实战指南 William数据分析 pythonpython数据
    在数据驱动的时代，Python因其简洁的语法、强大的库生态系统以及活跃的社区，成为了数据分析与可视化的首选语言。本文将通过一个详细的案例，带领大家学习如何使用Python进行数据分析，并通过可视化来直观呈现分析结果。一、环境准备1.1安装必要库在开始数据分析和可视化之前，我们需要安装一些常用的库。主要包括pandas、numpy、matplotlib和seaborn等。这些库分别用于数据处理、数学
  • python os.environ 江湖偌大 python深度学习
    os.environ['TF_CPP_MIN_LOG_LEVEL']='0'#默认值，输出所有信息os.environ['TF_CPP_MIN_LOG_LEVEL']='1'#屏蔽通知信息（INFO）os.environ['TF_CPP_MIN_LOG_LEVEL']='2'#屏蔽通知信息和警告信息（INFO\WARNING）os.environ['TF_CPP_MIN_LOG_LEVEL']='
  • Python中os.environ基本介绍及使用方法 鹤冲天Pro #Pythonpython服务器开发语言
    文章目录python中os.environos.environ简介os.environ进行环境变量的增删改查python中os.environ的使用详解1.简介2.key字段详解2.1常见key字段3.os.environ.get()用法4.环境变量的增删改查和判断是否存在4.1新增环境变量4.2更新环境变量4.3获取环境变量4.4删除环境变量4.5判断环境变量是否存在python中os.envi
  • Pyecharts数据可视化大屏：打造沉浸式数据分析体验 我的运维人生 信息可视化数据分析数据挖掘运维开发技术共享
    Pyecharts数据可视化大屏：打造沉浸式数据分析体验在当今这个数据驱动的时代，如何将海量数据以直观、生动的方式展现出来，成为了数据分析师和企业决策者关注的焦点。Pyecharts，作为一款基于Python的开源数据可视化库，凭借其丰富的图表类型、灵活的配置选项以及高度的定制化能力，成为了构建数据可视化大屏的理想选择。本文将深入探讨如何利用Pyecharts打造数据可视化大屏，并通过实际代码案例
  • Python教程：一文了解使用Python处理XPath 旦莫 Python进阶python开发语言
    目录1.环境准备1.1安装lxml1.2验证安装2.XPath基础2.1什么是XPath？2.2XPath语法2.3示例XML文档3.使用lxml解析XML3.1解析XML文档3.2查看解析结果4.XPath查询4.1基本路径查询4.2使用属性查询4.3查询多个节点5.XPath的高级用法5.1使用逻辑运算符5.2使用函数6.实战案例6.1从网页抓取数据6.1.1安装Requests库6.1.2代
  • python os.environ_python os.environ 读取和设置环境变量 weixin_39605414 pythonos.environ
    >>>importos>>>os.environ.keys()['LC_NUMERIC','GOPATH','GOROOT','GOBIN','LESSOPEN','SSH_CLIENT','LOGNAME','USER','HOME','LC_PAPER','PATH','DISPLAY','LANG','TERM','SHELL','J2REDIR','LC_MONETARY','QT_QPA
  • 使用Faiss进行高效相似度搜索 llzwxh888 faisspython
    在现代AI应用中，快速和高效的相似度搜索是至关重要的。Faiss（FacebookAISimilaritySearch）是一个专门用于快速相似度搜索和聚类的库，特别适用于高维向量。本文将介绍如何使用Faiss来进行相似度搜索，并结合Python代码演示其基本用法。什么是Faiss？Faiss是一个由FacebookAIResearch团队开发的开源库，主要用于高维向量的相似性搜索和聚类。Faiss
  • python是什么意思中文-在python中%是什么意思 编程大乐趣
    Python中%有两种：1、数值运算：%代表取模，返回除法的余数。如：>>>7%212、%操作符（字符串格式化，stringformatting），说明如下：%[(name)][flags][width].[precision]typecode(name)为命名flags可以有+，-，''或0。+表示右对齐。-表示左对齐。''为一个空格，表示在正数的左侧填充一个空格，从而与负数对齐。0表示使用0填
  • Day1笔记-Python简介&标识符和关键字&输入输出 ~在杰难逃~ Pythonpython开发语言大数据数据分析数据挖掘
    大家好，从今天开始呢，杰哥开展一个新的专栏，当然，数据分析部分也会不定时更新的，这个新的专栏主要是讲解一些Python的基础语法和知识，帮助0基础的小伙伴入门和学习Python，感兴趣的小伙伴可以开始认真学习啦！一、Python简介【了解】1.计算机工作原理编程语言就是用来定义计算机程序的形式语言。我们通过编程语言来编写程序代码，再通过语言处理程序执行向计算机发送指令，让计算机完成对应的工作，编程
  • python八股文面试题分享及解析(1) Shawn________ python
    #1.'''a=1b=2不用中间变量交换a和b'''#1.a=1b=2a,b=b,aprint(a)print(b)结果：21#2.ll=[]foriinrange(3):ll.append({'num':i})print(11)结果:#[{'num':0},{'num':1},{'num':2}]#3.kk=[]a={'num':0}foriinrange(3):#0,12#可变类型，不仅仅改变
  • 每日算法&面试题，大厂特训二十八天——第二十天（树） 肥学 ⚡算法题⚡面试题每日精进java算法数据结构
    目录标题导读算法特训二十八天面试题点击直接资料领取导读肥友们为了更好的去帮助新同学适应算法和面试题，最近我们开始进行专项突击一步一步来。上一期我们完成了动态规划二十一天现在我们进行下一项对各类算法进行二十八天的一个小总结。还在等什么快来一起肥学进行二十八天挑战吧！！特别介绍小白练手专栏，适合刚入手的新人欢迎订阅编程小白进阶python有趣练手项目里面包括了像《机器人尬聊》《恶搞程序》这样的有趣文章
  • Python快速入门 —— 第三节：类与对象 孤华暗香 Python快速入门python开发语言
    第三节：类与对象目标：了解面向对象编程的基础概念，并学会如何定义类和创建对象。内容：类与对象：定义类：class关键字。类的构造函数：__init__()。类的属性和方法。对象的创建与使用。示例：classStudent:def__init__(self,name,age,major):self.name&#
  • pyecharts——绘制柱形图折线图 2224070247 信息可视化pythonjava数据可视化
    一、pyecharts概述自2013年6月百度EFE(ExcellentFrontEnd）数据可视化团队研发的ECharts1.0发布到GitHub网站以来，ECharts一直备受业界权威的关注并获得广泛好评，成为目前成熟且流行的数据可视化图表工具，被应用到诸多数据可视化的开发领域。Python作为数据分析领域最受欢迎的语言，也加入ECharts的使用行列，并研发出方便Python开发者使用的数据
  • Python 实现图片裁剪（附代码） | Python工具 剑客阿良_ALiang
    前言本文提供将图片按照自定义尺寸进行裁剪的工具方法，一如既往的实用主义。环境依赖ffmpeg环境安装，可以参考我的另一篇文章：windowsffmpeg安装部署_阿良的博客-CSDN博客本文主要使用到的不是ffmpeg，而是ffprobe也在上面这篇文章中的zip包中。ffmpy安装：pipinstallffmpy-ihttps://pypi.douban.com/simple代码不废话了，上代码
  • 【华为OD技术面试真题 - 技术面】- python八股文真题题库（4) 算法大师 华为od面试python
    华为OD面试真题精选专栏：华为OD面试真题精选目录:2024华为OD面试手撕代码真题目录以及八股文真题目录文章目录华为OD面试真题精选**1.Python中的`with`**用途和功能自动资源管理示例：文件操作上下文管理协议示例代码工作流程解析优点2.\_\_new\_\_和**\_\_init\_\_**区别__new____init__区别总结3.**切片（Slicing）操作**基本切片语法
  • python os 环境变量 CV矿工 python开发语言numpy
    环境变量：环境变量是程序和操作系统之间的通信方式。有些字符不宜明文写进代码里，比如数据库密码，个人账户密码，如果写进自己本机的环境变量里，程序用的时候通过os.environ.get（）取出来就行了。os.environ是一个环境变量的字典。环境变量的相关操作importos"""设置/修改环境变量：os.environ[‘环境变量名称’]=‘环境变量值’#其中key和value均为string类
  • Python爬虫解析工具之xpath使用详解 eqa11 python爬虫开发语言
    文章目录Python爬虫解析工具之xpath使用详解一、引言二、环境准备1、插件安装2、依赖库安装三、xpath语法详解1、路径表达式2、通配符3、谓语4、常用函数四、xpath在Python代码中的使用1、文档树的创建2、使用xpath表达式3、获取元素内容和属性五、总结Python爬虫解析工具之xpath使用详解一、引言在Python爬虫开发中，数据提取是一个至关重要的环节。xpath作为一门
  • 【华为OD技术面试真题 - 技术面】- python八股文真题题库（1） 算法大师 华为od面试python
    华为OD面试真题精选专栏：华为OD面试真题精选目录:2024华为OD面试手撕代码真题目录以及八股文真题目录文章目录华为OD面试真题精选1.数据预处理流程数据预处理的主要步骤工具和库2.介绍线性回归、逻辑回归模型线性回归（LinearRegression）模型形式：关键点：逻辑回归（LogisticRegression）模型形式：关键点：参数估计与评估：3.python浅拷贝及深拷贝浅拷贝（Shal
  • nosql数据库技术与应用知识点 皆过客，揽星河 NoSQLnosql数据库大数据数据分析数据结构非关系型数据库
    Nosql知识回顾大数据处理流程数据采集(flume、爬虫、传感器)数据存储(本门课程NoSQL所处的阶段)Hdfs、MongoDB、HBase等数据清洗(入仓)Hive等数据处理、分析(Spark、Flink等)数据可视化数据挖掘、机器学习应用(Python、SparkMLlib等)大数据时代存储的挑战(三高)高并发(同一时间很多人访问)高扩展(要求随时根据需求扩展存储)高效率(要求读写速度快)
  • 《Python数据分析实战终极指南》 xjt921122 python数据分析开发语言
    对于分析师来说，大家在学习Python数据分析的路上，多多少少都遇到过很多大坑**，有关于技能和思维的**：Excel已经没办法处理现有的数据量了，应该学Python吗？找了一大堆Python和Pandas的资料来学习，为什么自己动手就懵了？跟着比赛类公开数据分析案例练了很久，为什么当自己面对数据需求还是只会数据处理而没有分析思路？学了对比、细分、聚类分析，也会用PEST、波特五力这类分析法，为啥
  • Python中深拷贝与浅拷贝的区别 yuxiaoyu.
    转自：http://blog.csdn.net/u014745194/article/details/70271868定义：在Python中对象的赋值其实就是对象的引用。当创建一个对象，把它赋值给另一个变量的时候，python并没有拷贝这个对象，只是拷贝了这个对象的引用而已。浅拷贝：拷贝了最外围的对象本身，内部的元素都只是拷贝了一个引用而已。也就是，把对象复制一遍，但是该对象中引用的其他对象我不复
  • Python开发常用的三方模块如下： 换个网名有点难 python开发语言
    Python是一门功能强大的编程语言，拥有丰富的第三方库，这些库为开发者提供了极大的便利。以下是100个常用的Python库，涵盖了多个领域：1、NumPy，用于科学计算的基础库。2、Pandas，提供数据结构和数据分析工具。3、Matplotlib，一个绘图库。4、Scikit-learn，机器学习库。5、SciPy，用于数学、科学和工程的库。6、TensorFlow，由Google开发的开源机
  • ES聚合分析原理与代码实例讲解 光剑书架上的书 大厂Offer收割机面试题简历程序员读书硅基计算碳基计算认知计算生物计算深度学习神经网络大数据AIGCAGILLMJavaPython架构设计Agent程序员实现财富自由
    ES聚合分析原理与代码实例讲解1.背景介绍1.1问题的由来在大规模数据分析场景中，特别是在使用Elasticsearch（ES）进行数据存储和检索时，聚合分析成为了一个至关重要的功能。聚合分析允许用户对数据集进行细分和分组，以便深入探索数据的结构和模式。这在诸如实时监控、日志分析、业务洞察等领域具有广泛的应用。1.2研究现状目前，ES聚合分析已经成为现代大数据平台的核心组件之一。它支持多种类型的聚
  • Python编译器 鹿鹿~ Python编译器Pythonpython开发语言后端
    嘿嘿嘿我又来了啊有些小盆友可能不知道Python其实是有编译器的，也就是PyCharm。你们可能会问到这个是干嘛的又不可以吃也不可以穿好像没有什么用，其实你还说对了这个还真的不可以吃也不可以穿，但是它用来干嘛的呢。用来编译你所打出的代码进行运行（可能这里说的有点不对但是只是个人认为）现在我们来说说PyCharm是用来干嘛的。PyCharm是一种PythonIDE，带有一整套可以帮助用户在使用Pyt
  • 一文掌握python面向对象魔术方法（二） 程序员neil pythonpython开发语言
    接上篇：一文掌握python面向对象魔术方法（一）-CSDN博客目录六、迭代和序列化：1、__iter__(self):定义迭代器，使得类可以被for循环迭代。2、__getitem__(self,key):定义索引操作，如obj[key]。3、__setitem__(self,key,value):定义赋值操作，如obj[key]=value。4、__delitem__(self,key):定义
  • 一文掌握python常用的list（列表）操作 程序员neil pythonpython开发语言
    目录一、创建列表1.直接创建列表：2.使用list()构造器3.使用列表推导式4.创建空列表二、访问列表元素1.列表支持通过索引访问元素，索引从0开始：2.还可以使用切片操作访问列表的一部分：三、修改列表元素四、添加元素1.append()：在末尾添加元素2.insert()：在指定位置插入元素五、删除元素1.del：删除指定位置的元素2.remove()：删除指定值的第一个匹配项3.pop()：
  • Python实现简单的机器学习算法 master_chenchengg pythonpython办公效率python开发IT
    Python实现简单的机器学习算法开篇：初探机器学习的奇妙之旅搭建环境：一切从安装开始必备工具箱第一步：安装Anaconda和JupyterNotebook小贴士：如何配置Python环境变量算法初体验：从零开始的Python机器学习线性回归：让数据说话数据准备：从哪里找数据编码实战：Python实现线性回归模型评估：如何判断模型好坏逻辑回归：从分类开始理论入门：什么是逻辑回归代码实现：使用skl
  • python中的深拷贝与浅拷贝 anshejd70787 python
    深拷贝和浅拷贝浅拷贝的时候，修改原来的对象，浅拷贝的对象不会发生改变。1、对象的赋值对象的赋值实际上是对象之间的引用：当创建一个对象，然后将这个对象赋值给另外一个变量的时候，python并没有拷贝这个对象，而只是拷贝了这个对象的引用。当对对象做赋值或者是参数传递或者作为返回值的时候，总是传递原始对象的引用，而不是一个副本。如下所示：>>>aList=["kel","abc",123]>>>bLis
  • 用Python实现简单的猜数字游戏 程序媛了了 python游戏java
    猜数字游戏代码：importrandomdefpythonit():a=random.randint(1,100)n=int(input("输入你猜想的数字："))whilen!=a:ifn>a:print("很遗憾，猜大了")n=int(input("请再次输入你猜想的数字："))elifna::如果玩家猜的数字n大于随机数字a，则输出"很遗憾，猜大了"，并提示玩家再次输入。elifn
  • TOMCAT在POST方法提交参数丢失问题 357029540 javatomcatjsp
    摘自http://my.oschina.net/luckyi/blog/213209 昨天在解决一个BUG时发现一个奇怪的问题，一个AJAX提交数据在之前都是木有问题的，突然提交出错影响其他处理流程。 检查时发现页面处理数据较多，起初以为是提交顺序不正确修改后发现不是由此问题引起。于是删除掉一部分数据进行提交，较少数据能够提交成功。 恢复较多数据后跟踪提交FORM DATA ，发现数
  • 在MyEclipse中增加JSP模板 删除-2008-08-18 ljy325 jspxmlMyEclipse
    在D:\Program Files\MyEclipse 6.0\myeclipse\eclipse\plugins\com.genuitec.eclipse.wizards_6.0.1.zmyeclipse601200710\templates\jsp  目录下找到Jsp.vtl，复制一份，重命名为jsp2.vtl,然后把里面的内容修改为自己想要的格式，保存。 然后在 D:\Progr
  • JavaScript常用验证脚本总结 eksliang JavaScriptjavaScript表单验证
         转载请出自出处：http://eksliang.iteye.com/blog/2098985        下面这些验证脚本，是我在这几年开发中的总结，今天把他放出来，也算是一种分享吧，现在在我的项目中也在用！包括日期验证、比较，非空验证、身份证验证、数值验证、Email验证、电话验证等等...! &nb
  • 微软BI（4） 18289753290 微软BI SSIS
    1） Q:查看ssis里面某个控件输出的结果：  A MessageBox.Show(Dts.Variables["v_lastTimestamp"].Value.ToString()); 这是我们在包里面定义的变量 2):在关联目的端表的时候如果是一对多的关系，一定要选择唯一的那个键作为关联字段。 3) Q：ssis里面如果将多个数据源的数据插入目的端一
  • 定时对大数据量的表进行分表对数据备份 酷的飞上天空 大数据量
    工作中遇到数据库中一个表的数据量比较大，属于日志表。正常情况下是不会有查询操作的，但如果不进行分表数据太多，执行一条简单sql语句要等好几分钟。。   分表工具：linux的shell + mysql自身提供的管理命令 原理：使用一个和原表数据结构一样的表，替换原表。   linux shell内容如下： =======================开始 
  • 本质的描述与因材施教 永夜-极光 感想随笔
             不管碰到什么事,我都下意识的想去探索本质,找寻一个最形象的描述方式。        我坚信,世界上对一件事物的描述和解释,肯定有一种最形象,最贴近本质,最容易让人理解        &
  • 很迷茫。。。 随便小屋 随笔
    小弟我今年研一，也是从事的咱们现在最流行的专业（计算机）。本科三流学校，为了能有个更好的跳板，进入了考研大军，非常有幸能进入研究生的行业（具体学校就不说了，怕把学校的名誉给损了）。   先说一下自身的条件，本科专业软件工程。主要学习就是软件开发，几乎和计算机没有什么区别。因为学校本身三流，也就是让老师带着学生学点东西，然后让学生毕业就行了。对专业性的东西了解的非常浅。就那学的语言来说
  • 23种设计模式的意图和适用范围 aijuans 设计模式
    Factory Method 意图 定义一个用于创建对象的接口，让子类决定实例化哪一个类。Factory Method 使一个类的实例化延迟到其子类。 　　适用性 当一个类不知道它所必须创建的对象的类的时候。 　　当一个类希望由它的子类来指定它所创建的对象的时候。 　　当类将创建对象的职责委托给多个帮助子类中的某一个，并且你希望将哪一个帮助子类是代理者这一信息局部化的时候。 Abstr
  • Java中的synchronized和volatile aoyouzi javavolatilesynchronized
    说到Java的线程同步问题肯定要说到两个关键字synchronized和volatile。说到这两个关键字，又要说道JVM的内存模型。JVM里内存分为main memory和working memory。 Main memory是所有线程共享的，working memory则是线程的工作内存，它保存有部分main memory变量的拷贝，对这些变量的更新直接发生在working memo
  • js数组的操作和this关键字 百合不是茶 js数组操作this关键字
    js数组的操作;   一:数组的创建: 1、数组的创建 var array = new Array();　//创建一个数组 var array = new Array([size]);　//创建一个数组并指定长度，注意不是上限，是长度 var arrayObj = new Array([element0[, element1[, ...[, elementN]]]
  • 别人的阿里面试感悟 bijian1013 面试分享工作感悟阿里面试
    原文如下：http://greemranqq.iteye.com/blog/2007170         一直做企业系统，虽然也自己一直学习技术，但是感觉还是有所欠缺，准备花几个月的时间，把互联网的东西，以及一些基础更加的深入透析，结果这次比较意外，有点突然，下面分享一下感受吧！    &nb
  • 淘宝的测试框架Itest Bill_chen springmaven框架单元测试JUnit
    Itest测试框架是TaoBao测试部门开发的一套单元测试框架，以Junit4为核心， 集合DbUnit、Unitils等主流测试框架，应该算是比较好用的了。 近期项目中用了下，有关itest的具体使用如下： 1.在Maven中引入itest框架： <dependency>   <groupId>com.taobao.test</groupId&g
  • 【Java多线程二】多路条件解决生产者消费者问题 bit1129 java多线程
    package com.tom; import java.util.LinkedList; import java.util.Queue; import java.util.concurrent.ThreadLocalRandom; import java.util.concurrent.locks.Condition; import java.util.concurrent.loc
  • 汉字转拼音pinyin4j 白糖_ pinyin4j
    以前在项目中遇到汉字转拼音的情况，于是在网上找到了pinyin4j这个工具包，非常有用，别的不说了，直接下代码：   import java.util.HashSet; import java.util.Set; import net.sourceforge.pinyin4j.PinyinHelper; import net.sourceforge.pinyin
  • org.hibernate.TransactionException: JDBC begin failed解决方案 bozch ssh数据库异常DBCP
    org.hibernate.TransactionException: JDBC begin failed:     at org.hibernate.transaction.JDBCTransaction.begin(JDBCTransaction.java:68)    at org.hibernate.impl.SessionImp
  • java-并查集（Disjoint-set）-将多个集合合并成没有交集的集合 bylijinnan java
    import java.util.ArrayList; import java.util.Arrays; import java.util.HashMap; import java.util.HashSet; import java.util.Iterator; import java.util.List; import java.util.Map; import java.ut
  • Java PrintWriter打印乱码 chenbowen00 java
    一个小程序读写文件，发现PrintWriter输出后文件存在乱码，解决办法主要统一输入输出流编码格式。 读文件： BufferedReader 从字符输入流中读取文本，缓冲各个字符，从而提供字符、数组和行的高效读取。 可以指定缓冲区的大小，或者可使用默认的大小。大多数情况下，默认值就足够大了。 通常，Reader 所作的每个读取请求都会导致对基础字符或字节流进行相应的读取请求。因
  • [天气与气候]极端气候环境 comsci 环境
          如果空间环境出现异变...外星文明并未出现,而只是用某种气象武器对地球的气候系统进行攻击,并挑唆地球国家间的战争,经过一段时间的准备...最大限度的削弱地球文明的整体力量,然后再进行入侵......      那么地球上的国家应该做什么样的防备工作呢?  &n
  • oracle order by与union一起使用的用法 daizj UNIONoracleorder by
    当使用union操作时，排序语句必须放在最后面才正确，如下： 只能在union的最后一个子查询中使用order by，而这个order by是针对整个unioning后的结果集的。So： 如果unoin的几个子查询列名不同，如 Sql代码  select supplier_id, supplier_name  from suppliers  UNI
  • zeus持久层读写分离单元测试 deng520159 单元测试
    本文是zeus读写分离单元测试,距离分库分表,只有一步了.上代码: 1.ZeusMasterSlaveTest.java package com.dengliang.zeus.webdemo.test; import java.util.ArrayList; import java.util.List; import org.junit.Assert; import org.j
  • Yii 截取字符串(UTF-8) 使用组件 dcj3sjt126com yii
    1.将Helper.php放进protected\components文件夹下。 2.调用方法：   Helper::truncate_utf8_string($content,20,false);   //不显示省略号  Helper::truncate_utf8_string($content,20);  //显示省略号  &n
  • 安装memcache及php扩展 dcj3sjt126com PHP
    安装memcache    tar zxvf memcache-2.2.5.tgz     cd memcache-2.2.5/     /usr/local/php/bin/phpize (?)    ./configure --with-php-confi
  • JsonObject 处理日期 feifeilinlin521 javajsonJsonOjbectJsonArrayJSONException
        写这边文章的初衷就是遇到了json在转换日期格式出现了异常 net.sf.json.JSONException: java.lang.reflect.InvocationTargetException  原因是当你用Map接收数据库返回了java.sql.Date 日期的数据进行json转换出的问题话不多说  直接上代码  &n
  • Ehcache（06）——监听器 234390216 监听器listenerehcache
    监听器          Ehcache中监听器有两种，监听CacheManager的CacheManagerEventListener和监听Cache的CacheEventListener。在Ehcache中，Listener是通过对应的监听器工厂来生产和发生作用的。下面我们将来介绍一下这两种类型的监听器。  
  • activiti 自带设计器中chrome 34版本不能打开bug的解决 jackyrong Activiti
      在acitivti modeler中，如果是chrome 34，则不能打开该设计器，其他浏览器可以， 经证实为bug，参考 http://forums.activiti.org/content/activiti-modeler-doesnt-work-chrome-v34 修改为，找到 oryx.debug.js 在最头部增加 if (!Document.
  • 微信收货地址共享接口-终极解决 laotu5i0 微信开发
       最近要接入微信的收货地址共享接口，总是不成功，折腾了好几天，实在没办法网上搜到的帖子也是骂声一片。我把我碰到并解决问题的过程分享出来，希望能给微信的接口文档起到一个辅助作用，让后面进来的开发者能快速的接入，而不需要像我们一样苦逼的浪费好几天，甚至一周的青春。各种羞辱、谩骂的话就不说了，本人还算文明。    如果你能搜到本贴，说明你已经碰到了各种 ed
  • 关于人才 netkiller.github.com 工作面试招聘netkiller人才
    关于人才 每个月我都会接到许多猎头的电话，有些猎头比较专业，但绝大多数在我看来与猎头二字还是有很大差距的。 与猎头接触多了，自然也了解了他们的工作，包括操作手法，总体上国内的猎头行业还处在初级阶段。 总结就是“盲目推荐，以量取胜”。 目前现状 许多从事人力资源工作的人，根本不懂得怎么找人才。处在人才找不到企业，企业找不到人才的尴尬处境。 企业招聘，通常是需要用人的部门提出招聘条件，由人
  • 搭建 CentOS 6 服务器 - 目录 rensanning centos
    (1) 安装CentOS ISO（desktop/minimal）、Cloud（AWS/阿里云）、Virtualization（VMWare、VirtualBox） 详细内容 (2) Linux常用命令 cd、ls、rm、chmod...... 详细内容 (3) 初始环境设置 用户管理、网络设置、安全设置...... 详细内容 (4) 常驻服务Daemon
  • 【求助】mongoDB无法更新主键 toknowme mongodb
      Query query = new Query();          query.addCriteria(new Criteria("_id").is(o.getId()));                &n
  • jquery 页面滚动到底部自动加载插件集合 xp9802 jquery
    很多社交网站都使用无限滚动的翻页技术来提高用户体验，当你页面滑到列表底部时候无需点击就自动加载更多的内容。下面为你推荐 10 个 jQuery 的无限滚动的插件： 1. jQuery ScrollPagination jQuery ScrollPagination plugin 是一个 jQuery 实现的支持无限滚动加载数据的插件。 2. jQuery Screw S