Viterbi
Viterbi

17 Pandas的分层索引MultiIndex

17 Pandas的分层索引MultiIndex

为什么要学习分层索引MultiIndex？

  • 分层索引：在一个轴向上拥有多个索引层级，可以表达更高维度数据的形式；
  • 可以更方便的进行数据筛选，如果有序则性能更好；
  • groupby等操作的结果，如果是多KEY，结果是分层索引，需要会使用
  • 一般不需要自己创建分层索引(MultiIndex有构造函数但一般不用)

演示数据：百度、阿里巴巴、爱奇艺、京东四家公司的10天股票数据 数据来自：英为财经 https://cn.investing.com/

本次演示提纲：
一、Series的分层索引MultiIndex
二、Series有多层索引怎样筛选数据？
三、DataFrame的多层索引MultiIndex 四、DataFrame有多层索引怎样筛选数据？

  
  
  
  

   import pandas as pd
%matplotlib inline

stocks = pd.read_excel('./datas/stocks/互联网公司股票.xlsx')


stocks.shape

    (12, 8)


stocks.head(3)
.dataframe tbody tr th:only-of-type { vertical-align: middle; } 
.dataframe tbody tr th { vertical-align: top; } .dataframe thead th { text-align: right; }
日期 公司 收盘 开盘 高 低 交易量 涨跌幅
0 2019-10-03 BIDU 104.32 102.35 104.73 101.15 2.24 0.02
1 2019-10-02 BIDU 102.62 100.85 103.24 99.50 2.69 0.01
2 2019-10-01 BIDU 102.00 102.80 103.26 101.00 1.78 -0.01 
  
  
  
  

   stocks["公司"].unique()

    array(['BIDU', 'BABA', 'IQ', 'JD'], dtype=object)

stocks.index


    RangeIndex(start=0, stop=12, step=1)


stocks.groupby('公司')["收盘"].mean()



    公司
    BABA    166.80
    BIDU    102.98
    IQ       15.90
    JD       28.35
    Name: 收盘, dtype: float64

一、Series的分层索引MultiIndex

  
  
  
  

   ser = stocks.groupby(['公司', '日期'])['收盘'].mean()
ser


    公司    日期        
    BABA  2019-10-01    165.15
          2019-10-02    165.77
          2019-10-03    169.48
    BIDU  2019-10-01    102.00
          2019-10-02    102.62
          2019-10-03    104.32
    IQ    2019-10-01     15.92
          2019-10-02     15.72
          2019-10-03     16.06
    JD    2019-10-01     28.19
          2019-10-02     28.06
          2019-10-03     28.80
    Name: 收盘, dtype: float64



多维索引中，空白的意思是：使用上面的值


ser.index




    MultiIndex([('BABA', '2019-10-01'),
                ('BABA', '2019-10-02'),
                ('BABA', '2019-10-03'),
                ('BIDU', '2019-10-01'),
                ('BIDU', '2019-10-02'),
                ('BIDU', '2019-10-03'),
                (  'IQ', '2019-10-01'),
                (  'IQ', '2019-10-02'),
                (  'IQ', '2019-10-03'),
                (  'JD', '2019-10-01'),
                (  'JD', '2019-10-02'),
                (  'JD', '2019-10-03')],
               names=['公司', '日期'])



# unstack把二级索引变成列
ser.unstack()
.dataframe tbody tr th:only-of-type { vertical-align: middle; } 
.dataframe tbody tr th { vertical-align: top; } .dataframe thead th { text-align: right; }
日期 2019-10-01 2019-10-02 2019-10-03
公司
BABA 165.15 165.77 169.48
BIDU 102.00 102.62 104.32
IQ 15.92 15.72 16.06
JD 28.19 28.06 28.80 
  
  
  
  

   ser


    公司    日期        
    BABA  2019-10-01    165.15
          2019-10-02    165.77
          2019-10-03    169.48
    BIDU  2019-10-01    102.00
          2019-10-02    102.62
          2019-10-03    104.32
    IQ    2019-10-01     15.92
          2019-10-02     15.72
          2019-10-03     16.06
    JD    2019-10-01     28.19
          2019-10-02     28.06
          2019-10-03     28.80
    Name: 收盘, dtype: float64



ser.reset_index()
.dataframe tbody tr th:only-of-type { vertical-align: middle; } 
.dataframe tbody tr th { vertical-align: top; } .dataframe thead th { text-align: right; }
公司 日期 收盘
0 BABA 2019-10-01 165.15
1 BABA 2019-10-02 165.77
2 BABA 2019-10-03 169.48
3 BIDU 2019-10-01 102.00
4 BIDU 2019-10-02 102.62
5 BIDU 2019-10-03 104.32
6 IQ 2019-10-01 15.92
7 IQ 2019-10-02 15.72
8 IQ 2019-10-03 16.06
9 JD 2019-10-01 28.19
10 JD 2019-10-02 28.06
11 JD 2019-10-03 28.80

二、Series有多层索引MultiIndex怎样筛选数据？

  
  
  
  

   ser


    公司    日期        
    BABA  2019-10-01    165.15
          2019-10-02    165.77
          2019-10-03    169.48
    BIDU  2019-10-01    102.00
          2019-10-02    102.62
          2019-10-03    104.32
    IQ    2019-10-01     15.92
          2019-10-02     15.72
          2019-10-03     16.06
    JD    2019-10-01     28.19
          2019-10-02     28.06
          2019-10-03     28.80
    Name: 收盘, dtype: float64



ser.loc['BIDU']



    日期
    2019-10-01    102.00
    2019-10-02    102.62
    2019-10-03    104.32
    Name: 收盘, dtype: float64


# 多层索引，可以用元组的形式筛选
ser.loc[('BIDU', '2019-10-02')]



    102.62




ser.loc[:, '2019-10-02']




    公司
    BABA    165.77
    BIDU    102.62
    IQ       15.72
    JD       28.06
    Name: 收盘, dtype: float64

三、DataFrame的多层索引MultiIndex

  
  
  
  

   stocks.head()
.dataframe tbody tr th:only-of-type { vertical-align: middle; } 
.dataframe tbody tr th { vertical-align: top; } .dataframe thead th { text-align: right; }
日期 公司 收盘 开盘 高 低 交易量 涨跌幅
0 2019-10-03 BIDU 104.32 102.35 104.73 101.15 2.24 0.02
1 2019-10-02 BIDU 102.62 100.85 103.24 99.50 2.69 0.01
2 2019-10-01 BIDU 102.00 102.80 103.26 101.00 1.78 -0.01
3 2019-10-03 BABA 169.48 166.65 170.18 165.00 10.39 0.02
4 2019-10-02 BABA 165.77 162.82 166.88 161.90 11.60 0.00 
  
  
  
  

   
stocks.set_index(['公司', '日期'], inplace=True)
stocks
.dataframe tbody tr th:only-of-type { vertical-align: middle; } 
.dataframe tbody tr th { vertical-align: top; } .dataframe thead th { text-align: right; }
收盘 开盘 高 低 交易量 涨跌幅
公司 日期
BIDU 2019-10-03 104.32 102.35 104.73 101.15 2.24 0.02
2019-10-02 102.62 100.85 103.24 99.50 2.69 0.01
2019-10-01 102.00 102.80 103.26 101.00 1.78 -0.01
BABA 2019-10-03 169.48 166.65 170.18 165.00 10.39 0.02
2019-10-02 165.77 162.82 166.88 161.90 11.60 0.00
2019-10-01 165.15 168.01 168.23 163.64 14.19 -0.01
IQ 2019-10-03 16.06 15.71 16.38 15.32 10.08 0.02
2019-10-02 15.72 15.85 15.87 15.12 8.10 -0.01
2019-10-01 15.92 16.14 16.22 15.50 11.65 -0.01
JD 2019-10-03 28.80 28.11 28.97 27.82 8.77 0.03
2019-10-02 28.06 28.00 28.22 27.53 9.53 0.00
2019-10-01 28.19 28.22 28.57 27.97 10.64 0.00 
  
  
  
  

   stocks.index



    MultiIndex([('BIDU', '2019-10-03'),
                ('BIDU', '2019-10-02'),
                ('BIDU', '2019-10-01'),
                ('BABA', '2019-10-03'),
                ('BABA', '2019-10-02'),
                ('BABA', '2019-10-01'),
                (  'IQ', '2019-10-03'),
                (  'IQ', '2019-10-02'),
                (  'IQ', '2019-10-01'),
                (  'JD', '2019-10-03'),
                (  'JD', '2019-10-02'),
                (  'JD', '2019-10-01')],
               names=['公司', '日期'])



stocks.sort_index(inplace=True)
stocks
.dataframe tbody tr th:only-of-type { vertical-align: middle; } 
.dataframe tbody tr th { vertical-align: top; } .dataframe thead th { text-align: right; }
收盘 开盘 高 低 交易量 涨跌幅
公司 日期
BABA 2019-10-01 165.15 168.01 168.23 163.64 14.19 -0.01
2019-10-02 165.77 162.82 166.88 161.90 11.60 0.00
2019-10-03 169.48 166.65 170.18 165.00 10.39 0.02
BIDU 2019-10-01 102.00 102.80 103.26 101.00 1.78 -0.01
2019-10-02 102.62 100.85 103.24 99.50 2.69 0.01
2019-10-03 104.32 102.35 104.73 101.15 2.24 0.02
IQ 2019-10-01 15.92 16.14 16.22 15.50 11.65 -0.01
2019-10-02 15.72 15.85 15.87 15.12 8.10 -0.01
2019-10-03 16.06 15.71 16.38 15.32 10.08 0.02
JD 2019-10-01 28.19 28.22 28.57 27.97 10.64 0.00
2019-10-02 28.06 28.00 28.22 27.53 9.53 0.00
2019-10-03 28.80 28.11 28.97 27.82 8.77 0.03

四、DataFrame有多层索引MultiIndex怎样筛选数据？

【重要知识】在选择数据时：

  • 元组(key1,key2)代表筛选多层索引，其中key1是索引第一级，key2是第二级，比如key1=JD, key2=2019-10-02
  • 列表[key1,key2]代表同一层的多个KEY，其中key1和key2是并列的同级索引，比如key1=JD, key2=BIDU
  
  
  
  

   
stocks.loc['BIDU']
.dataframe tbody tr th:only-of-type { vertical-align: middle; } 
.dataframe tbody tr th { vertical-align: top; } .dataframe thead th { text-align: right; }
收盘 开盘 高 低 交易量 涨跌幅
日期
2019-10-01 102.00 102.80 103.26 101.00 1.78 -0.01
2019-10-02 102.62 100.85 103.24 99.50 2.69 0.01
2019-10-03 104.32 102.35 104.73 101.15 2.24 0.02 
  
  
  
  

   stocks.loc[('BIDU', '2019-10-02'), :]



    收盘     102.62
    开盘     100.85
    高      103.24
    低       99.50
    交易量      2.69
    涨跌幅      0.01
    Name: (BIDU, 2019-10-02), dtype: float64


stocks.loc[('BIDU', '2019-10-02'), '开盘']


    100.85



stocks.loc[['BIDU', 'JD'], :]
.dataframe tbody tr th:only-of-type { vertical-align: middle; } 
.dataframe tbody tr th { vertical-align: top; } .dataframe thead th { text-align: right; }
收盘 开盘 高 低 交易量 涨跌幅
公司 日期
BIDU 2019-10-01 102.00 102.80 103.26 101.00 1.78 -0.01
2019-10-02 102.62 100.85 103.24 99.50 2.69 0.01
2019-10-03 104.32 102.35 104.73 101.15 2.24 0.02
JD 2019-10-01 28.19 28.22 28.57 27.97 10.64 0.00
2019-10-02 28.06 28.00 28.22 27.53 9.53 0.00
2019-10-03 28.80 28.11 28.97 27.82 8.77 0.03 
  
  
  
  

   stocks.loc[(['BIDU', 'JD'], '2019-10-03'), :]
.dataframe tbody tr th:only-of-type { vertical-align: middle; } 
.dataframe tbody tr th { vertical-align: top; } .dataframe thead th { text-align: right; }
收盘 开盘 高 低 交易量 涨跌幅
公司 日期
BIDU 2019-10-03 104.32 102.35 104.73 101.15 2.24 0.02
JD 2019-10-03 28.80 28.11 28.97 27.82 8.77 0.03 
  
  
  
  

   stocks.loc[(['BIDU', 'JD'], '2019-10-03'), '收盘']


    公司    日期        
    BIDU  2019-10-03    104.32
    JD    2019-10-03     28.80
    Name: 收盘, dtype: float64



stocks.loc[('BIDU', ['2019-10-02', '2019-10-03']), '收盘']




    公司    日期        
    BIDU  2019-10-02    102.62
          2019-10-03    104.32
    Name: 收盘, dtype: float64


# slice(None)代表筛选这一索引的所有内容
stocks.loc[(slice(None), ['2019-10-02', '2019-10-03']), :]
.dataframe tbody tr th:only-of-type { vertical-align: middle; } 
.dataframe tbody tr th { vertical-align: top; } .dataframe thead th { text-align: right; }
收盘 开盘 高 低 交易量 涨跌幅
公司 日期
BABA 2019-10-02 165.77 162.82 166.88 161.90 11.60 0.00
2019-10-03 169.48 166.65 170.18 165.00 10.39 0.02
BIDU 2019-10-02 102.62 100.85 103.24 99.50 2.69 0.01
2019-10-03 104.32 102.35 104.73 101.15 2.24 0.02
IQ 2019-10-02 15.72 15.85 15.87 15.12 8.10 -0.01
2019-10-03 16.06 15.71 16.38 15.32 10.08 0.02
JD 2019-10-02 28.06 28.00 28.22 27.53 9.53 0.00
2019-10-03 28.80 28.11 28.97 27.82 8.77 0.03 
  
  
  
  

   stocks.reset_index()
.dataframe tbody tr th:only-of-type { vertical-align: middle; } 
.dataframe tbody tr th { vertical-align: top; } .dataframe thead th { text-align: right; }
公司 日期 收盘 开盘 高 低 交易量 涨跌幅
0 BABA 2019-10-01 165.15 168.01 168.23 163.64 14.19 -0.01
1 BABA 2019-10-02 165.77 162.82 166.88 161.90 11.60 0.00
2 BABA 2019-10-03 169.48 166.65 170.18 165.00 10.39 0.02
3 BIDU 2019-10-01 102.00 102.80 103.26 101.00 1.78 -0.01
4 BIDU 2019-10-02 102.62 100.85 103.24 99.50 2.69 0.01
5 BIDU 2019-10-03 104.32 102.35 104.73 101.15 2.24 0.02
6 IQ 2019-10-01 15.92 16.14 16.22 15.50 11.65 -0.01
7 IQ 2019-10-02 15.72 15.85 15.87 15.12 8.10 -0.01
8 IQ 2019-10-03 16.06 15.71 16.38 15.32 10.08 0.02
9 JD 2019-10-01 28.19 28.22 28.57 27.97 10.64 0.00
10 JD 2019-10-02 28.06 28.00 28.22 27.53 9.53 0.00
11 JD 2019-10-03 28.80 28.11 28.97 27.82 8.77 0.03

本文使用 文章同步助手 同步

你可能感兴趣的:(17 Pandas的分层索引MultiIndex)

  • 《零代码调用最强开源模型DeepSeek-Lite：15分钟实战案例解析》 煜bart 人工智能
    一、突破性技术揭秘DeepSeek-Lite-16K作为当前中文开源模型的性能冠军，在CLUE评测中超越GPT-4的表现令人震惊。该模型采用独特的动态窗口技术，支持最大16ktokens的上下文处理能力，在智能客服、法律文书处理、医疗诊断等场景展现惊人潜力。##二、三步极速接入指南```python#实战代码片段（基于HuggingFace平台）fromtransformersimportAuto
  • Qt：槽函数与信号 就叫啥也不会吧 QTqt开发语言
    1.槽函数的参数只能小于等于信号的参数，不然就报错2.两者之间是多对多关系3.可以使用信号触发信号间接的触发槽函数4.断开信号与槽函数的连接4.1断开一个信号与一个槽函数的连接disconnect(this,SIGNAL(信号函数),this,SLOT(槽函数));4.2断开一个信号和所有与他响应的槽函数disconnect(this,SIGNAL(信号函数),0,0);4.3断开this所有信号
  • 深入理解Spring MVC：构建灵活的Web应用 杨凯凡 Springjavaspringspringboot
    大家好！今天我们来聊聊Spring框架中的一个重要模块——SpringMVC。SpringMVC是一个基于MVC（Model-View-Controller）架构的Web框架，它提供了强大的功能来处理HTTP请求、生成动态内容以及管理Web应用程序的流程。无论是构建RESTfulAPI，还是开发传统的Web应用，SpringMVC都是不可或缺的工具。本文将深入探讨SpringMVC的核心组件、请求
  • vscode--工作区和相对路径 一头大学牲 程序--编程记录vscodeide编辑器
    vscode的相对路径使用vscode编辑python项目时发现，它的相对路径是相对于当前工作根目录来定位的，也就是从工作文件夹的最顶级目录开始查找，而非是从当前执行文件开始查找。例子：根目录：F:\deep-learning-for-image-processing执行文件路径：F:\deep-learning-for-image-processing\pytorch_classificatio
  • Linux和RTOS简析 niuTaylor linux运维服务器macosmacbookair换硬盘扩内存
    以下是针对Linux驱动开发、RTOS（实时操作系统）任务状态（就绪态）以及互斥锁的详细解释：一、Linux设备驱动1.什么是设备驱动？定义：设备驱动是操作系统内核的一部分，用于管理和控制硬件设备（如摄像头、键盘、传感器等）。作用：充当硬件与操作系统/应用程序之间的“翻译官”，将操作系统的指令转换为硬件能理解的信号，反之亦然。2.驱动分类字符设备驱动：按字节流访问的设备（如键盘、鼠标）。块设备驱动
  • Ubuntu14.04设置网络代理 得一录 Linux
    buntu下apt-get的网络代理设置（终端命令行的网络代理设置）新立得软件管理器这种图形化的代理设置很明了，这里介绍下终端命令行的网络代理设置，这样大家就可以通过代理进行apt-get了。方法一：如果只是想临时使用http代理，可以在使用apt-get之前于终端下输入：exporthttp_proxy="http://用户名:密码@代理IP:代理端口"方法二：（方法一的持久化）如果希望apt-
  • 基于python+mysql+vue的医院门诊管理系统 自不量力的A同学 mysql
    主要使用技术环境需要1.运行环境：python3.82.IDE环境：pycharm+mysql5.73.数据库工具：Navicat154.硬件环境：windows10/118G内存以上；或者MacOS；5.数据库：MySql5.7版本；技术栈后端：python+django前端：vue+CSS+JavaScript+jQuery+antdesign代码结构server目录是后端代码web目录是前端
  • Next：mui:client.ts:59 The pseudo class “:nth-child“ is potentially unsafe when doing server-side ren dingcho 前端前端reactmui
    client.ts:59Thepseudoclass":nth-child"ispotentiallyunsafewhendoingserver-siderendering.Trychangingitto":nth-of-type"这个警告是因为在服务器端渲染（SSR）中使用:nth-child伪类可能会导致一些问题，因为服务器和客户端的渲染顺序可能不同，从而导致样式不一致。建议将:nth-chi
  • RxSqlUtils（base R2dbc） xdpcxq1029 技术分享oracle数据库
    一、前言随着Solon3.0和Solon-Rx3.0发布，用于“响应式”操作数据库。RxSqlUtils是基于R2dbc和Reactor接口构建。极简风格，就像个工具类，故名：RxSqlUtils。尤其在solon-web-rx和场景开发时，RxSqlUtils会是最好的良配。二、RxSqlUtils使用1、引入依赖org.noearsolon-data-rx-sqlutils2、新建数据库表（f
  • Docker在centos上的安装 witchnofly dockerdockercentos运维
    centOS6安装Docker1yuminstall-yepel-releaseDocker使用EPEL发布，RHEL系的OS首先要确保已经持有EPEL仓库，否则先检查OS版本，然后安装相应的EPEL包。2yuminstall-ydocker-io3安装后的配置文件/etc/sysconfig/docker4启动Docker的后台服务servicedockerstart5dockerversion
  • Bash脚本快速上手 DevDiary linuxbashshell
    基础Bash脚本的结构和执行方式Bash脚本是一种用于自动化操作系统任务的脚本语言。编写好的脚本可以用来执行常规的文件操作、运行程序、以及进行系统管理等任务。下面我会详细解释Bash脚本的基本结构和执行方式。基本结构一个典型的Bash脚本包含以下几个部分：Shebang行：这是脚本的第一行，以#!开头，后面跟上Bash的路径。Shebang行告诉系统这个脚本应该用什么解释器来执行。对于Bash脚本
  • 基于python的家政预约管理系统源码+运行步骤 冷琴1996 Python系统设计python开发语言
    功能介绍平台采用B/S结构，后端采用主流的Python语言进行开发，前端采用主流的Vue.js进行开发。学习技术问题可以留言。整个平台包括前台和后台两个部分。前台功能包括：首页、详情页、用户中心、家政入驻模块。后台功能包括：总览、家政管理、分类管理、标签管理、评论管理、用户管理、运营管理、日志管理、系统信息模块。源码地址https://github.com/geeeeeeeek/python_ji
  • 基于python+django+vue.js开发的健身房管理系统源码+运行步骤 冷琴1996 Python系统设计pythondjangovue.js
    功能介绍平台采用B/S结构，后端采用主流的Python语言进行开发，前端采用主流的Vue.js进行开发。技术学习中的问题可以留言。功能包括：教练管理、会员管理、场地管理、设备管理、用户管理、日志管理、系统信息模块。源码地址https://github.com/geeeeeeeek/python_fitness演示地址http://fitness.gitapp.cn演示帐号：用户名：admin123
  • 离线安装Docker&&Docker compose（centos版本） AosisDevDoHub linuxdockercentos容器
    简介离线安装docker的两种方法本人用的压缩包安装，RPM包安装的话依赖不好找Docker与Dockercompose版本对应关于docker-composer的版本和docker-compose.yml里version的理解离线安装docker-compose一、离线安装docker的两种方法注：因为是给centos安装所以是rpm包离线安装Docker主要有两种常见方法：使用RPM包或压缩包
  • 淘宝客劫持插件功能演示解析 喵喵蜜
    本文还有配套的精品资源，点击获取简介：淘宝客劫持插件通过改变用户购物链接为带有推广ID的链接，使推广者在用户购买后获得佣金。演示内容包括插件安装、链接转换机制、用户无感知操作、安全性与隐私、收益追踪、兼容性测试、源码说明、许可证和法律合规性，以及教程示例。该插件是一种网络营销工具，需在用户体验和合规性间找到平衡，对于推广者和浏览器扩展开发者具有实用价值。1.淘宝客劫持插件功能概述在电商行业竞争日益
  • exfat默认配置大小_U盘exFAT格式好不好？格式化分配单元大小多少合适？ 喵喵蜜 exfat默认配置大小
    2019年9月1日通常，格式化分配单元越小，节省的空间越多。分配单元越大，节省的时间越多，但浪费空间。这看起来似乎分配单元小能节省空间，但事实并非如此。文件分割的块越多，特别是当这些存储器单元分散时，它会浪费一些时间来读取数据。分配单元大小是系统读取和写入磁盘，和可移动存储设备的最小单元。在极限速度内，分配单元的尺寸越大，读/写速度越快，反之亦然。但在这里我们必须注意一个问题，分配的单位越大，浪费
  • Adobe Premiere Pro2023配置要求 小魚資源大雜燴 adobewindows
    Windows系统最低配置处理器：Intel®第六代或更新版本的CPU，或AMDRyzen™1000系列或更新版本的CPU，需要支持AdvancedVectorExtensions2（AVX2）。操作系统：Windows10（64位）v20H2或更高版本。内存：8GB的RAM。GPU：2GB的GPU内存。存储：8GB可用硬盘空间用于安装，安装期间所需的额外可用空间，不能安装在可移动闪存存储器上，还
  • 【商城实战(23)】筑牢安全防线，防范常见漏洞 奔跑吧邓邓子 商城实战安全商城实战uniappSpringBootElementplusSQL注入CSRF
    【商城实战】专栏重磅来袭！这是一份专为开发者与电商从业者打造的超详细指南。从项目基础搭建，运用uniapp、ElementPlus、SpringBoot搭建商城框架，到用户、商品、订单等核心模块开发，再到性能优化、安全加固、多端适配，乃至运营推广策略，102章内容层层递进。无论是想深入钻研技术细节，还是探寻商城运营之道，本专栏都能提供从0到1的系统讲解，助力你打造独具竞争力的电商平台，开启电商实战
  • Mina 框架 武涛的技术博客 java框架技术服务器netty
    java服务器端开发。J2SE、TCP/UDP协议。mina与netty都是TrustinLee的作品，异步的NIO框架,将UDP当成"面向连接"的协议一、组件管理Mina的底层依赖的主要是JavaNIO库，上层提供的是基于事件的异步接口(1)IoService(最底层[起点])作用：隐藏底层IO的细节，对上提供统一的基于事件的异步IO接口IOSocketAcceptor和IOSocketChan
  • 全网最详细的Kafka应用教程【建议收藏】 Java布道者 kafka分布式
    Kafkakafka是什么？kafka仅仅是属于消息中间件吗？kafka在设计之初的时候开发人员们在除了消息中间件以外，还想吧kafka设计为一个能够存储数据的系统，有点像常见的非关系型数据库，比如说NoSql等。除此之外还希望kafka能支持持续变化，不断增长的数据流,可以发布和订阅数据流，还可以对于这些数据进行保存也就是说kafka的本质是一个数据存储平台，流平台，只是他在做消息发布，消息消费
  • 数据分析面试全攻略：项目经验篇 代码CC 数据分析（包括各种面试题）数据分析面试python
    引言：为什么项目经验是数据分析面试的“敲门砖”？在数据分析岗位的面试中，项目经验是最核心的竞争力证明。HR视角：80%的面试官会通过项目细节判断候选人的真实能力技术视角：项目是数据清洗、建模分析、业务落地的综合体现误区警示：单纯罗列工具名称（如Python/SQL）≠具备实战能力本文将系统讲解如何用STAR法则包装项目、如何选择高含金量数据集、以及如何通过和鲸社区快速积累实战经验。文末提供10个可
  • Rpm安装Docker 星光落入你灰蒙蒙的眼 Dockerdockerlinux运维容器kubernetes
    如果您不能使用Docker的存储库来安装Docker，您可以下载.rpm文件并手动安装。每次要升级Docker引擎时，都需要下载一个新文件。官方文档1、登录https://download.docker.com/linux/centos/并选择您的CentOS版本。然后浏览到x86_64/stable/Packages/，下载您想要安装的Docker版本的.rpm文件#已Centos7.9为例mk
  • vue2和vue3的diff算法有什么区别？ 浮生无聊 vue.jsjavascript前端面试
    1、diff算法是什么？diff算法是一种通过同层的树节点进行比较的高效算法。其有两个特点：只会在同层进行比较，不会跨层比较在diff比较过程中，循环从两边向中间比较diff算法在很多场景下都有应用，在vue中，作用于虚拟dom渲染成真实dom的新旧虚拟节点比较。diff整体策略为：深度优先，同层比较。Vue2和Vue3中的diff算法的主要区别：1、vue2的diff算法vue2使用了经典的di
  • HarmonyOS第21天：解锁分布式技术，开启跨设备协同新体验 老三不说话、 HarmonyOS开发harmonyos分布式华为
    一、HarmonyOS分布式技术：开启万物互联新时代在物联网蓬勃发展的今天，设备之间的互联互通不再是遥不可及的梦想，而是真切融入日常生活的现实。从智能家居设备的联动控制，到智能办公场景中的高效协作，再到智能出行中的无缝体验，我们越来越依赖设备之间的协同工作。HarmonyOS的分布式技术，正是这股万物互联浪潮中的关键力量，它打破了设备之间的界限，为用户带来了前所未有的跨设备协同体验，让多设备联动从
  • HarmonyOS第24天:鸿蒙应用安全秘籍：如何为用户数据筑牢防线？ 老三不说话、 HarmonyOS开发harmonyos华为
    开篇引入在数字化时代，我们的生活越来越依赖各种应用程序。从社交娱乐到移动支付，从健康管理到工作学习，应用已经渗透到生活的方方面面。然而，随着应用使用的日益频繁，用户隐私数据泄露的风险也在不断增加。前几年，某知名社交平台被曝光数百万用户数据泄露事件，用户的个人信息、聊天记录等敏感数据被非法获取并在暗网上出售。这一事件引发了轩然大波，让人们深刻意识到应用安全与隐私保护的重要性。类似的案例还有很多，如某
  • 一周热点：微软攻克语音输入、文本输出难题-Phi-4-multimodal 数据分析能量站 机器学习人工智能
    微软Phi-4-multimodal模型是人工智能领域的一个重要进展，它标志着微软在多模态人工智能技术上的突破。以下是对该模型的详细解释：模型概述微软Phi-4-multimodal是一个能够同时处理文本、图像和语音的多模态大型语言模型。它通过创新的架构和训练方法，实现了在不同模态之间的无缝交互，为用户提供更自然、更智能的交互体验。模型架构该模型采用多模态Transformer架构，通过LoRA（
  • MySQL批量数据处理与事务管理 Mr数据杨 Python数据分析师mysql数据库
    MySQL是一种广泛应用的关系型数据库管理系统，尤其在数据分析和业务逻辑处理方面具有重要地位。在数据量庞大的业务场景中，批量数据处理和事务管理是提高效率和保障数据一致性的重要手段。掌握高效的批量数据操作方法与事务管理技巧，不仅能够提升操作性能，还能有效降低数据处理的出错率。本教程将深入介绍MySQL数据分析中的批量数据处理与事务管理技巧，覆盖批量数据导入与更新、事务一致性与隔离级别等关键知识，帮助
  • Python-Django毕业设计医院门诊管理信息系统（程序+Lw) Python计算机毕设程序源码_ pythondjango课程设计
    该项目含有源码、文档、程序、数据库、配套开发软件、软件安装教程项目运行环境配置：Pychram社区版+python3.7.7+Mysql5.7+HBuilderX+listpip+Navicat11+Django+nodejs。项目技术：django+python+Vue等等组成，B/S模式+pychram管理等等。环境需要1.运行环境：最好是python3.7.7，我们在这个版本上开发的。其他版
  • centos 8 安装docker（RPM离线）——k8s和docker系列 名栩 #容器dockerlinuxcentos
    如果无法使用Docker的存储库来安装Docker，可以下载.rpm版本的文件并手动安装。每次要升级DockerEngine时都需要下载一个新文件。前往https://download.docker.com/linux/centos/并选择CentOS版本。然后浏览x86_64/stable/Packages/并下载.rpm要安装的Docker版本的文件。笔记要安装每晚或测试（预发布）包，stab
  • 【设计模式】（22）模板方法模式 xiyubaby.17 设计模式Java教程设计模式模板方法模式
    模板方法模式（TemplateMethodPattern）教程一、模式定义模板方法模式在父类中定义了一个算法的骨架，允许子类在不改变算法结构的前提下重写某些特定步骤。核心目标：复用公共流程，差异化实现细节，确保算法步骤的稳定性和扩展性。二、适用场景统一流程，差异细节：多个类有相同流程但某些步骤实现不同（如数据解析、文档生成）。框架设计：框架定义核心流程，用户通过子类扩展具体行为（如SpringJd
  • 关于旗正规则引擎规则中的上传和下载问题 何必如此 文件下载压缩jsp文件上传
    文件的上传下载都是数据流的输入输出，大致流程都是一样的。 一、文件打包下载 1.文件写入压缩包 string mainPath="D:\upload\";     下载路径 string tmpfileName=jar.zip;        &n
  • 【Spark九十九】Spark Streaming的batch interval时间内的数据流转源码分析 bit1129 Stream
      以如下代码为例（SocketInputDStream）： Spark Streaming从Socket读取数据的代码是在SocketReceiver的receive方法中，撇开异常情况不谈(Receiver有重连机制，restart方法，默认情况下在Receiver挂了之后，间隔两秒钟重新建立Socket连接)，读取到的数据通过调用store(textRead)方法进行存储。数据
  • spark master web ui 端口8080被占用解决方法 daizj 8080端口占用sparkmaster web ui
    spark master web ui 默认端口为8080，当系统有其它程序也在使用该接口时，启动master时也不会报错，spark自己会改用其它端口，自动端口号加1，但为了可以控制到指定的端口，我们可以自行设置，修改方法：   1、cd SPARK_HOME/sbin   2、vi start-master.sh     3、定位到下面部分
  • oracle_执行计划_谓词信息和数据获取 周凡杨 oracle执行计划
      oracle_执行计划_谓词信息和数据获取(上) 一：简要说明 在查看执行计划的信息中，经常会看到两个谓词filter和access，它们的区别是什么，理解了这两个词对我们解读Oracle的执行计划信息会有所帮助。 简单说，执行计划如果显示是access，就表示这个谓词条件的值将会影响数据的访问路径（表还是索引），而filter表示谓词条件的值并不会影响数据访问路径，只起到
  • spring中datasource配置 g21121 dataSource
    datasource配置有很多种，我介绍的一种是采用c3p0的，它的百科地址是： http://baike.baidu.com/view/920062.htm   <!-- spring加载资源文件 --> <bean name="propertiesConfig" class="org.springframework.b
  • web报表工具FineReport使用中遇到的常见报错及解决办法（三） 老A不折腾 finereportFAQ报表软件
    这里写点抛砖引玉，希望大家能把自己整理的问题及解决方法晾出来，Mark一下，利人利己。   出现问题先搜一下文档上有没有，再看看度娘有没有，再看看论坛有没有。有报错要看日志。下面简单罗列下常见的问题，大多文档上都有提到的。 1、repeated column width is largerthan paper width： 这个看这段话应该是很好理解的。比如做的模板页面宽度只能放
  • mysql 用户管理 墙头上一根草 linuxmysqluser
    1.新建用户 //登录MYSQL@>mysql -u root -p@>密码//创建用户mysql> insert into mysql.user(Host,User,Password) values(‘localhost’,'jeecn’,password(‘jeecn’));//刷新系统权限表mysql>flush privileges;这样就创建了一个名为：
  • 关于使用Spring导致c3p0数据库死锁问题 aijuans springSpring 入门Spring 实例Spring3Spring 教程
    这个问题我实在是为整个 springsource 的员工蒙羞 如果大家使用 spring 控制事务，使用 Open Session In View 模式， com.mchange.v2.resourcepool.TimeoutException: A client timed out while waiting to acquire a resource from com.mchange.
  • 百度词库联想 annan211 百度
    <!DOCTYPE html> <html> <head> <meta http-equiv="Content-Type" content="text/html; charset=UTF-8"> <title>RunJS</title&g
  • int数据与byte之间的相互转换实现代码 百合不是茶 位移int转bytebyte转int基本数据类型的实现
    在BMP文件和文件压缩时需要用到的int与byte转换,现将理解的贴出来;   主要是要理解;位移等概念 http://baihe747.iteye.com/blog/2078029   int转byte;   byte转int;   /** * 字节转成int,int转成字节 * @author Administrator *
  • 简单模拟实现数据库连接池 bijian1013 javathreadjava多线程简单模拟实现数据库连接池
    简单模拟实现数据库连接池 实例1： package com.bijian.thread; public class DB { //private static final int MAX_COUNT = 10; private static final DB instance = new DB(); private int count = 0; private i
  • 一种基于Weblogic容器的鉴权设计 bijian1013 javaweblogic
            服务器对请求的鉴权可以在请求头中加Authorization之类的key，将用户名、密码保存到此key对应的value中，当然对于用户名、密码这种高机密的信息，应该对其进行加砂加密等，最简单的方法如下： String vuser_id = "weblogic"; String vuse
  • 【RPC框架Hessian二】Hessian 对象序列化和反序列化 bit1129 hessian
     任何一个对象从一个JVM传输到另一个JVM，都要经过序列化为二进制数据(或者字符串等其他格式，比如JSON)，然后在反序列化为Java对象，这最后都是通过二进制的数据在不同的JVM之间传输(一般是通过Socket和二进制的数据传输)，本文定义一个比较符合工作中。   1. 定义三个POJO    Person类 package com.tom.hes
  • 【Hadoop十四】Hadoop提供的脚本的功能 bit1129 hadoop
    1. hadoop-daemon.sh 1.1 启动HDFS ./hadoop-daemon.sh start namenode ./hadoop-daemon.sh start datanode  通过这种逐步启动的方式，比start-all.sh方式少了一个SecondaryNameNode进程，这不影响Hadoop的使用，其实在 Hadoop2.0中，SecondaryNa
  • 中国互联网走在“灰度”上 ronin47 管理 灰度
    中国互联网走在“灰度”上（转） 文/孕峰   第一次听说灰度这个词，是任正非说新型管理者所需要的素质。第二次听说是来自马化腾。似乎其他人包括马云也用不同的语言说过类似的意思。   灰度这个词所包含的意义和视野是广远的。要理解这个词，可能同样要用“灰度”的心态。灰度的反面，是规规矩矩，清清楚楚，泾渭分明，严谨条理，是决不妥协，不转弯，认死理。黑白分明不是灰度，像彩虹那样
  • java-51-输入一个矩阵，按照从外向里以顺时针的顺序依次打印出每一个数字。 bylijinnan java
    public class PrintMatrixClockwisely { /** * Q51.输入一个矩阵，按照从外向里以顺时针的顺序依次打印出每一个数字。 例如：如果输入如下矩阵： 1 2 3 4 5 6 7 8 9
  • mongoDB 用户管理 开窍的石头 mongoDB用户管理
      1:添加用户    第一次设置用户需要进入admin数据库下设置超级用户（use admin）      db.addUsr({user:'useName',pwd:'111111',roles:[readWrite,dbAdmin]});    第一个参数用户的名字    第二个参数
  • [游戏与生活]玩暗黑破坏神3的一些问题 comsci 生活
        暗黑破坏神3是有史以来最让人激动的游戏。。。。但是有几个问题需要我们注意      玩这个游戏的时间，每天不要超过一个小时，且每次玩游戏最好在白天      结束游戏之后，最好在太阳下面来晒一下身上的暗黑气息，让自己恢复人的生气   &nb
  • java 二维数组如何存入数据库 cuiyadll java
    using System; using System.Linq; using System.Text; using System.Windows.Forms; using System.Xml; using System.Xml.Serialization; using System.IO; namespace WindowsFormsApplication1 {
  • 本地事务和全局事务Local Transaction and Global Transaction(JTA) darrenzhu javaspringlocalglobaltransaction
    Configuring Spring and JTA without full Java EE http://spring.io/blog/2011/08/15/configuring-spring-and-jta-without-full-java-ee/ Spring doc -Transaction Management http://docs.spring.io/spri
  • Linux命令之alias - 设置命令的别名，让 Linux 命令更简练 dcj3sjt126com linuxalias
    用途说明 设置命令的别名。在linux系统中如果命令太长又不符合用户的习惯，那么我们可以为它指定一个别名。虽然可以为命令建立“链接”解决长文件名的问 题，但对于带命令行参数的命令，链接就无能为力了。而指定别名则可以解决此类所有问题【1】。常用别名来简化ssh登录【见示例三】，使长命令变短，使常 用的长命令行变短，强制执行命令时询问等。   常用参数 格式：alias 格式：ali
  • yii2 restful web服务[格式响应] dcj3sjt126com PHPyii2
    响应格式 当处理一个 RESTful API 请求时， 一个应用程序通常需要如下步骤 来处理响应格式： 确定可能影响响应格式的各种因素， 例如媒介类型， 语言， 版本， 等等。 这个过程也被称为 content negotiation。 资源对象转换为数组， 如在 Resources 部分中所描述的。 通过 [[yii\rest\Serializer]]
  • MongoDB索引调优（2）——[十] eksliang mongodbMongoDB索引优化
    转载请出自出处：http://eksliang.iteye.com/blog/2178555 一、概述       上一篇文档中也说明了，MongoDB的索引几乎与关系型数据库的索引一模一样，优化关系型数据库的技巧通用适合MongoDB，所有这里只讲MongoDB需要注意的地方 二、索引内嵌文档     可以在嵌套文档的键上建立索引，方式与正常
  • 当滑动到顶部和底部时，实现Item的分离效果的ListView gundumw100 android
    拉动ListView，Item之间的间距会变大，释放后恢复原样； package cn.tangdada.tangbang.widget; import android.annotation.TargetApi; import android.content.Context; import android.content.res.TypedArray; import andr
  • 程序员用HTML5制作的爱心树表白动画 ini JavaScriptjqueryWebhtml5css
    体验效果：http://keleyi.com/keleyi/phtml/html5/31.htmHTML代码如下： <!DOCTYPE html> <html xmlns="http://www.w3.org/1999/xhtml"><head><meta charset="UTF-8" > <ti
  • 预装windows 8 系统GPT模式的ThinkPad T440改装64位 windows 7旗舰版 kakajw ThinkPad预装改装windows 7windows 8
      该教程具有普遍参考性，特别适用于联想的机器，其他品牌机器的处理过程也大同小异。 该教程是个人多次尝试和总结的结果，实用性强，推荐给需要的人！   缘由 小弟最近入手笔记本ThinkPad T440，但是特别不能习惯笔记本出厂预装的Windows 8系统，而且厂商自作聪明地预装了一堆没用的应用软件，消耗不少的系统资源（本本的内存为4G，系统启动完成时，物理内存占用比
  • Nginx学习笔记 mcj8089 nginx
    一、安装nginx             1、在nginx官方网站下载一个包，下载地址是：  http://nginx.org/download/nginx-1.4.2.tar.gz      2、WinSCP(ftp上传工
  • mongodb 聚合查询每天论坛链接点击次数 qiaolevip 每天进步一点点学习永无止境mongodb纵观千象
    /* 18 */ { "_id" : ObjectId("5596414cbe4d73a327e50274"), "msgType" : "text", "sendTime" : ISODate("2015-07-03T08:01:16.000Z"
  • java术语（PO/POJO/VO/BO/DAO/DTO） Luob. DAOPOJODTOpoVO BO
    PO(persistant object) 持久对象 在o/r 映射的时候出现的概念,如果没有o/r映射,就没有这个概念存在了.通常对应数据模型(数据库),本身还有部分业务逻辑的处理.可以看成是与数据库中的表相映射的java对象.最简单的PO就是对应数据库中某个表中的一条记录,多个记录可以用PO的集合.PO中应该不包含任何对数据库的操作. VO(value object) 值对象 通
  • 算法复杂度 Wuaner Algorithm
    Time Complexity & Big-O： http://stackoverflow.com/questions/487258/plain-english-explanation-of-big-o http://bigocheatsheet.com/ http://www.sitepoint.com/time-complexity-algorithms/
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他