简说Python

数据分析从零开始实战 | 基础篇（四）

零写在前面

前面三篇文章讲了数据分析虚拟环境创建和pandas读写CSV、TSV、JSON、Excel、XML格式的数据，今天我们继续探索pandas。
基础篇（一）
基础篇（二）
基础篇（三）

本系列学习笔记参考书籍：《数据分析实战》托马兹·卓巴斯

一基本知识概要

1.利用Pandas检索HTML页面（read_html函数）
2.实战训练使用read_html函数直接获取页面数据
3.基本数据处理：表头处理、dropna和fillna详解
4.基本数据可视化分析案例

二开始动手动脑

1.Pandas的read_html函数

这里我们要介绍的是Pandas里解析HTML页面的函数：read_html。

查看源码后我们可以看出，该函数的参数比较多，下面我挑重点给大家解释几个。
(1)io（最关键参数）

源码注释

		A URL, a file-like object, or a raw string containing HTML. Note that
        lxml only accepts the http, ftp and file url protocols. If you have a
        URL that starts with ``'https'`` you might try removing the ``'s'``.

我的理解

	数据地址（网页地址、包含HTML的文件地址或者字符串）。
	注意lxml只接受HTTP、FTP和文件URL协议。
	如果你有以“https”开头的URL，你可以尝试删除“s”再传入参数。

(2)match

源码注释

		str or compiled regular expression, optional
        The set of tables containing text matching this regex or string will be
        returned. Unless the HTML is extremely simple you will probably need to
        pass a non-empty string here. Defaults to '.+' (match any non-empty
        string). The default value will return all tables contained on a page.
        This value is converted to a regular expression so that there is
        consistent behavior between Beautiful Soup and lxml.

我的理解

	字符串或编译的正则表达式，可选
	包含与此正则表达式或字符串匹配的文本的一组表将返回。
	除非HTML非常简单，否则您可能需要在此处传递一个非空字符串。
	默认为“.+”（匹配任何非空字符串）。默认值将返回页面上包含的所有标签包含的表格。
	该值将转换为正则表达式，以便Beautiful Soup和LXML之间一致。
(3)flavor
 
   源码注释 
  
		flavor : str or None, container of strings
        The parsing engine to use. 'bs4' and 'html5lib' are synonymous with
        each other, they are both there for backwards compatibility. The
        default of ``None`` tries to use ``lxml`` to parse and if that fails it
        falls back on ``bs4`` + ``html5lib``.
 
   我的理解 
  
	要使用的解析引擎。'bs4'和'html5lib'是彼此的同义词，
	它们都是为了向后兼容。默认为空，尝试用于lxml解析的默认值，
	如果失败，则使用bs4和 html5lib。
2.数据基本处理
（1）处理列名
# 处理列名
import re
# 匹配字符串中任意空白字符的正则表达式
space = re.compile(r"\s+")

def fix_string_spaces(columnsToFix):
    '''
        将列名中的空白字符转变成下划线
    '''
    tempColumnNames = []   # 保存处理后的列名
    # 循环处理所有列
    for item in columnsToFix:
        # 匹配到
        if space.search(item):
            # 处理并加入列表
            tempColumnNames.append('_'.join((space.split(item))))
            '''
            这句有点长涉及到列表的一些操作，我解释一下
            str1.split(str2) str1 表示被分隔的字符串；str2表示分隔字符串
            str3.join(list1) str2 表示按什么字符串进行连接；list1表示待连接的列表
            list2.append(str4) 表示在列表list2的末尾添加str4这个元素
            '''
        else :
            # 否则直接加入列表
            tempColumnNames.append(item)
    return tempColumnNames
上面这段代码来自书本，其目的是处理列名，将列名里为空的字符转变成-符号，仔细一想，其实这个是可以通用的，比如处理某行数据里为空的，处理某个列表里为空的数据等，复用性很强。
（2）对缺失数据处理之dropna函数
dropna()函数：对缺失的数据进行过滤。
 
 常用参数解析：
 axis：
 
   源码注释 
  
		 axis : {0 or 'index', 1 or 'columns'}, default 0
            Determine if rows or columns which contain missing values are removed.
            * 0, or 'index' : Drop rows which contain missing values.
            * 1, or 'columns' : Drop columns which contain missing value.
            .. deprecated:: 0.23.0: Pass tuple or list to drop on multiple axes.
 
   我的理解 
  
	少用，默认值为0，表示删除包含缺少值的行；值为1，表示删除包含缺少值的列。
how：
 
   源码注释 
  
		how : {'any', 'all'}, default 'any'
            Determine if row or column is removed from DataFrame, when we have at least one NA or all NA.
            * 'any' : If any NA values are present, drop that row or column.
            * 'all' : If all values are NA, drop that row or column.
 
   我的理解 
  
	默认值为any，表示如果存在任何NA（空）值，则删除该行或列；
	值为all，表示如果全都是NA值，则删除该行或列。
thresh：
 
   源码注释 
  
		thresh : int, optional
            Require that many non-NA values.
 
   我的理解 
  
	不为NA的个数，满足要求的行保留，不满足的行被删除。
inplace：
 
   源码注释 
  
		inplace : bool, default False
            If True, do operation inplace and return None.
 
   我的理解 
  
	默认为False，表示不在原对象上操作，
	而是复制一个新的对象进行操作并返回；
	值为True时，表示直接在原对象上进行操作。
（3）对缺失数据处理之fillna函数
fillna()函数：用指定值或插值的方法填充缺失数据。
 
 常用参数解析：
 value：
 
   源码注释 
  
	value : scalar, dict, Series, or DataFrame
            Value to use to fill holes (e.g. 0), alternately a
            dict/Series/DataFrame of values specifying which value to use for
            each index (for a Series) or column (for a DataFrame). (values not
            in the dict/Series/DataFrame will not be filled). This value cannot
            be a list.
 
   我的理解 
  
简单点说，就是替换NA（空值）的值。如果是直接给值，表示全部替换；
如果是字典： {列名:替换值}  表示替换掉该列包含的所有空值。
method：
 
   源码注释 
  
	method : {'backfill', 'bfill', 'pad', 'ffill', None}, default None
            Method to use for filling holes in reindexed Series
            pad / ffill: propagate last valid observation forward to next valid
            backfill / bfill: use NEXT valid observation to fill gap
 
   我的理解 
  
在重新索引系列中填充空白值的方法。
pad / ffill：按列检索，将最后一次不为空的值赋给下一个空值。
backfill / bfill：按列检索，将下一个不为空的值赋给该空值。
注意：该参数不可与value 同时存在
limit：
 
   源码注释 
  
limit : int, default None
            If method is specified, this is the maximum number of consecutive.
            NaN values to forward/backward fill. In other words, if there is a gap 
            with more than this number of consecutive NaNs, it will only be partially
             filled. If method is not specified, this is the maximum number of entries
              along the entire axis where NaNs will be filled. Must be greater than 0 if not None.
 
   我的理解 
  
其实很简单，就是按列搜索空值，然后limit的值表示最大的连续填充空值个数。
比如：limit=2,表示一列中从上到下搜索，只替换前两个空值，后面都不替换。
吐个槽：别看源码里的英文注释单词都很简单，但，太简单了，根本连不成句子，我都是一个个实践+表面翻译，然后才能弄明白参数的意思。
3.数据爬取实战训练
五行代码爬取2019富豪榜（60亿美元以上的）
import pandas as pd

# 排行榜
for i in range(15):
    # 页面地址
    url = "https://www.phb123.com/renwu/fuhao/shishi_%d.html" % (i+1)
    # 调用read_html函数，解析页面获取数据 List
    url_read = pd.read_html(url, header=0)[0]
    # 将数据存入csv文件
    url_read.to_csv(r'rich_list.csv', mode='a', encoding='utf_8_sig', header=0, index=False)
页面数据：
 
 爬取结果
 
 通过上面实战，你需要知道：
 1、不要觉得怎么这么简单啊（是因为我找好了网站，这个网站数据里只有一个table，数据也比较干净）；
 2、真正工作中网站可能是不配合的，数据可能是不配合的，这个时候最好的方法是见仁见智，多看源代码。
4.数据可视化分析实战训练
基于我们上面拿到的数据，我们做个简单的数据可视化和分析报告。
 上面我们已经拿到了2019富豪榜（60亿美元以上的）的数据，包含排名、姓名、财富数额、财富来源、国家这些信息，明确数据属性后，我们就该想一下我们能从那些方面去分析那些问题？
 我想到的几个方面：
 （1）排行榜上各个国家的人数各多少？那些国家最多？
 （2）那些公司上榜的人数最多？
 （3）排行榜上的人所在的行业分布？
（0）读取数据和数据可视化
读取数据我们直接利用pandans的read_csv函数。
import pandas as pd

# 原始数据文件路径
rpath_csv = 'rich_list.csv'
# 读取数据
csv_read = pd.read_csv(rpath_csv)
# 提取出来的数据是pandans的Series对象
# 后期处理可以直接转换成列表
name_list = csv_read["名字"]
money_list = csv_read["财富(10亿美元)"]
company_list = csv_read["财富来源"]
country_list = csv_read["国家/地区"]
数据可视化，我们从最简单的pyecharts模块。
	pip install pyecharts
点击了解：pyecharts基本使用
（1）排行榜上各个国家的人数各多少？那些国家最多？
# 排行榜上各个国家的人数各多少？那些国家最多？
"""
1、统计数据
利用collections模块的Counter函数
"""
country_list = list(country_list)
from collections import Counter
dict_number = Counter(country_list)

"""
2、数据可视化
利用pyecharts模块的Bar类
"""
bar = Bar("富豪国家分布柱状图")
bar.add("富豪", key_list, values_list, is_more_utils=True, is_datazoom_show=True,
        xaxis_interval=0, xaxis_rotate=30, yaxis_rotate=30, mark_line=["average"], mark_point=["max", "min"])
bar.render("rich_country.html")

 从上面数据，我们可以很明显的发现，富豪榜上富豪的国籍，美国居多，而且可以说是遥遥领先，总共是300人，美国国籍的有106人，占了总数据的1/3还多，这个比较好理解，美国一直是一个超级大国，各个方面的发展都位列全球前列。
 位列第二的是中国，占了43人，也是特别多的，而且对于中国，发展到现在是非常非常不容易的，从1949年成立，到今年2019年，建国70年，从“为中华之崛起而读书”到“为实现中国梦、建设富强民主文明和谐美丽的社会主义现代化强国而奋斗”，作为中国人，我是骄傲的。
 第三名是德国和俄罗斯，各占20人,德国是个工业大国，欧洲最大经济体，所以德国的强健是显而易见的，另外俄罗斯，世界面积最大的国家，曾经苏联也是世界第二经济强国，虽然苏联解体后不如从前，但近几年普京执政，经济稳步回升。
 再后面的国家中以欧洲国家居多，其中第五是印度，其科技实力十分发达。
（2）那些公司上榜的人数最多？

 注意哦~能上这个榜的，财富最低都是60亿美元，从统计数据来看，玛氏公司上榜人数最多，有6个上榜的富豪来自玛氏公司，其次是沃尔玛百货有限公司，有3个人来自该公司，这两个公司都是日化类公司，接下来的：微软、Facebook、谷歌都是科技类公司

 
 不查一下，我还真不知道原来“饿货，快来条士力架”的士力架、“德芙，纵享丝滑”的德芙是来自一家公司的，而且是玛氏公司的，此处双击666。另外沃尔玛在2018年被评选为世界五百强的第一位，莫种意义来说，这就是宇宙最强公司啊~（小时候我一直以为富迪是最厉害的超市，长大后我又以为万达是最厉害的超市，现在，我知道了，是沃尔玛！）
（3）排行榜上的人所在的行业分布？
这部分其实是不好做的，因为我们获取到的数据里没有直接和行业相连的数据，唯一能和行业有点联系的就是公司，这就需要我们通过公司名称去判断（或者在网上获取）该公司的类别属性，比如是互联网公司，还是传统行业等等方面。
我的解决方案：我们可以通过爬取百度百科上的每个公司的经营范围来判别该公司的类别，具体实现我会在微信学习群内带大家实现，有兴趣可以加我微信:jjxksa888，了解具体实现方法。
三 送你的话
1、关于赞赏
 我希望大家每月初和月末能给我赞赏一次，我也不要多，只是想看到大家的头像，的确对于我来说是种莫大的激励，所以一元即可（有钱的读者随意），感谢。
 
 2、关于留言打卡赠书活动
 做个活动，诚实的说，主要是为了增加与大家的学习交流互动，其次，也给大家一个免费而且100%获得赠书的机会，然而，很多读者朋友“中途而废”，希望大家能坚持，而且我每次的留言主题也不是特别刁钻的问题。
 
 3、关于学习———坚持
 对于学习上面的建议，我只给两个字——坚持，人最怕的就是时间的流逝，但随着时间的流逝，你看到的、听到的、懂得的东西也会越多，所以，不问你我，坚持初心，一路向前。
 
欢迎关注微信公众号：简说Python
 和老表，一起学Python。
 

                    
                        
                        
                             
                        
                        
                        
                            
                        
                        
                        
                            
                        
                    
                

        你可能感兴趣的:(Python,数据分析入门到实战,数据分析从零开始实战,read_html,pandas,初级实战)
        
            
                
                    《周老三的爱情十五》
                        柳夏一季

                        “老乡，这个时候还没休息呀？”王昨晚与一位小老板吃宵夜，半夜才回到出租房，见周老三的那间房门还没关，旁边还有“噗噗噗”的响声。原来周老三还没睡，到这个时候了，还在鼓捣他那一堆破烂，因为，昨天房东来收房租费时就发了一通牢骚，说堆在过道旁的破烂都落不了脚了。看房东那意思，都不像把房子租给周老三了，嫌他堆这么多破烂很不卫生的样子。本来周老三早就有想搬到另外一处出租房的，但早先说要退租的那位一下子又变卦，
                    
                    后端开发：Spring Boot 的分布式缓存方案
                        大厂资深架构师
SpringBoot开发实战springboot分布式缓存ai
                        后端开发：SpringBoot的分布式缓存方案关键词：SpringBoot、分布式缓存、Redis、Caffeine、缓存策略、缓存失效摘要：本文深入探讨了在SpringBoot后端开发中分布式缓存方案的相关技术。首先介绍了分布式缓存在现代应用中的重要性及本文的研究范围，接着阐述了核心概念如分布式缓存的原理与架构，详细讲解了常用的核心算法原理及具体操作步骤，包括使用Python代码示例说明。通过数
                    
                    上位机知识篇---Prompt&PowerShell Prompt
                        Atticus-Orion
上位机知识篇promptpowershell
                        在Anaconda环境中，AnacondaPrompt和AnacondaPowerShellPrompt是两个常用的命令行工具，它们的核心功能都是为了方便管理Python环境和执行相关命令，但底层依赖的命令行解释器不同，因此在使用场景和语法上存在一些区别。下面详细介绍两者的差异：1.底层依赖的命令行解释器不同这是两者最根本的区别，决定了它们的语法规则和功能范围：AnacondaPrompt基于Wi
                    
                    零基础学习性能测试第一章：核心性能指标-并发量
                        试着
性能测试学习性能测试零基础性能指标并发量
                        目录零基础学习性能测试：第一章-核心性能指标：并发量一、并发量核心概念解析1.并发量定义与分类2.并发量关键特性二、并发量测试的核心价值1.业务意义三角模型2.实际工作场景应用三、并发量测试实战指南1.测试工具配置要点2.并发测试四步流程3.JMeter并发测试实操四、并发瓶颈分析与优化1.并发瓶颈定位矩阵2.常见并发问题解决方案3.电商系统并发优化案例五、工作应用模板与工具1.并发测试报告模板2
                    
                    DeepSeek 助力 Vue3 开发：打造丝滑的日历(Calendar)，日历_睡眠记录日历示例（CalendarView01_30）
                        宝码香车
#DeepSeek前端vue.jsecmascriptjavascriptdeepseek
                        前言：哈喽，大家好，今天给大家分享一篇文章！并提供具体代码帮助大家深入理解，彻底掌握！创作不易，如果能帮助到大家或者给大家一些灵感和启发，欢迎收藏+关注哦目录DeepSeek助力Vue3开发：打造丝滑的日历(Calendar)，日历_睡眠记录日历示例（CalendarView01_30）前言本文简介：本文页面效果组件代码代码测试测试代码正常跑通，附其他基本代码编写路由\src\router\ind
                    
                    八月
                        文森林木

                        窗户吹进来的风有些凉朋友在家里住了一晚，早早就醒来赶往他拖家带口打拼的中山他从老家带来了龙眼和花生油“原生态的龙眼和正宗的花生油！”他说夜里我们去恒大影城看了一场电影关于那部电影我想说但不知道说什么深夜我们回来一起吃了饭但没有喝酒我们看《我的团长我的团》到凌晨此刻。对面别墅人工湖岸边有一位穿白色防晒衣老人在垂钓像一位大隐隐于市的白衣天使很多个早晨我都见他在那里多么凉爽的早晨多么宁静的湖面隔一墙之外
                    
                    推客小程序系统开发全攻略：从0到1构建社交电商平台
                        

                        一、推客小程序系统概述推客小程序是近年来快速崛起的社交电商模式，结合了小程序轻量级优势和社交裂变传播特性，成为企业拓展线上渠道的重要工具。推客小程序本质上是一种基于社交关系的分销系统，用户通过分享商品链接或小程序码，促成交易后获得相应佣金。1.1推客小程序的核心价值对于企业：低成本获客，通过用户社交关系实现裂变传播对于推客：零门槛创业，通过分享赚取佣金对于消费者：获得更优惠的价格和可信的商品推荐1
                    
                    分布式推客系统全栈开发指南：SpringCloud+Neo4j+Redis实战解析
                        wx_ywyy6798
oracle数据库推客系统推客小程序推客系统开发推客小程序开发推客分销系统
                        一、推客系统概述与市场背景推客系统（或称"推荐客"系统）是一种基于社交关系和内容分发的推荐营销平台，近年来在电商、内容平台和社交媒体领域迅速崛起。根据最新统计数据，2023年全球社交电商市场规模已达1.2万亿美元，其中推客模式的贡献率超过35%。1.1推客系统的核心价值推客系统通过以下机制创造商业价值：社交裂变：利用用户社交网络实现指数级传播精准推荐：基于用户行为和关系链的个性化内容分发激励机制：
                    
                    短剧系统全栈开发指南：从0到1构建高并发微服务架构
                        wx_ywyy6798
短剧系统短剧系统开发海外短剧系统海外短剧系统开发短剧分销短剧分销系统短剧分销系统开发
                        一、短剧系统概述短剧作为一种新兴的数字内容形式，近年来在移动互联网领域迅速崛起。短剧系统开发不仅涉及传统视频平台的技术栈，还需要针对短内容、高互动、快速消费等特点进行专门设计。1.1短剧行业现状与发展趋势2023年短剧市场规模已突破300亿元，用户日均使用时长达到58分钟。短剧以其"短平快"的特点，填补了用户碎片化时间的娱乐需求。未来发展趋势包括：垂直领域精细化运营AI辅助内容生产互动式剧情发展跨
                    
                    把这套小学生心理自助工具箱搬回家，遇见更好的自己
                        沈小鱼_ec56

                        作为80后的我，还记得我们高一时，我校作为试点示范学校，新设立一门心理课，引得兄弟学校的小伙伴羡慕不已。我也在高中时代，完成了自己盲目做心理测试，到阅读老师推荐的心理书的转变。做了妈妈之后，我进行了心理咨询师的进修，发现这门学科，必须从娃娃抓起。非常庆幸的是，现在整个社会都非常注重孩子的心理问题，一年级就为孩子开设了心理课，每学期都会有若干个专项心理讲座，并给每位学生配备了心理导师。生理的疾病肉眼
                    
                    解析进程 /proc/pid/maps 和 /proc/pid/smaps
                        

                        目录/proc//maps背景具体描述代码实现实践/proc/pid/smapssmaps各子项详解代码实现代码调用的路径如下：小结/proc//maps背景相对于/proc/meminfo和dumpsysmeminfo可以看到系统整体的内存信息，我们还需要能够具体到每一个进程内存占用统计的信息。在分析内存问题的时候，会经常依赖kernel的proc文件系统下各个进程的文件节点，从中获取当前进程的
                    
                    #零基础学画画#第『111』天 各位早安！
                        Loura明珠

                        昨晚下雨，车的防盗器在楼下半夜响，空调定时停了，打蚊子，整晚没睡好。早上下雨，装备齐全出发，到小区门口车车坏了，安乔童自己走路去学校，推车回家赶出门。天气不好，温差大，会造成出行不便，身体不适，大家注意哦。#零基础学画画#第『111』天各位早安！图片发自App
                    
                    virtualenv
                        小小怪吃吃吃

                        virtualenv就是用来为一个应用创建一套“隔离”的Python运行环境。(1)用pip安装virtualenv:pip3installvirtualenv(2)创建开发项目目录:mkdirprojectcdproject/(3)创建一个独立的Python运行环境，命名为venv:virtualenv--no-site-packagesvenv命令virtualenv就可以创建一个独立的Pyt
                    
                    MongoDB复杂查询 聚合框架
                        巴里巴气
MongoDB知识记录mongodb数据库
                        前言前面已经对MongoDB基础的增删改查进行了分享,在增删改方面基本已经够用了,但是查询方面是远远不够的,find方法只能传入一些查询条件。涉及到稍微复杂点的查询就无法实现了,如分组、排序、映射(起别名)等这些操作的时候就没有办法实现。所以我接下来给同志们分享专一用于MongoDB复杂查询的框架-----聚合框架注意:文档和JSON对象基本上是一个意思,我会在解释的时候说是JSON对象,便于理解
                    
                    程序员的技术栈及学习路径
                        Honeysea_70
基础知识学习经验分享笔记
                        程序员的技术栈是非常多元的，通常涵盖了多个领域和技术。程序员的技术栈通常根据工作需求、项目类型以及个人兴趣的不同而有所不同，但通常会有一定的共性。下面是一个较为典型的程序员的技术栈，以及如何从入门到进阶地学习这些技术。1.编程语言掌握多种编程语言一个资深程序员通常会熟练掌握至少两到三种编程语言，每种语言的侧重点不同，适用于不同的开发场景。主流编程语言：JavaScript：前端开发的核心语言，Re
                    
                    WSL介绍
                        bigleek
树莓派pico开发linux
                        WSL（WindowsSubsystemforLinux）是微软为Windows系统开发的一项功能，允许用户在Windows上直接运行原生的Linux环境，而无需传统的虚拟机或双系统。它通过轻量化技术将Linux工具、命令行和应用程序无缝集成到Windows中，是开发者、运维人员和Linux学习者的高效工具。一、WSL的核心特点1.无需虚拟机：直接在Windows中运行Linux二进制文件（如Ba
                    
                    学会原谅是人生的宽度
                        夏雨风寒

                        上周同事青儿满脸委屈的向我诉苦，说她这辈子第一次遇上件特么奇葩的事情。原来是部门有个小实验室，因为工作上常需使用，所以几个车间都保存有实验室的钥匙，一直都相安无事。这一次因新产品需要检测，青儿走到实验室发现根本就进不去，想到肯定是有人偷偷更换新锁了，就过去问另一车间钥匙保管员小美实验室谁换了锁，为什么都不通知一声？小美这才告诉青儿，是她这边的钥匙被人弄不见换了锁。这事情到这应该就清楚了，可是当青儿
                    
                    【思维导图实战派T5】17/21 《未来简史》第三部分(第8-11章)
                        思维导图实战派_沈怡芳

                        今天换了种方式画线条，先画出一个分支所有线条再写字(当然是在有草图的情形下)，这个好处是线条出手时画的流畅些，但由于画时紧张，反而不舒展，有时还是喜欢回头描，这个习惯挺顽固，只有多多练习。今天完成了全部章节的阅读，明天整合。图片发自App图片发自App
                    
                    祭三喪
                        10萬次快門之後

                        文章裡出現的人名與時空順序都經過調整，有出現家屬的照片都會霧化處理，雖然影響了整個畫面，不過我得保護客戶的隱私。來到這裡的朋友，一起跟著攝影師的眼睛看看殯葬這個行業吧!祭三喪這個儀式主要是擔心有一就有二當家裡在一年內已經有2人過世怕還會有第3人，所以舉行這個儀式。儀式主要會用到紙棺、草人、雞(開光用)、白鴨(壓煞氣)、金紙、菜碗不過實務上生死有命，往往不是儀式可以阻擋的。“一切終將遠離希望我們都能
                    
                    一维数组练题习~
                        遇见尚硅谷
初学者算法数据结构c语言开发语言排序算法
                        1.键盘录入一组数列，利用冒泡排序将数据由大到小排序/*************************************************************************>FileName:demo01.c>Author:阮>Description:>CreatedTime:***********************************************
                    
                    大年初一头一天儿
                        覃家有女初长成

                        初一头一天儿，早上一睁眼儿就已经快十一点了。起床忙活着张罗中午的午饭，洗涮、炒料、烧汤，然后出门接妈妈。今年是妈妈第一次在外地过年，虽然住在姐姐家，但是姐姐要上班，所以没人陪她说话，也没人领着她出去走走看看的。我和王先生一合计，让妈妈来家里吃过午饭然后领着她去动物园逛一逛。说来，妈妈到重庆这么些年，还哪里都没去过。尽管妈妈心疼门票钱，觉得人太多，我都还是坚持带她进去走了一圈。可是她的心思一直不在走
                    
                    git 使用笔记
                        鸟它鸟

                        git配置命令配置描述用户gitconfig--globaluser.name"liangjiapengjetson"别名配置gitconfig--globalalias.cicommit配置commit的别名为ci也可以直接再~/.gitconfig下进行配置,在[alias]标识下编写即可,例如ci=commitgit操作命令克隆github仓库到本地[email protected]
                    
                    【日记】快节奏加班的工作常态/你怎么看待客服这个职业/膜拜计算机大神
                        洛落luoluo

                        以回忆的方式记录这一天。01刚刚看完一部电影，从电影中，我可能看到一些以后工作的模样，快节奏，加班……这些应该是工作的常态了吧。虽然不喜欢，但只得暂时接受。不知你们对客服职业什么看法？其实当客服挺难的，顾客满意度可能就是他们的绩效了。虽然我没有当过，但我不用体验，就可以了解到不容易，而且升职加薪特困难。02今天出现了一个bug，幸好问了大佬，才解决了。本来赶着补充，就已经很心烦气躁了，还来了这一茬
                    
                    14.3 FFT与PEFT终极对决：1%参数实现3倍速训练，显存暴降80%！
                        少林码僧
掌握先机！从0起步实战AI大模型微调打造核心竞争力人工智能机器学习大数据语言模型chatgptllama
                        以微调权重比例分类：FFTvsPEFT深度解析在大模型微调领域，参数调整比例直接决定训练效率与模型性能的平衡。本小节将深入解析全参数微调（FullFine-Tuning,FFT）与参数高效微调（Parameter-EfficientFine-Tuning,PEFT）的核心差异，并通过具体技术方案对比和实战代码示例揭示其工程应用场景。一、FFT与PEFT技术对比矩阵
                    
                    从 Redis 客户端超时到 .NET 线程池挑战
                        meslog
技术分享redis.netbootstrap
                        在开发.NET应用时，我偶然遇到使用StackExchange.Redis作为Redis客户端时出现的超时问题。经查验，这些问题往往不是Redis服务器本身出了故障，而是客户端侧的配置和资源管理不当所致。尤其是当应用运行在高并发环境下，比如ASP.NETCore服务中使用Kestrel服务器时，超时异常如RedisTimeoutException或TimeoutperformingGET会频繁出现
                    
                    VSCode使用Jupyter完整指南配置机器学习环境
                        z日火
校招学习日记vscodejupyter机器学习
                        接下来开始机器学习部分第一步配置环境：VSCode使用Jupyter完整指南1.安装必要的扩展打开VSCode，按Ctrl+Shift+X打开扩展市场，搜索并安装以下扩展：必装扩展：Python(Microsoft官方)-Python语言支持Jupyter(Microsoft官方)-Jupyternotebook支持Pylance(Microsoft官方)-Python智能提示和语法检查推荐扩展：
                    
                    关于JS中回调函数的个人理解
                        Jack_陈

                        近期在看到jQuery中test（index，test）的用法涉及到回调函数，之前未有涉及，于今晚专门看看了看，将个人对于回调函数的理解感悟记录一下，有不正确的地方希望指出。回调函数（callback），英文中的解释其实更容易理解：Acallbackisafunctionthatispassedasanargumenttoanotherfunctionandisexecutedafteritspa
                    
                    API安全：企业数字化转型的隐形炸弹
                        漠月瑾
代码之外安全API安全网络安全
                        API安全：企业数字化转型的隐形炸弹最近看到一份关于企业API安全现状的报告，让我这个IT从业者不禁后背发凉。报告显示，超过80%的企业在使用API处理敏感数据时，安全措施薄弱得令人震惊。这让我意识到，在我们每天依赖的移动应用、云服务和各种数字化工具背后，可能正潜伏着巨大的安全隐患。API：数字化时代的"隐形支柱"作为开发者，我们都知道API(应用程序接口)已经成为现代软件架构的基石。它连接着移动
                    
                    python虚拟环境打包_python项目打包虚拟环境
                        weixin_39933356
python虚拟环境打包
                        python项目打包时，需要将虚拟环境与python自身安装路径下的lib包整合在一起，将该文件保存为packvenv.sh，放入虚拟环境目录下，chmod+xpackvenv.sh，./packvenv.sh执行即可#!/bin/bashPYTHON_PATH=/usr/local/python2.7VENV_PATH=~/.virtualenvs/venv-linux6VENV_NAME=`b
                    
                    Prometheus怎么监控docker容器 给我个详细的教程
                        Xi Zi
dockerprometheus容器运维kubernetes
                        Prometheus可以通过Docker容器服务检测来监控Docker容器，具体步骤如下：1.安装Prometheus和NodeExporter，并将它们部署到Docker容器中；2.在Prometheus配置文件中添加NodeExporter的配置；3.配置Prometheus和NodeExporter的服务监控；4.访问Prometheus查看监控结果。
                    
                                微信开发者验证接口开发
                                    362217990
微信 开发者 token 验证
                                    微信开发者接口验证。 
Token，自己随便定义，与微信填写一致就可以了。 
 
根据微信接入指南描述 http://mp.weixin.qq.com/wiki/17/2d4265491f12608cd170a95559800f2d.html 
 第一步：填写服务器配置 
 第二步：验证服务器地址的有效性 
 第三步：依据接口文档实现业务逻辑 
 
这里主要讲第二步验证服务器有效性。 
 
建一个
                                
                                一个小编程题-类似约瑟夫环问题
                                    BrokenDreams
编程
                                            今天群友出了一题： 
        一个数列,把第一个元素删除,然后把第二个元素放到数列的最后,依次操作下去,直到把数列中所有的数都删除,要求依次打印出这个过程中删除的数。 
 
     &
                                
                                linux复习笔记之bash shell (5) 关于减号-的作用
                                    eksliang
linux关于减号“-”的含义linux关于减号“-”的用途linux关于“-”的含义linux关于减号的含义
                                        转载请出自出处：
http://eksliang.iteye.com/blog/2105677     
    管道命令在bash的连续处理程序中是相当重要的，尤其在使用到前一个命令的studout（标准输出）作为这次的stdin（标准输入）时，就显得太重要了，某些命令需要用到文件名，例如上篇文档的的切割命令（split）、还有
                                
                                Unix(3)
                                    18289753290
unix ksh
                                    1)若该变量需要在其他子进程执行，则可用"$变量名称"或${变量}累加内容 
什么是子进程？在我目前这个shell情况下，去打开一个新的shell，新的那个shell就是子进程。一般状态下，父进程的自定义变量是无法在子进程内使用的，但通过export将变量变成环境变量后就能够在子进程里面应用了。 
2)条件判断： &&代表and  ||代表or&nbs
                                
                                关于ListView中性能优化中图片加载问题
                                    酷的飞上天空
ListView
                                    ListView的性能优化网上很多信息，但是涉及到异步加载图片问题就会出现问题。 
具体参看上篇文章http://314858770.iteye.com/admin/blogs/1217594 
  
如果每次都重新inflate一个新的View出来肯定会造成性能损失严重，可能会出现listview滚动是很卡的情况，还会出现内存溢出。 
现在想出一个方法就是每次都添加一个标识，然后设置图
                                
                                德国总理默多克：给国人的一堂“震撼教育”课
                                    永夜-极光
教育
                                    http://bbs.voc.com.cn/topic-2443617-1-1.html德国总理默多克：给国人的一堂“震撼教育”课　 
安吉拉—默克尔，一位经历过社会主义的东德人，她利用自己的博客，发表一番来华前的谈话，该说的话，都在上面说了，全世界想看想传播——去看看默克尔总理的博客吧！ 
　　德国总理默克尔以她的低调、朴素、谦和、平易近人等品格给国人留下了深刻印象。她以实际行动为中国人上了一堂
                                
                                关于Java继承的一个小问题。。。
                                    随便小屋
java
                                    今天看Java 编程思想的时候遇见一个问题，运行的结果和自己想想的完全不一样。先把代码贴出来！ 
//CanFight接口
interface Canfight {
    void fight();
}
//ActionCharacter类
class ActionCharacter {
    public void fight() {
        System.out.pr
                                
                                23种基本的设计模式
                                    aijuans
设计模式
                                    Abstract Factory：提供一个创建一系列相关或相互依赖对象的接口，而无需指定它们具体的类。  　　Adapter：将一个类的接口转换成客户希望的另外一个接口。A d a p t e r模式使得原本由于接口不兼容而不能一起工作的那些类可以一起工作。  　　Bridge：将抽象部分与它的实现部分分离，使它们都可以独立地变化。  　　Builder：将一个复杂对象的构建与它的表示分离，使得同
                                
                                《周鸿祎自述：我的互联网方法论》读书笔记
                                    aoyouzi
读书笔记
                                    从用户的角度来看,能解决问题的产品才是好产品,能方便/快速地解决问题的产品,就是一流产品. 
  
商业模式不是赚钱模式 
一款产品免费获得海量用户后,它的边际成本趋于0,然后再通过广告或者增值服务的方式赚钱,实际上就是创造了新的价值链. 
  
商业模式的基础是用户,木有用户,任何商业模式都是浮云.商业模式的核心是产品,本质是通过产品为用户创造价值. 
商业模式还包括寻找需求
                                
                                JavaScript动态改变样式访问技术
                                    百合不是茶
JavaScriptstyle属性ClassName属性
                                      
一:style属性 
格式:  
 HTML元素.style.样式属性="值"; 
  
创建菜单:在html标签中创建 或者 在head标签中用数组创建 
  
<html>
<head>
  <title>style改变样式</title>
</head>
&l
                                
                                jQuery的deferred对象详解
                                    bijian1013
jquerydeferred对象
                                            jQuery的开发速度很快，几乎每半年一个大版本，每两个月一个小版本。 
        每个版本都会引入一些新功能，从jQuery 1.5.0版本开始引入的一个新功能----deferred对象。 
   &nb
                                
                                淘宝开放平台TOP
                                    Bill_chen
C++c物流C#
                                    淘宝网开放平台首页：http://open.taobao.com/ 
淘宝开放平台是淘宝TOP团队的产品，TOP即TaoBao Open Platform， 
是淘宝合作伙伴开发、发布、交易其服务的平台。 
支撑TOP的三条主线为： 
   1.开放数据和业务流程 
 
    * 以API数据形式开放商品、交易、物流等业务； 
 
 &
                                
                                【大型网站架构一】大型网站架构概述
                                    bit1129
网站架构
                                    大型互联网特点 
 
 面对海量用户、海量数据 
 大型互联网架构的关键指标 
 
 高并发 
 高性能 
 高可用 
 高可扩展性 
 线性伸缩性 
 安全性 
 大型互联网技术要点 
  
 
 前端优化 
 CDN缓存 
 反向代理 
 KV缓存 
 消息系统 
 分布式存储 
 NoSQL数据库 
 搜索 
 监控 
 安全 
 想到的问题： 
1.对于订单系统这种事务型系统，如
                                
                                eclipse插件hibernate tools安装
                                    白糖_
Hibernate
                                      
 
 eclipse helios(3.6)版 
  1.启动eclipse   2.选择 Help > Install New Software...>   3.添加如下地址： 
http://download.jboss.org/jbosstools/updates/stable/helios/   4.选择性安装：hibernate tools在All Jboss tool
                                
                                Jquery easyui Form表单提交注意事项
                                    bozch
jquery easyui
                                    jquery easyui对表单的提交进行了封装，提交的方式采用的是ajax的方式，在开发的时候应该注意的事项如下： 
        1、在定义form标签的时候，要将method属性设置成post或者get，特别是进行大字段的文本信息提交的时候，要将method设置成post方式提交，否则页面会抛出跨域访问等异常。所以这个要
                                
                                Trie tree(字典树)的Java实现及其应用-统计以某字符串为前缀的单词的数量
                                    bylijinnan
java实现
                                    
import java.util.LinkedList;

public class CaseInsensitiveTrie {

	/**
	字典树的Java实现。实现了插入、查询以及深度优先遍历。 
    Trie tree's java implementation.(Insert,Search,DFS)
    
	Problem Description
	Igna
                                
                                html css 鼠标形状样式汇总
                                    chenbowen00
htmlcss
                                    css鼠标手型cursor中hand与pointer  
Example：CSS鼠标手型效果 <a href="#" style="cursor:hand">CSS鼠标手型效果</a><br/>  
Example：CSS鼠标手型效果 <a href="#" style=&qu
                                
                                [IT与投资]IT投资的几个原则
                                    comsci
it
                                     
      无论是想在电商,软件,硬件还是互联网领域投资,都需要大量资金,虽然各个国家政府在媒体上都给予大家承诺,既要让市场的流动性宽松,又要保持经济的高速增长....但是,事实上,整个市场和社会对于真正的资金投入是非常渴望的,也就是说,表面上看起来,市场很活跃,但是投入的资金并不是很充足的...... 
 
   
                                
                                oracle with语句详解
                                    daizj
oraclewithwith as
                                    oracle with语句详解 转 
 
 
在oracle中，select 查询语句，可以使用with,就是一个子查询，oracle 会把子查询的结果放到临时表中，可以反复使用 
 
例子:注意，这是sql语句，不是pl/sql语句， 可以直接放到jdbc执行的 
 
----------------------------------------------------------------
                                
                                hbase的简单操作
                                    deng520159
数据库hbase
                                    近期公司用hbase来存储日志,然后再来分析 ,把hbase开发经常要用的命令找了出来. 
用ssh登陆安装hbase那台linux后 
用hbase shell进行hbase命令控制台! 
表的管理 
1）查看有哪些表 
hbase(main)> list 
2）创建表 
  
# 语法：create <table>, {NAME => <family&g
                                
                                C语言scanf继续学习、算术运算符学习和逻辑运算符
                                    dcj3sjt126com
c
                                    /*
	2013年3月11日20:37:32
	地点：北京潘家园
	功能：完成用户格式化输入多个值
	目的：学习scanf函数的使用

*/
# include <stdio.h>

int main(void)
{
	int i, j, k;

	printf("please input three number:\n");  //提示用
                                
                                2015越来越好
                                    dcj3sjt126com
歌曲
                                    越来越好

房子大了电话小了 感觉越来越好
假期多了收入高了 工作越来越好
商品精了价格活了 心情越来越好
天更蓝了水更清了 环境越来越好

活得有奔头人会步步高
想做到你要努力去做到

幸福的笑容天天挂眉梢 越来越好
婆媳和了家庭暖了 生活越来越好
孩子高了懂事多了 学习越来越好
朋友多了心相通了 大家越来越好
道路宽了心气顺了 日子越来越好

活的有精神人就不显
                                
                                java.sql.SQLException: Value '0000-00-00' can not be represented as java.sql.Tim
                                    feiteyizu
mysql
                                    数据表中有记录的time字段（属性为timestamp）其值为：“0000-00-00 00:00:00” 
程序使用select 语句从中取数据时出现以下异常： 
java.sql.SQLException:Value '0000-00-00' can not be represented as java.sql.Date 
  
java.sql.SQLException: Valu
                                
                                Ehcache（07）——Ehcache对并发的支持
                                    234390216
并发ehcache锁ReadLockWriteLock
                                    Ehcache对并发的支持 
  
       在高并发的情况下，使用Ehcache缓存时，由于并发的读与写，我们读的数据有可能是错误的，我们写的数据也有可能意外的被覆盖。所幸的是Ehcache为我们提供了针对于缓存元素Key的Read（读）、Write（写）锁。当一个线程获取了某一Key的Read锁之后，其它线程获取针对于同
                                
                                mysql中blob,text字段的合成索引
                                    jackyrong
mysql
                                      在mysql中，原来有一个叫合成索引的，可以提高blob,text字段的效率性能， 
但只能用在精确查询，核心是增加一个列，然后可以用md5进行散列，用散列值查找 
则速度快 
 
比如： 
 
create table abc(id varchar(10),context blog,hash_value varchar(40)); 
 
 insert into abc(1,rep
                                
                                逻辑运算与移位运算
                                    latty
位运算逻辑运算
                                    源码：正数的补码与原码相同例+7 源码：00000111 补码 ：00000111  （用8位二进制表示一个数）
 
 
 
负数的补码：
   符号位为1，其余位为该数绝对值的原码按位取反；然后整个数加1。   -7 源码： 10000111 ，其绝对值为00000111  取反加一：11111001 为-7补码 
 
已知一个数的补码，求原码的操作分两种情况：
                                
                                利用XSD 验证XML文件
                                    newerdragon
javaxmlxsd
                                    XSD文件 （XML Schema 语言也称作 XML Schema 定义（XML Schema Definition，XSD）。 具体使用方法和定义请参看： 
 
http://www.w3school.com.cn/schema/index.asp 
 
 
 
java自jdk1.5以上新增了SchemaFactory类 可以实现对XSD验证的支持，使用起来也很方便。 
 
以下代码可用在J
                                
                                搭建 CentOS 6 服务器(12) - Samba
                                    rensanning
centos
                                    （1）安装 
 
# yum -y install samba
    Installed:
      samba.i686 0:3.6.9-169.el6_5
# pdbedit -a rensn
    new password:123456
    retype new password:123456
    …… 
 
 
（2）Home文件夹 
 
# mkdir /etc
                                
                                Learn Nodejs 01
                                    toknowme
nodejs
                                    （1）下载nodejs  
https://nodejs.org/download/   选择相应的版本进行下载           （2）安装nodejs   安装的方式比较多，请baidu下  
我这边下载的是“node-v0.12.7-linux-x64.tar.gz”这个版本  （1）上传服务器   （2）解压   tar -zxvf  node-v0.12.
                                
                                jquery控制自动刷新的代码举例
                                    xp9802
jquery
                                    1、html内容部分   复制代码代码示例:   <div id='log_reload'> 
<select name="id_s" size="1"> 
<option value='2'>-2s-</option> 
<option value='3'>-3s-</option
                                
                
            
        
    

    
        
            按字母分类：
            ABCDEFGHIJKLMNOPQRSTUVWXYZ其他
        
    

    
        
            首页 -
            关于我们 -
            站内搜索 -
            Sitemap -
            侵权投诉
        
        版权所有 IT知识库 CopyRight © 2000-2050 E-COM-NET.COM , All Rights Reserved.