weixin_30815427
weixin_30815427

02_Python简单爬虫（熊猫直播LOL的up主，谁最强！）

 
    
 声明：
 
    
 本文仅用于Python练手，并无任何恶意攻击行为!
 
    

# 导入request模块
from urllib import request
# 导入re模块
import re
class Spider():
    # url以http, https开头
    url_to_run = r'https://www.panda.tv/cate/lol'        # 待抓取网页，熊猫直播平台-LOL分类（抓取主播名，视频观看人数）
    htmls = None                                         # 保存抓取到的HTML内容
    root_pattern = '
(.*?)
' # 非贪婪匹配，匹配到最近的一个
，包含主播名，视频观看人数这两个tag的上一级tag
    name_pattern = '(.*?)'                    # 非贪婪匹配，匹配到举例最近的1个，找到该视频的主播名
    number_pattern = '(.*?)'# 非贪婪匹配，匹配到举例最近的1个, 找到该主播视频的观看人数
    result_list = []                                     # 存储最后的分析结果，每个元素为{'name':主播名, 'number':视频观看数}}

    @classmethod
    def fetch_content(cls):
        """
        模拟浏览器，向服务器发送获取特定页面的请求
        将返回的HTML页面，字符串形式保存到Spider.htmls
        :return: None
        """
        #request模块下的urlopen方法, 将web服务器返回的结果封装为1个file-like object，本质Response实例
        result = request.urlopen(cls.url_to_run)

        # result操作
        #print(result.getcode())    # HTTP返回码，200则正常获取到页面
        #print(result.geturl())     # 实际获取的URL，判定页面是否有重定向
        cls.htmls = result.read()  # 实际的HTML页面内容, bytes类型
        cls.htmls = str(cls.htmls, encoding='utf-8')  # 将byte类型的HTML页面内容，转换为str字符串

    @classmethod
    def analysis(cls):
        """
        根据Spider.htmls中保存的HTML页面，进行分析
        1）主播名
        2）视频观看次数
        将每个主播和视频的观看次数，组成1个dict, 添加到cls.result_list
        :return: None
        """
        # root_pattern中做了group, 返回结果中已经没有外部video-info标签
        video_info_lst = re.findall(cls.root_pattern, cls.htmls, flags=re.S)

        for video in video_info_lst:
            up_host = re.findall(cls.name_pattern, video, flags=re.S)
            video_number = re.findall(cls.number_pattern, video, flags=re.S)

            # 对up_host内容格式进行调整: 丢弃第二个\n, 将第一个的\n开头和两边的空白字符去除
            up_host = up_host[0]
            up_host = up_host.strip('\n')
            up_host = up_host.strip(' ')

            # 对video_number内容格式进行调整, 将vidoe_number从list中取出
            video_number = video_number[0]

            # 主播名，观看数，组成字典，添加到结果列表
            dic = {'name':up_host, 'number':video_number}
            cls.result_list.append(dic)

    @classmethod
    def sort_seed(cls, item):
        """
        result_list中的元素是dict, 不能对dict直接做大小比较
        指定将dict中的number作为key, 进行不同dict间的比较依据
        sorted比较，传入要比较的ict， sort_seed返回dict中的number, 作为比较依据
        :return: item['number'] 作为比较依据
        """
        r = re.findall('\d+', item['number'])
        number = float(r[0])
        # 处理“万”级别用户换算
        if '万' in item['number']:
            number *= 10000

        return number

    @classmethod
    def sort_result(cls):
        """
        将cls.result_list中的元素，按照观看人数进行排序
        :return:
        """
        # sorted(iterable, key = None, reverse = False)
        cls.result_list = sorted(cls.result_list, key=cls.sort_seed, reverse=True)

    @classmethod
    def show(cls):
        print("Total Uphost: " + str(len(cls.result_list)))
        print('='*45)
        for item in cls.result_list:
            print('Uphost:'+ item['name'] + " ," + "Rank: " + str(cls.result_list.index(item) + 1) + ' Video Watched: ' + item['number'] )


    @classmethod
    def go(cls):
        cls.fetch_content()
        cls.analysis()
        cls.sort_result()
        cls.show()

# 类测试代码
Spider.go() 
   
 
   
 
 
   
部分实际测试结果：
 
   
 
    
Total Uphost: 118
=============================================
Uphost:即将拥有人鱼线的PDD ,Rank: 1 Video Watched: 283.7万
Uphost:RNG丶MLXG ,Rank: 2 Video Watched: 23.5万
Uphost:熊猫伏念 ,Rank: 3 Video Watched: 9.7万
Uphost:药水哥s ,Rank: 4 Video Watched: 9.3万
Uphost:WE丶Mystic丶 ,Rank: 5 Video Watched: 8.0万
Uphost:叫我官人 ,Rank: 6 Video Watched: 5.5万
Uphost:冠军锐雯 ,Rank: 7 Video Watched: 4.5万
Uphost:熊猫丶蛮神 ,Rank: 8 Video Watched: 2.3万
Uphost:起飛的辛德浪 ,Rank: 9 Video Watched: 1.6万
Uphost:善言_ ,Rank: 10 Video Watched: 1.9万
Uphost:左手QAQ ,Rank: 11 Video Watched: 1.3万
Uphost:S7全球总决赛 ,Rank: 12 Video Watched: 1.2万
Uphost:Pino一米八 ,Rank: 13 Video Watched: 1.2万
Uphost:金三炮o金三岁 ,Rank: 14 Video Watched: 9494
Uphost:挽神z ,Rank: 15 Video Watched: 7025
Uphost:易小埋l ,Rank: 16 Video Watched: 6228
Uphost:主播毕老实 ,Rank: 17 Video Watched: 5941
Uphost:一剑西来QAQ ,Rank: 18 Video Watched: 5897
Uphost:英雄联盟活动直播间 ,Rank: 19 Video Watched: 4239
Uphost:超级提莫丶牛腩君 ,Rank: 20 Video Watched: 4125
Uphost:mid六安王 ,Rank: 21 Video Watched: 3555
Uphost:熊猫丶乐鱼阿卡丽 ,Rank: 22 Video Watched: 3184
Uphost:熊猫TV一休哥 ,Rank: 23 Video Watched: 3120
Uphost:小黑胖砸 ,Rank: 24 Video Watched: 2415
Uphost:或许这就是离岛吧 ,Rank: 25 Video Watched: 2341
Uphost:第一最寂寞1u ,Rank: 26 Video Watched: 2203
Uphost:李阿特 ,Rank: 27 Video Watched: 2081
Uphost:LOL日常活动直播间 ,Rank: 28 Video Watched: 2028
Uphost:LPL熊猫官方直播 ,Rank: 29 Video Watched: 2003
Uphost:熊猫TV丶小青龙 ,Rank: 30 Video Watched: 1996
Uphost:熊猫TV灬小豆豆 ,Rank: 31 Video Watched: 1957
Uphost:小啊雅大大大 ,Rank: 32 Video Watched: 1613
Uphost:小凯南zz ,Rank: 33 Video Watched: 1483
Uphost:拿铁不加糖 ,Rank: 34 Video Watched: 1401
Uphost:金克喵的猫珥朵丶 ,Rank: 35 Video Watched: 1351
Uphost:炽天使z1 ,Rank: 36 Video Watched: 1164
Uphost:小小小女人丶 ,Rank: 37 Video Watched: 1111
Uphost:東東東 ,Rank: 38 Video Watched: 1081
Uphost:纯纯小流_氓 ,Rank: 39 Video Watched: 1077
Uphost:熊猫tv芭比公主 ,Rank: 40 Video Watched: 1070
Uphost:big火鸡 ,Rank: 41 Video Watched: 979
Uphost:机器猫mmm ,Rank: 42 Video Watched: 944
Uphost:大家都叫我冷爷丶 ,Rank: 43 Video Watched: 915
Uphost:栗子菌i ,Rank: 44 Video Watched: 879
Uphost:星矢魔术 ,Rank: 45 Video Watched: 845
Uphost:唐人leo ,Rank: 46 Video Watched: 842
Uphost:十级浪 ,Rank: 47 Video Watched: 829
Uphost:筱兮QAQ ,Rank: 48 Video Watched: 829
Uphost:酥软迷妹小慢慢Zz ,Rank: 49 Video Watched: 817
Uphost:小凡Aaaaaa ,Rank: 50 Video Watched: 804
Uphost:小丸子爱吃樱桃丶 ,Rank: 51 Video Watched: 803
Uphost:爱流血的兔斯基 ,Rank: 52 Video Watched: 803
Uphost:凶残的喵绵绵 ,Rank: 53 Video Watched: 800
Uphost:别叫凯隐叫隐神 ,Rank: 54 Video Watched: 799
Uphost:Panda初心2018 ,Rank: 55 Video Watched: 793
Uphost:熊猫丶大风6 ,Rank: 56 Video Watched: 792
Uphost:顽皮ssssssssssss ,Rank: 57 Video Watched: 790
Uphost:大表哥响尾蛇 ,Rank: 58 Video Watched: 789
Uphost:告白White ,Rank: 59 Video Watched: 788
Uphost:牌面之王丶火影劫 ,Rank: 60 Video Watched: 775
Uphost:西湖仙境 ,Rank: 61 Video Watched: 775
Uphost:飞不起来1 ,Rank: 62 Video Watched: 774
Uphost:逗了个蛋 ,Rank: 63 Video Watched: 773
Uphost:瓜皮球球 ,Rank: 64 Video Watched: 770
Uphost:竹蜻蜓呀 ,Rank: 65 Video Watched: 761
Uphost:少年阿超和阿斌 ,Rank: 66 Video Watched: 760
Uphost:刚出土的i帕帕 ,Rank: 67 Video Watched: 753
Uphost:小主播安旭 ,Rank: 68 Video Watched: 747
Uphost:西决哟 ,Rank: 69 Video Watched: 737
Uphost:Panda丶夏木 ,Rank: 70 Video Watched: 733
Uphost:冰雪丶狐狸 ,Rank: 71 Video Watched: 730
Uphost:夜魅丝 ,Rank: 72 Video Watched: 730
Uphost:熊猫丶皮皮瓜 ,Rank: 73 Video Watched: 725
Uphost:Panda灬刀刀 ,Rank: 74 Video Watched: 721
Uphost:莫莫莫夏夏夏 ,Rank: 75 Video Watched: 694
Uphost:皮皮翔i ,Rank: 76 Video Watched: 646
Uphost:南表妹QAQ ,Rank: 77 Video Watched: 644
Uphost:青蛙OB ,Rank: 78 Video Watched: 633
Uphost:_Infi_ ,Rank: 79 Video Watched: 631
Uphost:暴躁茹阿姨 ,Rank: 80 Video Watched: 627
Uphost:整天打碟的DJ胖丶 ,Rank: 81 Video Watched: 625
Uphost:熊猫丶一百 ,Rank: 82 Video Watched: 623
Uphost:全蛋狮子喵 ,Rank: 83 Video Watched: 622
Uphost:熊猫TV丶小66 ,Rank: 84 Video Watched: 620
Uphost:电竞张全蛋长长 ,Rank: 85 Video Watched: 596
Uphost:熊猫第一不亏哥 ,Rank: 86 Video Watched: 536
Uphost:叫我东邪 ,Rank: 87 Video Watched: 513
Uphost:熊猫TV丶一手绝 ,Rank: 88 Video Watched: 499
Uphost:熊猫TV丶别勉强 ,Rank: 89 Video Watched: 485
Uphost:提莫的小女朋友 ,Rank: 90 Video Watched: 480
Uphost:王者蕾 ,Rank: 91 Video Watched: 471
Uphost:日暮哟 ,Rank: 92 Video Watched: 470
Uphost:颖妹er超甜的 ,Rank: 93 Video Watched: 464
Uphost:熊猫TV丶成小七 ,Rank: 94 Video Watched: 441
Uphost:熊猫tv丶马小越 ,Rank: 95 Video Watched: 405
Uphost:柒柒天 ,Rank: 96 Video Watched: 397
Uphost:Panda电竞白子画 ,Rank: 97 Video Watched: 395
Uphost:熊猫TV_苏璞 ,Rank: 98 Video Watched: 388
Uphost:你的小老虎哥哥 ,Rank: 99 Video Watched: 362
Uphost:门徒zzzz ,Rank: 100 Video Watched: 359
Uphost:李易钧 ,Rank: 101 Video Watched: 352
Uphost:熊猫TV丶农药术士 ,Rank: 102 Video Watched: 346
Uphost:熊猫贝乐 ,Rank: 103 Video Watched: 320
Uphost:李小青盲僧 ,Rank: 104 Video Watched: 309
Uphost:刘慕宸 ,Rank: 105 Video Watched: 307
Uphost:寒风强袭 ,Rank: 106 Video Watched: 305
Uphost:会蛙泳的饼干0 ,Rank: 107 Video Watched: 300
Uphost:阿四德莱文丶 ,Rank: 108 Video Watched: 275
Uphost:知道神龙摆尾吗 ,Rank: 109 Video Watched: 275
Uphost:瓦罗兰的未来丶尨 ,Rank: 110 Video Watched: 260
Uphost:JO丶欣欣 ,Rank: 111 Video Watched: 253
Uphost:123ivan456 ,Rank: 112 Video Watched: 250
Uphost:only丶提莫 ,Rank: 113 Video Watched: 240
Uphost:情话好听但不暖心 ,Rank: 114 Video Watched: 230
Uphost:小丸子真好吃 ,Rank: 115 Video Watched: 218
Uphost:一只提莫送你回家 ,Rank: 116 Video Watched: 213
Uphost:请叫我大腿岩丶 ,Rank: 117 Video Watched: 188
Uphost:伊人芳泽瑞尔心i ,Rank: 118 Video Watched: 183
 
   
 
   
 
 
  
 
  
转载于:https://www.cnblogs.com/shay-zhangjin/p/7863539.html
 
 
 


                            

                        

                    

                    
                    

                    
                    
                    

                

                

                    
                

            

        

    
    

        
你可能感兴趣的:(02_Python简单爬虫（熊猫直播LOL的up主，谁最强！）)

        

            

                
    
                    
  • JavaScript HTML DOM 节点列表
                        宇哥资料
JavaScriptjavascripthtml开发语言
                        
    NodeList对象是一个从文档中获取的节点列表(集合)。NodeList对象类似HTMLCollection对象。一些旧版本浏览器中的方法（如：getElementsByClassName()）返回的是NodeList对象，而不是HTMLCollection对象。所有浏览器的childNodes属性返回的是NodeList对象。大部分浏览器的querySelectorAll()返回NodeLis
    
                    
    • 
                    
  • golang-嵌套结构体
                        lmryBC49
golang开发语言后端
                        
    结构体嵌套golang中没有类，他通过结构体来实现其他编程语言中类的相关功能。具名结构体基本语法基本语法golang的结构体嵌套特别简单。type结构体类型1struct{字段类型1字段类型2}//这样就实现了结构体的嵌套type结构体类型2struct{字段类型1字段类型2字段结构体类型1}举例packagestruct_knowledgeimport"fmt"typeWorkerstruct{
    
                    
    • 
                    
  • js知识点-拓展运算符和剩余运算符
                        lmryBC49
javascript开发语言ecmascript
                        
    概述在现代JavaScript开发中，ES6引入的拓展运算符（SpreadOperator）和剩余运算符（RestOperator）让代码更加简洁和灵活。无论是数组、对象的拆分与合并，还是函数参数的处理，这两个运算符都是非常实用的工具。拓展运算符1.什么是拓展运算符？拓展运算符（SpreadOperator）由三个连续的点...表示，用于将一个可迭代对象（例如数组、字符串等）展开成多个元素。拓展运
    
                    
    • 
                    
  • Golang-Queue 项目常见问题解决方案
                        施余牧

                        
    Golang-Queue项目常见问题解决方案queueQueueisaGolanglibraryforspawningandmanagingaGoroutinepool项目地址:https://gitcode.com/gh_mirrors/queu/queue项目基础介绍Golang-Queue是一个使用Go语言编写的库，用于创建和管理Goroutine池。该库允许根据机器有限的CPU数量创建多个
    
                    
    • 
                    
  • SSRF 攻击与防御：从原理到落地实践
                        花千树-010
架构设计网络安全运维容器网络安全docker
                        
    1.什么是SSRF？SSRF（Server-SideRequestForgery）是一种常见的Web安全漏洞。当服务器提供了某种对外请求的功能，如“URL参数直接转发请求”，攻击者就可以通过精心构造的URL，让服务器“自己”去访问特定的地址，从而达到以下目的：扫描内网：探测企业内网中未暴露在公网的资产，如数据库、私有API等。获取云元数据：例如访问http://169.254.169.254/la
    
                    
    • 
                    
  • Docker 镜像优化：如何避免重复安装软件，加速服务的构建与部署
                        花千树-010
Dockerdocker容器运维
                        
    在日常开发中，我们经常遇到这样的问题：由于服务需要额外安装大量软件（如JDK、vim、curl、git等），导致Docker镜像构建时间过长，并且每次构建都需要重复安装这些依赖。今天，我们将探讨几种优化方案，通过构建中间层镜像和使用多阶段构建，从而显著提高构建和部署效率。问题分析当你在Dockerfile中直接使用aptinstall安装依赖时，通常会面临以下问题：重复安装导致构建缓慢每次构建镜像
    
                    
    • 
                    
  • 自主移动机器人模型制作
                        竹森科技-杨波
TecnomatixplantsimulationPlantSimulation沉思录java前端服务器
                        
    AGV搭载机械手的复合型机器人，主要用于将物流按要求输送至指定工位，可用于加工工件的抓取、组装、搬运、装卸等作业。此外，复合机器人也可快速布局于工厂、仓储分拣、自动化货物超市等诸多场景，为物料的自动搬运、物品的上下料，以及物料的分拣提供自动化、柔性化的作业支持，使厂内可以实现真正的无人搬运。现有的产品多是AGV+UR机械臂，在plant里面怎么去处理这个呢，接下来我们就针对这个问题进一步展开说明。
    
                    
    • 
                    
  • nextjs 实现rag知识库检索增强的ai问答app
                        *goliter *
web开发学习人工智能
                        
    AI-Chat-一个基于LLM大语言模型的知识库问答系统项目源码：https://github.com/goliter/ai-chat项目简介AI-Chat是一个基于Next.js和React开发的现代化大语言模型的知识库问答系统。该平台提供了简易的对话界面，支持上传文件进行知识库的构建，让用户在与大语言模型进行问答时给与大模型知识库内的相关内容。主要功能上传文件构建属于自己的知识库支持doc,t
    
                    
    • 
                    
  • 360度用户信息赋能老客运营自动化
                        刘小奇�多
自动化运维sass
                        
    在当今竞争激烈的商业环境中，客户关系管理（CRM）系统已成为企业提升客户满意度和忠诚度的重要工具。通过基于360度用户信息，企业能够深入洞察老客需求，实现自动化的老客运营和维护，从而提升客户体验和企业竞争力。一、360度用户信息整合：洞察老客需求的关键（一）多渠道数据收集企业需要从多个渠道收集客户数据，包括线上线下的交互记录。例如，通过企业微信，销售人员可以实时与客户沟通，了解他们的最新需求和反馈
    
                    
    • 
                    
  • 域名如何绑定服务
                        我真的不想做程序员
javajava后端开发语言服务器阿里云容器
                        
    目录一、理解域名与Java服务之间的关系二、DNS解析三、配置DNS记录四、Java服务的配置1.部署Java应用2.配置反向代理五、DNS解析六、验证绑定是否成功七、代码示例八、总结在现代网络应用中，域名和Java服务的绑定是实现用户友好访问和后台服务的关键步骤。本文将详细介绍这一过程，包括DNS解析、反向代理以及Java服务的配置，最后会展示代码示例和视觉化流程图。一、理解域名与Java服务之
    
                    
    • 
                    
  • Profinet转ModbusTCP网关模块连发那科机器人与DCS通讯
                        BA_TU_AUTO_TECH
Profinet转ModbusTCP网关ModbusTCP转Profinet网关服务器网络
                        
    一、现场要求：发那科机器人作为服务器端，DCS作为客户端向发那科机器人发送读写请求，发那科机器人应答后DCS接收发那科机器人的数据，实现数据的传递。二、解决方案：在不增加编程任务的前提下只需在DCS与机器人中间添加巴图自动化Profinet转ModbusTCP网关（BT-ETHPN20）就可实现。本文将介绍如何使用巴图自动化Profinet转ModbusTCP网关（BT-ETHPN20）配置通讯三
    
                    
    • 
                    
  • 动态规划算法求解背包问题的全面剖析
                        15号外媒
算法
                        
    摘要本文深入剖析动态规划算法在求解背包问题中的应用，详细阐述动态规划算法的基本原理、核心要素与解题步骤。通过对0-1背包问题和完全背包问题的具体分析，展示动态规划算法在解决背包问题上的高效性与独特优势。同时，结合实际案例进行算法实现与结果分析，并探讨算法的优化策略与拓展应用，旨在帮助读者全面掌握动态规划算法求解背包问题的方法与技巧。一、引言背包问题作为组合优化领域的经典问题，在资源分配、投资决策、
    
                    
    • 
                    
  • （教程）如何在HTML网页里嵌入PDF文件？
                        IDRSolutions_CN
pdf图像处理htmlhtml5团队开发
                        
    开发者可以使用不同的标签在HTML中嵌入PDF文件，常见的有、和。它们都能在网页应用中显示PDF，但哪种方式更好？有没有比这更好的方式来在浏览器中显示PDF？方法1：使用标签如果不需要回退内容，可以使用标签。缺点：不常用，因为如果浏览器不支持PDF，显示会是一片空白。YourbrowserdoesnotsupportPDFfiles.Downloadthefileinstead方法2：使用标签标签
    
                    
    • 
                    
  • TensorFlow深度学习实战项目：从入门到精通
                        点我头像干啥
Ai深度学习tensorflow人工智能
                        
    引言深度学习作为人工智能领域的一个重要分支，近年来取得了显著的进展。TensorFlow作为Google开源的深度学习框架，因其强大的功能和灵活的架构，成为了众多开发者和研究者的首选工具。本文将带领大家通过一个实战项目，深入理解TensorFlow的使用方法，并掌握深度学习的基本流程。1.TensorFlow简介1.1TensorFlow是什么？TensorFlow是一个开源的机器学习框架，由Go
    
                    
    • 
                    
  • golang-方法
                        lmryBC49
golang开发语言后端
                        
    方法概述方法是给类型增加的，通过类型实例.方法名()调用。例如我们用自定义类型保存了整数，我们想给该类型的变量都增加一个方法可以直接判断该数是不是奇数。packagemethod_knowledgeimport"fmt"//案例1:给Myint自定义类型添加奇数判断方法typeMyintintfunc(aMyint)IsOdd(){if(a%2==0){fmt.Println("a不是奇数")}e
    
                    
    • 
                    
  • Dify - 架构、部署、扩展与二次开发指南
                        花千树-010
AIGC架构AIGCpromptembeddingllamagptagi
                        
    本文详细解析Dify的架构、部署流程、高可用中间件的独立部署方法，以及二次开发流程，帮助开发者更高效地管理和扩展Dify。1.本地DEMO部署安装Docker，执行下面脚本，可能需要配置镜像。gitclonehttps://github.com/langgenius/dify.gitcddifycddockercp.env.example.envdockercomposeup-d1.Dify部署后
    
                    
    • 
                    
  • 如何在PDF中嵌入数据
                        IDRSolutions_CN
团队开发javapdf软件工程经验分享
                        
    好的，我们来聊聊怎么在PDF文件中放一些你自己的数据。因为PDF文件很强大也很灵活，所以经常被用在工作流程中。有时候，把一些额外的信息放进PDF里会很有用。别担心，这些信息通常不会影响PDF的正常使用，大多数工具都会忽略它们。这里有一些方法，你可以试试看：1.XML元数据文件1你可以把一个XML文件藏在PDF的元数据里。2XML文件就像一个可以放很多标签的盒子，你可以把关于整个PDF文件的各种信息
    
                    
    • 
                    
  • 快速入手-基于Django的mysql操作（四）
                        神奇侠2024
djangodjango
                        
    1、数据的增删改查defadd(request):UserInfo.objects.create(username="admin",password="1234561",age=18)UserInfo.objects.create(username="admin2",password="1234562",age=19)UserInfo.objects.create(username="admin3
    
                    
    • 
                    
  • 基于kylin-v10安装docker
                        神奇侠2024
rediskylin大数据docker
                        
    1、下载地址Indexoflinux/static/stable/x86_64/2、下载docker-24.0.5.tgz.tar版本3、上传服务器解压tarxvfdocker-24.0.5.tgz.tar4、解压的docker拷贝或移动到/usr/bin/目录下cpdocker/*/usr/bin/5、编写docker.service文件加入Linux服务当中并开启守护进程vi/etc/syst
    
                    
    • 
                    
  • Android HAL服务注册与获取服务
                        令狐掌门
Android开发笔记androidandroidaosp
                        
    HAL服务注册在AndroidHAL（硬件抽象层）开发中，当使用HIDL（硬件接口定义语言）定义接口时，生成的C++头文件会包含一个关键的registerAsService函数。该函数的作用是将HAL实现注册到系统服务管理器，使其他进程能够发现并调用该服务。以下是详细介绍：功能与作用服务注册：registerAsService用于将HAL接口的实现实例注册到Android的hwserviceman
    
                    
    • 
                    
  • fork客户端mac使用教程
                        xtyzmnchen
fork
                        
    1:安装fork:https://git-fork.com/2:登录账户,gitlab或者github账户3:克隆:复制服务器地址clone到本地4:gitfetch：相当于是从远程获取最新版本到本地，不会自动mergegitfetchoriginmastergitlog-pmaster..origin/mastergitmergeorigin/master以上命令的含义：首先从远程的origin
    
                    
    • 
                    
  • python中strip的使用
                        ICER瞌睡虫

                        
    今天聊聊python去除字符串空格的函数：strip（）和replace（）1.strip():函数功能描述：Pythonstrip()方法用于移除字符串头尾指定的字符（默认为空格或换行符）或字符序列。注意：该方法只能删除开头或是结尾的字符，不能删除中间部分的字符。格式：str.strip([char])。其中，str为待处理的字符，char指定去除的源字符串首尾的字符。返回结果：去除空格时候的新
    
                    
    • 
                    
  • 基于python+django的家教预约网站-家教信息管理系统源码+运行步骤
                        冷琴1996
Python系统设计pythondjango开发语言
                        
    该系统是基于python+django开发的家教预约网站。是给师妹做的课程作业。大家在学习过程中，遇到问题可以在github给作者留言。共同学习进步哦效果演示前台地址：http://jiajiao.gitapp.cn后台地址：http://jiajiao.gitapp.cn/admin后台管理帐号：用户名：admin123密码：admin123源码地址https://github.com/geee
    
                    
    • 
                    
  • 揭秘时空大数据：详细介绍、真实应用场景和数据示例解析
                        陈书予
GIS开发（时空大数据）前端大数据python时序数据库
                        
    时空大数据(SpatialBigData)是指利用空间环境和时间环境信息，以及数字技术，从多种来源获取的海量、动态的、多维的数据，对空间环境和时间环境进行实时监测，并基于复杂的数据分析和挖掘，获取有价值的信息。时空大数据示例：1）社会网络数据：Twitter、Facebook、Instagram等社交媒体上的海量数据，可以通过时间、空间、主题等来提取有价值的信息。2）遥感图像数据：通过遥感技术从卫
    
                    
    • 
                    
  • (LeetCode 热题 100) 74. 搜索二维矩阵(二分查找)
                        岁忧
java版刷题LeetCode热题100LeetCodeleetcode矩阵算法c++java
                        
    题目：74.搜索二维矩阵方法一：数组按行拼接为一个不下降的一维数组。采用二分查找，时间复杂度0(lognm)。C++版本：classSolution{public:boolsearchMatrix(vector>&matrix,inttarget){intn=matrix.size(),m=matrix[0].size();intl=0,r=n*m-1;while(ltarget){r=mid-1
    
                    
    • 
                    
  • 剑指 Offer II 113. 课程顺序（中等 图 bfs 拓扑排序 数组 哈希表）
                        风雨中de宁静
图搜索算法
                        
    剑指OfferII113.课程顺序现在总共有numCourses门课需要选，记为0到numCourses-1。给定一个数组prerequisites，它的每一个元素prerequisites[i]表示两门课程之间的先修顺序。例如prerequisites[i]=[ai,bi]表示想要学习课程ai，需要先完成课程bi。请根据给出的总课程数numCourses和表示先修顺序的prerequisites
    
                    
    • 
                    
  • 一个完整的小项目案例，涉及到项目的规划，模块的设计功能的衔接等。
                        PyAIGCMaster
我的学习笔记学习
                        
    以下是一个基于分层架构和模块化设计的项目规划，使用Tkinter作为GUI框架，Playwright进行浏览器操作，SQLite作为数据库：项目结构```web_checker/├──__main__.py#程序入口├──config.py#配置管理├──gui/#图形界面模块│├──__init__.py│└──main_window.py├──services/#业务逻辑│├──__init_
    
                    
    • 
                    
  • 1252. 奇数值单元格的数目 / 剑指 Offer II 113. 课程顺序
                        彼淇梁
力扣刷题记录算法leetcodejava刷题记录
                        
    1252.奇数值单元格的数目【简单题】【每日一题】思路：【模拟】定义行数组rows和列数组cols，用来记录当前行的+1次数和当前列的+1次数，遍历indices数组用来给rows和cols赋值。定义奇数值单元格数目为ans，初值为0。那么遍历矩阵每个位置，如果当前行和当前列的+1次数和是奇数，则ans+1代码：classSolution{publicintoddCells(intm,intn,i
    
                    
    • 
                    
  • python strip函数用法_Python字符串函数strip()原理及用法详解
                        weixin_39944233
pythonstrip函数用法
                        
    strip:用于移除字符串头尾指定的字符（默认为空格）或字符序列。注意：该方法只能删除开头或是结尾的字符，不能删除中间部分的字符。语法：str.strip([chars])str="*****thisis**string**example....wow!!!*****"print(str.strip('*'))#指定字符串*输出结果：thisis**string**example....wow!!
    
                    
    • 
                    
  • python中strip_python中的strip是什么意思
                        weixin_39613744
python中strip
                        
    Python中strip()方法用于移除字符串头尾指定的字符（默认为空格或换行符）或字符序列。注意：该方法只能删除开头或是结尾的字符，不能删除中间部分的字符。它的函数原型：string.strip(s[,chars])，它返回的是字符串的副本，并删除前导和后缀字符。（意思就是你想去掉字符串里面的哪些字符，那么你就把这些字符当参数传入。此函数只会删除头和尾的字符，中间的不会删除。）如果strip()
    
                    
    • 
                                
  • 辗转相处求最大公约数
                                    沐刃青蛟
C++漏洞
                                    
    无言面对”江东父老“了，接触编程一年了，今天发现还不会辗转相除法求最大公约数。惭愧惭愧！ 
  
为此，总结一下以方便日后忘了好查找。 
  
1.输入要比较的两个数a,b 
  
忽略：2.比较大小（因为后面要的是大的数对小的数做%操作） 
  
3.辗转相除（用循环不停的取余，如a%b,直至b=0） 
  
4.最后的a为两数的最大公约数 
&
    
                                
    • 
                                
  • F5负载均衡会话保持技术及原理技术白皮书
                                    bijian1013
F5负载均衡
                                    
    一.什么是会话保持？        在大多数电子商务的应用系统或者需要进行用户身份认证的在线系统中，一个客户与服务器经常经过好几次的交互过程才能完成一笔交易或者是一个请求的完成。由于这几次交互过程是密切相关的，服务器在进行这些交互过程的某一个交互步骤时，往往需要了解上一次交互过程的处理结果，或者上几步的交互过程结果，服务器进行下
    
                                
    • 
                                
  • Object.equals方法：重载还是覆盖
                                    Cwind
javagenericsoverrideoverload
                                    
    本文译自StackOverflow上对此问题的讨论。 
原问题链接 
  
在阅读Joshua Bloch的《Effective Java（第二版）》第8条“覆盖equals时请遵守通用约定”时对如下论述有疑问： 
“不要将equals声明中的Object对象替换为其他的类型。程序员编写出下面这样的equals方法并不鲜见，这会使程序员花上数个小时都搞不清它为什么不能正常工作：” 
pu
    
                                
    • 
                                
  • 初始线程
                                    15700786134

                                    
          暑假学习的第一课是讲线程，任务是是界面上的一条线运动起来。 
  
  
       既然是在界面上，那必定得先有一个界面，所以第一步就是，自己的类继承JAVA中的JFrame，在新建的类中写一个界面，代码如下： 
public class ShapeFr
    
                                
    • 
                                
  • Linux的tcpdump
                                    被触发
tcpdump
                                    
    用简单的话来定义tcpdump，就是：dump the traffic on a network，根据使用者的定义对网络上的数据包进行截获的包分析工具。 tcpdump可以将网络中传送的数据包的“头”完全截获下来提供分析。它支 持针对网络层、协议、主机、网络或端口的过滤，并提供and、or、not等逻辑语句来帮助你去掉无用的信息。 
 
实用命令实例 
默认启动 
tcpdump 
普通情况下，直
    
                                
    • 
                                
  • 安卓程序listview优化后还是卡顿
                                    肆无忌惮_
ListView
                                    
    最近用eclipse开发一个安卓app，listview使用baseadapter，里面有一个ImageView和两个TextView。使用了Holder内部类进行优化了还是很卡顿。后来发现是图片资源的问题。把一张分辨率高的图片放在了drawable-mdpi文件夹下，当我在每个item中显示，他都要进行缩放，导致很卡顿。解决办法是把这个高分辨率图片放到drawable-xxhdpi下。 
&nb
    
                                
    • 
                                
  • 扩展easyUI tab控件，添加加载遮罩效果
                                    知了ing
jquery
                                    
    (function () {  
    $.extend($.fn.tabs.methods, {  
        //显示遮罩  
        loading: function (jq, msg) {  
            return jq.each(function () {  
                var panel = $(this).tabs(&
    
                                
    • 
                                
  • gradle上传jar到nexus
                                    矮蛋蛋
gradle
                                    
    原文地址： 
https://docs.gradle.org/current/userguide/maven_plugin.html 
configurations { 
    deployerJars 
} 
 
dependencies { 
    deployerJars "org.apache.maven.wagon
    
                                
    • 
                                
  • 千万条数据外网导入数据库的解决方案。
                                    alleni123
sqlmysql
                                    
    从某网上爬了数千万的数据，存在文本中。 
然后要导入mysql数据库。 
 
悲剧的是数据库和我存数据的服务器不在一个内网里面。。 
 
 
ping了一下， 19ms的延迟。 
 
于是下面的代码是没用的。 
 

ps = con.prepareStatement(sql);
	ps.setString(1, info.getYear())............;
			ps.exec
    
                                
    • 
                                
  • JAVA IO InputStreamReader和OutputStreamReader
                                    百合不是茶
JAVA.io操作 字符流
                                    
    这是第三篇关于java.io的文章了，从开始对io的不了解-->熟悉--->模糊，是这几天来对文件操作中最大的感受，本来自己认为的熟悉了的，刚刚在回想起前面学的好像又不是很清晰了，模糊对我现在或许是最好的鼓励 我会更加的去学 加油！： 
JAVA的API提供了另外一种数据保存途径，使用字符流来保存的，字符流只能保存字符形式的流 
  
字节流和字符的难点：a,怎么将读到的数据
    
                                
    • 
                                
  • MO、MT解读
                                    bijian1013
GSM
                                    
    MO= Mobile originate，上行，即用户上发给SP的信息。MT= Mobile Terminate，下行，即SP端下发给用户的信息； 
上行:mo提交短信到短信中心下行:mt短信中心向特定的用户转发短信，你的短信是这样的，你所提交的短信，投递的地址是短信中心。短信中心收到你的短信后，存储转发，转发的时候就会根据你填写的接收方号码寻找路由，下发。在彩信领域是一样的道理。下行业务：由SP
    
                                
    • 
                                
  • 五个JavaScript基础问题
                                    bijian1013
JavaScriptcallapplythisHoisting
                                    
    下面是五个关于前端相关的基础问题，但却很能体现JavaScript的基本功底。 
问题1：Scope作用范围 
考虑下面的代码：  
(function() {
   var a = b = 5;
})();
console.log(b); 
什么会被打印在控制台上？  
回答： 
        上面的代码会打印 5。 
&nbs
    
                                
    • 
                                
  • 【Thrift二】Thrift Hello World
                                    bit1129
Hello world
                                    
    本篇，不考虑细节问题和为什么，先照葫芦画瓢写一个Thrift版本的Hello World，了解Thrift RPC服务开发的基本流程 
  
1. 在Intellij中创建一个Maven模块，加入对Thrift的依赖，同时还要加上slf4j依赖，如果不加slf4j依赖，在后面启动Thrift Server时会报错 
        <dependency>
        
    
                                
    • 
                                
  • 【Avro一】Avro入门
                                    bit1129
入门
                                    
    本文的目的主要是总结下基于Avro Schema代码生成，然后进行序列化和反序列化开发的基本流程。需要指出的是，Avro并不要求一定得根据Schema文件生成代码，这对于动态类型语言很有用。 
  1. 添加Maven依赖 
  
<?xml version="1.0" encoding="UTF-8"?>
<proj
    
                                
    • 
                                
  • 安装nginx+ngx_lua支持WAF防护功能
                                    ronin47

                                    
    需要的软件:LuaJIT-2.0.0.tar.gz                   nginx-1.4.4.tar.gz          &nb
    
                                
    • 
                                
  • java-5.查找最小的K个元素-使用最大堆
                                    bylijinnan
java
                                    
    
import java.util.Arrays;
import java.util.Random;


public class MinKElement {

	/**
	 * 5.最小的K个元素
	 * I would like to use MaxHeap.
	 * using QuickSort is also OK
	 */
	public static void
    
                                
    • 
                                
  • TCP的TIME-WAIT
                                    bylijinnan
socket
                                    
    原文连接： 
http://vincent.bernat.im/en/blog/2014-tcp-time-wait-state-linux.html 
 
以下为对原文的阅读笔记 
 
说明： 
主动关闭的一方称为local end，被动关闭的一方称为remote end 
本地IP、本地端口、远端IP、远端端口这一“四元组”称为quadruplet，也称为socket 
 
1、TIME_WA
    
                                
    • 
                                
  • jquery ajax 序列化表单
                                    coder_xpf
Jquery ajax 序列化
                                    
      
 checkbox 如果不设定值，默认选中值为on；设定值之后，选中则为设定的值 
  
<input type="checkbox" name="favor" id="favor" checked="checked"/>
$("#favor&quo
    
                                
    • 
                                
  • Apache集群乱码和最高并发控制
                                    cuisuqiang
apachetomcat并发集群乱码
                                    
    都知道如果使用Http访问，那么在Connector中增加URIEncoding即可，其实使用AJP时也一样，增加useBodyEncodingForURI和URIEncoding即可。 
最大连接数也是一样的，增加maxThreads属性即可，如下，配置如下： 
<Connector maxThreads="300" port="8019" prot
    
                                
    • 
                                
  • websocket
                                    dalan_123
websocket
                                    
    一、低延迟的客户端-服务器 和 服务器-客户端的连接 
很多时候所谓的http的请求、响应的模式，都是客户端加载一个网页，直到用户在进行下一次点击的时候，什么都不会发生。并且所有的http的通信都是客户端控制的，这时候就需要用户的互动或定期轮训的，以便从服务器端加载新的数据。 
  通常采用的技术比如推送和comet（使用http长连接、无需安装浏览器安装插件的两种方式：基于ajax的长
    
                                
    • 
                                
  • 菜鸟分析网络执法官
                                    dcj3sjt126com
网络
                                    
      
最近在论坛上看到很多贴子在讨论网络执法官的问题。菜鸟我正好知道这回事情.人道"人之患好为人师" 手里忍不住,就写点东西吧. 我也很忙.又没有MM,又没有MONEY....晕倒有点跑题. 
OK,闲话少说,切如正题. 要了解网络执法官的原理. 就要先了解局域网的通信的原理. 
前面我们看到了.在以太网上传输的都是具有以太网头的数据包. 
    
                                
    • 
                                
  • Android相对布局属性全集
                                    dcj3sjt126com
android
                                    
    RelativeLayout布局android:layout_marginTop="25dip" //顶部距离android:gravity="left" //空间布局位置android:layout_marginLeft="15dip //距离左边距 
// 相对于给定ID控件android:layout_above 将该控件的底部置于给定ID的
    
                                
    • 
                                
  • Tomcat内存设置详解
                                    eksliang
jvmtomcattomcat内存设置
                                    
    Java内存溢出详解 
  
一、常见的Java内存溢出有以下三种： 
  
1. java.lang.OutOfMemoryError: Java heap space ----JVM Heap（堆）溢出JVM在启动的时候会自动设置JVM Heap的值，其初始空间(即-Xms)是物理内存的1/64，最大空间(-Xmx)不可超过物理内存。 
可以利用JVM提
    
                                
    • 
                                
  • Java6 JVM参数选项
                                    greatwqs
javaHotSpotjvmjvm参数JVM Options
                                    
    Java 6 JVM参数选项大全（中文版）  
  
作者：Ken Wu 
Email: [email protected] 
转载本文档请注明原文链接 http://kenwublog.com/docs/java6-jvm-options-chinese-edition.htm！ 
  
本文是基于最新的SUN官方文档Java SE 6 Hotspot VM Opt
    
                                
    • 
                                
  • weblogic创建JMC
                                    i5land
weblogicjms
                                    
    进入 weblogic控制太 
1.创建持久化存储 
 --Services--Persistant Stores--new--Create FileStores--name随便起--target默认--Directory写入在本机建立的文件夹的路径--ok 
 
2.创建JMS服务器 
 --Services--Messaging--JMS Servers--new--name随便起--Pers
    
                                
    • 
                                
  • 基于 DHT 网络的磁力链接和BT种子的搜索引擎架构
                                    justjavac
DHT
                                    
    上周开发了一个磁力链接和 BT 种子的搜索引擎 {Magnet & Torrent}，本文简单介绍一下主要的系统功能和用到的技术。 
系统包括几个独立的部分： 
 
  使用 Python 的 Scrapy 框架开发的网络爬虫，用来爬取磁力链接和种子；  
  使用 PHP CI 框架开发的简易网站；  
  搜索引擎目前直接使用的 MySQL，将来可以考虑使
    
                                
    • 
                                
  • sql添加、删除表中的列
                                    macroli
sql
                                    
    添加没有默认值：alter table Test add BazaarType char(1) 
有默认值的添加列：alter table Test add BazaarType char(1) default(0) 
删除没有默认值的列：alter table Test drop COLUMN BazaarType 
删除有默认值的列：先删除约束（默认值）alter table Test DRO
    
                                
    • 
                                
  • PHP中二维数组的排序方法
                                    abc123456789cba
排序二维数组PHP
                                    
    <?php/*** @package     BugFree* @version     $Id: FunctionsMain.inc.php,v 1.32 2005/09/24 11:38:37 wwccss Exp $*** Sort an two-dimension array by some level 
    
                                
    • 
                                
  • hive优化之------控制hive任务中的map数和reduce数
                                    superlxw1234
hivehive优化
                                    
    一、    控制hive任务中的map数:  1.    通常情况下，作业会通过input的目录产生一个或者多个map任务。  主要的决定因素有： input的文件总个数，input的文件大小，集群设置的文件块大小(目前为128M, 可在hive中通过set dfs.block.size;命令查看到，该参数不能自定义修改)；2. 
    
                                
    • 
                                
  • Spring Boot 1.2.4 发布
                                    wiselyman
spring boot
                                    
    Spring Boot 1.2.4已于6.4日发布，repo.spring.io and Maven Central可以下载(推荐使用maven或者gradle构建下载)。 
  
这是一个维护版本，包含了一些修复small number of fixes,建议所有的用户升级。 
  
Spring Boot 1.3的第一个里程碑版本将在几天后发布，包含许多
    
                                
    • 
                

            

        

    




    

        

            按字母分类：
            ABCDEFGHIJKLMNOPQRSTUVWXYZ其他