Vec_Kun
Vec_Kun

09. bs4解析基础与实例

目录

前言

bs4的安装

bs4使用基础

bs4实例——获取某网站菜价

代码实现

完整代码

重要提醒

总结

前言

我们已经具备了基本的HTML知识，能够简单的识别HTML源代码中的各类元素。这一节我们将正式学习bs4的用法，并用一个实例来展示它的方便之处。可以说，相比于正则法，bs4是非常简单的。

bs4的安装

没有安装过Python模块的同学可以参照我在requests章节的安装模块部分，把requests替换成bs4就可以了。

传送门：Python模块安装的三种方式

当然，大多数看到这一节的同学应该已经懂得模块的安装了，bs4模块安装如下：

pip install bs4 -i https://pypi.tuna.tsinghua.edu.cn/simple

bs4使用基础

BeautifulSoup对象获取html中的内容主要通过两个方法来完成：

  • find()
  • find_all() 

    不论是 find 还是 find_all，参数几乎是一致的 

  • 语法：find(标签, 属性=值)    意思是在页面中查找xxx标签，并且标签的xxx属性必须是xxx值

例如，find('div' , age=18) 含义就是在页面中查找div标签，并且属性age必须是18的这个标签

find_all() 用法和 find() 几乎一致。find() 查找一个，find_all() 查找页面中所有的。

bs4实例——获取某网站菜价

由已知可得，只要源代码中有数据，我们就能通过bs4轻松找到并提取出来。

目的：抓取某网站的菜价表并把所有信息输入到csv文件中。

代码实现

第一步，老规矩，先获取源代码

# 拿到页面源代码
url = "在评论区"
resp = requests.get(url)
# print(resp.text)

第二步，把页面源代码直接全部丢给BeautifulSoup进行预处理，就可以通过bs对象得到该页面的所有html标签了。

# 1. 生成bs对象
page = BeautifulSoup(resp.text, "html.parser")  # 指定html解析器

第三步，找到我们想要的菜价表位置

09. bs4解析基础与实例_第1张图片

使用的是find函数。我们用的最多的就是前两个，第一个就是只找一个，第二个是查找所有的。

我们在源代码中可以看到，我们想要的菜价数据全部被包裹在

标签中，这意味着被包含在表格里。而表格是由和
组成的，也就是行与列。

这下思路就明确了：先定位到表格，再获得所有行，再把所有行中的数据依次存入csv文件。

首先查看源代码，定位表格：

09. bs4解析基础与实例_第2张图片

可以看到表格标签中有一个属性值，并且是首次出现，那么我们就可以通过find精准的把他找出来 

# 2. 从bs对象中查找数据
# find(标签, 属性=值)：找第一个
# find_all(标签, 属性=值)：找全部

# table = page.find("table",class_="price-table")     # class是python中的关键字，加_以示区别
# 另一种写法：
table = page.find("table", attrs={"class": "price-table"})  # 和上一行是一个意思，此时可以避免class
# print(table)

下一步，定位所有行

# 不想要列名那一行（表头），只想要底下的数据，即拿到所有数据行
trs = table.find_all("tr")[1:]  # tr是行的意思

因为表格还存在表头，我们不想要的话就可以从第一行开始切片，这样就不会拿到表头了。

最后，遍历所有行，把其中的数据拿出来

for tr in trs:  # 每一行
    tds = tr.find_all("td")  # td表示单元格。拿到每行中的所有td
    # print(tds[0])
    # 名字、产地、均价（元/公斤）、规格、日期
    name = tds[0].text  # .text表示拿到被标签标记的内容
    place = tds[1].text
    avg_price = tds[2].text
    spec = tds[3].text
    date = tds[4].text
    # print(name,place,avg_price,spec,date)

    csvwriter.writerow([name, place, avg_price, spec, date])
    
f.close()
print("over!!!")

resp.close()

这样我们就顺利的把数据写入文件了。一定要记得要关闭文件并且关闭网络请求，这是一个好习惯，希望大家保持。

完整代码

# 安装
# pip install bs4 -i 清华

# 1. 拿到页面源代码
# 2. 使用bs4进行解析. 拿到数据
import requests
from bs4 import BeautifulSoup
import csv

# 拿到页面源代码
url = "在评论区"
resp = requests.get(url)
# print(resp.text)

f = open("广州江南菜价.csv", mode="w", newline="", encoding="utf-8")
csvwriter = csv.writer(f)

# 使用bs4解析数据（两步）
# 1. 生成bs对象
page = BeautifulSoup(resp.text, "html.parser")  # 指定html解析器

# 2. 从bs对象中查找数据
# find(标签, 属性=值)：找第一个
# find_all(标签, 属性=值)：找全部

# table = page.find("table",class_="price-table")     # class是python中的关键字，加_以示区别
# 另一种写法：
table = page.find("table", attrs={"class": "price-table"})  # 和上一行是一个意思，此时可以避免class
# print(table)

# 不想要列名那一行（表头），只想要底下的数据，即拿到所有数据行
trs = table.find_all("tr")[1:]  # tr是行的意思
for tr in trs:  # 每一行
    tds = tr.find_all("td")  # td表示单元格。拿到每行中的所有td
    # print(tds[0])
    # 名字、产地、均价（元/公斤）、规格、日期
    name = tds[0].text  # .text表示拿到被标签标记的内容
    place = tds[1].text
    avg_price = tds[2].text
    spec = tds[3].text
    date = tds[4].text
    # print(name,place,avg_price,spec,date)

    csvwriter.writerow([name, place, avg_price, spec, date])

f.close()
print("over!!!")

resp.close()

重要提醒

大家可以看到本例涉及的网站一共有一万多页，我们作为初学者一定不要盲目的去把所有数据都扒拿到！一个是没有什么用处，再一个是对网站服务器的负担很大，相当于搞破坏了，所以大家还是悠着点，适量的去试几页练手就好！当然也可以修改源代码里面的url部分或者套一个for循环来自动进行换页爬取。

总结

今天我们认识了bs4解析方式，也以一个实例进行训练，获取了某网站的菜价，明显感觉到bs4比起正则的简单与便捷。当然，我们也应铭记不要对网站进行高频词的访问，不然就类似于DDoS攻击了，对于网站服务器很不友好。

你可能感兴趣的:(Python爬虫入门,进阶与实战,python,开发语言,爬虫,html)

  • 项目管理新趋势！2024年，Jira与Codes你更倾向谁？ Codes_AndyLiu jirateambitionredmine项目管理软件项目管理工具项目管理jira国产平替
    一、项目管理软件新趋势概述2024年，项目管理软件呈现出诸多新趋势，这些趋势对于项目管理的重要性日益凸显。在数字化转型方面，项目管理软件成为企业实现数字化转型的关键工具。让老板感知数据，让中层管理者感受先进，让基层员工感到舒心.人工智能与自动化在项目管理软件中的应用也越来越广泛。项目管理软件正朝着智能化、自动化的方向迈进，利用AI技术提供个性化和场景化解决方案。例如，工作周报AI化，自动化测试，代
  • redis 如何保证缓存和数据库一致性？解决策略如下 Foolforuuu 缓存数据库redis
    Redis与数据库的数据保持一致，传统策略是先读缓存，未命中则读数据库并回填缓存，但方式这种维护成本较高。下面是几种传统常见的策略及其优缺点：【策略1】先写MySQL。成功后，更新或删除Redis中的对应数据。优点：简单易实现。缺点：存在短暂的不一致。【策略2】先写Redis。异步或定时将Redis数据同步到MySQL。优点：提升写性能。缺点：同步延迟可能导致数据丢失。【策略3】读Redis，命
  • 百万架构师第四十课：RabbitMq：RabbitMq-工作模型与JAVA编程｜JavaGuide 后端
    来源：https://javaguide.netRabbitMQ1-工作模型与Java编程课前准备预习资料Windows安装步骤Linux安装步骤官网文章中文翻译系列环境说明操作系统：CentOS7JDK：1.8Erlang：19.0.4或最新版RabbitMQ：3.6.12或最新版版本对应关系典型应用场景跨系统的异步通信。人民银行二代支付系统，使用重量级消息队列IBMMQ，异步，解耦，削峰都有体
  • 灰色系统理论及其关联分析方法 青橘MATLAB学习 算法matlab数学建模
    前言在现实世界中，许多系统的内部结构、参数及特征并未完全被人们认知。例如，粮食产量受肥料、气象、政策等多因素影响，但各因素与产量间的定量关系难以明确。这类部分信息已知、部分信息未知的系统被称为灰色系统。灰色系统理论从数据本征特性出发，通过有限信息挖掘系统规律，为信息匮乏或紊乱的问题提供建模与分析方法。本章将介绍灰色系统的基本概念及其核心方法——关联分析，揭示如何通过动态态势量化解决实际问题。§1灰
  • Java面试题中高级进阶（JVM篇Java内存） 李老头探索 javajvm开发语言
    前言本来想着给自己放松一下，刷刷博客，突然被几道面试题难倒！说说Java内存结构？说说对象分配规则？描述一下JVM加载class文件的原理机制？似乎有点模糊了，那就大概看一下面试题吧。好记性不如烂键盘***12万字的java面试题整理***Java内存结构方法区和堆是所有线程共享的内存区域；而java栈、本地方法栈和程序员计数器是运行是线程私有的内存区域。Java堆（Heap）,是Java虚拟机所
  • 使用Python获取在线股票交易网站的实时交易数据 嵌入式开发项目 2025年爬虫精通专栏python开发语言爬虫
    目录步骤1：选择股票交易网站步骤2：使用requests库发送HTTP请求步骤3：解析HTML内容步骤4：提取实时交易数据步骤5：存储和使用数据在金融市场中，实时交易数据对于投资者来说具有重要的价值。实时的股票价格、交易量和其他市场指标可以帮助投资者做出更准确的决策，同时也是进行金融分析和建模的重要数据源。在本篇博客中，我们将学习如何使用Python获取在线股票交易网站的实时交易数据。在开始之前，
  • 【python】连接Jira获取token以及jira对象 唐古乌梁海 pythonjira
    此脚本可以连接Jira，通过Jira的token，Jira对象可以实现与Jira的交互，从而完成jira与pytest的交互，或者其他自动化测试框架也行，例如：将pytest运行结果推送jira；将jira用例与自动化测试用例建立映射关系，将功能用例对应的自动化测试用例脚本路径推送到功能用例的描述栏，或者自动化栏里面#!/usr/bin/envpython#-*-coding:utf-8-*-#@
  • DeepSeek掀起推理服务器新风暴，AI应用迎来变革转折点？ 小深ai硬件分享 人工智能大数据
    AI浪潮下，推理服务器崭露头角在科技飞速发展的当下，AI是耀眼明星，席卷各行业，深刻改变生活与工作模式，从语音助手到医疗诊断、金融风险预测，AI无处不在。其发展分数据收集整理、模型训练、推理应用三个阶段，过去重模型训练，如今大量预训练模型出现，如何高效应用成新挑战，推理服务器应运而生。推理服务器是运行AI模型、对输入数据实时分析预测的硬件设备，堪称AI应用“幕后英雄”。在自动驾驶、智能安防、电商推
  • 《运维工程师如何利用DeepSeek实现智能运维：分级实战指南》 进击的雷神 武林绝学：技术杂谈剑影流转运维
    目录智能运维革命：DeepSeek带来的范式转变DeepSeek核心运维能力全景解析分级实战场景与解决方案3.1初级工程师：自动化运维入门3.2中级工程师：复杂系统诊断与优化3.3高级工程师：架构级智能运维典型项目案例深度剖析4.1金融系统全链路监控体系构建4.2电商大促资源弹性调度实战4.3混合云环境下的安全加固分级能力提升路径效能提升数据验证挑战与演进方向构建智能运维体系行动指南1.智能运维革
  • MapEX - Mind the map! Accounting for existing maps when estimating online HDMaps from sensors. zisuina_2 python深度学习3d
    MapEX加入地图编码的MAP检测论文链接MapEX背景与动机：HD地图的重要性与高成本：HD地图是自动驾驶的关键组成部分，但其采集和维护成本极高。现有方法的局限性：现有方法主要依赖传感器数据生成HD地图，但通常忽略了已有的HD地图资源。当前方法最多只是对低质量地图进行地理定位或使用通用的已知地图数据库，效率和效果都有限。提出的解决方案：充分利用现有地图：在HD地图估计中引入现有HD地图资源，具体
  • Python 基础-循环 赔罪 Python系统学习pythonwindows服务器
    目录简介breakcontinue小结简介要计算1+2+3，我们可以直接写表达式：>>>1+2+36要计算1+2+3+...+10，勉强也能写出来。但是，要计算1+2+3+...+10000，直接写表达式就不可能了。为了让计算机能计算成千上万次的重复运算，我们就需要循环语句。Python的循环有两种，一种是for...in循环，依次把list或tuple中的每个元素迭代出来，看例子：names=[
  • 【FastAPI 】FastAPI 模板：提供静态文件 iFakeCoder Flaskfastapipython开发语言
    FastAPI是一个现代、快速（高性能）的Web框架，用于基于标准Python类型提示使用Python3.7+构建API。虽然它的主要用例是构建API，但FastAPI还可以轻松提供静态文件和HTML模板，从而让您可以构建全栈Web应用程序。在此博客中，我们将探讨如何使用FastAPI提供静态文件。我们将介绍基础知识并提供演示以帮助您入门。为什么要提供静态文件？静态文件是不经常更改的资产，并按原样
  • DeepSeek 爆火：初级程序员的饭碗要丢？别慌，这是进阶的号角！ 清水白石008 人工智能职业生涯提升学习人工智能深度学习自然语言处理
    DeepSeek爆火：初级程序员的饭碗要丢？别慌，这是进阶的号角！前言最近，一款名为DeepSeek的AI编程工具火遍了程序员圈。其强大的代码生成能力、智能的代码理解，让不少初级程序员感到一丝焦虑：AI都这么厉害了，我们这些写基础代码的，饭碗还能保得住吗？作为一名在程序软件领域摸爬滚打多年的老兵，我深知技术变革带来的冲击，也理解初级程序员们心中的担忧。但我想说的是，DeepSeek的爆火，非但不是
  • 8-项目实战-信用卡数字识别 #北极星star Opencv图像处理框架实战opencv计算机视觉人工智能
    目录(1)总体流程与方法(2)代码实现(3)识别结果(1)总体流程与方法①读取模板图像：加载包含数字模板的图像，并提取每个数字的轮廓，将它们作为模板存储。②读取输入图像：加载待识别的信用卡图像，并进行预处理。③提取数字区域：通过一系列图像处理操作（如礼帽操作、梯度计算、闭操作等）提取可能包含数字的区域。④轮廓排序与筛选：找到提取区域的轮廓，并根据轮廓的宽高比和尺寸筛选出符合条件的数字区域。⑤数字识
  • 深度学习在医疗影像分析中的革命性应用 Echo_Wish 人工智能前沿技术深度学习人工智能
    深度学习在医疗影像分析中的革命性应用引言医疗影像分析是现代医学中不可或缺的一部分，特别是在疾病诊断和治疗过程中发挥了至关重要的作用。随着深度学习技术的发展，医疗影像分析的效率和准确性得到了显著提升。本文将探讨如何利用深度学习技术，特别是Python编程语言，来优化医疗影像分析，展示具体的代码实例，并举例说明其实际应用效果。深度学习与医疗影像分析深度学习（DeepLearning）是一种基于人工神经
  • DeepSeek使用中的问题及解决方案（部分） WeiLai1112 DeepSeek人工智能
    1.模型部署与配置问题问题1：环境依赖冲突现象：安装模型依赖库时出现版本不兼容（如Python、PyTorch版本冲突）。解决方案：使用虚拟环境（如conda或venv）隔离依赖。严格按照官方文档的版本要求安装依赖，例如：condacreate-ndeepseekpython=3.9condaactivatedeepseekpipinstalltorch==2.0.1transformers==4
  • vue制作导航栏html,Vue实现导航栏菜单 DataQueen vue制作导航栏html
    本文实例为大家分享了Vue实现导航栏菜单的具体代码，供大家参考，具体内容如下这里是刚学习vue的时候，没有用vue的任何UI组件库写的导航栏菜单。menu.html导航栏左项目名称您好，用户！v-bind:class="{checked:index==nowIndex}"v-on:click="setTab('menu',index,menus)">{{menu.text}}菜单一的内容菜单二的内
  • python whoosh clisy python开源搜索
    原文地址：http://whoosh.ca/wikiWhoosh:高效的纯python全文搜索组件Whoosh是一个纯python实现的全文搜索组件。Whoosh不但功能完善，还非常的快。Whoosh的作者是MattChaput，由SideEffectsSoftware公司开发。项目的最初用于Houdini（SideEffectsSoftware公司开发的3D动画软件）的在线帮助系统。SideEf
  • 钉钉酷应用开发 死神黑夜降临 项目酷应用
    钉钉酷应用开发注意事项背景介绍注意事项1开发注意2授权注意3上线注意背景介绍钉钉针对应用进行微化的一种升级，与应用是绑定一起的。注意事项1开发注意钉钉应用分为三方应用和企业内部应用，酷应用依托于钉钉应用，故其也存在三方应用和内部应用的区分二者的不同点，三方酷应用想在手机端调试或者电脑端调试，需要提交发布申请，提交后，填写的访问地址链接不能修改；内部应用不存在这个问题，是可以随时修改的，这点很重要，
  • Java集合之ArrayList（含源码解析 超详细） &星辰入梦来& Java集合javapython开发语言
    1.ArrayList简介ArrayList的底层是数组队列，相当于动态数组。与Java中的数组相比，它的容量能动态增长。在添加大量元素前，应用程序可以使用ensureCapacity操作来增加ArrayList实例的容量。这可以减少递增式再分配的数量。ArrayList继承于AbstructList，实现了List，RandomAccess，Cloneable，Java.io.Serializa
  • 数据库基础以及 MySQL 知识点 阿绵 计算机基础数据库mysql
    文章目录1、基本概念2、主键和外键的区别2.1、使用外键的优劣3、数据库范式4、drop、delete与truncate区别？5、MySQL1、基础概念2、存储引擎2.1、InnoDB和MyISAM区别2.2、InnoDB如何保持事务的四大特性（实现事务的原理）3、锁机制与InnoDB锁算法3.1、表级锁和行级锁对比4、事务4.1、ACID特性4.2、并发事务带来的问题4.3、事务隔离级别1、基本
  • Python性能优化：懒加载与其他高级技巧 车载testing pytest数据驱动框架开发pythonpython数据库开发语言
    Python性能优化：懒加载与其他高级技巧在软件开发中，我们经常会遇到一些需要大量资源或时间来初始化的对象。如果这些对象在程序的整个生命周期中只被使用一次或很少使用，那么在程序启动时就立即初始化它们将是一种资源浪费。什么是懒加载？懒加载是一种设计模式，它推迟了对象的初始化直到其被实际需要的时候。这种方式可以提高程序的启动速度，减少内存消耗，并在某些情况下提高性能。实现懒加载的步骤定义类和属性：首先
  • Click：构建Python命令行界面的利器 车载testing pythonpythonlinux开发语言
    Click：构建Python命令行界面的利器Click是一个Python包，它允许开发者以最少的代码创建出美观、功能丰富的命令行界面（CLI）。它以其高度的可配置性、合理的默认设置以及简洁的API而受到广泛欢迎。本文将详细介绍Click的核心API组件，并提供示例代码，帮助你快速掌握Click的基本用法。1.Decorators（装饰器）装饰器是Click中用于定义命令和参数的强大工具。click
  • Python 队列的使用：掌握先进先出的数据结构 车载testing python
    Python队列的使用：掌握先进先出的数据结构队列是一种先进先出（FIFO）的数据结构，它在多种编程场景中都非常有用，比如任务调度、事件处理等。在Python中，我们可以通过标准库中的queue模块来实现队列。本文将详细介绍如何使用Python的queue模块来创建和操作队列。导入Queue模块使用queue模块之前，我们需要先导入它：fromqueueimportQueue创建队列创建一个队列实
  • Whoosh: 一个功能强大的纯Python全文搜索引擎 富珂祯
    Whoosh:一个功能强大的纯Python全文搜索引擎whooshWhooshisafast,featurefulfull-textindexingandsearchinglibraryimplementedinpurePython.项目地址:https://gitcode.com/gh_mirrors/wh/whooshWhoosh是一个快速且功能丰富的全文索引和搜索库，完全使用Python实现
  • pycdc 安装和配置指南 左洋蔷Rory
    pycdc安装和配置指南pycdcC++pythonbytecodedisassembleranddecompiler项目地址:https://gitcode.com/gh_mirrors/py/pycdc1.项目基础介绍和主要的编程语言项目名称:pycdc项目简介:pycdc是一个用C++编写的Python字节码反编译器和反汇编器。它的目标是帮助开发者将编译后的Python字节码（.pyc文件）
  • Whoosh：一款优秀的纯Python全文搜索库 沈书苹Peter
    Whoosh：一款优秀的纯Python全文搜索库whooshPure-Pythonfull-textsearchlibrary项目地址:https://gitcode.com/gh_mirrors/who/whooshWhoosh是一个快速、功能丰富的全文索引和搜索库，完全使用Python编写。它允许程序员轻松地将搜索功能添加到他们的应用程序和网站中。项目基础介绍Whoosh是一个纯Python项
  • yolov8人脸识别与脸部关键点检测（代码+原理） QQ_1309399183 计算机视觉实战项目集锦YOLO人工智能人脸识别yolo人脸检测
    YOLOv8脸部识别是一个基于YOLOv8算法的人脸检测项目，旨在实现快速、准确地检测图像和视频中的人脸。该项目是对YOLOv8算法的扩展和优化，专门用于人脸检测任务。YOLOv8是一种基于深度学习的目标检测算法，通过将目标检测问题转化为一个回归问题，可以实现实时的目标检测。YOLOv8Face项目在YOLOv8的基础上进行了改进，使其更加适用于人脸检测。以下是YOLOv8Face项目的一些特点和
  • deepseek_各个版本django特性 终是蝶衣梦晓楼 django数据库python
    以下是Django2.0至5.0的主要区别总结，按版本特性分类说明：1.Django2.0的主要变化Python支持仅支持Python3.4+，不再兼容Python2.x。路由系统弃用url()，引入path()和re_path()替代，path()默认不支持正则表达式，但提供内置转换器（如）进行参数类型匹配。支持更简洁的URL配置语法（例如path('articles//',views.year
  • 【机器学习】基于3D CNN通过CT图像分类预测肺炎 MUKAMO AIPython应用机器学习深度学习人工智能神经网络3DCNN
    1.引言1.1.研究背景在医学诊断中，医生通过分析CT影像来预测疾病时，面临一些挑战和局限性：图像信息的广度与复杂性：CT扫描生成的大量图像对医生来说既是信息的宝库也是处理上的负担。每组CT数据可能包含数百张切片，医生必须迅速审阅这些图像，以便捕捉到病变的微小细节。这种庞大的信息量要求医生在有限的时间内做出精准诊断，但同时也增加了漏诊或误诊的风险。部分容积效应也可能模糊小病变的边界，使得准确诊断变
  • JAVA中的Enum 周凡杨 javaenum枚举
    Enum是计算机编程语言中的一种数据类型---枚举类型。 在实际问题中，有些变量的取值被限定在一个有限的范围内。     例如，一个星期内只有七天 我们通常这样实现上面的定义： public String monday; public String tuesday; public String wensday; public String thursday
  • 赶集网mysql开发36条军规 Bill_chen mysql业务架构设计mysql调优mysql性能优化
    (一)核心军规 (1)不在数据库做运算    cpu计算务必移至业务层； (2)控制单表数据量    int型不超过1000w，含char则不超过500w；    合理分表；    限制单库表数量在300以内； (3)控制列数量    字段少而精，字段数建议在20以内
  • Shell test命令 daizj shell字符串test数字文件比较
    Shell test命令 Shell中的 test 命令用于检查某个条件是否成立，它可以进行数值、字符和文件三个方面的测试。 数值测试 参数 说明 -eq 等于则为真 -ne 不等于则为真 -gt 大于则为真 -ge 大于等于则为真 -lt 小于则为真 -le 小于等于则为真 实例演示： num1=100 num2=100if test $[num1]
  • XFire框架实现WebService(二) 周凡杨 javawebservice
       有了XFire框架实现WebService(一)，就可以继续开发WebService的简单应用。 Webservice的服务端(WEB工程)： 两个java bean类： Course.java    package cn.com.bean; public class Course {     private
  • 重绘之画图板 朱辉辉33 画图板
           上次博客讲的五子棋重绘比较简单，因为只要在重写系统重绘方法paint（）时加入棋盘和棋子的绘制。这次我想说说画图板的重绘。        画图板重绘难在需要重绘的类型很多，比如说里面有矩形，园，直线之类的，所以我们要想办法将里面的图形加入一个队列中，这样在重绘时就
  • Java的IO流 西蜀石兰 java
    刚学Java的IO流时，被各种inputStream流弄的很迷糊，看老罗视频时说想象成插在文件上的一根管道，当初听时觉得自己很明白，可到自己用时，有不知道怎么代码了。。。 每当遇到这种问题时，我习惯性的从头开始理逻辑，会问自己一些很简单的问题，把这些简单的问题想明白了，再看代码时才不会迷糊。 IO流作用是什么？ 答：实现对文件的读写，这里的文件是广义的； Java如何实现程序到文件
  • No matching PlatformTransactionManager bean found for qualifier 'add' - neither 林鹤霄
    java.lang.IllegalStateException: No matching PlatformTransactionManager bean found for qualifier 'add' - neither qualifier match nor bean name match!   网上找了好多的资料没能解决，后来发现：项目中使用的是xml配置的方式配置事务，但是
  • Row size too large (> 8126). Changing some columns to TEXT or BLOB aigo column
    原文：http://stackoverflow.com/questions/15585602/change-limit-for-mysql-row-size-too-large   异常信息： Row size too large (> 8126). Changing some columns to TEXT or BLOB or using ROW_FORMAT=DYNAM
  • JS 格式化时间 alxw4616 JavaScript
    /** * 格式化时间 2013/6/13 by 半仙 [email protected] * 需要 pad 函数 * 接收可用的时间值. * 返回替换时间占位符后的字符串 * * 时间占位符:年 Y 月 M 日 D 小时 h 分 m 秒 s 重复次数表示占位数 * 如 YYYY 4占4位 YY 占2位<p></p> * MM DD hh mm
  • 队列中数据的移除问题 百合不是茶 队列移除
         队列的移除一般都是使用的remov();都可以移除的,但是在昨天做线程移除的时候出现了点问题,没有将遍历出来的全部移除,  代码如下;      // package com.Thread0715.com; import java.util.ArrayList; public class Threa
  • Runnable接口使用实例 bijian1013 javathreadRunnablejava多线程
    Runnable接口 a.       该接口只有一个方法：public void run(); b.       实现该接口的类必须覆盖该run方法 c.       实现了Runnable接口的类并不具有任何天
  • oracle里的extend详解 bijian1013 oracle数据库extend
    扩展已知的数组空间，例： DECLARE TYPE CourseList IS TABLE OF VARCHAR2(10); courses CourseList; BEGIN -- 初始化数组元素，大小为3 courses := CourseList('Biol 4412 ', 'Psyc 3112 ', 'Anth 3001 '); --
  • 【httpclient】httpclient发送表单POST请求 bit1129 httpclient
    浏览器Form Post请求 浏览器可以通过提交表单的方式向服务器发起POST请求，这种形式的POST请求不同于一般的POST请求 1. 一般的POST请求，将请求数据放置于请求体中，服务器端以二进制流的方式读取数据，HttpServletRequest.getInputStream()。这种方式的请求可以处理任意数据形式的POST请求，比如请求数据是字符串或者是二进制数据 2. Form
  • 【Hive十三】Hive读写Avro格式的数据 bit1129 hive
     1. 原始数据 hive> select * from word; OK 1 MSN 10 QQ 100 Gtalk 1000 Skype      2. 创建avro格式的数据表   hive> CREATE TABLE avro_table(age INT, name STRING)STORE
  • nginx+lua+redis自动识别封解禁频繁访问IP ronin47
    在站点遇到攻击且无明显攻击特征，造成站点访问慢，nginx不断返回502等错误时，可利用nginx+lua+redis实现在指定的时间段 内，若单IP的请求量达到指定的数量后对该IP进行封禁，nginx返回403禁止访问。利用redis的expire命令设置封禁IP的过期时间达到在 指定的封禁时间后实行自动解封的目的。 一、安装环境： CentOS x64 release 6.4(Fin
  • java-二叉树的遍历-先序、中序、后序（递归和非递归）、层次遍历 bylijinnan java
    import java.util.LinkedList; import java.util.List; import java.util.Stack; public class BinTreeTraverse { //private int[] array={ 1, 2, 3, 4, 5, 6, 7, 8, 9 }; private int[] array={ 10,6,
  • Spring源码学习-XML 配置方式的IoC容器启动过程分析 bylijinnan javaspringIOC
    以FileSystemXmlApplicationContext为例，把Spring IoC容器的初始化流程走一遍： ApplicationContext context = new FileSystemXmlApplicationContext ("C:/Users/ZARA/workspace/HelloSpring/src/Beans.xml&q
  • [科研与项目]民营企业请慎重参与军事科技工程 comsci 企业
         军事科研工程和项目 并非要用最先进，最时髦的技术，而是要做到“万无一失”    而民营科技企业在搞科技创新工程的时候，往往考虑的是技术的先进性，而对先进技术带来的风险考虑得不够，在今天提倡军民融合发展的大环境下，这种“万无一失”和“时髦性”的矛盾会日益凸显。。。。。。所以请大家在参与任何重大的军事和政府项目之前，对
  • spring 定时器-两种方式 cuityang springquartz定时器
    方式一： 间隔一定时间 运行 <bean id="updateSessionIdTask" class="com.yang.iprms.common.UpdateSessionTask" autowire="byName" /> <bean id="updateSessionIdSchedule
  • 简述一下关于BroadView站点的相关设计 damoqiongqiu view
    终于弄上线了，累趴，戳这里http://www.broadview.com.cn   简述一下相关的技术点   前端：jQuery+BootStrap3.2+HandleBars，全站Ajax（貌似对SEO的影响很大啊！怎么破？），用Grunt对全部JS做了压缩处理，对部分JS和CSS做了合并（模块间存在很多依赖，全部合并比较繁琐，待完善）。   后端：U
  • 运维 PHP问题汇总 dcj3sjt126com windows2003
    1、Dede(织梦)发表文章时,内容自动添加关键字显示空白页 解决方法： 后台>系统>系统基本参数>核心设置>关键字替换（是/否），这里选择“是”。 后台>系统>系统基本参数>其他选项>自动提取关键字，这里选择“是”。   2、解决PHP168超级管理员上传图片提示你的空间不足 网站是用PHP168做的，反映使用管理员在后台无法
  • mac 下 安装php扩展 - mcrypt dcj3sjt126com PHP
    MCrypt是一个功能强大的加密算法扩展库，它包括有22种算法，phpMyAdmin依赖这个PHP扩展，具体如下： 下载并解压libmcrypt-2.5.8.tar.gz。 在终端执行如下命令： tar zxvf libmcrypt-2.5.8.tar.gz cd libmcrypt-2.5.8/ ./configure --disable-posix-threads --
  • MongoDB更新文档 [四] eksliang mongodbMongodb更新文档
    MongoDB更新文档 转载请出自出处：http://eksliang.iteye.com/blog/2174104 MongoDB对文档的CURD，前面的博客简单介绍了，但是对文档更新篇幅比较大，所以这里单独拿出来。 语法结构如下： db.collection.update( criteria, objNew, upsert, multi) 参数含义 参数   
  • Linux下的解压，移除，复制，查看tomcat命令 y806839048 tomcat
    重复myeclipse生成webservice有问题删除以前的，干净 1、先切换到：cd usr/local/tomcat5/logs 2、tail -f catalina.out 3、这样运行时就可以实时查看运行日志了 Ctrl+c 是退出tail命令。 有问题不明的先注掉   cp /opt/tomcat-6.0.44/webapps/g
  • Spring之使用事务缘由(3-XML实现) ihuning spring
      用事务通知声明式地管理事务   事务管理是一种横切关注点。为了在 Spring 2.x 中启用声明式事务管理，可以通过 tx Schema 中定义的 <tx:advice> 元素声明事务通知，为此必须事先将这个 Schema 定义添加到 <beans> 根元素中去。声明了事务通知后，就需要将它与切入点关联起来。由于事务通知是在 <aop:
  • GCD使用经验与技巧浅谈 啸笑天 GC
    前言 GCD(Grand Central Dispatch)可以说是Mac、iOS开发中的一大“利器”，本文就总结一些有关使用GCD的经验与技巧。 dispatch_once_t必须是全局或static变量 这一条算是“老生常谈”了，但我认为还是有必要强调一次，毕竟非全局或非static的dispatch_once_t变量在使用时会导致非常不好排查的bug，正确的如下： 1
  • linux（Ubuntu）下常用命令备忘录1 macroli linux工作ubuntu
    在使用下面的命令是可以通过--help来获取更多的信息1,查询当前目录文件列表：ls ls命令默认状态下将按首字母升序列出你当前文件夹下面的所有内容，但这样直接运行所得到的信息也是比较少的，通常它可以结合以下这些参数运行以查询更多的信息：  ls / 显示/.下的所有文件和目录  ls -l 给出文件或者文件夹的详细信息 ls -a 显示所有文件，包括隐藏文
  • nodejs同步操作mysql qiaolevip 学习永无止境每天进步一点点mysqlnodejs
    // db-util.js var mysql = require('mysql'); var pool = mysql.createPool({ connectionLimit : 10, host: 'localhost', user: 'root', password: '', database: 'test', port: 3306 });
  • 一起学Hive系列文章 superlxw1234 hiveHive入门
      [一起学Hive]系列文章 目录贴，入门Hive，持续更新中。   [一起学Hive]之一—Hive概述，Hive是什么 [一起学Hive]之二—Hive函数大全-完整版 [一起学Hive]之三—Hive中的数据库(Database)和表(Table) [一起学Hive]之四-Hive的安装配置 [一起学Hive]之五-Hive的视图和分区 [一起学Hive
  • Spring开发利器：Spring Tool Suite 3.7.0 发布 wiselyman spring
    Spring Tool Suite(简称STS)是基于Eclipse，专门针对Spring开发者提供大量的便捷功能的优秀开发工具。   在3.7.0版本主要做了如下的更新：   将eclipse版本更新至Eclipse Mars 4.5 GA Spring Boot(JavaEE开发的颠覆者集大成者，推荐大家学习)的配置语言YAML编辑器的支持(包含自动提示，