思源湖的鱼
思源湖的鱼

爬虫学习笔记（十六）Selenium 2020.5.20

前言

本节学习selenium
得说一句这节课程讲的不行
很多讲明白
就先记一笔
准备后续自己再看看

可参考的几篇
官方文档
针对python的文档
详解

1、简介

浏览器的工作原理

网页三元素

  • html负责内容
  • css负责样式
  • JavaScript负责动作

从数据的角度考虑，网页上呈现出来的数据的来源：

  • html文件
  • ajax接口
  • javascript加载

可参考
原理详解

Selenium

诞生于2014年，创造者是ThoughtWorks公司的测试工程师Jason Huggins
目的就是做自动化测试，用以检测网页交互，避免重复劳动。
这个工具可以用来自动加载网页，供爬虫抓取数据。

支持哪些浏览器和系统：

  • Google Chrome
  • Internet Explorer 7, 8, 9, 10, and 11 on appropriate combinations of Vista, Windows 7, Windows 8, and Windows 8.1.
  • Firefox
  • Safari
  • Opera
  • phantomjs（一款无头浏览器，已停止维护）
  • Android (with Selendroid or appium)
  • IOS (with ios-driver or appium)

2、安装与使用

# 安装selenium:
pip install selenium
# 引入webdriver：
from selenium import webdriver
# 设置选项：
option = webdriver.ChromeOptions()
option.add_argument('headless')
# 添加驱动
driver = webdriver.Chrome('./chromedriver',chrome_options=option)

3、页面交互

# 查找元素：
element = driver.find_element_by_id("passwd-id")
element = driver.find_element_by_name("passwd")
element = driver.find_element_by_xpath("//input[@id='passwd-id']")
# 输入文字：
element.send_keys("some text")
# 点击
element.click()
# 动作链
from selenium.webdriver import ActionChains
action_chains = ActionChains(driver)
action_chains.drag_and_drop(element, target).perform()
# 在页面间切换
window_handles = driver.window_handles
driver.switch_to.window(window_handles[-1])
# 保存网页截图
driver.save_screenshot('screen.png')

4、定位元素

# 查找一个元素
find_element_by_id
find_element_by_name
find_element_by_xpath
find_element_by_link_text
find_element_by_partial_link_text
find_element_by_tag_name
find_element_by_class_name
find_element_by_css_selector
# 查找多个元素
find_elements_by_name
find_elements_by_xpath
find_elements_by_link_text
find_elements_by_partial_link_text
find_elements_by_tag_name
find_elements_by_class_name
find_elements_by_css_selector
# 通过id定位
<html>
 <body>
  <form id="loginForm">
   <input name="username" type="text" />
   <input name="password" type="password" />
   <input name="continue" type="submit" value="Login" />
  </form>
 </body>
<html>
login_form = driver.find_element_by_id('loginForm')
# 通过name定位
<html>
 <body>
  <form id="loginForm">
   <input name="username" type="text" />
   <input name="password" type="password" />
   <input name="continue" type="submit" value="Login" />
   <input name="continue" type="button" value="Clear" />
  </form>
</body>
<html>
username = driver.find_element_by_name('username')
password = driver.find_element_by_name('password')
# 通过链接文本定位
<html>
 <body>
  <p>Are you sure you want to do this?</p>
  <a href="continue.html">Continue</a>
  <a href="cancel.html">Cancel</a>
</body>
<html>
continue_link = driver.find_element_by_link_text('Continue')
continue_link = driver.find_element_by_partial_link_text('Conti')
# 通过标签名定位
<html>
 <body>
  <h1>Welcome</h1>
  <p>Site content goes here.</p>
</body>
<html>
heading1 = driver.find_element_by_tag_name('h1')
# 通过类名定位
<html>
 <body>
  <p class="content">Site content goes here.</p>
</body>
<html>
content = driver.find_element_by_class_name('content')
# 通过CSS选择器定位
<html>
 <body>
  <p class="content">Site content goes here.</p>
</body>
<html>
content = driver.find_element_by_css_selector('p.content')
# 两个私有方法
from selenium.webdriver.common.by import By
driver.find_element(By.XPATH, '//button[text()="Some text"]')
driver.find_elements(By.XPATH, '//button')
# By后面可以用来定位的属性
ID = "id"
XPATH = "xpath"
LINK_TEXT = "link text"
PARTIAL_LINK_TEXT = "partial link text"
NAME = "name"
TAG_NAME = "tag name"
CLASS_NAME = "class name"
CSS_SELECTOR = "css selector"
# 推荐使用xpath定位
username = driver.find_element_by_xpath("//form[input/@name='username']")
username = driver.find_element_by_xpath("//form[@id='loginForm']/input[1]")
username = driver.find_element_by_xpath("//input[@name='username']")
# 推荐使用链接文本定位
continue_link = driver.find_element_by_link_text('Continue')
continue_link = driver.find_element_by_partial_link_text('Conti')

5、等待

# 等待
from selenium import webdriver
from selenium.webdriver.common.by import By
from selenium.webdriver.support.ui import WebDriverWait
from selenium.webdriver.support import expected_conditions as EC
driver = webdriver.Firefox()
driver.get("http://somedomain/url_that_delays_loading")
try:
    element = WebDriverWait(driver, 10).until(
        EC.presence_of_element_located((By.ID, "myDynamicElement"))
    )
finally:
    driver.quit()
# 条件
title_is
title_contains
presence_of_element_located
visibility_of_element_located
visibility_of
presence_of_all_elements_located
text_to_be_present_in_element
text_to_be_present_in_element_value
frame_to_be_available_and_switch_to_it
invisibility_of_element_located
element_to_be_clickable
staleness_of
element_to_be_selected
element_located_to_be_selected
element_selection_state_to_be
element_located_selection_state_to_be
alert_is_present

6、例子

与百度的交互

from selenium import webdriver
from selenium.webdriver.support.wait import WebDriverWait
from selenium.webdriver.common.by import By
from selenium.webdriver.support import expected_conditions as EC

option = webdriver.ChromeOptions()
option.add_argument('headless')

# 要换成适应自己操作系统的chromedriver
driver = webdriver.Chrome(
    executable_path='/Users/seancheney/Documents/kkb_python/headless/chromedriver', #绝对路径
    chrome_options=option #上面设置的option
)

url = 'https://www.baidu.com'
# 打开网站
driver.get(url)

# 打印当前页面标题
print(driver.title)

# 在搜索框中输入文字
timeout = 5
search_content = WebDriverWait(driver, timeout).until(
    # lambda d: d.find_element_by_xpath('//input[@id="kw"]')
    EC.presence_of_element_located((By.XPATH, '//input[@id="kw"]'))
)
search_content.send_keys('python')

# 等待页面
import time
time.sleep(3)

# 模拟点击“百度一下”
search_button = WebDriverWait(driver, timeout).until(
    lambda d: d.find_element_by_xpath('//input[@id="su"]'))
search_button.click()

# 打印搜索结果
search_results = WebDriverWait(driver, timeout).until(
    # lambda d: d.find_elements_by_xpath('//h3[@class="t c-title-en"] | //h3[@class="t"]')
    lambda e: e.find_elements_by_xpath('//h3[contains(@class,"t")]/a[1]')
)
print(search_results)
for item in search_results:
    print(item.text)

driver.close()

抓取头条新闻

from selenium import webdriver
from selenium.webdriver.support.wait import WebDriverWait

option = webdriver.ChromeOptions()

driver = webdriver.Chrome(
    executable_path='/Users/seancheney/Documents/kkb_python/headless/chromedriver',
    chrome_options=option
)

# 今日头条
url = 'https://www.toutiao.com'

driver.get(url)
print(driver.page_source)

timeout = 5
coin_links = WebDriverWait(driver, timeout).until(
    lambda d: d.find_elements_by_xpath('//div[@ga_event="article_title_click"]/a')
)

for item in coin_links:
    print(item.text)
    print(item.get_attribute('href'))

结语

selenium这个自动化工具确实好用
笔者准备后续多看看官方文档

你可能感兴趣的:(crawler)

  • Failed to connect to huggingface.co port 443 after 75018 ms: Operation timed out 兔兔爱学习兔兔爱学习 大模型人工智能python
    完美解决：Failedtoconnecttohuggingface.coport443after75018ms:Operationtimedout方案一：选择python依赖包，用代码程序解决推荐：pycrawlers这个python包，使用这个包可以轻松实现批量下载，以及进度显示frompycrawlersimporthuggingface#实例化类hg=huggingface()#1.批量下载
  • 2024年Python最全Python爬取Boss直聘，帮你获取全国各类职业薪酬榜(1) 2301_82242474 程序员python开发语言
    代码importrequestsfrombs4importBeautifulSoupimportcsvimportrandomimporttimeimportargparsefrompyecharts.chartsimportLineimportpandasaspdclassBossCrawler:definit(self,query):self.query=queryself.filename=
  • Python网络爬虫技术详解 蓝天资源分享 python爬虫开发语言
    Python网络爬虫技术详解引言网络爬虫（WebCrawler），又称网络蜘蛛（WebSpider）或网络机器人（WebRobot），是一种按照一定规则自动抓取互联网信息的程序或脚本。它们通过遍历网页链接，从指定的起始页面开始，逐步抓取页面内容，并存储或分析这些数据。Python，作为一种强大且易于学习的编程语言，凭借其丰富的库和工具，成为了网络爬虫开发的首选语言之一。本文将深入探讨Python网
  • Python 爬虫功能介绍 chengxuyuan1213_ python爬虫网络爬虫
    在当今互联网信息爆炸的时代，数据的获取与分析成为了各行各业不可或缺的一部分。Python，作为一种简洁、易读且功能强大的编程语言，凭借其丰富的库和框架，在数据抓取（即网络爬虫）领域展现了极大的优势。本文旨在介绍Python爬虫的基础功能，帮助初学者快速入门，理解爬虫的基本工作原理及常用技术。一、什么是网络爬虫网络爬虫（WebCrawler），又称网络蜘蛛（WebSpider）或网络机器人（WebR
  • kotlin实现ajax,第13章 Kotlin 集成 SpringBoot 服务端开发（2） TTTTTTT-ll kotlin实现ajax
    13.2.10搜索关键字管理本节我们开发爬虫爬取的关键字管理的功能。数据库实体类首先，新建实体类SearchKeyWord如下packagecom.easy.kotlin.picturecrawler.entityimportjava.util.*importjavax.persistence.*@Entity@Table(indexes=arrayOf(Index(name="idx_key_w
  • 如何利用Python爬虫获取商品销量详情案例指南 数据小小爬虫 pythonpython爬虫开发语言
    在当今数字化时代，电子商务平台的兴起使得商品销量数据成为企业和个人分析市场趋势、制定营销策略的重要依据。然而，这些数据往往被平台严格控制，不对外公开。幸运的是，通过Python爬虫技术，我们可以获取这些宝贵的数据。本文将详细介绍如何利用Python爬虫技术获取商品销量详情，并提供代码示例。一、爬虫技术简介爬虫（WebCrawler）是一种自动获取网络信息的程序。它通过模拟浏览器行为，发送HTTP请
  • XXL-CRAWLER v1.4.0 ｜ Java爬虫框架 后端爬虫java
    ReleaseNotes1、【提升】爬虫JS渲染能力强化：升级提供"Selenium+ChromeDriver"方案支持JS渲染，兼容性更高，废弃旧Phantomjs方案。非JS渲染场景仍然Jsoup，速度更快。同时支持自由扩展其他实现。2、【优化】进一步优化Selenium兼容问题，完善JS渲染场景下兼容性和性能。3、【重构】重构核心功能模块，提升扩展性；修复历史代码隐藏问题，提升系统稳定习惯。
  • 掌握 Python 网络爬虫技术：从基础入门到高级实践（附带爬虫案例） 一ge科研小菜鸡 Python编程语言python
    个人主页：一ge科研小菜鸡-CSDN博客期待您的关注网络爬虫是自动访问网站并抓取网页数据的程序。Python凭借其丰富的库和易于使用的特性，成为开发网络爬虫的首选语言。本文将详细介绍如何使用Python进行网络爬虫开发，包括基本概念、主要工具、数据解析和高级爬取技术，并提供一个完整的实践案例。1.网络爬虫概述1.1什么是网络爬虫？网络爬虫（WebCrawler）是指用于访问和抓取网页内容的自动化脚
  • 使用 GPT-crawler 构建 RAG 应用的完整指南 sagvWSRJHMNEB gpt爬虫人工智能python
    随着生成式AI技术的迅猛发展，如何高效地利用GPT模型进行信息抽取和知识增强（RAG:Retrieval-AugmentedGeneration）成为了开发者关注的焦点。本文将深入探讨如何使用gpt-crawler工具来抓取网页内容并在LangChain项目中实现RAG应用。技术背景介绍在生成式AI应用中，RAG是一种结合信息检索和生成技术的方法。通过将外部知识融入到生成模型中，RAG能够在特定领
  • Python 爬虫入门教程：从零构建你的第一个网络爬虫 m0_74825223 面试学习路线阿里巴巴python爬虫开发语言
    网络爬虫是一种自动化程序，用于从网站抓取数据。Python凭借其丰富的库和简单的语法，是构建网络爬虫的理想语言。本文将带你从零开始学习Python爬虫的基本知识，并实现一个简单的爬虫项目。1.什么是网络爬虫？网络爬虫（WebCrawler）是一种通过网络协议（如HTTP/HTTPS）获取网页内容，并提取其中有用信息的程序。常见的爬虫用途包括：收集商品价格和评价。抓取新闻或博客内容。统计数据分析。爬
  • Python 爬虫入门教程：从零构建你的第一个网络爬虫 m0_66323401 python爬虫开发语言
    网络爬虫是一种自动化程序，用于从网站抓取数据。Python凭借其丰富的库和简单的语法，是构建网络爬虫的理想语言。本文将带你从零开始学习Python爬虫的基本知识，并实现一个简单的爬虫项目。1.什么是网络爬虫？网络爬虫（WebCrawler）是一种通过网络协议（如HTTP/HTTPS）获取网页内容，并提取其中有用信息的程序。常见的爬虫用途包括：收集商品价格和评价。抓取新闻或博客内容。统计数据分析。爬
  • MediaCrawler 小红书爬虫源码分析
    前言MediaCrawler是最近冲上Github热搜的开源多社交平台爬虫。虽然现在已删库，但还好我眼疾手快，有幸还Fork了一份，乘着周末，简单分析了下小红书平台的相关代码。爬虫难点一般写爬虫，都需要面对以下几个问题如果app/网页需要登录，如何获取登录态（cookie/jwt）大部分app/网页都会对请求参数进行sign，如果有，如何获取sign逻辑绕过其它遇到的反爬措施我将带着这三个问题，阅
  • 00. 这里整理了最全的爬虫框架（Java + Python） 有一只柴犬 爬虫系列爬虫javapython
    目录1、前言2、什么是网络爬虫3、常见的爬虫框架3.1、java框架3.1.1、WebMagic3.1.2、Jsoup3.1.3、HttpClient3.1.4、Crawler4j3.1.5、HtmlUnit3.1.6、Selenium3.2、Python框架3.2.1、Scrapy3.2.2、BeautifulSoup+Requests3.2.3、Selenium3.2.4、PyQuery3.2
  • x-ray社区版简单使用教程 一只迷茫的汪 工具爬虫web安全
    下载地址https://github.com/chaitin/xray注意：xray不开源，直接下载构建的二进制文件即可证书生成./xray_windows_amd64genca使用方法1，使用基础爬虫爬取并对爬虫爬取的链接进行漏洞扫描（xray的基础爬虫不能处理js渲染的页面）./xray_windows_amd64webscan--basic-crawlerhttp://example.com
  • nginx过滤爬虫访问 梓沂 nginx爬虫运维
    思路来自ai：Nginx可以通过多种方式来限制爬虫的行为：1.**User-Agent限制**：可以通过检查HTTP请求的User-Agent头部来识别并限制某些爬虫。例如，可以在Nginx配置文件中使用`if`语句来检查User-Agent，并使用`return`指令拒绝特定的User-Agent。```nginxif($http_user_agent~*(BadCrawler|AnotherB
  • 爬虫入门教程：爬虫概述 会三十六变的猫 爬虫爬虫python大数据
    在数字化时代，数据已经成为我们生活和工作中不可或缺的一部分。而如何高效、准确地获取这些数据，成为了许多领域面临的共同问题。今天，我们就来一起探讨一下爬虫技术，这个能够自动从互联网上抓取信息的神奇工具。一、什么是爬虫简单来说，爬虫（WebCrawler）是一种按照一定规则，自动抓取互联网信息的程序或者脚本。它通过模拟人类浏览器的行为，向目标网站发送请求，然后解析并提取返回的数据。这些数据可以是网页的
  • Python爬虫实战 weixin_34007879 爬虫jsonjava
    引言网络爬虫是抓取互联网信息的利器，成熟的开源爬虫框架主要集中于两种语言Java和Python。主流的开源爬虫框架包括：1.分布式爬虫框架：Nutch2.Java单机爬虫框架：Crawler4j,WebMagic,WebCollector、Heritrix3.python单机爬虫框架：scrapy、pyspiderNutch是专为搜索引擎设计的的分布式开源框架，上手难度高，开发复杂，基本无法满足快
  • 探索TV-Crawler：一款强大的电视节目爬虫框架 孔旭澜Renata
    探索TV-Crawler：一款强大的电视节目爬虫框架项目简介是一个由Python编写的开源项目，其目标是抓取各大电视台的节目信息并进行整理。对于那些热衷于规划观影时间或想要了解最新电视节目内容的人来说，这是一个非常实用的工具。开发者可以通过此项目轻松获取电视节目的播出时间、频道和标题等数据。技术分析1.Python与ScrapyTV-Crawler基于Python的强大网络爬虫框架Scrapy构建
  • 网络安全工程师的学习路线 程序员鬼鬼 web安全学习安全开发语言计算机网络网络安全php
    Web安全工程师概念基础一．了解黑客是如何工作的1.在虚拟机配置Linux系统2.漏洞测试工具3.msf控制台4.远程工具RATS5.远程访问计算机6.白帽二．技术基础漏斗扫描工具AWVSAWVS简介安装站点扫描扫码结果分析SitecrawlerHTTPEditorTargetfingerAuthenticationTeaterHTTPSnifferHTTPfuzzer网络安全审计工具：Nmap安
  • 初识Spider GHope
    SpiderSpider网络爬虫（webcrawler），以前经常称之为网络蜘蛛（spider），是按照一定的规则自动浏览万维网并获取信息的机器人程序（或脚本），曾经被广泛的应用于互联网搜索引擎。使用过互联网和浏览器的人都知道，网页中除了供用户阅读的文字信息之外，还包含一些超链接。网络爬虫系统正是通过网页中的超链接信息不断获得网络上的其它页面。正因如此，网络数据采集的过程就像一个爬虫或者蜘蛛在网络
  • 简单的爬虫实例 guanalex
    网络爬虫(webcrawler)能够在无需人类干预的情况下自动进行一系列Web事务处理的软件程序。很多爬虫会从一个Web站点逛到另一个Web站点，获取内容，跟踪超链，并对它们找到的数据进行处理。对于人来说手动去互联网上获取大量的需求数据时就会显得劳累了，而爬虫可以帮我我们解决这个问题。本实例以爬取百度百科为例子，实现爬取百度百科的标题和一小段的介绍。一、开发软件：eclipse二、python3.
  • 3.1.爬虫 sty3318 python学习爬虫python学习
    3.1.1.什么是网络爬虫网络爬虫（WebCrawler）是一种自动化程序，可以自动地在互联网上浏览和获取信息。它通常会从指定的起始点开始，按照一定规则遍历网页，获取所需数据并进行抓取、解析、存储等操作。3.1.1.1.网络爬虫大体组成网络爬虫的结构可以根据具体需求和实现方式有所不同，但通常包括以下几个核心组件：调度器（Scheduler）：调度器负责管理爬取任务的调度和控制流程。它维护一个待爬取
  • 这就是成人的世界，10部揭露人性黑暗的电影 电影大湿
    人性充满着不确定性，复杂性，因而给了导演很多可以发挥和解读的空间，借助影视剧来映射人性，揭露人性。这种类型的电影，也是大湿的最爱，因为电影揭露的人性是残酷的，经不起考验的，却也是真实。下面大湿推荐十部引人深思，揭露人性黑暗的电影。1、夜行者Nightcrawler路易斯（杰克·吉伦哈尔JakeGyllenhaal饰）是个无所事事的小混混，整日干的尽是一些偷鸡摸狗的勾当。一次偶然中，他目睹了摄影记者
  • 《浅谈解析库XPath，bs4和pyquery》 禾先森
    #**《浅谈解析库XPath，bs4和pyquery》**###作者：*墨非墨菲非菲*前几天在CSDN看到一篇帖子，题目是“如何让自己像打王者一样发了疯，拼了命，石乐志的学习”。这里面讲到了阶段性反馈机制，我觉得蛮有意思的，正好前两天用python写了一个scrawler爬取了某XXXX软件上面的挑战答题并自动匹配。在解析题库网页的时候碰到了一系列的问题，把三种解析库都回顾了个遍。借着这个兴奋劲儿
  • Python爬虫开源项目代码（爬取微信、淘宝、豆瓣、知乎、新浪微博、QQ、去哪网 等等）... lyc2016012170 pythonjava大数据编程语言数据库
    文章目录1、简介2、开源项目Github2.1、WechatSogou[1]–微信公众号爬虫2.2、DouBanSpider[2]–豆瓣读书爬虫2.3、zhihu_spider[3]–知乎爬虫2.4、bilibili-user[4]–Bilibili用户爬虫2.5、SinaSpider[5]–新浪微博爬虫2.6、distribute_crawler[6]–小说下载分布式爬虫2.7、CnkiSpid
  • Python爬虫之Scrapy数据保存MongoDB 子非初心
    Python爬虫之Scrapy数据保存MongoDB首先在Pipelines.py中创建一个类：classMongoPipline(object):def__init__(self,mongo_url,mongo_db):self.mongo_url=mongo_urlself.mongo_db=mongo_db@classmethoddeffrom_crawler(cls,crawler):re
  • 5 分钟让你了解什么是搜索引擎 Lorin 洛林 其它搜索引擎
    文章目录搜索引擎概述基于业务模式分类垂直搜索（垂搜）通用搜索（通搜）本地搜索引擎基于技术实现分类基于关键词的搜索引擎（Keyword-basedSearchEngine）语义搜索引擎（SemanticSearchEngine）搜索引擎的组成网络爬虫（WebCrawler）索引引擎（IndexingEngine）搜索算法（SearchAlgorithm）用户界面（UserInterface）常见搜索
  • “网络爬虫”是什么，他的原理是什么？ 莱森泰克科技 爬虫
    首先说一下什么是网络爬虫。网络爬虫，Webcrawler，是一种自动化程序，用于在互联网上获取网页内容。它们被广泛用于搜索引擎、数据挖掘、内容聚合以及其他需要大规模获取网页信息的应用中。网络爬虫的工作原理是通过遍历互联网上的链接，自动获取网页内容并进行解析。一般来说，网络爬虫会从一组起始URL开始，然后递归地获取这些网页中包含的链接，进而获取更多的网页内容。爬虫会解析网页的HTML内容，提取出其中
  • scrapy 还是那个没头脑
    编写middleware.py文件中的类fromfake_useragentimportUserAgentclassRandomUserAgentMiddleware(object):def__init__(self,crawler):super(RandomUserAgentMiddleware,self).__init__()self.ua=UserAgent()@classmethoddef
  • 网络爬虫的基本原理 人生万事须自为，跬步江山即寥廓。 爬虫爬虫网络爬虫
    网络爬虫（WebCrawler），又称为网页蜘蛛（WebSpider）或网络机器人（WebRobot），是一种自动浏览互联网并获取网页内容的程序。网络爬虫的基本原理是通过模仿人类使用浏览器访问网页的行为，实现对互联网信息的自动采集、处理和分析。网络爬虫广泛应用于搜索引擎、数据分析、网络监测、在线服务等领域。本文将从网络爬虫的工作流程、关键技术、分类、应用场景等方面进行详细阐述。一、网络爬虫的工作流
  • mysql主从数据同步 林鹤霄 mysql主从数据同步
    配置mysql5.5主从服务器(转) 教程开始：一、安装MySQL 说明：在两台MySQL服务器192.168.21.169和192.168.21.168上分别进行如下操作，安装MySQL 5.5.22  二、配置MySQL主服务器（192.168.21.169）mysql  -uroot  -p   &nb
  • oracle学习笔记 caoyong oracle
    1、ORACLE的安装    a>、ORACLE的版本    8i,9i :   i是internet    10g,11g : grid (网格)    12c : cloud (云计算)       b>、10g不支持win7 &
  • 数据库，SQL零基础入门 天子之骄 sql数据库入门基本术语
    数据库，SQL零基础入门        做网站肯定离不开数据库，本人之前没怎么具体接触SQL，这几天起早贪黑得各种入门，恶补脑洞。一些具体的知识点，可以让小白不再迷茫的术语，拿来与大家分享。          数据库，永久数据的一个或多个大型结构化集合，通常与更新和查询数据的软件相关
  • pom.xml 一炮送你回车库 pom.xml
    1、一级元素dependencies是可以被子项目继承的 2、一级元素dependencyManagement是定义该项目群里jar包版本号的，通常和一级元素properties一起使用，既然有继承，也肯定有一级元素modules来定义子元素 3、父项目里的一级元素<modules> <module>lcas-admin-war</module> <
  • sql查地区省市县 3213213333332132 sqlmysql
    -- db_yhm_city SELECT * FROM db_yhm_city WHERE class_parent_id = 1 -- 海南 class_id = 9 港、奥、台 class_id = 33、34、35 SELECT * FROM db_yhm_city WHERE class_parent_id =169 SELECT d1.cla
  • 关于监听器那些让人头疼的事 宝剑锋梅花香 画图板监听器鼠标监听器
           本人初学JAVA，对于界面开发我只能说有点蛋疼，用JAVA来做界面的话确实需要一定的耐心（不使用插件，就算使用插件的话也没好多少）既然Java提供了界面开发，老师又要求做，只能硬着头皮上啦。但是监听器还真是个难懂的地方，我是上了几次课才略微搞懂了些。       
  • JAVA的遍历MAP darkranger map
    Java Map遍历方式的选择 1. 阐述 　　对于Java中Map的遍历方式，很多文章都推荐使用entrySet，认为其比keySet的效率高很多。理由是：entrySet方法一次拿到所有key和value的集合；而keySet拿到的只是key的集合，针对每个key，都要去Map中额外查找一次value，从而降低了总体效率。那么实际情况如何呢？ 　　为了解遍历性能的真实差距，包括在遍历ke
  • POJ 2312 Battle City 优先多列+bfs aijuans 搜索
    来源：http://poj.org/problem?id=2312 题意：题目背景就是小时候玩的坦克大战，求从起点到终点最少需要多少步。已知S和R是不能走得，E是空的，可以走，B是砖，只有打掉后才可以通过。 思路：很容易看出来这是一道广搜的题目，但是因为走E和走B所需要的时间不一样，因此不能用普通的队列存点。因为对于走B来说，要先打掉砖才能通过，所以我们可以理解为走B需要两步，而走E是指需要1
  • Hibernate与Jpa的关系，终于弄懂 avords javaHibernate数据库jpa
    我知道Jpa是一种规范，而Hibernate是它的一种实现。除了Hibernate，还有EclipseLink(曾经的toplink)，OpenJPA等可供选择，所以使用Jpa的一个好处是，可以更换实现而不必改动太多代码。 在play中定义Model时，使用的是jpa的annotations，比如javax.persistence.Entity, Table, Column, OneToMany
  • 酸爽的console.log bee1314 console
    在前端的开发中，console.log那是开发必备啊，简直直观。通过写小函数，组合大功能。更容易测试。但是在打版本时，就要删除console.log，打完版本进入开发状态又要添加，真不够爽。重复劳动太多。所以可以做些简单地封装，方便开发和上线。 /** * log.js hufeng * The safe wrapper for `console.xxx` functions *
  • 哈佛教授：穷人和过于忙碌的人有一个共同思维特质 bijian1013 时间管理励志人生穷人过于忙碌
            一个跨学科团队今年完成了一项对资源稀缺状况下人的思维方式的研究，结论是：穷人和过于忙碌的人有一个共同思维特质，即注意力被稀缺资源过分占据，引起认知和判断力的全面下降。这项研究是心理学、行为经济学和政策研究学者协作的典范。 　　这个研究源于穆来纳森对自己拖延症的憎恨。他7岁从印度移民美国，很快就如鱼得水，哈佛毕业
  • other operate 征客丶 OSosx
    一、Mac Finder 设置排序方式，预览栏 在显示－》查看显示选项中 二、有时预览显示时，卡死在那，有可能是一些临时文件夹被删除了，如：/private/tmp[有待验证] -------------------------------------------------------------------- 若有其他凝问或文中有错误，请及时向我指出， 我好及时改正，同时也让我们一
  • 【Scala五】分析Spark源代码总结的Scala语法三 bit1129 scala
    1. If语句作为表达式 val properties = if (jobIdToActiveJob.contains(jobId)) { jobIdToActiveJob(stage.jobId).properties } else { // this stage will be assigned to "default" po
  • ZooKeeper 入门 BlueSkator 中间件zk
    ZooKeeper是一个高可用的分布式数据管理与系统协调框架。基于对Paxos算法的实现，使该框架保证了分布式环境中数据的强一致性，也正是基于这样的特性，使得ZooKeeper解决很多分布式问题。网上对ZK的应用场景也有不少介绍，本文将结合作者身边的项目例子，系统地对ZK的应用场景进行一个分门归类的介绍。 值得注意的是，ZK并非天生就是为这些应用场景设计的，都是后来众多开发者根据其框架的特性，利
  • MySQL取得当前时间的函数是什么 格式化日期的函数是什么 BreakingBad mysqlDate
    取得当前时间用 now() 就行。 在数据库中格式化时间 用DATE_FORMA T(date, format) . 根据格式串format 格式化日期或日期和时间值date，返回结果串。 可用DATE_FORMAT( ) 来格式化DATE 或DATETIME 值，以便得到所希望的格式。根据format字符串格式化date值: %S, %s 两位数字形式的秒（ 00,01,
  • 读《研磨设计模式》-代码笔记-组合模式 bylijinnan java设计模式
    声明： 本文只为方便我个人查阅和理解，详细的分析以及源代码请移步 原作者的博客http://chjavach.iteye.com/ import java.util.ArrayList; import java.util.List; abstract class Component { public abstract void printStruct(Str
  • 4_JAVA+Oracle面试题(有答案) chenke oracle
    基础测试题 卷面上不能出现任何的涂写文字，所有的答案要求写在答题纸上，考卷不得带走。 选择题 1、 What will happen when you attempt to compile and run the following code? （3） public class Static { static { int x = 5; // 在static内有效 } st
  • 新一代工作流系统设计目标 comsci 工作算法脚本
      用户只需要给工作流系统制定若干个需求，流程系统根据需求，并结合事先输入的组织机构和权限结构，调用若干算法，在流程展示版面上面显示出系统自动生成的流程图，然后由用户根据实际情况对该流程图进行微调，直到满意为止，流程在运行过程中，系统和用户可以根据情况对流程进行实时的调整，包括拓扑结构的调整，权限的调整，内置脚本的调整。。。。。 在这个设计中，最难的地方是系统根据什么来生成流
  • oracle 行链接与行迁移 daizj oracle行迁移
    表里的一行对于一个数据块太大的情况有二种(一行在一个数据块里放不下) 第一种情况: INSERT的时候，INSERT时候行的大小就超一个块的大小。Oracle把这行的数据存储在一连串的数据块里(Oracle Stores the data for the row in a chain of data blocks)，这种情况称为行链接(Row Chain)，一般不可避免(除非使用更大的数据
  • [JShop]开源电子商务系统jshop的系统缓存实现 dinguangx jshop电子商务
    前言 jeeshop中通过SystemManager管理了大量的缓存数据，来提升系统的性能，但这些缓存数据全部都是存放于内存中的，无法满足特定场景的数据更新（如集群环境）。JShop对jeeshop的缓存机制进行了扩展，提供CacheProvider来辅助SystemManager管理这些缓存数据，通过CacheProvider,可以把缓存存放在内存,ehcache,redis，memcache
  • 初三全学年难记忆单词 dcj3sjt126com englishword
    several 儿子；若干 shelf 架子 knowledge 知识；学问 librarian 图书管理员 abroad 到国外，在国外 surf 冲浪 wave 浪；波浪 twice 两次；两倍 describe 描写；叙述 especially 特别；尤其 attract 吸引 prize 奖品；奖赏 competition 比赛；竞争 event 大事；事件 O
  • sphinx实践 dcj3sjt126com sphinx
      安装参考地址:http://briansnelson.com/How_to_install_Sphinx_on_Centos_Server   yum install sphinx 如果失败的话使用下面的方式安装 wget http://sphinxsearch.com/files/sphinx-2.2.9-1.rhel6.x86_64.rpm yum loca
  • JPA之JPQL（三） frank1234 ormjpaJPQL
    1 什么是JPQL JPQL是Java Persistence Query Language的简称，可以看成是JPA中的HQL， JPQL支持各种复杂查询。 2 检索单个对象 @Test public  void querySingleObject1() {     Query query = em.createQuery("sele
  • Remove Duplicates from Sorted Array II hcx2013 remove
    Follow up for "Remove Duplicates":What if duplicates are allowed at most twice? For example,Given sorted array nums = [1,1,1,2,2,3], Your function should return length
  • Spring4新特性——Groovy Bean定义DSL jinnianshilongnian spring 4
    Spring4新特性——泛型限定式依赖注入 Spring4新特性——核心容器的其他改进 Spring4新特性——Web开发的增强 Spring4新特性——集成Bean Validation 1.1(JSR-349)到SpringMVC  Spring4新特性——Groovy Bean定义DSL Spring4新特性——更好的Java泛型操作API  Spring4新
  • CentOS安装Mysql5.5 liuxingguome centos
    CentOS下以RPM方式安装MySQL5.5 首先卸载系统自带Mysql： yum remove mysql mysql-server mysql-libs compat-mysql51 rm -rf /var/lib/mysql rm /etc/my.cnf 查看是否还有mysql软件： rpm -qa|grep mysql 去http://dev.mysql.c
  • 第14章 工具函数（下） onestopweb 函数
    index.html <!DOCTYPE html PUBLIC "-//W3C//DTD XHTML 1.0 Transitional//EN" "http://www.w3.org/TR/xhtml1/DTD/xhtml1-transitional.dtd"> <html xmlns="http://www.w3.org/
  • POJ 1050 SaraWon 二维数组子矩阵最大和
    POJ ACM第1050题的详细描述，请参照 http://acm.pku.edu.cn/JudgeOnline/problem?id=1050 题目意思： 给定包含有正负整型的二维数组，找出所有子矩阵的和的最大值。 如二维数组 0 -2 -7 0 9 2 -6 2 -4 1 -4 1 -1 8 0 -2 中和最大的子矩阵是 9 2 -4 1 -1 8 且最大和是15
  • [5]设计模式——单例模式 tsface java单例设计模式虚拟机
    单例模式：保证一个类仅有一个实例，并提供一个访问它的全局访问点   安全的单例模式：     /* * @(#)Singleton.java 2014-8-1 * * Copyright 2014 XXXX, Inc. All rights reserved. */ package com.fiberhome.singleton;
  • Java8全新打造，英语学习supertool yangshangchuan javasuperword闭包java8函数式编程
    superword是一个Java实现的英文单词分析软件，主要研究英语单词音近形似转化规律、前缀后缀规律、词之间的相似性规律等等。Clean code、Fluent style、Java8 feature: Lambdas, Streams and Functional-style Programming。   升学考试、工作求职、充电提高，都少不了英语的身影，英语对我们来说实在太重要
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他