思源湖的鱼
思源湖的鱼

爬虫学习笔记（十六）Selenium 2020.5.20

前言

本节学习selenium
得说一句这节课程讲的不行
很多讲明白
就先记一笔
准备后续自己再看看

可参考的几篇
官方文档
针对python的文档
详解

1、简介

浏览器的工作原理

网页三元素

  • html负责内容
  • css负责样式
  • JavaScript负责动作

从数据的角度考虑，网页上呈现出来的数据的来源：

  • html文件
  • ajax接口
  • javascript加载

可参考
原理详解

Selenium

诞生于2014年，创造者是ThoughtWorks公司的测试工程师Jason Huggins
目的就是做自动化测试，用以检测网页交互，避免重复劳动。
这个工具可以用来自动加载网页，供爬虫抓取数据。

支持哪些浏览器和系统：

  • Google Chrome
  • Internet Explorer 7, 8, 9, 10, and 11 on appropriate combinations of Vista, Windows 7, Windows 8, and Windows 8.1.
  • Firefox
  • Safari
  • Opera
  • phantomjs（一款无头浏览器，已停止维护）
  • Android (with Selendroid or appium)
  • IOS (with ios-driver or appium)

2、安装与使用

# 安装selenium:
pip install selenium
# 引入webdriver：
from selenium import webdriver
# 设置选项：
option = webdriver.ChromeOptions()
option.add_argument('headless')
# 添加驱动
driver = webdriver.Chrome('./chromedriver',chrome_options=option)

3、页面交互

# 查找元素：
element = driver.find_element_by_id("passwd-id")
element = driver.find_element_by_name("passwd")
element = driver.find_element_by_xpath("//input[@id='passwd-id']")
# 输入文字：
element.send_keys("some text")
# 点击
element.click()
# 动作链
from selenium.webdriver import ActionChains
action_chains = ActionChains(driver)
action_chains.drag_and_drop(element, target).perform()
# 在页面间切换
window_handles = driver.window_handles
driver.switch_to.window(window_handles[-1])
# 保存网页截图
driver.save_screenshot('screen.png')

4、定位元素

# 查找一个元素
find_element_by_id
find_element_by_name
find_element_by_xpath
find_element_by_link_text
find_element_by_partial_link_text
find_element_by_tag_name
find_element_by_class_name
find_element_by_css_selector
# 查找多个元素
find_elements_by_name
find_elements_by_xpath
find_elements_by_link_text
find_elements_by_partial_link_text
find_elements_by_tag_name
find_elements_by_class_name
find_elements_by_css_selector
# 通过id定位
<html>
 <body>
  <form id="loginForm">
   <input name="username" type="text" />
   <input name="password" type="password" />
   <input name="continue" type="submit" value="Login" />
  </form>
 </body>
<html>
login_form = driver.find_element_by_id('loginForm')
# 通过name定位
<html>
 <body>
  <form id="loginForm">
   <input name="username" type="text" />
   <input name="password" type="password" />
   <input name="continue" type="submit" value="Login" />
   <input name="continue" type="button" value="Clear" />
  </form>
</body>
<html>
username = driver.find_element_by_name('username')
password = driver.find_element_by_name('password')
# 通过链接文本定位
<html>
 <body>
  <p>Are you sure you want to do this?</p>
  <a href="continue.html">Continue</a>
  <a href="cancel.html">Cancel</a>
</body>
<html>
continue_link = driver.find_element_by_link_text('Continue')
continue_link = driver.find_element_by_partial_link_text('Conti')
# 通过标签名定位
<html>
 <body>
  <h1>Welcome</h1>
  <p>Site content goes here.</p>
</body>
<html>
heading1 = driver.find_element_by_tag_name('h1')
# 通过类名定位
<html>
 <body>
  <p class="content">Site content goes here.</p>
</body>
<html>
content = driver.find_element_by_class_name('content')
# 通过CSS选择器定位
<html>
 <body>
  <p class="content">Site content goes here.</p>
</body>
<html>
content = driver.find_element_by_css_selector('p.content')
# 两个私有方法
from selenium.webdriver.common.by import By
driver.find_element(By.XPATH, '//button[text()="Some text"]')
driver.find_elements(By.XPATH, '//button')
# By后面可以用来定位的属性
ID = "id"
XPATH = "xpath"
LINK_TEXT = "link text"
PARTIAL_LINK_TEXT = "partial link text"
NAME = "name"
TAG_NAME = "tag name"
CLASS_NAME = "class name"
CSS_SELECTOR = "css selector"
# 推荐使用xpath定位
username = driver.find_element_by_xpath("//form[input/@name='username']")
username = driver.find_element_by_xpath("//form[@id='loginForm']/input[1]")
username = driver.find_element_by_xpath("//input[@name='username']")
# 推荐使用链接文本定位
continue_link = driver.find_element_by_link_text('Continue')
continue_link = driver.find_element_by_partial_link_text('Conti')

5、等待

# 等待
from selenium import webdriver
from selenium.webdriver.common.by import By
from selenium.webdriver.support.ui import WebDriverWait
from selenium.webdriver.support import expected_conditions as EC
driver = webdriver.Firefox()
driver.get("http://somedomain/url_that_delays_loading")
try:
    element = WebDriverWait(driver, 10).until(
        EC.presence_of_element_located((By.ID, "myDynamicElement"))
    )
finally:
    driver.quit()
# 条件
title_is
title_contains
presence_of_element_located
visibility_of_element_located
visibility_of
presence_of_all_elements_located
text_to_be_present_in_element
text_to_be_present_in_element_value
frame_to_be_available_and_switch_to_it
invisibility_of_element_located
element_to_be_clickable
staleness_of
element_to_be_selected
element_located_to_be_selected
element_selection_state_to_be
element_located_selection_state_to_be
alert_is_present

6、例子

与百度的交互

from selenium import webdriver
from selenium.webdriver.support.wait import WebDriverWait
from selenium.webdriver.common.by import By
from selenium.webdriver.support import expected_conditions as EC

option = webdriver.ChromeOptions()
option.add_argument('headless')

# 要换成适应自己操作系统的chromedriver
driver = webdriver.Chrome(
    executable_path='/Users/seancheney/Documents/kkb_python/headless/chromedriver', #绝对路径
    chrome_options=option #上面设置的option
)

url = 'https://www.baidu.com'
# 打开网站
driver.get(url)

# 打印当前页面标题
print(driver.title)

# 在搜索框中输入文字
timeout = 5
search_content = WebDriverWait(driver, timeout).until(
    # lambda d: d.find_element_by_xpath('//input[@id="kw"]')
    EC.presence_of_element_located((By.XPATH, '//input[@id="kw"]'))
)
search_content.send_keys('python')

# 等待页面
import time
time.sleep(3)

# 模拟点击“百度一下”
search_button = WebDriverWait(driver, timeout).until(
    lambda d: d.find_element_by_xpath('//input[@id="su"]'))
search_button.click()

# 打印搜索结果
search_results = WebDriverWait(driver, timeout).until(
    # lambda d: d.find_elements_by_xpath('//h3[@class="t c-title-en"] | //h3[@class="t"]')
    lambda e: e.find_elements_by_xpath('//h3[contains(@class,"t")]/a[1]')
)
print(search_results)
for item in search_results:
    print(item.text)

driver.close()

抓取头条新闻

from selenium import webdriver
from selenium.webdriver.support.wait import WebDriverWait

option = webdriver.ChromeOptions()

driver = webdriver.Chrome(
    executable_path='/Users/seancheney/Documents/kkb_python/headless/chromedriver',
    chrome_options=option
)

# 今日头条
url = 'https://www.toutiao.com'

driver.get(url)
print(driver.page_source)

timeout = 5
coin_links = WebDriverWait(driver, timeout).until(
    lambda d: d.find_elements_by_xpath('//div[@ga_event="article_title_click"]/a')
)

for item in coin_links:
    print(item.text)
    print(item.get_attribute('href'))

结语

selenium这个自动化工具确实好用
笔者准备后续多看看官方文档

你可能感兴趣的:(crawler)

  • 有了 25k Star 的MediaCrawler爬虫库加持，三分钟搞定某红书、某音等平台爬取！ 前端后端爬虫
    大家好，我是程序员凌览。今天给大家介绍一个超实用的Python爬虫实战项目——MediaCrawler。这个项目可以实现小红书、抖音、快手、B站和微博的爬虫功能，覆盖了当下热门的自媒体平台。它能够高效抓取这些平台上的视频、图片、评论、点赞和转发等信息。MediaCrawler支持的平台及功能如下图：快速开始下载项目代码访问MediaCrawlerGitHub仓库，点击“Code”按钮下载项目代码。
  • GitHub每周最火火火项目（6.30-7.6） FutureUniant Github周推githubmicrosoft人工智能ai计算机视觉
    1.NanniCoder/MediaCrawler项目名称：MediaCrawler项目介绍：该项目采用Python语言开发，专注于多平台媒体内容的爬取工作。从用途来看，它能够精准抓取小红书笔记、抖音视频、快手视频、B站视频、微博帖子、百度贴吧帖子及评论、知乎问答文章等各类媒体平台的内容。在使用场景方面，对于新媒体运营者而言，可借助它批量采集行业内多平台的热门内容、竞品动态，为自身内容创作、运营策
  • MediaCrawler：强大的自媒体平台爬虫工具 几道之旅 人工智能智能体及数字员工Python杂货铺AI自建MCP学习记录媒体爬虫人工智能
    在当今数字化的时代，自媒体平台蕴含着海量的数据，这些数据对于研究、市场分析等方面具有重要的价值。而MediaCrawler正是一款专注于自媒体平台数据采集的强大工具，本文将为大家详细介绍这个开源项目。一、项目简介MediaCrawler是一个功能强大的多平台自媒体数据采集工具，其开源仓库地址为https://github.com/NanmiCoder/MediaCrawler。该工具支持小红书、抖
  • 使用 Python 编写一个简单的网页爬虫 小张同学的解忧笔记 python爬虫开发语言
    在数据时代，信息是金子。而网络上蕴藏着海量的数据资源，掌握一门自动化获取数据的技术就尤为重要。今天我们将通过Python来编写一个简单的网页爬虫，从一个网页中提取我们想要的数据内容。一、什么是网页爬虫？网页爬虫（WebCrawler）是一种自动访问网站并抓取其页面内容的程序。它模拟浏览器的行为，访问网站并提取页面中的结构化数据，如文本、图片、链接等。二、准备工作我们需要安装以下Python库：pi
  • Java爬虫技术详解：原理、实现与优势 cyc&阿灿 Java多线程java爬虫开发语言
    一、什么是网络爬虫？网络爬虫（WebCrawler），又称网络蜘蛛或网络机器人，是一种自动化程序，能够按照一定的规则自动浏览和抓取互联网上的信息。爬虫技术是大数据时代获取网络数据的重要手段，广泛应用于搜索引擎、数据分析、价格监控等领域。Java作为一种稳定、高效的编程语言，凭借其强大的网络编程能力和丰富的生态库，成为开发网络爬虫的热门选择。二、Java爬虫核心组件一个完整的Java爬虫通常包含以下
  • 使用Puppeteer抓取动态网页的完整指南
    当遇到React/Vue等现代前端框架构建的SPA（单页应用）时，传统爬虫无法获取JavaScript动态渲染的内容。本文将教你使用Puppeteer破解这个难题，实现真正的动态网页抓取。我们开始准备环境1.安装Node.js版本至少要在14以上才行哦2.初始化开发项目的命令在这里mkdirpuppeteer-crawler&&cdpuppeteer-crawlernpminit-y3.在项目里边
  • Python个人学习基础笔记-3.爬虫（1） 孜宸润泽 python学习笔记
    一.爬虫的定义爬虫（crawler/spider）是模拟浏览器行为，按照编写规则，自动接收网页信息的工具。通常而言爬虫首先从初始URL集选择URL，向目标网页发起请求，获取网页的HTML源码，然后将获取的数据进行解析过滤，保存我们所需要的标题、内容等，最后提取新的URL加入待爬序列。爬虫常见所需要的库包括Request库、BeautifulSoup4库、Scrapy库和Selenium库等。二.R
  • python教学爬虫入门 早柚不用工作了 python
    Python爬虫入门教程：从零基础到抓取数据一、什么是网络爬虫？网络爬虫（WebCrawler），也称为网络蜘蛛（WebSpider），是一种按照一定的规则，自动抓取万维网信息的程序或者脚本。它能够模拟人类在浏览器中的操作，自动访问网页，提取所需的数据，广泛应用于数据采集、搜索引擎优化、市场调研等领域。但在编写爬虫时，务必遵守法律法规和网站的robots.txt协议，避免过度抓取对网站造成负担，同
  • crawl4ai实操7 人工智能我来了 网络爬虫python开发语言
    importasyncioimporttimefromcrawl4aiimportCrawlerRunConfig,AsyncWebCrawler,CacheModefromcrawl4ai.content_scraping_strategyimportLXMLWebScrapingStrategyfromcrawl4ai.deep_crawlingimportBFSDeepCrawlStrate
  • crawl4ai实操8 人工智能我来了 网络爬虫网络爬虫
    importosimportsysimportasynciofromcrawl4aiimportAsyncWebCrawler,CacheMode,CrawlerRunConfig#Adjustpathsasneededparent_dir=os.path.dirname(os.path.dirname(os.path.abspath(__file__)))sys.path.append(pare
  • Python爬虫实战：验证码自动识别与打码平台集成指南 Python爬虫项目 python爬虫开发语言音视频区块链
    1.爬虫与验证码简介爬虫（WebCrawler或Spider）是互联网数据采集的重要工具。它自动化访问网页并抓取其中的数据。然而，随着反爬机制不断升级，验证码（CAPTCHA）作为阻挡机器自动访问的关键技术被广泛使用。验证码通过生成各种图像或逻辑题目，区分机器与人类访问者。验证码类型多样，包括数字、字母混合型验证码、滑动拼图验证码、点击验证码等。爬取带验证码的网站，识别并自动输入验证码成为关键挑战
  • 爬虫的原理 qimingkeji 爬虫
    “爬虫”（WebCrawler）是一种自动访问网页并提取数据的程序。它的原理可以分为以下几个核心步骤：爬虫的基本原理1.发送请求（Request）爬虫通过构造一个HTTP请求（通常是GET或POST），发送到目标网页的服务器，获取网页的HTML内容。使用工具：requests、http.client、urllib等示例（Python）：python复制代码importrequestsrespons
  • Python 爬虫入门 Day 1 - 网络请求与网页结构基础 蓝婷儿 pythonpython学习开发语言
    Python第二阶段-爬虫入门今日目标理解什么是Web爬虫、其应用场景掌握如何使用requests库向网页发送请求初步了解网页HTML结构（为解析做准备）学习内容详解️什么是爬虫？定义：网络爬虫（WebCrawler）是一种自动访问网页并提取数据的程序。常见用途：爬取图书/商品信息、电影/剧集评分等抓取招聘/房产数据进行数据分析自动化内容归档、信息监控、数据备份️使用requests库发起网络请求
  • 使用Instagram爬虫库 huaying/instagram-crawler 快速入门教程 邢郁勇Alda
    使用Instagram爬虫库huaying/instagram-crawler快速入门教程instagram-crawlerGetInstagramposts/profile/hashtagdatawithoutusingInstagramAPI项目地址:https://gitcode.com/gh_mirrors/in/instagram-crawler项目介绍huaying/instagram
  • 高效的稳定性测试工具Fastbot的使用 哆啦A梦的口袋呀 android测试工具
    稳定性测试工具调研对比多款测试工具：monkey、Fastbot、AppCrawler、Maxim、DroidbotFastbot采用的是在测试过程中监听手机页面的UI信息，完成动作注入，即可实现持续的交互型测试。相比较来说，Fastbot的执行效率高、操作有效性较高、页面覆盖率较高，符合日常稳定性测试需求。Fastbot使用github地址：https://github.com/bytedanc
  • Python网络爬虫技术解析：从基础实现到反爬应对 小张在编程 Python学习python爬虫开发语言
    网络爬虫（WebCrawler）是一种通过自动化程序模拟人类浏览器行为，从互联网页面中提取结构化数据的技术。其核心逻辑围绕“请求-解析-存储”流程展开，广泛应用于行业数据监测、竞品分析、学术研究等场景。本文将系统解析爬虫核心技术，并结合工程实践探讨反爬应对策略。一、爬虫核心技术基础1.1HTTP协议与请求-响应模型网络爬虫的本质是模拟客户端与服务器的HTTP交互。客户端通过发送HTTP请求（GET
  • Python爬虫抓取百度首页内容：从基础到高级技术解析 Python爬虫项目 2025年爬虫实战项目python爬虫百度chrome开发语言旅游
    引言随着互联网的不断发展，爬虫技术成为了数据科学、网络安全、搜索引擎优化等领域中不可或缺的一部分。爬虫，作为一种自动化的网络数据抓取工具，它能帮助我们快速获取海量数据，进而进行分析、建模等应用。在本篇文章中，我们将详细介绍如何使用Python编写爬虫抓取百度首页的内容，并通过一些高级技术优化爬虫的效率与稳定性。1.Python爬虫概述爬虫（Crawler），又称为蜘蛛、网络机器人，指的是一种自动化
  • 爬虫核心概念与工作原理详解 灏瀚星空 爬虫学习记录爬虫python
    爬虫核心概念与工作原理详解1.什么是网络爬虫？网络爬虫（WebCrawler）是一种按照特定规则自动抓取互联网信息的程序或脚本，本质是模拟人类浏览器行为，通过HTTP请求获取网页数据并解析处理。形象比喻：如同用渔网在互联网海洋中“捞取”指定信息的自动化工具。核心能力：代替人工完成重复、批量的网页数据采集任务。2.爬虫的典型应用场景场景类型具体案例数据研究学术研究中抓取论文摘要、开源代码分析、社交媒
  • bitmagnet 项目技术文档 詹坦直Lucinda
    bitmagnet项目技术文档bitmagnetAself-hostedBitTorrentindexer,DHTcrawler,contentclassifierandtorrentsearchenginewithwebUI,GraphQLAPIandServarrstackintegration.项目地址:https://gitcode.com/gh_mirrors/bi/bitmagnet1
  • Python爬虫实战：研究Beautiful Soup框架相关技术 ylfhpy 爬虫项目实战python爬虫开发语言科技javascript
    1.引言1.1研究背景与意义随着互联网的快速发展，网络上的数据量呈爆炸式增长。如何从海量的网页数据中高效提取有价值的信息，成为信息科学领域的重要研究课题。网络爬虫作为一种自动获取网页内容的技术，能够按照预设规则遍历互联网并采集数据，为信息检索、舆情分析、商业智能等应用提供数据支持。1.2网络爬虫概述网络爬虫（WebCrawler）是一种自动程序，通过HTTP协议访问网页并提取数据。根据其功能和结构
  • GuzzleHttp和DomCrawler的具体用途？ 爬虫程序猿 数据库爬虫javapython
    GuzzleHttp和DomCrawler是两个功能不同的库，它们在PHP开发中被广泛用于不同的场景。以下是对这两个库的具体用途和功能的详细解释：1.GuzzleHttp用途：GuzzleHttp是一个功能强大的HTTP客户端库，用于发送HTTP请求。它提供了简单而强大的API，可以方便地发送GET、POST、PUT、DELETE等HTTP请求，并处理响应。主要功能：发送HTTP请求：支持同步和异
  • Bilibili 会员爬虫项目教程 祝舟连
    Bilibili会员爬虫项目教程项目地址:https://gitcode.com/gh_mirrors/bi/bilibili_member_crawler1、项目介绍Bilibili会员爬虫项目是一个开源的爬虫工具，旨在从Bilibili网站上抓取用户数据。该项目支持多线程操作，能够高效地获取用户信息，并将其存储到本地数据库中。通过这个项目，开发者可以轻松地获取Bilibili用户的详细信息，包
  • Scrapy进阶实践指南：从脚本运行到分布式爬取 梦想画家 数据分析工程scrapy分布式数据工程
    Scrapy作为Python生态中最强大的爬虫框架之一，其官方文档的"CommonPractices"章节总结了多个高频使用场景的解决方案。本文将深入解析如何通过脚本控制爬虫、多爬虫协同工作、分布式部署策略以及反反爬技巧，帮助开发者突破基础使用限制。一、脚本化运行Scrapy爬虫1.1使用CrawlerProcess（单进程方案）fromscrapy.crawlerimportCrawlerPro
  • ai agent(智能体)开发 python高级应用9：JAVA 调用 python时 crawl4ai对日志输出的控制 一刀到底211 python3pythonjavacrawl4ai
    我们在用Crawl4AI0.6.3抓取数据时，会输出抓取的log日志。我们需要把，无用的log屏蔽掉，避免java哪里获取到无用的信息。AsyncWebCrawler支持在初始化时传入自定义的AsyncLoggerBase实例。以下是具体实现步骤：步骤1：创建自定义Logger并设置日志级别在初始化AsyncWebCrawler前，创建一个AsyncLogger实例，并将日志级别设为ERROR：f
  • Android APP稳定性测试工具Fastbot 测试开发小记 #APP自动化android测试工具fastbot稳定性测试
    我在自动遍历测试之Monkey工具和AppCrawler自动遍历测试分别介绍了APP稳定性测试工具monkey和AppCrawler，它们各有优缺点，本文介绍另一款也比较好用的稳定性测试工具Fastbot。目录简介前期准备环境Fastbot遍历测试示例添加限定词获取包名开启遍历测试专家系统自定义输入法1.下载安装ADBKeyBoard2.配置随机输入字符串3.配置fuzzing输入自定义事件序列A
  • Python爬虫基础总结 code_shenbing python项目集合python爬虫开发语言
    Python爬虫基础总结一、爬虫概述1.1什么是爬虫网络爬虫（WebCrawler）是一种自动浏览万维网的程序或脚本，它按照一定的规则，自动抓取互联网上的信息并存储到本地数据库中。1.2爬虫工作流程URL管理器：管理待抓取和已抓取的URL网页下载器：下载网页内容网页解析器：提取所需数据数据存储：将提取的数据存储到数据库或文件中二、Python爬虫常用库2.1requests（HTTP请求库）imp
  • 爬虫 第一篇 hamish-wu webCrawler网络爬虫网络
    从学校开始接触webcrawler，至今3年时间。今天总结一下学习网络爬虫的路线。网络爬虫就是模拟browser访问网上的资源，并对网页源文件进行处理，解析，获取需要的网页信息。要编写一个网络爬虫，需要具备较为广泛的计算机知识，特别是计算机网络相关储备。可以从一个简单的网页源文件下载程序入手，之后编写一个简单的解析，字符串处理。获得页面信息。开发语言：网络爬虫可以用Java、C\C++、pytho
  • Python爬虫实战：获取douban最新战争电影评论数据并分析，为影评人提供素材 ylfhpy 爬虫项目实战python爬虫开发语言rpcajax
    一、系统架构设计与关键技术定义1.1网络爬虫技术定义网络爬虫（WebCrawler）是一种按照一定规则自动抓取万维网信息的程序或脚本，核心功能包括：HTTP请求：通过requests库模拟浏览器发送请求，遵循豆瓣服务器响应协议页面解析：利用BeautifulSoup解析HTML文档，提取结构化数据（如评论内容、评分等）状态管理：维护请求队列、处理Cookie/Session，应对动态网页渲染1.2
  • Caused by: org.springframework.beans.factory.UnsatisfiedDependencyException: Error creating bean Xunker MavenJavaSpringBoot
    SpringBoot、ElasticSearch、MySql框架搭建异常原pom.xml：4.0.0org.springframework.bootspring-boot-starter-parent2.2.4.RELEASEorg.examplecrawler_day05_practice1.0-SNAPSHOTUTF-8UTF-81.91.91.9org.springframework.boo
  • Python 网络爬虫基础理论与实战指南 conkl python知识python爬虫开发语言
    一、爬虫概述与核心概念爬虫定义网络爬虫（WebCrawler）是自动化访问互联网资源并提取数据的程序，核心功能包括：模拟浏览器行为解析网页内容存储结构化数据应用场景搜索引擎索引（如GoogleBot）价格监控（电商比价）舆情分析（社交媒体抓取）学术研究（论文数据收集）法律与道德遵守robots.txt协议控制访问频率（避免DoS攻击）不抓取隐私数据（手机号/身份证号）二、爬虫核心组件HTTP协议基
  • mysql主从数据同步 林鹤霄 mysql主从数据同步
    配置mysql5.5主从服务器(转) 教程开始：一、安装MySQL 说明：在两台MySQL服务器192.168.21.169和192.168.21.168上分别进行如下操作，安装MySQL 5.5.22  二、配置MySQL主服务器（192.168.21.169）mysql  -uroot  -p   &nb
  • oracle学习笔记 caoyong oracle
    1、ORACLE的安装    a>、ORACLE的版本    8i,9i :   i是internet    10g,11g : grid (网格)    12c : cloud (云计算)       b>、10g不支持win7 &
  • 数据库，SQL零基础入门 天子之骄 sql数据库入门基本术语
    数据库，SQL零基础入门        做网站肯定离不开数据库，本人之前没怎么具体接触SQL，这几天起早贪黑得各种入门，恶补脑洞。一些具体的知识点，可以让小白不再迷茫的术语，拿来与大家分享。          数据库，永久数据的一个或多个大型结构化集合，通常与更新和查询数据的软件相关
  • pom.xml 一炮送你回车库 pom.xml
    1、一级元素dependencies是可以被子项目继承的 2、一级元素dependencyManagement是定义该项目群里jar包版本号的，通常和一级元素properties一起使用，既然有继承，也肯定有一级元素modules来定义子元素 3、父项目里的一级元素<modules> <module>lcas-admin-war</module> <
  • sql查地区省市县 3213213333332132 sqlmysql
    -- db_yhm_city SELECT * FROM db_yhm_city WHERE class_parent_id = 1 -- 海南 class_id = 9 港、奥、台 class_id = 33、34、35 SELECT * FROM db_yhm_city WHERE class_parent_id =169 SELECT d1.cla
  • 关于监听器那些让人头疼的事 宝剑锋梅花香 画图板监听器鼠标监听器
           本人初学JAVA，对于界面开发我只能说有点蛋疼，用JAVA来做界面的话确实需要一定的耐心（不使用插件，就算使用插件的话也没好多少）既然Java提供了界面开发，老师又要求做，只能硬着头皮上啦。但是监听器还真是个难懂的地方，我是上了几次课才略微搞懂了些。       
  • JAVA的遍历MAP darkranger map
    Java Map遍历方式的选择 1. 阐述 　　对于Java中Map的遍历方式，很多文章都推荐使用entrySet，认为其比keySet的效率高很多。理由是：entrySet方法一次拿到所有key和value的集合；而keySet拿到的只是key的集合，针对每个key，都要去Map中额外查找一次value，从而降低了总体效率。那么实际情况如何呢？ 　　为了解遍历性能的真实差距，包括在遍历ke
  • POJ 2312 Battle City 优先多列+bfs aijuans 搜索
    来源：http://poj.org/problem?id=2312 题意：题目背景就是小时候玩的坦克大战，求从起点到终点最少需要多少步。已知S和R是不能走得，E是空的，可以走，B是砖，只有打掉后才可以通过。 思路：很容易看出来这是一道广搜的题目，但是因为走E和走B所需要的时间不一样，因此不能用普通的队列存点。因为对于走B来说，要先打掉砖才能通过，所以我们可以理解为走B需要两步，而走E是指需要1
  • Hibernate与Jpa的关系，终于弄懂 avords javaHibernate数据库jpa
    我知道Jpa是一种规范，而Hibernate是它的一种实现。除了Hibernate，还有EclipseLink(曾经的toplink)，OpenJPA等可供选择，所以使用Jpa的一个好处是，可以更换实现而不必改动太多代码。 在play中定义Model时，使用的是jpa的annotations，比如javax.persistence.Entity, Table, Column, OneToMany
  • 酸爽的console.log bee1314 console
    在前端的开发中，console.log那是开发必备啊，简直直观。通过写小函数，组合大功能。更容易测试。但是在打版本时，就要删除console.log，打完版本进入开发状态又要添加，真不够爽。重复劳动太多。所以可以做些简单地封装，方便开发和上线。 /** * log.js hufeng * The safe wrapper for `console.xxx` functions *
  • 哈佛教授：穷人和过于忙碌的人有一个共同思维特质 bijian1013 时间管理励志人生穷人过于忙碌
            一个跨学科团队今年完成了一项对资源稀缺状况下人的思维方式的研究，结论是：穷人和过于忙碌的人有一个共同思维特质，即注意力被稀缺资源过分占据，引起认知和判断力的全面下降。这项研究是心理学、行为经济学和政策研究学者协作的典范。 　　这个研究源于穆来纳森对自己拖延症的憎恨。他7岁从印度移民美国，很快就如鱼得水，哈佛毕业
  • other operate 征客丶 OSosx
    一、Mac Finder 设置排序方式，预览栏 在显示－》查看显示选项中 二、有时预览显示时，卡死在那，有可能是一些临时文件夹被删除了，如：/private/tmp[有待验证] -------------------------------------------------------------------- 若有其他凝问或文中有错误，请及时向我指出， 我好及时改正，同时也让我们一
  • 【Scala五】分析Spark源代码总结的Scala语法三 bit1129 scala
    1. If语句作为表达式 val properties = if (jobIdToActiveJob.contains(jobId)) { jobIdToActiveJob(stage.jobId).properties } else { // this stage will be assigned to "default" po
  • ZooKeeper 入门 BlueSkator 中间件zk
    ZooKeeper是一个高可用的分布式数据管理与系统协调框架。基于对Paxos算法的实现，使该框架保证了分布式环境中数据的强一致性，也正是基于这样的特性，使得ZooKeeper解决很多分布式问题。网上对ZK的应用场景也有不少介绍，本文将结合作者身边的项目例子，系统地对ZK的应用场景进行一个分门归类的介绍。 值得注意的是，ZK并非天生就是为这些应用场景设计的，都是后来众多开发者根据其框架的特性，利
  • MySQL取得当前时间的函数是什么 格式化日期的函数是什么 BreakingBad mysqlDate
    取得当前时间用 now() 就行。 在数据库中格式化时间 用DATE_FORMA T(date, format) . 根据格式串format 格式化日期或日期和时间值date，返回结果串。 可用DATE_FORMAT( ) 来格式化DATE 或DATETIME 值，以便得到所希望的格式。根据format字符串格式化date值: %S, %s 两位数字形式的秒（ 00,01,
  • 读《研磨设计模式》-代码笔记-组合模式 bylijinnan java设计模式
    声明： 本文只为方便我个人查阅和理解，详细的分析以及源代码请移步 原作者的博客http://chjavach.iteye.com/ import java.util.ArrayList; import java.util.List; abstract class Component { public abstract void printStruct(Str
  • 4_JAVA+Oracle面试题(有答案) chenke oracle
    基础测试题 卷面上不能出现任何的涂写文字，所有的答案要求写在答题纸上，考卷不得带走。 选择题 1、 What will happen when you attempt to compile and run the following code? （3） public class Static { static { int x = 5; // 在static内有效 } st
  • 新一代工作流系统设计目标 comsci 工作算法脚本
      用户只需要给工作流系统制定若干个需求，流程系统根据需求，并结合事先输入的组织机构和权限结构，调用若干算法，在流程展示版面上面显示出系统自动生成的流程图，然后由用户根据实际情况对该流程图进行微调，直到满意为止，流程在运行过程中，系统和用户可以根据情况对流程进行实时的调整，包括拓扑结构的调整，权限的调整，内置脚本的调整。。。。。 在这个设计中，最难的地方是系统根据什么来生成流
  • oracle 行链接与行迁移 daizj oracle行迁移
    表里的一行对于一个数据块太大的情况有二种(一行在一个数据块里放不下) 第一种情况: INSERT的时候，INSERT时候行的大小就超一个块的大小。Oracle把这行的数据存储在一连串的数据块里(Oracle Stores the data for the row in a chain of data blocks)，这种情况称为行链接(Row Chain)，一般不可避免(除非使用更大的数据
  • [JShop]开源电子商务系统jshop的系统缓存实现 dinguangx jshop电子商务
    前言 jeeshop中通过SystemManager管理了大量的缓存数据，来提升系统的性能，但这些缓存数据全部都是存放于内存中的，无法满足特定场景的数据更新（如集群环境）。JShop对jeeshop的缓存机制进行了扩展，提供CacheProvider来辅助SystemManager管理这些缓存数据，通过CacheProvider,可以把缓存存放在内存,ehcache,redis，memcache
  • 初三全学年难记忆单词 dcj3sjt126com englishword
    several 儿子；若干 shelf 架子 knowledge 知识；学问 librarian 图书管理员 abroad 到国外，在国外 surf 冲浪 wave 浪；波浪 twice 两次；两倍 describe 描写；叙述 especially 特别；尤其 attract 吸引 prize 奖品；奖赏 competition 比赛；竞争 event 大事；事件 O
  • sphinx实践 dcj3sjt126com sphinx
      安装参考地址:http://briansnelson.com/How_to_install_Sphinx_on_Centos_Server   yum install sphinx 如果失败的话使用下面的方式安装 wget http://sphinxsearch.com/files/sphinx-2.2.9-1.rhel6.x86_64.rpm yum loca
  • JPA之JPQL（三） frank1234 ormjpaJPQL
    1 什么是JPQL JPQL是Java Persistence Query Language的简称，可以看成是JPA中的HQL， JPQL支持各种复杂查询。 2 检索单个对象 @Test public  void querySingleObject1() {     Query query = em.createQuery("sele
  • Remove Duplicates from Sorted Array II hcx2013 remove
    Follow up for "Remove Duplicates":What if duplicates are allowed at most twice? For example,Given sorted array nums = [1,1,1,2,2,3], Your function should return length
  • Spring4新特性——Groovy Bean定义DSL jinnianshilongnian spring 4
    Spring4新特性——泛型限定式依赖注入 Spring4新特性——核心容器的其他改进 Spring4新特性——Web开发的增强 Spring4新特性——集成Bean Validation 1.1(JSR-349)到SpringMVC  Spring4新特性——Groovy Bean定义DSL Spring4新特性——更好的Java泛型操作API  Spring4新
  • CentOS安装Mysql5.5 liuxingguome centos
    CentOS下以RPM方式安装MySQL5.5 首先卸载系统自带Mysql： yum remove mysql mysql-server mysql-libs compat-mysql51 rm -rf /var/lib/mysql rm /etc/my.cnf 查看是否还有mysql软件： rpm -qa|grep mysql 去http://dev.mysql.c
  • 第14章 工具函数（下） onestopweb 函数
    index.html <!DOCTYPE html PUBLIC "-//W3C//DTD XHTML 1.0 Transitional//EN" "http://www.w3.org/TR/xhtml1/DTD/xhtml1-transitional.dtd"> <html xmlns="http://www.w3.org/
  • POJ 1050 SaraWon 二维数组子矩阵最大和
    POJ ACM第1050题的详细描述，请参照 http://acm.pku.edu.cn/JudgeOnline/problem?id=1050 题目意思： 给定包含有正负整型的二维数组，找出所有子矩阵的和的最大值。 如二维数组 0 -2 -7 0 9 2 -6 2 -4 1 -4 1 -1 8 0 -2 中和最大的子矩阵是 9 2 -4 1 -1 8 且最大和是15
  • [5]设计模式——单例模式 tsface java单例设计模式虚拟机
    单例模式：保证一个类仅有一个实例，并提供一个访问它的全局访问点   安全的单例模式：     /* * @(#)Singleton.java 2014-8-1 * * Copyright 2014 XXXX, Inc. All rights reserved. */ package com.fiberhome.singleton;
  • Java8全新打造，英语学习supertool yangshangchuan javasuperword闭包java8函数式编程
    superword是一个Java实现的英文单词分析软件，主要研究英语单词音近形似转化规律、前缀后缀规律、词之间的相似性规律等等。Clean code、Fluent style、Java8 feature: Lambdas, Streams and Functional-style Programming。   升学考试、工作求职、充电提高，都少不了英语的身影，英语对我们来说实在太重要
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他