【基础】【Python网络爬虫】【9.Selenium进阶】下拉滚动条、鼠标动作链、键盘事件、无头模式、应对检测、Pyppeteer异步爬虫（附大量案例代码）（建议收藏）

Selenium 进阶

1. 嵌套网页页面

from selenium import webdriver
from selenium.webdriver.common.by import By

driver = webdriver.Chrome()
driver.get('https://music.163.com/#/song?id=1450083773')

"""切换进入到嵌套网页有两种方法"""
# 方式1
# frame(0)  根据索引进入到嵌套网页, 索引从0开始, 索引的值不能超过当前网页已有的嵌套网页数量
# driver.switch_to.frame(0)


# 方式2
iframe_label = driver.find_element(By.CSS_SELECTOR, '#g_iframe')
driver.switch_to.frame(iframe_label)

driver.switch_to.parent_frame()  # 从嵌套网页切换到父级网页
print(driver.page_source)

input()
driver.quit()

"""
如果当前网页有好几层嵌套结构, 那么需要一层一层进入, 退出也要一层一层退出

div + css 

嵌套网页常见于注册或者登录的区域

后续用selenium操作任何一个网页, 首先第一步就是要查看网页有没有嵌套结构
"""

2. 下拉滚动条

from selenium import webdriver
from selenium.webdriver.common.by import By

driver = webdriver.Chrome()
driver.get('https://www.douban.com/')

# document.documentElement.scrollTop   指定滚动条的位置
# document.documentElement.scrollHeight 获取当前页面的最大高度
js = 'document.documentElement.scrollTop=3000'
js_all = 'document.documentElement.scrollTop = document.documentElement.scrollHeight'
driver.execute_script(js_all)

input()
driver.quit()

案例 - selenium京东

import csv
import time
from selenium import webdriver
from selenium.webdriver.common.by import By

def search_product(key):
    """指定关键字搜索商品"""

    # 找到搜索框输入商品关键字
    driver.find_element(By.CSS_SELECTOR, '#key').send_keys(key)
    # 点击搜索按钮
    driver.find_element(By.CSS_SELECTOR, '.button>i').click()

def drop_down():
    """实现页面的下拉操作"""
    # js_all = 'document.documentElement.scrollTop = document.documentElement.scrollHeight'
    # driver.execute_script(js_all)

    for i in range(1, 10, 2):  # 13579
        j = i / 14  # 1/9  3/9  5/9  7/9  9/9
        js_all = 'document.documentElement.scrollTop = document.documentElement.scrollHeight*%f' % j
        driver.execute_script(js_all)
        time.sleep(0.5)  # 给一定的时间渲染加载数据


def parse_data():
    """解析数据函数"""
    lis = driver.find_elements(By.CSS_SELECTOR, '.gl-item')
    for li in lis:
        try:
            title = li.find_element(By.CSS_SELECTOR, 'div.p-name>a>em').text  # 商品名字
            title = title.replace('京品电脑', '').replace('京东超市', '').replace('\n', '')

            price = li.find_element(By.CSS_SELECTOR, 'div.p-price>strong>i').text  # 价格
            deal = li.find_element(By.CSS_SELECTOR, 'div.p-commit>strong>a').text  # 评论数量
            name = li.find_element(By.CSS_SELECTOR, 'span.J_im_icon>a').text  # 店铺名字

            print(title, price, deal, name, sep=' | ')

            with open('某东.csv', mode='a', encoding='utf-8', newline='') as f:
                csv_write = csv.writer(f)
                csv_write.writerow([title, price, deal, name])

        except Exception as e:
            print(e)

def get_next():
    """点击下一页"""
    driver.find_element(By.CSS_SELECTOR, '.pn-next>em').click()

if __name__ == '__main__':
    word = input('请输入你那药搜索商品的关键字:')
    driver = webdriver.Chrome()
    driver.get('https://www.jd.com/')
    driver.implicitly_wait(10)
    driver.maximize_window()

    # 调用商品搜索功能函数
    search_product(word)

    for i in range(100):
        time.sleep(1)
        # 调用页面下拉函数
        drop_down()

        # 调用解析数据函数
        parse_data()

        # 点击下一页
        get_next()

    input()
    driver.quit()

3. 鼠标动作链

from selenium import webdriver
from selenium.webdriver.common.by import By
from selenium.webdriver import ActionChains  # 导入鼠标动作链对象

driver = webdriver.Chrome()
driver.get('https://www.runoob.com/try/try.php?filename=jqueryui-api-droppable')

# 进入嵌套网页
driver.switch_to.frame(0)

# 找到可以拖动的标签
drag = driver.find_element(By.CSS_SELECTOR, '#draggable')

# 找到需要放置的标签
drop = driver.find_element(By.CSS_SELECTOR, '#droppable')

"""动作链对象操作"""
# 以下是分开写的, 后续可以直接链式调用
# 1. 实例化动作链对象, 括号内部需要传递当前driver浏览器对象
action = ActionChains(driver)

# 2. 编排一个鼠标动作, 但是这个动作还没执行
action.drag_and_drop(drag, drop)

# 3. 执行动作
action.perform()

input()
driver.quit()

"""
消息提示框和弹窗
"""

案例 - 码云登录后解决消息提示框

import time
from selenium import webdriver
from selenium.webdriver import ActionChains
from selenium.webdriver.common.by import By

driver = webdriver.Chrome()
driver.get('https://gitee.com/')
driver.implicitly_wait(10)
driver.maximize_window()
driver.find_element(By.LINK_TEXT, '登录').click()
driver.find_element(By.CSS_SELECTOR, '#git-login>input').send_keys('输入的用户名')
time.sleep(2)
driver.find_element(By.CSS_SELECTOR, '#user_password').send_keys('输入的密码')
time.sleep(2)
driver.find_element(By.NAME, 'commit').click()

""" 处理消息提示框 """
# time.sleep(3)
# context_click 确定位置, click坐标点击
# ActionChains(driver).move_by_offset(200, 200).context_click().perform()
# ActionChains(driver).move_by_offset(1047, 370).context_click().perform()
ActionChains(driver).move_by_offset(1047, 370).click().perform()

input()
driver.quit()

4. 键盘事件

# 在百度搜索框输入  python ，全选,复制,剪切,粘贴 跳转到搜狗输入框进行搜索
import time

from selenium import webdriver
from selenium.webdriver.common.by import By
from selenium.webdriver.common.keys import Keys  # 键盘事件功能

driver = webdriver.Chrome()
driver.get('https://www.baidu.com/')

driver.find_element(By.CSS_SELECTOR, '#kw').send_keys('python')
time.sleep(3)

driver.find_element(By.CSS_SELECTOR, '#kw').send_keys(Keys.CONTROL, 'a')  # 全选
time.sleep(3)

driver.find_element(By.CSS_SELECTOR, '#kw').send_keys(Keys.CONTROL, 'c')  # 复制
time.sleep(3)

driver.find_element(By.CSS_SELECTOR, '#kw').send_keys(Keys.CONTROL, 'x')  # 复制
time.sleep(3)

driver.get('https://www.sogou.com/')
driver.find_element(By.CSS_SELECTOR, '#query').send_keys(Keys.CONTROL, 'v')  # 粘贴

# 按回车键搜索
driver.find_element(By.CSS_SELECTOR, '#stb').send_keys(Keys.ENTER)

input()
driver.quit()

5. 下拉框处理

import time

from selenium import webdriver
from selenium.webdriver.common.by import By
from selenium.webdriver.support.select import Select  # 下拉框功能

driver = webdriver.Chrome()
driver.get('https://www.jq22.com/demo/shengshiliandong/')

# 找下拉框对应的标签对象
element = driver.find_element(By.CSS_SELECTOR, '#s_province')

# 实例化对象
select = Select(element)

# 选择下拉框
# 1.根据索引取下拉框, 索引从1开始
select.select_by_index(1)  # 北京市
time.sleep(2)

# 2.根据下拉框value属性值选择
select.select_by_value('河北省')  # 河北省
time.sleep(2)

# 3.根据下拉框标签包含的文本选择
select.select_by_visible_text('湖北省')  # 湖北省
time.sleep(2)

input()
driver.quit()
 
  
6. 弹窗的处理
 
  
from selenium import webdriver
from selenium.webdriver.common.by import By
from selenium.webdriver import ActionChains  # 导入鼠标动作链对象

driver = webdriver.Chrome()
driver.get('https://www.runoob.com/try/try.php?filename=jqueryui-api-droppable')

driver.switch_to.frame(0)
drag = driver.find_element(By.CSS_SELECTOR, '#draggable')
drop = driver.find_element(By.CSS_SELECTOR, '#droppable')
action = ActionChains(driver)
action.drag_and_drop(drag, drop)
action.perform()

"""处理弹窗"""
ert = driver.switch_to.alert  # 切换到弹窗
print(ert.text)
ert.accept()

input()
driver.quit()
 
  
7. 无头模式
 
  
from selenium import webdriver
from selenium.webdriver.common.by import By
from selenium.webdriver import ActionChains  # 导入鼠标动作链对象
from selenium.webdriver.chrome.options import Options  # 导入谷歌浏览器的配置选项

options = Options()  # 实例化配置对象
options.add_argument('--headless')  # 添加无头模式配置

driver = webdriver.Chrome(options=options)
driver.get('https://www.baidu.com/')
print(driver.page_source)

input()
driver.quit()

"""
selenium的无头模式一般用于项目写完以后添加, 因为我们在写selenium项目的时候需要看页面效果

优点: 
    相对有界面的情况下, 获取数据的速度更加快, 原因是因为无头模式没有启动浏览器GUI, 没有加载css js 特效
"""
 
  
8. selenium应对检测
 
  
现在不少大网站有对selenium采取了监测机制。比如正常情况下我们用浏览器访问淘宝等网站的 window.navigator.webdriver的值为 undefined或者为false。而使用selenium访问则该值为true。那么如何解决这个问题呢？
 
  
from selenium import webdriver
from selenium.webdriver.common.by import By
from selenium.webdriver import ActionChains  # 导入鼠标动作链对象
from selenium.webdriver.chrome.options import Options  # 导入谷歌浏览器的配置选项

driver = webdriver.Chrome()

# 绕过检测的代码要放到实例化浏览器对象下面
driver.execute_cdp_cmd("Page.addScriptToEvaluateOnNewDocument", {
    "source": """
    Object.defineProperty(navigator, 'webdriver', {
      get: () => false
    })
  """
})
driver.get('https://antispider1.scrape.center')

print(driver.page_source)

input()
driver.quit()

"""
在人机检测的时候比较有效果
不是所有的检测方式都可以这样解决

可以通过代码接管已经打开的真实的浏览器
"""
 
  
案例 - 网易云评论selenium
 
  
"""
目标网址:https://music.163.com/#/playlist?id=924680166

要求:
	1. 使用selenium
	2. 爬取前面5页的评论数据保存为txt文件

"""
import time
import parsel
from selenium.webdriver.chrome.options import Options
from selenium import webdriver
from selenium.webdriver.common.by import By

def parse_data():
    """解析评论数据保存"""
    divs = driver.find_elements(By.CSS_SELECTOR, '.itm')
    print(divs)

    for div in divs:
        contend = div.find_element(By.CSS_SELECTOR, '.cnt.f-brk').text
        contend = contend.replace('\n', '')
        print('contend:', contend)

        with open('contend.txt', mode='a', encoding='utf-8') as f:
            f.write(contend)

if __name__ == '__main__':
    options = Options()
    options.add_experimental_option("excludeSwitches", ['enable-automation'])  # 禁用正在收到自动测试软件的控制

    driver = webdriver.Chrome(options=options)

    driver.execute_cdp_cmd("Page.addScriptToEvaluateOnNewDocument", {
        "source": """
        Object.defineProperty(navigator, 'webdriver', {
          get: () => undefined
        })
      """
    })

    driver.get('https://music.163.com/#/playlist?id=924680166')
    driver.implicitly_wait(10)

    driver.switch_to.frame(0)

    js = 'document.documentElement.scrollTop = document.documentElement.scrollHeight'
    driver.execute_script(js)
    print(driver.page_source)

    for i in range(5):
        # 调用解析函数
        parse_data()

        driver.find_element(By.CSS_SELECTOR, '.znxt').click()  # 点击下一页
        time.sleep(2)

    input()
    driver.quit()
 
  
案例 - selenium问卷星
 
  
# 目标网址: https://www.wjx.cn/jq/87910206.aspx
import random
# 需求: 单选题随机选一项, 多选题随机选3项
import time
import parsel
from selenium.webdriver.chrome.options import Options
from selenium import webdriver
from selenium.webdriver.common.by import By

driver = webdriver.Chrome()
driver.execute_cdp_cmd("Page.addScriptToEvaluateOnNewDocument", {
    "source": """
        Object.defineProperty(navigator, 'webdriver', {
          get: () => undefined
        })
      """
})
driver.get('https://www.wjx.cn/jq/87910206.aspx')
driver.implicitly_wait(10)

divs = driver.find_elements(By.CSS_SELECTOR, '.div_question')
print(divs)
print(len(divs))  #

"""
单选题: 1-10
多选题: 11-12
"""
one_choice = [0, 1, 2, 3, 4, 5, 6, 7, 8, 9]  # 单选题的索引
any_choice = [10, 11]  # 多选题的索引

# 先解决单选
for i in one_choice:
    lis = divs[i].find_elements(By.CSS_SELECTOR, 'ul li')
    # 随机选择一项
    random.choice(lis).click()

# 解决多选
for j in any_choice:
    lis = divs[j].find_elements(By.CSS_SELECTOR, 'ul li')
    # 随机选择三项
    # random.choice(lis).click() 随机单个
    # random.choices()  # 选择的多个选项可能会重复
    lis_ = random.sample(lis, k=3)  # random.sample 在序列中随机选择不同的选项
    for h in lis_:
        h.click()

# 点击提交
driver.find_element(By.CSS_SELECTOR, '#submit_button').click()

time.sleep(1)
# 点击人机校验
driver.find_element(By.CSS_SELECTOR, '.sm-ico-wave').click()

input()
driver.quit()
 
  
Pyppeteer简介
 
  
异步的selenium。在 Pyppetter的背后是有一个类似 Chrome 浏览器的 Chromium 浏览器在执行一些动作进行网页渲染，首先说下 Chrome 浏览器和 Chromium 浏览器的渊源。
 
  
 
   
Chromium 是谷歌为了研发 Chrome 而启动的项目，是完全开源的。二者基于相同的源代码构建，Chrome 所有的新功能都会先在 Chromium 上实现，待验证稳定后才会移植，因此 Chromium 的版本更新频率更高，也会包含很多新的功能，但作为一款独立的浏览器，Chromium 的用户群体要小众得多。两款浏览器“同根同源”，它们有着同样的 Logo，但配色不同，Chrome 由蓝红绿黄四种颜色组成，而 Chromium 由不同深度的蓝色构成。
 
  
 
  
Pyppeteer 就是依赖于 Chromium 这个浏览器来运行的。那么有了 Pyppeteer 之后，我们就可以免去那些繁琐的环境配置等问题。如果第一次运行的时候，Chromium 浏览器没有安装，那么程序会帮我们自动安装和配置，就免去了繁琐的环境配置等工作。另外 Pyppeteer 是基于 Python 的新特性 async 实现的，所以它的一些执行也支持异步操作，效率相对于 Selenium 来说也提高了。
 
  
1. 环境安装
 
  
 
   
由于 Pyppeteer 采用了 Python 的 async 机制，所以其运行要求的 Python 版本为 3.6 及以上
 
   
pip install pyppeteer
 
  
 
  
2. 快速上手
 
  
 
   
爬取http://quotes.toscrape.com/js/ 全部页面数据
 
  
 
  
import asyncio
from pyppeteer import launch
from lxml import etree

# 第一次运行程序，会给你安装Chromium这个浏览器，因此运行时间会比较久
async def main():
    browser = await launch(headless=False)  # headless=True 表示使用无头模式
    page = await browser.newPage()
    await page.goto('http://quotes.toscrape.com/js/')
    page_text = await page.content()
    tree = etree.HTML(page_text)
    div_list = tree.xpath('//div[@class="quote"]')
    print(len(div_list))
    await asyncio.sleep(3)
    await browser.close()

c = main()
loop = asyncio.get_event_loop()
loop.run_until_complete(c)
 
  
 
   
代码解释：
 解释：launch 方法会新建一个 Browser 对象，然后赋值给 browser，然后调用 newPage 方法相当于浏览器中新建了一个选项卡，同时新建了一个 Page 对象。然后 Page 对象调用了 goto 方法就相当于在浏览器中输入了这个 URL，浏览器跳转到了对应的页面进行加载，加载完成之后再调用 content 方法，返回当前浏览器页面的源代码。在这个过程中，我们没有配置 Chrome 浏览器，没有配置浏览器驱动，免去了一些繁琐的步骤，同样达到了 Selenium 的效果，还实现了异步抓取，爽歪歪！
 
  
 
  
3. 详细用法
 
  
开启浏览器
 
  
 
   
调用 launch() 方法即可，相关参数介绍： 
    
 
     
ignoreHTTPSErrors (bool) ：是否要忽略 HTTPS 的错误，默认是 False。
 
     
headless (bool) ：是否启用 Headless 模式，即无界面模式，默认是开启无界面模式的。如果设置为 False则是有界面模式。
 
     
executablePath (str) ：可执行文件的路径，如果指定之后就不需要使用默认的 Chromium 了，可以指定为已有的 Chrome 或 Chromium。
 
     
devtools (bool) ：是否为每一个页面自动开启调试工具(浏览器开发者工具)，默认是 False。如果这个参数设置为 True，那么 headless 默认参数就会无效，会被强制设置为 False。
 
     
args (List[str]) ：在执行过程中可以传入的额外参数。
 
    
 
 
   
关闭提示条：”Chrome 正受到自动测试软件的控制”，这个提示条有点烦，那咋关闭呢？这时候就需要用到 args 参数了，禁用操作如下：
 
  
 
  
browser = await launch(headless=False, args=['--disable-infobars'])
 
  
处理页面显示问题：访问某宝首页
 
  
import asyncio
from pyppeteer import launch

async def main():
    # 创建一个浏览器对象
    browser = await launch(headless=False)
    # 创建一个 page
    page = await browser.newPage()
    # 发起请求
    await page.goto('https://www.taobao.com')
    await asyncio.sleep(3)
    await browser.close()

asyncio.get_event_loop().run_until_complete(main())
 
  
发现页面显示出现了问题，需要手动调用setViewport方法设置显示页面的长宽像素。设置如下：
 
  
import asyncio
from pyppeteer import launch

async def main():
    # 创建一个浏览器对象
    browser = await launch(headless=False)
    # 创建一个 page
    page = await browser.newPage()
    # 可以专门设置打开page 的像素宽度和高度
    await page.setViewport({'width': 1366, 'height': 1440})
    # 发起请求
    await page.goto('https://www.taobao.com')
    await asyncio.sleep(3)
    await browser.close()

asyncio.get_event_loop().run_until_complete(main())
 
  
执行js程序：拖动滚轮。调用evaluate方法
 
  
import asyncio
from pyppeteer import launch

async def main():
    # 创建一个浏览器对象
    browser = await launch(headless=False)
    # 创建一个 page
    page = await browser.newPage()
    # 可以专门设置打开page 的像素宽度和高度
    await page.setViewport({'width': 1366, 'height': 1440})
    # 发起请求
    await page.goto('https://www.taobao.com')
    await asyncio.sleep(3)
    # 执行JS代码
    await page.evaluate('window.scrollTo(0,document.body.scrollHeight)')
    await browser.close()

asyncio.get_event_loop().run_until_complete(main())
 
  
规避检测
 
  
正常情况下我们用浏览器访问淘宝等网站的 window.navigator.webdriver的值为 undefined或者为false。而使用pyppeteer访问则该值为true。那么如何解决这个问题呢？
 
  
import asyncio
from pyppeteer import launch

width, height = 1366, 768


async def main():
    # 规避检测
    browser = await launch(headless=False, args=['--disable-infobars'])
    page = await browser.newPage()
    await page.setViewport({'width': width, 'height': height})
    await page.goto('https://login.taobao.com/member/login.jhtml?redirectURL=https://www.taobao.com/')
    # 规避检测
    await page.evaluate(
        '''() =>{ Object.defineProperties(navigator,{ webdriver:{ get: () => false } }) }''')
    await asyncio.sleep(20)
    await browser.close()


asyncio.get_event_loop().run_until_complete(main())
 
  
4. 节点交互
 
  
import asyncio
from pyppeteer import launch


async def main():
    # headless参数设为False，则变成有头模式
    browser = await launch(
        headless=False,
        # 指定任意的浏览器：chrome://version
        executablePath='C:\Program Files\Google\Chrome\Application\chrome.exe'
    )
    page = await browser.newPage()
    # 设置页面视图大小
    await page.setViewport(viewport={'width': 1280, 'height': 800})

    await page.goto('https://www.baidu.com/')
    # 规避检测
    await page.evaluate(
        '''() =>{ Object.defineProperties(navigator,{ webdriver:{ get: () => false } }) }''')
    # 节点交互：更好的模拟人的行为
    await page.type('#kw', '周杰伦', {'delay': 2000})
    await asyncio.sleep(3)
    # 点击搜索按钮
    await page.click('#su')
    await asyncio.sleep(3)
    # 使用选择器选中标签进行点击
    alist = await page.querySelectorAll('.s_tab_inner > a')
    a = alist[3]
    await a.click()
    await asyncio.sleep(3)
    await browser.close()


asyncio.get_event_loop().run_until_complete(main())
 
  
案例 - 异常selenium爬虫
 
  
'''
异步爬取网易新闻首页的新闻标题

- https://news.163.com/domestic/
- https://news.163.com/world/
- https://war.163.com/
'''
import asyncio
from pyppeteer import launch
from lxml import etree


async def get_data(url):
    # headless参数设为False，则变成有头模式
    browser = await launch(
        headless=False,
        # 可在浏览器中输入chrome://version/，在页面的"个人资料路径"查看浏览器的执行程序
        executablePath='C:\Program Files\Google\Chrome\Application\chrome.exe'
    )
    page = await browser.newPage()

    await page.goto(url)

    await asyncio.sleep(3)

    page_text = await page.content()

    await browser.close()
    return page_text


def parse(task):
    page_text = task.result()
    tree = etree.HTML(page_text)
    div_list = tree.xpath('//div[@class="data_row news_article clearfix "]')
    for div in div_list:
        title = div.xpath('.//div[@class="news_title"]/h3/a/text()')[0]
        print(title)


urls = ['https://news.163.com/domestic/',
        'https://news.163.com/world/',
        'https://war.163.com/']

tasks = []
for url in urls:
    c = get_data(url)
    task = asyncio.ensure_future(c)
    # 回调函数
    task.add_done_callback(parse)
    tasks.append(task)
loop = asyncio.get_event_loop()
loop.run_until_complete(asyncio.wait(tasks))
 
  
5. 滑动验证
 
  
import random
from pyppeteer import launch
import asyncio
import cv2
from urllib import request


async def get_track():
    background = cv2.imread("background.png", 0)
    gap = cv2.imread("gap.png", 0)

    res = cv2.matchTemplate(background, gap, cv2.TM_CCOEFF_NORMED)
    value = cv2.minMaxLoc(res)[2][0]
    print(value)
    return value * 278 / 360


async def main():
    browser = await launch({
        # headless指定浏览器是否以无头模式运行，默认是True。
        "headless": False,
        # 设置窗口大小
        "args": ['--window-size=1366,768'],
    })
    # 打开新的标签页
    page = await browser.newPage()
    # 设置页面大小一致
    await page.setViewport({"width": 1366, "height": 768})
    # 访问主页
    await page.goto("https://passport.jd.com/new/login.aspx?")

    # 单击事件
    await page.click('div.login-tab-r')
    # 模拟输入用户名和密码,输入每个字符的间隔时间delay ms
    await page.type("账号", '密码', {
        "delay": random.randint(30, 60)
    })
    await page.type("#nloginpwd", '345653332', {
        "delay": random.randint(30, 60)
    })

    # page.waitFor 通用等待方式，如果是数字，则表示等待具体时间（毫秒）: 等待2秒
    await page.waitFor(2000)
    await page.click("div.login-btn")
    await page.waitFor(2000)
    # page.jeval（selector，pageFunction）#定位元素，并调用js函数去执行
    # =>表示js的箭头函数：el = function(el){return el.src}
    img_src = await page.Jeval(".JDJRV-bigimg > img", "el=>el.src")
    temp_src = await page.Jeval(".JDJRV-smallimg > img", "el=>el.src")

    request.urlretrieve(img_src, "background.png")
    request.urlretrieve(temp_src, "gap.png")

    # 获取gap的距离
    distance = await get_track()
    """
        # Pyppeteer 三种解析方式
        Page.querySelector()  # 选择器
        Page.querySelectorAll()
        Page.xpath()  # xpath  表达式
        # 简写方式为：
        Page.J(), Page.JJ(), and Page.Jx()
        """
    # 定位到滑动按钮标签
    el = await page.J("div.JDJRV-slide-btn")

    # 获取元素的边界框，包含x,y坐标
    box = await el.boundingBox()
    # box={'x': 86, 'y': 34, 'width': 55.0, 'height': 55.0}
    # 将鼠标悬停/一定到指定标签位置
    await page.hover("div.JDJRV-slide-btn")
    # 按下鼠标
    await page.mouse.down()
    # 模拟人的行为进行滑动
    # steps 是指分成几步来完成，steps越大，滑动速度越慢
    # move(x,y)表示将鼠标移动到xy坐标位置
    # random.uniform生成一个在指定范围内的随机浮点数
    await page.mouse.move(box["x"] + distance + random.uniform(10, 30),
                          box["y"], {"steps": 100})
    await page.waitFor(1000)

    await page.mouse.up()
    await page.waitFor(2000)


loop = asyncio.get_event_loop()
loop.run_until_complete(main())
 
  

                            
                        
                    
                    
                    

                    
                    
                    

                
                

                    

                        
                        

                            
 
                        
                        
                        

                            

                        
                        
                        

                            

                        
                    
                
            
        
    
    

        
你可能感兴趣的:(【基础】Python网络爬虫,python,爬虫,selenium)
        

            

                

                    
理解Gunicorn：Python WSGI服务器的基石
                        范范0825
ipythonlinux运维
                        
理解Gunicorn：PythonWSGI服务器的基石介绍Gunicorn，全称GreenUnicorn，是一个为PythonWSGI（WebServerGatewayInterface）应用设计的高效、轻量级HTTP服务器。作为PythonWeb应用部署的常用工具，Gunicorn以其高性能和易用性著称。本文将介绍Gunicorn的基本概念、安装和配置，帮助初学者快速上手。1.什么是Gunico
                    
                    
如何在 Fork 的 GitHub 项目中保留自己的修改并同步上游更新？github_fork_update
                        iBaoxing
github
                        
如何在Fork的GitHub项目中保留自己的修改并同步上游更新？在GitHub上Fork了一个项目后，你可能会对项目进行一些修改，同时原作者也在不断更新。如果想要在保留自己修改的基础上，同步原作者的最新更新，很多人会不知所措。本文将详细讲解如何在不丢失自己改动的情况下，将上游仓库的更新合并到自己的仓库中。问题描述假设你在GitHub上Fork了一个项目，并基于该项目做了一些修改，随后你发现原作者对
                    
                    
Python数据分析与可视化实战指南
                        William数据分析
pythonpython数据
                        
在数据驱动的时代，Python因其简洁的语法、强大的库生态系统以及活跃的社区，成为了数据分析与可视化的首选语言。本文将通过一个详细的案例，带领大家学习如何使用Python进行数据分析，并通过可视化来直观呈现分析结果。一、环境准备1.1安装必要库在开始数据分析和可视化之前，我们需要安装一些常用的库。主要包括pandas、numpy、matplotlib和seaborn等。这些库分别用于数据处理、数学
                    
                    
python os.environ
                        江湖偌大
python深度学习
                        
os.environ['TF_CPP_MIN_LOG_LEVEL']='0'#默认值，输出所有信息os.environ['TF_CPP_MIN_LOG_LEVEL']='1'#屏蔽通知信息（INFO）os.environ['TF_CPP_MIN_LOG_LEVEL']='2'#屏蔽通知信息和警告信息（INFO\WARNING）os.environ['TF_CPP_MIN_LOG_LEVEL']='
                    
                    
Python中os.environ基本介绍及使用方法
                        鹤冲天Pro
#Pythonpython服务器开发语言
                        
文章目录python中os.environos.environ简介os.environ进行环境变量的增删改查python中os.environ的使用详解1.简介2.key字段详解2.1常见key字段3.os.environ.get()用法4.环境变量的增删改查和判断是否存在4.1新增环境变量4.2更新环境变量4.3获取环境变量4.4删除环境变量4.5判断环境变量是否存在python中os.envi
                    
                    
Pyecharts数据可视化大屏：打造沉浸式数据分析体验
                        我的运维人生
信息可视化数据分析数据挖掘运维开发技术共享
                        
Pyecharts数据可视化大屏：打造沉浸式数据分析体验在当今这个数据驱动的时代，如何将海量数据以直观、生动的方式展现出来，成为了数据分析师和企业决策者关注的焦点。Pyecharts，作为一款基于Python的开源数据可视化库，凭借其丰富的图表类型、灵活的配置选项以及高度的定制化能力，成为了构建数据可视化大屏的理想选择。本文将深入探讨如何利用Pyecharts打造数据可视化大屏，并通过实际代码案例
                    
                    
Python教程：一文了解使用Python处理XPath
                        旦莫
Python进阶python开发语言
                        
目录1.环境准备1.1安装lxml1.2验证安装2.XPath基础2.1什么是XPath？2.2XPath语法2.3示例XML文档3.使用lxml解析XML3.1解析XML文档3.2查看解析结果4.XPath查询4.1基本路径查询4.2使用属性查询4.3查询多个节点5.XPath的高级用法5.1使用逻辑运算符5.2使用函数6.实战案例6.1从网页抓取数据6.1.1安装Requests库6.1.2代
                    
                    
python os.environ_python os.environ 读取和设置环境变量
                        weixin_39605414
pythonos.environ
                        
>>>importos>>>os.environ.keys()['LC_NUMERIC','GOPATH','GOROOT','GOBIN','LESSOPEN','SSH_CLIENT','LOGNAME','USER','HOME','LC_PAPER','PATH','DISPLAY','LANG','TERM','SHELL','J2REDIR','LC_MONETARY','QT_QPA
                    
                    
四章-32-点要素的聚合
                        彩云飘过

                        
本文基于腾讯课堂老胡的课《跟我学Openlayers--基础实例详解》做的学习笔记，使用的openlayers5.3.xapi。源码见1032.html，对应的官网示例https://openlayers.org/en/latest/examples/cluster.htmlhttps://openlayers.org/en/latest/examples/earthquake-clusters.
                    
                    
高端密码学院笔记285
                        柚子_b4b4

                        
高端幸福密码学院（高级班）幸福使者：李华第（598）期《幸福》之回归内在深层生命原动力基础篇——揭秘“激励”成长的喜悦心理案例分析主讲：刘莉一，知识扩充:成功=艰苦劳动+正确方法+少说空话。贪图省力的船夫，目标永远下游。智者的梦再美，也不如愚人实干的脚印。幸福早课堂2020.10.16星期五一笔记:1，重视和珍惜的前提是知道它的价值非常重要，当你珍惜了，你就真正定下来，真正的学到身上。2，大家需要
                    
                    
从0到500+，我是如何利用自媒体赚钱？
                        一列脚印

                        
运营公众号半个多月，从零基础的小白到现在慢慢懂了一些运营的知识。做好公众号是很不容易的，要做很多事情；排版、码字、引流…通通需要自己解决，业余时间全都花费在这上面涨这么多粉丝是真的不容易，对比知乎大佬来说，我们这种没资源，没人脉，还没钱的小透明来说，想要一个月涨粉上万，怕是今天没睡醒（不过你有的方法，算我piapia打脸）至少我是清醒的，自己慢慢努力，实现我的万粉目标！大家快来围观、支持我吧！孩子
                    
                    
使用Faiss进行高效相似度搜索
                        llzwxh888
faisspython
                        
在现代AI应用中，快速和高效的相似度搜索是至关重要的。Faiss（FacebookAISimilaritySearch）是一个专门用于快速相似度搜索和聚类的库，特别适用于高维向量。本文将介绍如何使用Faiss来进行相似度搜索，并结合Python代码演示其基本用法。什么是Faiss？Faiss是一个由FacebookAIResearch团队开发的开源库，主要用于高维向量的相似性搜索和聚类。Faiss
                    
                    
python是什么意思中文-在python中%是什么意思
                        编程大乐趣

                        
Python中%有两种：1、数值运算：%代表取模，返回除法的余数。如：>>>7%212、%操作符（字符串格式化，stringformatting），说明如下：%[(name)][flags][width].[precision]typecode(name)为命名flags可以有+，-，''或0。+表示右对齐。-表示左对齐。''为一个空格，表示在正数的左侧填充一个空格，从而与负数对齐。0表示使用0填
                    
                    
数组去重
                        好奇的猫猫猫

                        
整理自js中基础数据结构数组去重问题思考？如何去除数组中重复的项例如数组：[1,3,4,3,5]我们在做去重的时候，一开始想到的肯定是，逐个比较，外面一层循环，内层后一个与前一个一比较，如果是久不将当前这一项放进新的数组，挨个比较完之后返回一个新的去过重复的数组不好的实践方式上述方法效率极低，代码量还多，思考？有没有更好的方法这时候不禁一想当然有了！！！hashtable啊，通过对象的hash办法
                    
                    
关于城市旅游的HTML网页设计——(旅游风景云南 5页)HTML+CSS+JavaScript
                        二挡起步
web前端期末大作业javascripthtmlcss旅游风景
                        
⛵源码获取文末联系✈Web前端开发技术描述网页设计题材，DIV+CSS布局制作,HTML+CSS网页设计期末课程大作业|游景点介绍|旅游风景区|家乡介绍|等网站的设计与制作|HTML期末大学生网页设计作业，Web大学生网页HTML：结构CSS：样式在操作方面上运用了html5和css3，采用了div+css结构、表单、超链接、浮动、绝对定位、相对定位、字体样式、引用视频等基础知识JavaScrip
                    
                    
HTML网页设计制作大作业（div+css） 云南我的家乡旅游景点 带文字滚动
                        二挡起步
web前端期末大作业web设计网页规划与设计htmlcssjavascriptdreamweaver前端
                        
Web前端开发技术描述网页设计题材，DIV+CSS布局制作,HTML+CSS网页设计期末课程大作业游景点介绍|旅游风景区|家乡介绍|等网站的设计与制作HTML期末大学生网页设计作业HTML：结构CSS：样式在操作方面上运用了html5和css3，采用了div+css结构、表单、超链接、浮动、绝对定位、相对定位、字体样式、引用视频等基础知识JavaScript：做与用户的交互行为文章目录前端学习路线
                    
                    
Day1笔记-Python简介&标识符和关键字&输入输出
                        ~在杰难逃~
Pythonpython开发语言大数据数据分析数据挖掘
                        
大家好，从今天开始呢，杰哥开展一个新的专栏，当然，数据分析部分也会不定时更新的，这个新的专栏主要是讲解一些Python的基础语法和知识，帮助0基础的小伙伴入门和学习Python，感兴趣的小伙伴可以开始认真学习啦！一、Python简介【了解】1.计算机工作原理编程语言就是用来定义计算机程序的形式语言。我们通过编程语言来编写程序代码，再通过语言处理程序执行向计算机发送指令，让计算机完成对应的工作，编程
                    
                    
python八股文面试题分享及解析(1)
                        Shawn________
python
                        
#1.'''a=1b=2不用中间变量交换a和b'''#1.a=1b=2a,b=b,aprint(a)print(b)结果：21#2.ll=[]foriinrange(3):ll.append({'num':i})print(11)结果:#[{'num':0},{'num':1},{'num':2}]#3.kk=[]a={'num':0}foriinrange(3):#0,12#可变类型，不仅仅改变
                    
                    
每日算法&面试题，大厂特训二十八天——第二十天（树）
                        肥学
⚡算法题⚡面试题每日精进java算法数据结构
                        
目录标题导读算法特训二十八天面试题点击直接资料领取导读肥友们为了更好的去帮助新同学适应算法和面试题，最近我们开始进行专项突击一步一步来。上一期我们完成了动态规划二十一天现在我们进行下一项对各类算法进行二十八天的一个小总结。还在等什么快来一起肥学进行二十八天挑战吧！！特别介绍小白练手专栏，适合刚入手的新人欢迎订阅编程小白进阶python有趣练手项目里面包括了像《机器人尬聊》《恶搞程序》这样的有趣文章
                    
                    
大伟说成语之唉声叹气
                        求索大伟

                        
＊大伟说成语＊【唉声叹气】叹气：因心里不痛快或不如意而吐出长气，发出声音。因为痛苦、憋闷或感伤而发出叹息的声音。【大伟说】情绪外露，非人类所特有，动物亦有情绪，悲哀和欢乐所表示的情绪亦是不一样的，会嗷嗷大叫也会低吟痛哭。不同的是，人类的情绪更复杂，更多样，更丰富。唉声叹气，可以说是最基础的情绪，因为无奈而举足无措，不知该如何如何化解，只有独自一人慢慢承受，长吁短叹不知如何是好，其实是无能无力的表现
                    
                    
Python快速入门 —— 第三节：类与对象
                        孤华暗香
Python快速入门python开发语言
                        
第三节：类与对象目标：了解面向对象编程的基础概念，并学会如何定义类和创建对象。内容：类与对象：定义类：class关键字。类的构造函数：__init__()。类的属性和方法。对象的创建与使用。示例：classStudent:def__init__(self,name,age,major):self.name&#
                    
                    
MongoDB Oplog 窗口
                        喝醉酒的小白
MongoDB运维
                        
在MongoDB中，oplog（操作日志）是一个特殊的日志系统，用于记录对数据库的所有写操作。oplog允许副本集成员（通常是从节点）应用主节点上已经执行的操作，从而保持数据的一致性。它是MongoDB副本集实现数据复制的基础。MongoDBOplog窗口oplog窗口是指在MongoDB副本集中，从节点可以用来同步数据的时间范围。这个窗口通常由以下因素决定：Oplog大小：oplog的大小是有限
                    
                    
pyecharts——绘制柱形图折线图
                        2224070247
信息可视化pythonjava数据可视化
                        
一、pyecharts概述自2013年6月百度EFE(ExcellentFrontEnd）数据可视化团队研发的ECharts1.0发布到GitHub网站以来，ECharts一直备受业界权威的关注并获得广泛好评，成为目前成熟且流行的数据可视化图表工具，被应用到诸多数据可视化的开发领域。Python作为数据分析领域最受欢迎的语言，也加入ECharts的使用行列，并研发出方便Python开发者使用的数据
                    
                    
node.js学习
                        小猿L
node.jsnode.js学习vim
                        
node.js学习实操及笔记温故node.js，node.js学习实操过程及笔记~node.js学习视频node.js官网node.js中文网实操笔记githubcsdn笔记为什么学node.js可以让别人访问我们编写的网页为后续的框架学习打下基础，三大框架vuereactangular离不开node.jsnode.js是什么官网：node.js是一个开源的、跨平台的运行JavaScript的运行
                    
                    
Python 实现图片裁剪（附代码） | Python工具
                        剑客阿良_ALiang

                        
前言本文提供将图片按照自定义尺寸进行裁剪的工具方法，一如既往的实用主义。环境依赖ffmpeg环境安装，可以参考我的另一篇文章：windowsffmpeg安装部署_阿良的博客-CSDN博客本文主要使用到的不是ffmpeg，而是ffprobe也在上面这篇文章中的zip包中。ffmpy安装：pipinstallffmpy-ihttps://pypi.douban.com/simple代码不废话了，上代码
                    
                    
【华为OD技术面试真题 - 技术面】- python八股文真题题库（4)
                        算法大师
华为od面试python
                        
华为OD面试真题精选专栏：华为OD面试真题精选目录:2024华为OD面试手撕代码真题目录以及八股文真题目录文章目录华为OD面试真题精选**1.Python中的`with`**用途和功能自动资源管理示例：文件操作上下文管理协议示例代码工作流程解析优点2.\_\_new\_\_和**\_\_init\_\_**区别__new____init__区别总结3.**切片（Slicing）操作**基本切片语法
                    
                    
数据仓库——维度表一致性
                        墨染丶eye
背诵数据仓库
                        
数据仓库基础笔记思维导图已经整理完毕，完整连接为：数据仓库基础知识笔记思维导图维度一致性问题从逻辑层面来看，当一系列星型模型共享一组公共维度时，所涉及的维度称为一致性维度。当维度表存在不一致时，短期的成功难以弥补长期的错误。维度时确保不同过程中信息集成起来实现横向钻取货活动的关键。造成横向钻取失败的原因维度结构的差别，因为维度的差别，分析工作涉及的领域从简单到复杂，但是都是通过复杂的报表来弥补设计
                    
                    
python os 环境变量
                        CV矿工
python开发语言numpy
                        
环境变量：环境变量是程序和操作系统之间的通信方式。有些字符不宜明文写进代码里，比如数据库密码，个人账户密码，如果写进自己本机的环境变量里，程序用的时候通过os.environ.get（）取出来就行了。os.environ是一个环境变量的字典。环境变量的相关操作importos"""设置/修改环境变量：os.environ[‘环境变量名称’]=‘环境变量值’#其中key和value均为string类
                    
                    
高级 ECharts 技巧：自定义图表主题与样式
                        SnowMan1993
echarts信息可视化数据分析
                        
ECharts是一个强大的数据可视化库，提供了多种内置主题和样式，但你也可以根据项目的设计需求，自定义图表的主题与样式。本文将介绍如何使用ECharts自定义图表主题，以提升数据可视化的吸引力和一致性。1.什么是ECharts主题？ECharts的主题是指定义图表样式的配置项，包括颜色、字体、线条样式等。通过预设主题，你可以快速更改图表的整体风格，而自定义主题则允许你在此基础上进行个性化设置。2.
                    
                    
Python爬虫解析工具之xpath使用详解
                        eqa11
python爬虫开发语言
                        
文章目录Python爬虫解析工具之xpath使用详解一、引言二、环境准备1、插件安装2、依赖库安装三、xpath语法详解1、路径表达式2、通配符3、谓语4、常用函数四、xpath在Python代码中的使用1、文档树的创建2、使用xpath表达式3、获取元素内容和属性五、总结Python爬虫解析工具之xpath使用详解一、引言在Python爬虫开发中，数据提取是一个至关重要的环节。xpath作为一门
                    
                                
java杨辉三角
                                    3213213333332132
java基础
                                    

package com.algorithm;

/**
 * @Description 杨辉三角
 * @author FuJianyong
 * 2015-1-22上午10:10:59
 */
public class YangHui {
	public static void main(String[] args) {
		//初始化二维数组长度
		int[][] y
                                
                                
《大话重构》之大布局的辛酸历史
                                    白糖_
重构
                                    
《大话重构》中提到“大布局你伤不起”，如果企图重构一个陈旧的大型系统是有非常大的风险，重构不是想象中那么简单。我目前所在公司正好对产品做了一次“大布局重构”，下面我就分享这个“大布局”项目经验给大家。 
  
 
 背景 
 
        公司专注于企业级管理产品软件，企业有大中小之分，在2000年初公司用JSP/Servlet开发了一套针对中
                                
                                
电驴链接在线视频播放源码
                                    dubinwei
源码电驴播放器视频ed2k
                                    
本项目是个搜索电驴（ed2k）链接的应用,借助于磁力视频播放器（官网： 
http://loveandroid.duapp.com/ 开放平台），可以实现在线播放视频，也可以用迅雷或者其他下载工具下载。 
项目源码： 
http://git.oschina.net/svo/Emule,动态更新。也可从附件中下载。 
项目源码依赖于两个库项目，库项目一链接： 
http://git.oschina.
                                
                                
Javascript中函数的toString()方法
                                    周凡杨
JavaScriptjstoStringfunctionobject
                                    
简述 
    The toString() method returns a string representing the source code of the function. 
    简译之，Javascript的toString()方法返回一个代表函数源代码的字符串。 
句法 
    function.
                                
                                
struts处理自定义异常
                                    g21121
struts
                                    
很多时候我们会用到自定义异常来表示特定的错误情况，自定义异常比较简单，只要分清是运行时异常还是非运行时异常即可，运行时异常不需要捕获，继承自RuntimeException，是由容器自己抛出，例如空指针异常。 
非运行时异常继承自Exception，在抛出后需要捕获，例如文件未找到异常。 
此处我们用的是非运行时异常，首先定义一个异常LoginException: 
/**
 * 类描述：登录相
                                
                                
Linux中find常见用法示例
                                    510888780
linux
                                    
Linux中find常见用法示例 
 
·find   path   -option   [   -print ]   [ -exec   -ok   command ]   {} \; 
 
 
 
 
find命令的参数；
                                
                                
SpringMVC的各种参数绑定方式
                                    Harry642
springMVC绑定表单
                                    
1. 基本数据类型(以int为例，其他类似)： 
Controller代码： 
 

    @RequestMapping("saysth.do")
    public void test(int count) {
    }
 
表单代码： 
 

<form action="saysth.do" method="post&q
                                
                                
Java 获取Oracle ROWID
                                    aijuans
javaoracle
                                    
  
A ROWID is an identification tag unique for each row of an Oracle Database table. The ROWID can be thought of as a virtual column, containing the ID for each row. 
The oracle.sql.ROWID class i
                                
                                
java获取方法的参数名
                                    antlove
javajdkparametermethodreflect
                                    
reflect.ClassInformationUtil.java 
package reflect;

import javassist.ClassPool;
import javassist.CtClass;
import javassist.CtMethod;
import javassist.Modifier;
import javassist.bytecode.CodeAtt
                                
                                
JAVA正则表达式匹配 查找 替换 提取操作
                                    百合不是茶
java正则表达式替换提取查找
                                    
正则表达式的查找;主要是用到String类中的split(); 
      String str; 
     str.split();方法中传入按照什么规则截取,返回一个String数组 
  
常见的截取规则: 
str.split("\\.")按照.来截取

str.
                                
                                
Java中equals()与hashCode()方法详解
                                    bijian1013
javasetequals()hashCode()
                                    
一.equals()方法详解 
    equals()方法在object类中定义如下：  
public boolean equals(Object obj) {
    return (this == obj);
}
 
   很明显是对两个对象的地址值进行的比较（即比较引用是否相同）。但是我们知道，String 、Math、I
                                
                                
精通Oracle10编程SQL(4)使用SQL语句
                                    bijian1013
oracle数据库plsql
                                    
--工资级别表
create table SALGRADE
(
  GRADE    NUMBER(10),
  LOSAL    NUMBER(10,2),
  HISAL    NUMBER(10,2)
)

insert into SALGRADE values(1,0,100);
insert into SALGRADE values(2,100,200);
inser
                                
                                
【Nginx二】Nginx作为静态文件HTTP服务器
                                    bit1129
HTTP服务器
                                    
 Nginx作为静态文件HTTP服务器 
 
  在本地系统中创建/data/www目录，存放html文件(包括index.html) 
 创建/data/images目录，存放imags图片 
 在主配置文件中添加http指令 
 
  
http {
    server {
        listen       80;
        server_name  
                                
                                
kafka获得最新partition offset
                                    blackproof
kafkapartitionoffset最新
                                    
kafka获得partition下标，需要用到kafka的simpleconsumer 
  
import java.util.ArrayList;
import java.util.Collections;
import java.util.Date;
import java.util.HashMap;
import java.util.List;
import java.
                                
                                
centos 7安装docker两种方式
                                    ronin47

                                    
      第一种是采用yum 方式 
             yum install -y docker 
          
                                
                                
java-60-在O(1)时间删除链表结点
                                    bylijinnan
java
                                    


public class DeleteNode_O1_Time {

	/**
	 * Q 60 在O(1)时间删除链表结点
	 * 给定链表的头指针和一个结点指针(!!)，在O(1)时间删除该结点
	 * 
	 * Assume the list is:
	 * head->...->nodeToDelete->mNode->nNode->..
                                
                                
nginx利用proxy_cache来缓存文件
                                    cfyme
cache
                                    
user  zhangy users;
worker_processes 10;
error_log  /var/vlogs/nginx_error.log  crit;
pid        /var/vlogs/nginx.pid;
#Specifies the value for ma
                                
                                
[JWFD开源工作流]JWFD嵌入式语法分析器负号的使用问题
                                    comsci
嵌入式
                                    
 
    假如我们需要用JWFD的语法分析模块定义一个带负号的方程式，直接在方程式之前添加负号是不正确的，而必须这样做： 
 
    string str01 = "a=3.14;b=2.71;c=0;c-((a*a)+(b*b))" 
 
    定义一个0整数c,然后用这个整数c去
                                
                                
如何集成支付宝官方文档
                                    dai_lm
android
                                    
官方文档下载地址 
 
https://b.alipay.com/order/productDetail.htm?productId=2012120700377310&tabId=4#ps-tabinfo-hash 
 
集成的必要条件 
1. 需要有自己的Server接收支付宝的消息 
2. 需要先制作app，然后提交支付宝审核，通过后才能集成 
 
调试的时候估计会真的扣款，请注意 

                                
                                
应该在什么时候使用Hadoop
                                    datamachine
hadoop
                                    
原帖地址：http://blog.chinaunix.net/uid-301743-id-3925358.html 
 
存档，某些观点与我不谋而合，过度技术化不可取，且hadoop并非万能。 
 
--------------------------------------------万能的分割线-------------------------------- 
有人问我，“你在大数据和Hado
                                
                                
在GridView中对于有外键的字段使用关联模型进行搜索和排序
                                    dcj3sjt126com
yii
                                    
在GridView中使用关联模型进行搜索和排序 
首先我们有两个模型它们直接有关联:   
class Author extends CActiveRecord {
...
}
 
class Post extends CActiveRecord {
...
    function relations() {
        return array(
            '
                                
                                
使用NSString 的格式化大全
                                    dcj3sjt126com
Objective-C
                                    
格式定义The format specifiers supported by the NSString formatting methods and CFString formatting functions follow the IEEE printf specification; the specifiers are summarized in Table 1. Note that you c
                                
                                
使用activeX插件对象object滚动有重影
                                    蕃薯耀
activeX插件滚动有重影
                                    
    
使用activeX插件对象object滚动有重影       <object style="width:0;" id="abc" classid="CLSID:D3E3970F-2927-9680-BBB4-5D0889909DF6" codebase="activex/OAX339.CAB#
                                
                                
SpringMVC4零配置
                                    hanqunfeng
springmvc4
                                    
基于Servlet3.0规范和SpringMVC4注解式配置方式，实现零xml配置，弄了个小demo，供交流讨论。 
  
  
项目说明如下： 
1.db.sql是项目中用到的表，数据库使用的是oracle11g 
2.该项目使用mvn进行管理，私服为自搭建nexus,项目只用到一个第三方 jar，就是oracle的驱动； 
3.默认项目为零配置启动，如果需要更改启动方式，请
                                
                                
《开源框架那点事儿16》：缓存相关代码的演变
                                    j2eetop
开源框架
                                    
问题引入 
上次我参与某个大型项目的优化工作，由于系统要求有比较高的TPS，因此就免不了要使用缓冲。 
该项目中用的缓冲比较多，有MemCache，有Redis，有的还需要提供二级缓冲，也就是说应用服务器这层也可以设置一些缓冲。 
当然去看相关实现代代码的时候，大致是下面的样子。    
[java] 
view plain 
copy 
print 
?   
 
 public vo
                                
                                
AngularJS浅析
                                    kvhur
JavaScript
                                    
概念 
 
 AngularJS is a structural framework for dynamic web apps. 
 了解更多详情请见原文链接：http://www.gbtags.com/gb/share/5726.htm 
 Directive 
扩展html，给html添加声明语句，以便实现自己的需求。对于页面中html元素以ng为前缀的属性名称，ng是angular的命名空间
                                
                                
架构师之jdk的bug排查(一)---------------split的点号陷阱
                                    nannan408
split
                                    
1.前言. 
   jdk1.6的lang包的split方法是有bug的,它不能有效识别A.b.c这种类型,导致截取长度始终是0.而对于其他字符,则无此问题.不知道官方有没有修复这个bug. 
2.代码 
 

String[] paths = "object.object2.prop11".split("'");
System.ou
                                
                                
如何对10亿数据量级的mongoDB作高效的全表扫描
                                    quentinXXZ
mongodb
                                    
  本文链接: 
http://quentinXXZ.iteye.com/blog/2149440  
一、正常情况下，不应该有这种需求 
首先，大家应该有个概念，标题中的这个问题，在大多情况下是一个伪命题，不应该被提出来。要知道，对于一般较大数据量的数据库，全表查询，这种操作一般情况下是不应该出现的，在做正常查询的时候，如果是范围查询，你至少应该要加上limit。 
说一下，
                                
                                
C语言算法之水仙花数
                                    qiufeihu
c算法
                                    
/**
* 水仙花数
*/
#include <stdio.h>
#define N 10
int main()
{
    int x,y,z;
    for(x=1;x<=N;x++)
    	for(y=0;y<=N;y++)
    		for(z=0;z<=N;z++)
    			if(x*100+y*10+z == x*x*x
                                
                                
JSP指令
                                    wyzuomumu
jsp
                                    
 
 jsp指令的一般语法格式： <%@ 指令名 属性 =”值 ” %> 
  常用的三种指令： page,include,taglib 
 page指令语法形式： <%@ page 属性 1=”值 1” 属性 2=”值 2”%> 
 include指令语法形式： <%@include file=”relative url”%> (jsp可以通过 include
                                
                
            
        
    


    

        

            按字母分类：
            ABCDEFGHIJKLMNOPQRSTUVWXYZ其他
        
    


    

        

            首页 -
            关于我们 -
            站内搜索 -
            Sitemap -
            侵权投诉
        
        
版权所有 IT知识库 CopyRight © 2000-2050 E-COM-NET.COM , All Rights Reserved.