yusong2008
yusong2008

nutch1.3与solr3.4集成部署在eclipse上之——运行的输出日志

nutch1.3与solr3.4集成部署在eclipse上成功


在eclipse上运行参数是：

crawl urls -solr http://localhost:8080/l-nutch-solr -depth 3 -topN 10


运行时输出日志：

crawl started in: crawl-20111107123624
rootUrlDir = urls
threads = 10
depth = 3
solrUrl=http://localhost:8080/solr/
topN = 10
Injector: starting at 2011-11-07 12:36:25
Injector: crawlDb: crawl-20111107123624/crawldb
Injector: urlDir: urls
Injector: Converting injected urls to crawl db entries.
Injector: Merging injected urls into crawl db.
Injector: finished at 2011-11-07 12:36:30, elapsed: 00:00:05
Generator: starting at 2011-11-07 12:36:30
Generator: Selecting best-scoring urls due for fetch.
Generator: filtering: true
Generator: normalizing: true
Generator: topN: 10
Generator: jobtracker is 'local', generating exactly one partition.
Generator: Partitioning selected urls for politeness.
Generator: segment: crawl-20111107123624/segments/20111107123633
Generator: finished at 2011-11-07 12:36:35, elapsed: 00:00:04
Fetcher: Your 'http.agent.name' value should be listed first in 'http.robots.agents' property.
Fetcher: starting at 2011-11-07 12:36:35
Fetcher: segment: crawl-20111107123624/segments/20111107123633
Fetcher: threads: 10
QueueFeeder finished: total 1 records + hit by time limit :0
fetching http://www.amazon.cn/
-finishing thread FetcherThread, activeThreads=7
-finishing thread FetcherThread, activeThreads=7
-finishing thread FetcherThread, activeThreads=7
-finishing thread FetcherThread, activeThreads=6
-finishing thread FetcherThread, activeThreads=5
-finishing thread FetcherThread, activeThreads=4
-finishing thread FetcherThread, activeThreads=3
-finishing thread FetcherThread, activeThreads=1
-finishing thread FetcherThread, activeThreads=2
-activeThreads=1, spinWaiting=0, fetchQueues.totalSize=0
-finishing thread FetcherThread, activeThreads=0
-activeThreads=0, spinWaiting=0, fetchQueues.totalSize=0
-activeThreads=0
Fetcher: finished at 2011-11-07 12:36:39, elapsed: 00:00:04
ParseSegment: starting at 2011-11-07 12:36:39
ParseSegment: segment: crawl-20111107123624/segments/20111107123633
ParseSegment: finished at 2011-11-07 12:36:42, elapsed: 00:00:02
CrawlDb update: starting at 2011-11-07 12:36:42
CrawlDb update: db: crawl-20111107123624/crawldb
CrawlDb update: segments: [crawl-20111107123624/segments/20111107123633]
CrawlDb update: additions allowed: true
CrawlDb update: URL normalizing: true
CrawlDb update: URL filtering: true
CrawlDb update: Merging segment data into db.
CrawlDb update: finished at 2011-11-07 12:36:44, elapsed: 00:00:01
Generator: starting at 2011-11-07 12:36:44
Generator: Selecting best-scoring urls due for fetch.
Generator: filtering: true
Generator: normalizing: true
Generator: topN: 10
Generator: jobtracker is 'local', generating exactly one partition.
Generator: Partitioning selected urls for politeness.
Generator: segment: crawl-20111107123624/segments/20111107123646
Generator: finished at 2011-11-07 12:36:48, elapsed: 00:00:04
Fetcher: Your 'http.agent.name' value should be listed first in 'http.robots.agents' property.
Fetcher: starting at 2011-11-07 12:36:48
Fetcher: segment: crawl-20111107123624/segments/20111107123646
Fetcher: threads: 10
QueueFeeder finished: total 10 records + hit by time limit :0
fetching http://www.amazon.cn/%E4%B8%89%E6%98%9FS5838-3G%E6%89%8B%E6%9C%BA/dp/B005KP4AFG?_encoding=UTF8&s=electronics
-activeThreads=10, spinWaiting=10, fetchQueues.totalSize=9
-activeThreads=10, spinWaiting=10, fetchQueues.totalSize=9
-activeThreads=10, spinWaiting=10, fetchQueues.totalSize=9
-activeThreads=10, spinWaiting=10, fetchQueues.totalSize=9
-activeThreads=10, spinWaiting=10, fetchQueues.totalSize=9
fetching http://www.amazon.cn/Lenovo-%E8%81%94%E6%83%B3-Lepad-A1%E5%B9%B3%E6%9D%BF%E7%94%B5%E8%84%91/dp/B005OPL41A?_encoding=UTF8&s=electronics
-activeThreads=10, spinWaiting=10, fetchQueues.totalSize=8
-activeThreads=10, spinWaiting=10, fetchQueues.totalSize=8
-activeThreads=10, spinWaiting=10, fetchQueues.totalSize=8
-activeThreads=10, spinWaiting=10, fetchQueues.totalSize=8
-activeThreads=10, spinWaiting=10, fetchQueues.totalSize=8
fetching http://www.amazon.cn/b?ie=UTF8&node=79553071
-activeThreads=10, spinWaiting=9, fetchQueues.totalSize=7
-activeThreads=10, spinWaiting=9, fetchQueues.totalSize=7
-activeThreads=10, spinWaiting=9, fetchQueues.totalSize=7
-activeThreads=10, spinWaiting=10, fetchQueues.totalSize=7
-activeThreads=10, spinWaiting=10, fetchQueues.totalSize=7
-activeThreads=10, spinWaiting=10, fetchQueues.totalSize=7
-activeThreads=10, spinWaiting=10, fetchQueues.totalSize=7
-activeThreads=10, spinWaiting=10, fetchQueues.totalSize=7
fetching http://www.amazon.cn/%E5%B0%8F%E5%AE%B6%E7%94%B5/b?ie=UTF8&node=814224051
-activeThreads=10, spinWaiting=9, fetchQueues.totalSize=6
-activeThreads=10, spinWaiting=10, fetchQueues.totalSize=6
-activeThreads=10, spinWaiting=10, fetchQueues.totalSize=6
-activeThreads=10, spinWaiting=10, fetchQueues.totalSize=6
-activeThreads=10, spinWaiting=10, fetchQueues.totalSize=6
-activeThreads=10, spinWaiting=10, fetchQueues.totalSize=6
fetching http://www.amazon.cn/Lenovo-%E8%81%94%E6%83%B3-IdeaPad-Y470N-%E7%AC%94%E8%AE%B0%E6%9C%AC%E7%94%B5%E8%84%91/dp/B005LT2VIE?_encoding=UTF8&s=electronics
-activeThreads=10, spinWaiting=10, fetchQueues.totalSize=5
-activeThreads=10, spinWaiting=10, fetchQueues.totalSize=5
-activeThreads=10, spinWaiting=10, fetchQueues.totalSize=5
-activeThreads=10, spinWaiting=10, fetchQueues.totalSize=5
-activeThreads=10, spinWaiting=10, fetchQueues.totalSize=5
fetching http://www.amazon.cn/ThinkPad-E40-0579-A22-14-0%E8%8B%B1%E5%AF%B8%E7%AC%94%E8%AE%B0%E6%9C%AC%E7%94%B5%E8%84%91-%E9%80%81%E5%8E%9F%E8%A3%85%E5%8C%85/dp/B005LFRMVY?_encoding=UTF8&s=electronics
-activeThreads=10, spinWaiting=10, fetchQueues.totalSize=4
* queue: http://www.amazon.cn
  maxThreads    = 1
  inProgress    = 0
  crawlDelay    = 5000
  minCrawlDelay = 0
  nextFetchTime = 1320640644496
  now           = 1320640639907
  0. http://www.amazon.cn/%E5%A4%A7%E5%AE%B6%E7%94%B5/b?ie=UTF8&node=80207071
  1. http://www.amazon.cn/Lenovo-%E8%81%94%E6%83%B3-Lepad-A1%E5%B9%B3%E6%9D%BF%E7%94%B5%E8%84%91/dp/B005PSMVOK?_encoding=UTF8&s=electronics
  2. http://www.amazon.cn/Lenovo-%E8%81%94%E6%83%B3-Lepad-A1%E5%B9%B3%E6%9D%BF%E7%94%B5%E8%84%91/dp/B005PSMV54?_encoding=UTF8&s=electronics
  3. http://www.amazon.cn/%E7%94%B5%E8%A7%86-%E9%9F%B3%E5%93%8D/b?ie=UTF8&node=874259051
-activeThreads=10, spinWaiting=9, fetchQueues.totalSize=4
* queue: http://www.amazon.cn
  maxThreads    = 1
  inProgress    = 0
  crawlDelay    = 5000
  minCrawlDelay = 0
  nextFetchTime = 1320640644496
  now           = 1320640640909
  0. http://www.amazon.cn/%E5%A4%A7%E5%AE%B6%E7%94%B5/b?ie=UTF8&node=80207071
  1. http://www.amazon.cn/Lenovo-%E8%81%94%E6%83%B3-Lepad-A1%E5%B9%B3%E6%9D%BF%E7%94%B5%E8%84%91/dp/B005PSMVOK?_encoding=UTF8&s=electronics
  2. http://www.amazon.cn/Lenovo-%E8%81%94%E6%83%B3-Lepad-A1%E5%B9%B3%E6%9D%BF%E7%94%B5%E8%84%91/dp/B005PSMV54?_encoding=UTF8&s=electronics
  3. http://www.amazon.cn/%E7%94%B5%E8%A7%86-%E9%9F%B3%E5%93%8D/b?ie=UTF8&node=874259051
-activeThreads=10, spinWaiting=10, fetchQueues.totalSize=4
* queue: http://www.amazon.cn
  maxThreads    = 1
  inProgress    = 0
  crawlDelay    = 5000
  minCrawlDelay = 0
  nextFetchTime = 1320640644496
  now           = 1320640641910
  0. http://www.amazon.cn/%E5%A4%A7%E5%AE%B6%E7%94%B5/b?ie=UTF8&node=80207071
  1. http://www.amazon.cn/Lenovo-%E8%81%94%E6%83%B3-Lepad-A1%E5%B9%B3%E6%9D%BF%E7%94%B5%E8%84%91/dp/B005PSMVOK?_encoding=UTF8&s=electronics
  2. http://www.amazon.cn/Lenovo-%E8%81%94%E6%83%B3-Lepad-A1%E5%B9%B3%E6%9D%BF%E7%94%B5%E8%84%91/dp/B005PSMV54?_encoding=UTF8&s=electronics
  3. http://www.amazon.cn/%E7%94%B5%E8%A7%86-%E9%9F%B3%E5%93%8D/b?ie=UTF8&node=874259051
-activeThreads=10, spinWaiting=10, fetchQueues.totalSize=4
* queue: http://www.amazon.cn
  maxThreads    = 1
  inProgress    = 0
  crawlDelay    = 5000
  minCrawlDelay = 0
  nextFetchTime = 1320640644496
  now           = 1320640642911
  0. http://www.amazon.cn/%E5%A4%A7%E5%AE%B6%E7%94%B5/b?ie=UTF8&node=80207071
  1. http://www.amazon.cn/Lenovo-%E8%81%94%E6%83%B3-Lepad-A1%E5%B9%B3%E6%9D%BF%E7%94%B5%E8%84%91/dp/B005PSMVOK?_encoding=UTF8&s=electronics
  2. http://www.amazon.cn/Lenovo-%E8%81%94%E6%83%B3-Lepad-A1%E5%B9%B3%E6%9D%BF%E7%94%B5%E8%84%91/dp/B005PSMV54?_encoding=UTF8&s=electronics
  3. http://www.amazon.cn/%E7%94%B5%E8%A7%86-%E9%9F%B3%E5%93%8D/b?ie=UTF8&node=874259051
-activeThreads=10, spinWaiting=10, fetchQueues.totalSize=4
* queue: http://www.amazon.cn
  maxThreads    = 1
  inProgress    = 0
  crawlDelay    = 5000
  minCrawlDelay = 0
  nextFetchTime = 1320640644496
  now           = 1320640643912
  0. http://www.amazon.cn/%E5%A4%A7%E5%AE%B6%E7%94%B5/b?ie=UTF8&node=80207071
  1. http://www.amazon.cn/Lenovo-%E8%81%94%E6%83%B3-Lepad-A1%E5%B9%B3%E6%9D%BF%E7%94%B5%E8%84%91/dp/B005PSMVOK?_encoding=UTF8&s=electronics
  2. http://www.amazon.cn/Lenovo-%E8%81%94%E6%83%B3-Lepad-A1%E5%B9%B3%E6%9D%BF%E7%94%B5%E8%84%91/dp/B005PSMV54?_encoding=UTF8&s=electronics
  3. http://www.amazon.cn/%E7%94%B5%E8%A7%86-%E9%9F%B3%E5%93%8D/b?ie=UTF8&node=874259051
fetching http://www.amazon.cn/%E5%A4%A7%E5%AE%B6%E7%94%B5/b?ie=UTF8&node=80207071
-activeThreads=10, spinWaiting=9, fetchQueues.totalSize=3
* queue: http://www.amazon.cn
  maxThreads    = 1
  inProgress    = 1
  crawlDelay    = 5000
  minCrawlDelay = 0
  nextFetchTime = 1320640644496
  now           = 1320640644913
  0. http://www.amazon.cn/Lenovo-%E8%81%94%E6%83%B3-Lepad-A1%E5%B9%B3%E6%9D%BF%E7%94%B5%E8%84%91/dp/B005PSMVOK?_encoding=UTF8&s=electronics
  1. http://www.amazon.cn/Lenovo-%E8%81%94%E6%83%B3-Lepad-A1%E5%B9%B3%E6%9D%BF%E7%94%B5%E8%84%91/dp/B005PSMV54?_encoding=UTF8&s=electronics
  2. http://www.amazon.cn/%E7%94%B5%E8%A7%86-%E9%9F%B3%E5%93%8D/b?ie=UTF8&node=874259051
-activeThreads=10, spinWaiting=10, fetchQueues.totalSize=3
* queue: http://www.amazon.cn
  maxThreads    = 1
  inProgress    = 0
  crawlDelay    = 5000
  minCrawlDelay = 0
  nextFetchTime = 1320640650546
  now           = 1320640645914
  0. http://www.amazon.cn/Lenovo-%E8%81%94%E6%83%B3-Lepad-A1%E5%B9%B3%E6%9D%BF%E7%94%B5%E8%84%91/dp/B005PSMVOK?_encoding=UTF8&s=electronics
  1. http://www.amazon.cn/Lenovo-%E8%81%94%E6%83%B3-Lepad-A1%E5%B9%B3%E6%9D%BF%E7%94%B5%E8%84%91/dp/B005PSMV54?_encoding=UTF8&s=electronics
  2. http://www.amazon.cn/%E7%94%B5%E8%A7%86-%E9%9F%B3%E5%93%8D/b?ie=UTF8&node=874259051
-activeThreads=10, spinWaiting=10, fetchQueues.totalSize=3
* queue: http://www.amazon.cn
  maxThreads    = 1
  inProgress    = 0
  crawlDelay    = 5000
  minCrawlDelay = 0
  nextFetchTime = 1320640650546
  now           = 1320640646915
  0. http://www.amazon.cn/Lenovo-%E8%81%94%E6%83%B3-Lepad-A1%E5%B9%B3%E6%9D%BF%E7%94%B5%E8%84%91/dp/B005PSMVOK?_encoding=UTF8&s=electronics
  1. http://www.amazon.cn/Lenovo-%E8%81%94%E6%83%B3-Lepad-A1%E5%B9%B3%E6%9D%BF%E7%94%B5%E8%84%91/dp/B005PSMV54?_encoding=UTF8&s=electronics
  2. http://www.amazon.cn/%E7%94%B5%E8%A7%86-%E9%9F%B3%E5%93%8D/b?ie=UTF8&node=874259051
-activeThreads=10, spinWaiting=10, fetchQueues.totalSize=3
* queue: http://www.amazon.cn
  maxThreads    = 1
  inProgress    = 0
  crawlDelay    = 5000
  minCrawlDelay = 0
  nextFetchTime = 1320640650546
  now           = 1320640647916
  0. http://www.amazon.cn/Lenovo-%E8%81%94%E6%83%B3-Lepad-A1%E5%B9%B3%E6%9D%BF%E7%94%B5%E8%84%91/dp/B005PSMVOK?_encoding=UTF8&s=electronics
  1. http://www.amazon.cn/Lenovo-%E8%81%94%E6%83%B3-Lepad-A1%E5%B9%B3%E6%9D%BF%E7%94%B5%E8%84%91/dp/B005PSMV54?_encoding=UTF8&s=electronics
  2. http://www.amazon.cn/%E7%94%B5%E8%A7%86-%E9%9F%B3%E5%93%8D/b?ie=UTF8&node=874259051
-activeThreads=10, spinWaiting=10, fetchQueues.totalSize=3
* queue: http://www.amazon.cn
  maxThreads    = 1
  inProgress    = 0
  crawlDelay    = 5000
  minCrawlDelay = 0
  nextFetchTime = 1320640650546
  now           = 1320640648918
  0. http://www.amazon.cn/Lenovo-%E8%81%94%E6%83%B3-Lepad-A1%E5%B9%B3%E6%9D%BF%E7%94%B5%E8%84%91/dp/B005PSMVOK?_encoding=UTF8&s=electronics
  1. http://www.amazon.cn/Lenovo-%E8%81%94%E6%83%B3-Lepad-A1%E5%B9%B3%E6%9D%BF%E7%94%B5%E8%84%91/dp/B005PSMV54?_encoding=UTF8&s=electronics
  2. http://www.amazon.cn/%E7%94%B5%E8%A7%86-%E9%9F%B3%E5%93%8D/b?ie=UTF8&node=874259051
-activeThreads=10, spinWaiting=10, fetchQueues.totalSize=3
* queue: http://www.amazon.cn
  maxThreads    = 1
  inProgress    = 0
  crawlDelay    = 5000
  minCrawlDelay = 0
  nextFetchTime = 1320640650546
  now           = 1320640649919
  0. http://www.amazon.cn/Lenovo-%E8%81%94%E6%83%B3-Lepad-A1%E5%B9%B3%E6%9D%BF%E7%94%B5%E8%84%91/dp/B005PSMVOK?_encoding=UTF8&s=electronics
  1. http://www.amazon.cn/Lenovo-%E8%81%94%E6%83%B3-Lepad-A1%E5%B9%B3%E6%9D%BF%E7%94%B5%E8%84%91/dp/B005PSMV54?_encoding=UTF8&s=electronics
  2. http://www.amazon.cn/%E7%94%B5%E8%A7%86-%E9%9F%B3%E5%93%8D/b?ie=UTF8&node=874259051
fetching http://www.amazon.cn/Lenovo-%E8%81%94%E6%83%B3-Lepad-A1%E5%B9%B3%E6%9D%BF%E7%94%B5%E8%84%91/dp/B005PSMVOK?_encoding=UTF8&s=electronics
-activeThreads=10, spinWaiting=10, fetchQueues.totalSize=2
* queue: http://www.amazon.cn
  maxThreads    = 1
  inProgress    = 0
  crawlDelay    = 5000
  minCrawlDelay = 0
  nextFetchTime = 1320640655698
  now           = 1320640650919
  0. http://www.amazon.cn/Lenovo-%E8%81%94%E6%83%B3-Lepad-A1%E5%B9%B3%E6%9D%BF%E7%94%B5%E8%84%91/dp/B005PSMV54?_encoding=UTF8&s=electronics
  1. http://www.amazon.cn/%E7%94%B5%E8%A7%86-%E9%9F%B3%E5%93%8D/b?ie=UTF8&node=874259051
-activeThreads=10, spinWaiting=10, fetchQueues.totalSize=2
* queue: http://www.amazon.cn
  maxThreads    = 1
  inProgress    = 0
  crawlDelay    = 5000
  minCrawlDelay = 0
  nextFetchTime = 1320640655698
  now           = 1320640651921
  0. http://www.amazon.cn/Lenovo-%E8%81%94%E6%83%B3-Lepad-A1%E5%B9%B3%E6%9D%BF%E7%94%B5%E8%84%91/dp/B005PSMV54?_encoding=UTF8&s=electronics
  1. http://www.amazon.cn/%E7%94%B5%E8%A7%86-%E9%9F%B3%E5%93%8D/b?ie=UTF8&node=874259051
-activeThreads=10, spinWaiting=10, fetchQueues.totalSize=2
* queue: http://www.amazon.cn
  maxThreads    = 1
  inProgress    = 0
  crawlDelay    = 5000
  minCrawlDelay = 0
  nextFetchTime = 1320640655698
  now           = 1320640652923
  0. http://www.amazon.cn/Lenovo-%E8%81%94%E6%83%B3-Lepad-A1%E5%B9%B3%E6%9D%BF%E7%94%B5%E8%84%91/dp/B005PSMV54?_encoding=UTF8&s=electronics
  1. http://www.amazon.cn/%E7%94%B5%E8%A7%86-%E9%9F%B3%E5%93%8D/b?ie=UTF8&node=874259051
-activeThreads=10, spinWaiting=10, fetchQueues.totalSize=2
* queue: http://www.amazon.cn
  maxThreads    = 1
  inProgress    = 0
  crawlDelay    = 5000
  minCrawlDelay = 0
  nextFetchTime = 1320640655698
  now           = 1320640653924
  0. http://www.amazon.cn/Lenovo-%E8%81%94%E6%83%B3-Lepad-A1%E5%B9%B3%E6%9D%BF%E7%94%B5%E8%84%91/dp/B005PSMV54?_encoding=UTF8&s=electronics
  1. http://www.amazon.cn/%E7%94%B5%E8%A7%86-%E9%9F%B3%E5%93%8D/b?ie=UTF8&node=874259051
-activeThreads=10, spinWaiting=10, fetchQueues.totalSize=2
* queue: http://www.amazon.cn
  maxThreads    = 1
  inProgress    = 0
  crawlDelay    = 5000
  minCrawlDelay = 0
  nextFetchTime = 1320640655698
  now           = 1320640654925
  0. http://www.amazon.cn/Lenovo-%E8%81%94%E6%83%B3-Lepad-A1%E5%B9%B3%E6%9D%BF%E7%94%B5%E8%84%91/dp/B005PSMV54?_encoding=UTF8&s=electronics
  1. http://www.amazon.cn/%E7%94%B5%E8%A7%86-%E9%9F%B3%E5%93%8D/b?ie=UTF8&node=874259051
fetching http://www.amazon.cn/Lenovo-%E8%81%94%E6%83%B3-Lepad-A1%E5%B9%B3%E6%9D%BF%E7%94%B5%E8%84%91/dp/B005PSMV54?_encoding=UTF8&s=electronics
-activeThreads=10, spinWaiting=10, fetchQueues.totalSize=1
* queue: http://www.amazon.cn
  maxThreads    = 1
  inProgress    = 0
  crawlDelay    = 5000
  minCrawlDelay = 0
  nextFetchTime = 1320640660855
  now           = 1320640655926
  0. http://www.amazon.cn/%E7%94%B5%E8%A7%86-%E9%9F%B3%E5%93%8D/b?ie=UTF8&node=874259051
-activeThreads=10, spinWaiting=10, fetchQueues.totalSize=1
* queue: http://www.amazon.cn
  maxThreads    = 1
  inProgress    = 0
  crawlDelay    = 5000
  minCrawlDelay = 0
  nextFetchTime = 1320640660855
  now           = 1320640656927
  0. http://www.amazon.cn/%E7%94%B5%E8%A7%86-%E9%9F%B3%E5%93%8D/b?ie=UTF8&node=874259051
-activeThreads=10, spinWaiting=10, fetchQueues.totalSize=1
* queue: http://www.amazon.cn
  maxThreads    = 1
  inProgress    = 0
  crawlDelay    = 5000
  minCrawlDelay = 0
  nextFetchTime = 1320640660855
  now           = 1320640657928
  0. http://www.amazon.cn/%E7%94%B5%E8%A7%86-%E9%9F%B3%E5%93%8D/b?ie=UTF8&node=874259051
-activeThreads=10, spinWaiting=10, fetchQueues.totalSize=1
* queue: http://www.amazon.cn
  maxThreads    = 1
  inProgress    = 0
  crawlDelay    = 5000
  minCrawlDelay = 0
  nextFetchTime = 1320640660855
  now           = 1320640658929
  0. http://www.amazon.cn/%E7%94%B5%E8%A7%86-%E9%9F%B3%E5%93%8D/b?ie=UTF8&node=874259051
-activeThreads=10, spinWaiting=10, fetchQueues.totalSize=1
* queue: http://www.amazon.cn
  maxThreads    = 1
  inProgress    = 0
  crawlDelay    = 5000
  minCrawlDelay = 0
  nextFetchTime = 1320640660855
  now           = 1320640659930
  0. http://www.amazon.cn/%E7%94%B5%E8%A7%86-%E9%9F%B3%E5%93%8D/b?ie=UTF8&node=874259051
fetching http://www.amazon.cn/%E7%94%B5%E8%A7%86-%E9%9F%B3%E5%93%8D/b?ie=UTF8&node=874259051
-finishing thread FetcherThread, activeThreads=9
-finishing thread FetcherThread, activeThreads=8
-finishing thread FetcherThread, activeThreads=7
-finishing thread FetcherThread, activeThreads=6
-finishing thread FetcherThread, activeThreads=5
-finishing thread FetcherThread, activeThreads=4
-finishing thread FetcherThread, activeThreads=3
-finishing thread FetcherThread, activeThreads=2
-finishing thread FetcherThread, activeThreads=1
-activeThreads=1, spinWaiting=0, fetchQueues.totalSize=0
-activeThreads=1, spinWaiting=0, fetchQueues.totalSize=0
-finishing thread FetcherThread, activeThreads=0
-activeThreads=0, spinWaiting=0, fetchQueues.totalSize=0
-activeThreads=0
Fetcher: finished at 2011-11-07 12:37:43, elapsed: 00:00:55
ParseSegment: starting at 2011-11-07 12:37:43
ParseSegment: segment: crawl-20111107123624/segments/20111107123646
ParseSegment: finished at 2011-11-07 12:37:45, elapsed: 00:00:01
CrawlDb update: starting at 2011-11-07 12:37:45
CrawlDb update: db: crawl-20111107123624/crawldb
CrawlDb update: segments: [crawl-20111107123624/segments/20111107123646]
CrawlDb update: additions allowed: true
CrawlDb update: URL normalizing: true
CrawlDb update: URL filtering: true
CrawlDb update: Merging segment data into db.
CrawlDb update: finished at 2011-11-07 12:37:47, elapsed: 00:00:01
Generator: starting at 2011-11-07 12:37:47
Generator: Selecting best-scoring urls due for fetch.
Generator: filtering: true
Generator: normalizing: true
Generator: topN: 10
Generator: jobtracker is 'local', generating exactly one partition.
Generator: Partitioning selected urls for politeness.
Generator: segment: crawl-20111107123624/segments/20111107123749
Generator: finished at 2011-11-07 12:37:51, elapsed: 00:00:04
Fetcher: Your 'http.agent.name' value should be listed first in 'http.robots.agents' property.
Fetcher: starting at 2011-11-07 12:37:51
Fetcher: segment: crawl-20111107123624/segments/20111107123749
Fetcher: threads: 10
QueueFeeder finished: total 10 records + hit by time limit :0
fetching http://www.amazon.cn/%E8%81%94%E6%83%B3-P90W-WCDMA-%E6%95%B0%E5%AD%97%E7%A7%BB%E5%8A%A8%E7%94%B5%E8%AF%9D%E6%9C%BA-THINK%E9%BB%91/dp/B005GZ0I5G?_encoding=UTF8&s=electronics
fetching http://g-ec4.images-amazon.com/images/G/28/x-locale/common/transparent-pixel._V192562247_.gif
-activeThreads=10, spinWaiting=8, fetchQueues.totalSize=8
-activeThreads=10, spinWaiting=9, fetchQueues.totalSize=8
-activeThreads=10, spinWaiting=10, fetchQueues.totalSize=8
-activeThreads=10, spinWaiting=10, fetchQueues.totalSize=8
-activeThreads=10, spinWaiting=10, fetchQueues.totalSize=8
fetching http://www.amazon.cn/%E8%81%94%E6%83%B3-P90W-WCDMA-%E6%95%B0%E5%AD%97%E7%A7%BB%E5%8A%A8%E7%94%B5%E8%AF%9D%E6%9C%BA-%E7%84%89%E7%B2%89/dp/B005GZ0IC4?_encoding=UTF8&s=electronics
-activeThreads=10, spinWaiting=10, fetchQueues.totalSize=7
-activeThreads=10, spinWaiting=10, fetchQueues.totalSize=7
-activeThreads=10, spinWaiting=10, fetchQueues.totalSize=7
-activeThreads=10, spinWaiting=10, fetchQueues.totalSize=7
-activeThreads=10, spinWaiting=10, fetchQueues.totalSize=7
fetching http://www.amazon.cn/gp/yourstore/home
fetching http://www.amazon.cn/gp/css/homepage.html
fetching http://www.amazon.cn/%E6%89%8B%E8%A1%A8-%E6%97%B6%E9%92%9F/b?ie=UTF8&node=1953164051
-activeThreads=10, spinWaiting=8, fetchQueues.totalSize=4
* queue: http://www.amazon.cn
  maxThreads    = 1
  inProgress    = 1
  crawlDelay    = 5000
  minCrawlDelay = 0
  nextFetchTime = 1320640683363
  now           = 1320640684037
  0. http://www.amazon.cn/gp/registry/wishlist
  1. http://www.amazon.cn/Lenovo-%E8%81%94%E6%83%B3-A60-WCDMA-GSM-3G%E6%89%8B%E6%9C%BA/dp/B005GZ0IZG?_encoding=UTF8&s=electronics
  2. http://www.amazon.cn/%E8%AF%BA%E5%9F%BA%E4%BA%9AN9-%E5%85%A8%E8%A7%A6%E5%B1%8F3G%E6%99%BA%E8%83%BD%E6%89%8B%E6%9C%BA-%E5%85%A8%E6%96%B0MEEGO%E6%93%8D%E4%BD%9C%E7%B3%BB%E7%BB%9F/dp/B005MWLXU2?_encoding=UTF8&s=electronics
  3. http://www.amazon.cn/gp/help/customer/display.html
-activeThreads=10, spinWaiting=10, fetchQueues.totalSize=4
* queue: http://www.amazon.cn
  maxThreads    = 1
  inProgress    = 0
  crawlDelay    = 5000
  minCrawlDelay = 0
  nextFetchTime = 1320640689186
  now           = 1320640685037
  0. http://www.amazon.cn/gp/registry/wishlist
  1. http://www.amazon.cn/Lenovo-%E8%81%94%E6%83%B3-A60-WCDMA-GSM-3G%E6%89%8B%E6%9C%BA/dp/B005GZ0IZG?_encoding=UTF8&s=electronics
  2. http://www.amazon.cn/%E8%AF%BA%E5%9F%BA%E4%BA%9AN9-%E5%85%A8%E8%A7%A6%E5%B1%8F3G%E6%99%BA%E8%83%BD%E6%89%8B%E6%9C%BA-%E5%85%A8%E6%96%B0MEEGO%E6%93%8D%E4%BD%9C%E7%B3%BB%E7%BB%9F/dp/B005MWLXU2?_encoding=UTF8&s=electronics
  3. http://www.amazon.cn/gp/help/customer/display.html
-activeThreads=10, spinWaiting=10, fetchQueues.totalSize=4
* queue: http://www.amazon.cn
  maxThreads    = 1
  inProgress    = 0
  crawlDelay    = 5000
  minCrawlDelay = 0
  nextFetchTime = 1320640689186
  now           = 1320640686039
  0. http://www.amazon.cn/gp/registry/wishlist
  1. http://www.amazon.cn/Lenovo-%E8%81%94%E6%83%B3-A60-WCDMA-GSM-3G%E6%89%8B%E6%9C%BA/dp/B005GZ0IZG?_encoding=UTF8&s=electronics
  2. http://www.amazon.cn/%E8%AF%BA%E5%9F%BA%E4%BA%9AN9-%E5%85%A8%E8%A7%A6%E5%B1%8F3G%E6%99%BA%E8%83%BD%E6%89%8B%E6%9C%BA-%E5%85%A8%E6%96%B0MEEGO%E6%93%8D%E4%BD%9C%E7%B3%BB%E7%BB%9F/dp/B005MWLXU2?_encoding=UTF8&s=electronics
  3. http://www.amazon.cn/gp/help/customer/display.html
-activeThreads=10, spinWaiting=10, fetchQueues.totalSize=4
* queue: http://www.amazon.cn
  maxThreads    = 1
  inProgress    = 0
  crawlDelay    = 5000
  minCrawlDelay = 0
  nextFetchTime = 1320640689186
  now           = 1320640687043
  0. http://www.amazon.cn/gp/registry/wishlist
  1. http://www.amazon.cn/Lenovo-%E8%81%94%E6%83%B3-A60-WCDMA-GSM-3G%E6%89%8B%E6%9C%BA/dp/B005GZ0IZG?_encoding=UTF8&s=electronics
  2. http://www.amazon.cn/%E8%AF%BA%E5%9F%BA%E4%BA%9AN9-%E5%85%A8%E8%A7%A6%E5%B1%8F3G%E6%99%BA%E8%83%BD%E6%89%8B%E6%9C%BA-%E5%85%A8%E6%96%B0MEEGO%E6%93%8D%E4%BD%9C%E7%B3%BB%E7%BB%9F/dp/B005MWLXU2?_encoding=UTF8&s=electronics
  3. http://www.amazon.cn/gp/help/customer/display.html
-activeThreads=10, spinWaiting=10, fetchQueues.totalSize=4
* queue: http://www.amazon.cn
  maxThreads    = 1
  inProgress    = 0
  crawlDelay    = 5000
  minCrawlDelay = 0
  nextFetchTime = 1320640689186
  now           = 1320640688044
  0. http://www.amazon.cn/gp/registry/wishlist
  1. http://www.amazon.cn/Lenovo-%E8%81%94%E6%83%B3-A60-WCDMA-GSM-3G%E6%89%8B%E6%9C%BA/dp/B005GZ0IZG?_encoding=UTF8&s=electronics
  2. http://www.amazon.cn/%E8%AF%BA%E5%9F%BA%E4%BA%9AN9-%E5%85%A8%E8%A7%A6%E5%B1%8F3G%E6%99%BA%E8%83%BD%E6%89%8B%E6%9C%BA-%E5%85%A8%E6%96%B0MEEGO%E6%93%8D%E4%BD%9C%E7%B3%BB%E7%BB%9F/dp/B005MWLXU2?_encoding=UTF8&s=electronics
  3. http://www.amazon.cn/gp/help/customer/display.html
-activeThreads=10, spinWaiting=10, fetchQueues.totalSize=4
* queue: http://www.amazon.cn
  maxThreads    = 1
  inProgress    = 0
  crawlDelay    = 5000
  minCrawlDelay = 0
  nextFetchTime = 1320640689186
  now           = 1320640689045
  0. http://www.amazon.cn/gp/registry/wishlist
  1. http://www.amazon.cn/Lenovo-%E8%81%94%E6%83%B3-A60-WCDMA-GSM-3G%E6%89%8B%E6%9C%BA/dp/B005GZ0IZG?_encoding=UTF8&s=electronics
  2. http://www.amazon.cn/%E8%AF%BA%E5%9F%BA%E4%BA%9AN9-%E5%85%A8%E8%A7%A6%E5%B1%8F3G%E6%99%BA%E8%83%BD%E6%89%8B%E6%9C%BA-%E5%85%A8%E6%96%B0MEEGO%E6%93%8D%E4%BD%9C%E7%B3%BB%E7%BB%9F/dp/B005MWLXU2?_encoding=UTF8&s=electronics
  3. http://www.amazon.cn/gp/help/customer/display.html
fetching http://www.amazon.cn/gp/registry/wishlist
-activeThreads=10, spinWaiting=9, fetchQueues.totalSize=3
* queue: http://www.amazon.cn
  maxThreads    = 1
  inProgress    = 1
  crawlDelay    = 5000
  minCrawlDelay = 0
  nextFetchTime = 1320640689186
  now           = 1320640690047
  0. http://www.amazon.cn/Lenovo-%E8%81%94%E6%83%B3-A60-WCDMA-GSM-3G%E6%89%8B%E6%9C%BA/dp/B005GZ0IZG?_encoding=UTF8&s=electronics
  1. http://www.amazon.cn/%E8%AF%BA%E5%9F%BA%E4%BA%9AN9-%E5%85%A8%E8%A7%A6%E5%B1%8F3G%E6%99%BA%E8%83%BD%E6%89%8B%E6%9C%BA-%E5%85%A8%E6%96%B0MEEGO%E6%93%8D%E4%BD%9C%E7%B3%BB%E7%BB%9F/dp/B005MWLXU2?_encoding=UTF8&s=electronics
  2. http://www.amazon.cn/gp/help/customer/display.html
-activeThreads=10, spinWaiting=10, fetchQueues.totalSize=3
* queue: http://www.amazon.cn
  maxThreads    = 1
  inProgress    = 0
  crawlDelay    = 5000
  minCrawlDelay = 0
  nextFetchTime = 1320640695079
  now           = 1320640691048
  0. http://www.amazon.cn/Lenovo-%E8%81%94%E6%83%B3-A60-WCDMA-GSM-3G%E6%89%8B%E6%9C%BA/dp/B005GZ0IZG?_encoding=UTF8&s=electronics
  1. http://www.amazon.cn/%E8%AF%BA%E5%9F%BA%E4%BA%9AN9-%E5%85%A8%E8%A7%A6%E5%B1%8F3G%E6%99%BA%E8%83%BD%E6%89%8B%E6%9C%BA-%E5%85%A8%E6%96%B0MEEGO%E6%93%8D%E4%BD%9C%E7%B3%BB%E7%BB%9F/dp/B005MWLXU2?_encoding=UTF8&s=electronics
  2. http://www.amazon.cn/gp/help/customer/display.html
-activeThreads=10, spinWaiting=10, fetchQueues.totalSize=3
* queue: http://www.amazon.cn
  maxThreads    = 1
  inProgress    = 0
  crawlDelay    = 5000
  minCrawlDelay = 0
  nextFetchTime = 1320640695079
  now           = 1320640692049
  0. http://www.amazon.cn/Lenovo-%E8%81%94%E6%83%B3-A60-WCDMA-GSM-3G%E6%89%8B%E6%9C%BA/dp/B005GZ0IZG?_encoding=UTF8&s=electronics
  1. http://www.amazon.cn/%E8%AF%BA%E5%9F%BA%E4%BA%9AN9-%E5%85%A8%E8%A7%A6%E5%B1%8F3G%E6%99%BA%E8%83%BD%E6%89%8B%E6%9C%BA-%E5%85%A8%E6%96%B0MEEGO%E6%93%8D%E4%BD%9C%E7%B3%BB%E7%BB%9F/dp/B005MWLXU2?_encoding=UTF8&s=electronics
  2. http://www.amazon.cn/gp/help/customer/display.html
-activeThreads=10, spinWaiting=10, fetchQueues.totalSize=3
* queue: http://www.amazon.cn
  maxThreads    = 1
  inProgress    = 0
  crawlDelay    = 5000
  minCrawlDelay = 0
  nextFetchTime = 1320640695079
  now           = 1320640693049
  0. http://www.amazon.cn/Lenovo-%E8%81%94%E6%83%B3-A60-WCDMA-GSM-3G%E6%89%8B%E6%9C%BA/dp/B005GZ0IZG?_encoding=UTF8&s=electronics
  1. http://www.amazon.cn/%E8%AF%BA%E5%9F%BA%E4%BA%9AN9-%E5%85%A8%E8%A7%A6%E5%B1%8F3G%E6%99%BA%E8%83%BD%E6%89%8B%E6%9C%BA-%E5%85%A8%E6%96%B0MEEGO%E6%93%8D%E4%BD%9C%E7%B3%BB%E7%BB%9F/dp/B005MWLXU2?_encoding=UTF8&s=electronics
  2. http://www.amazon.cn/gp/help/customer/display.html
-activeThreads=10, spinWaiting=10, fetchQueues.totalSize=3
* queue: http://www.amazon.cn
  maxThreads    = 1
  inProgress    = 0
  crawlDelay    = 5000
  minCrawlDelay = 0
  nextFetchTime = 1320640695079
  now           = 1320640694051
  0. http://www.amazon.cn/Lenovo-%E8%81%94%E6%83%B3-A60-WCDMA-GSM-3G%E6%89%8B%E6%9C%BA/dp/B005GZ0IZG?_encoding=UTF8&s=electronics
  1. http://www.amazon.cn/%E8%AF%BA%E5%9F%BA%E4%BA%9AN9-%E5%85%A8%E8%A7%A6%E5%B1%8F3G%E6%99%BA%E8%83%BD%E6%89%8B%E6%9C%BA-%E5%85%A8%E6%96%B0MEEGO%E6%93%8D%E4%BD%9C%E7%B3%BB%E7%BB%9F/dp/B005MWLXU2?_encoding=UTF8&s=electronics
  2. http://www.amazon.cn/gp/help/customer/display.html
-activeThreads=10, spinWaiting=10, fetchQueues.totalSize=3
* queue: http://www.amazon.cn
  maxThreads    = 1
  inProgress    = 0
  crawlDelay    = 5000
  minCrawlDelay = 0
  nextFetchTime = 1320640695079
  now           = 1320640695053
  0. http://www.amazon.cn/Lenovo-%E8%81%94%E6%83%B3-A60-WCDMA-GSM-3G%E6%89%8B%E6%9C%BA/dp/B005GZ0IZG?_encoding=UTF8&s=electronics
  1. http://www.amazon.cn/%E8%AF%BA%E5%9F%BA%E4%BA%9AN9-%E5%85%A8%E8%A7%A6%E5%B1%8F3G%E6%99%BA%E8%83%BD%E6%89%8B%E6%9C%BA-%E5%85%A8%E6%96%B0MEEGO%E6%93%8D%E4%BD%9C%E7%B3%BB%E7%BB%9F/dp/B005MWLXU2?_encoding=UTF8&s=electronics
  2. http://www.amazon.cn/gp/help/customer/display.html
fetching http://www.amazon.cn/Lenovo-%E8%81%94%E6%83%B3-A60-WCDMA-GSM-3G%E6%89%8B%E6%9C%BA/dp/B005GZ0IZG?_encoding=UTF8&s=electronics
-activeThreads=10, spinWaiting=10, fetchQueues.totalSize=2
* queue: http://www.amazon.cn
  maxThreads    = 1
  inProgress    = 0
  crawlDelay    = 5000
  minCrawlDelay = 0
  nextFetchTime = 1320640700231
  now           = 1320640696053
  0. http://www.amazon.cn/%E8%AF%BA%E5%9F%BA%E4%BA%9AN9-%E5%85%A8%E8%A7%A6%E5%B1%8F3G%E6%99%BA%E8%83%BD%E6%89%8B%E6%9C%BA-%E5%85%A8%E6%96%B0MEEGO%E6%93%8D%E4%BD%9C%E7%B3%BB%E7%BB%9F/dp/B005MWLXU2?_encoding=UTF8&s=electronics
  1. http://www.amazon.cn/gp/help/customer/display.html
-activeThreads=10, spinWaiting=10, fetchQueues.totalSize=2
* queue: http://www.amazon.cn
  maxThreads    = 1
  inProgress    = 0
  crawlDelay    = 5000
  minCrawlDelay = 0
  nextFetchTime = 1320640700231
  now           = 1320640697054
  0. http://www.amazon.cn/%E8%AF%BA%E5%9F%BA%E4%BA%9AN9-%E5%85%A8%E8%A7%A6%E5%B1%8F3G%E6%99%BA%E8%83%BD%E6%89%8B%E6%9C%BA-%E5%85%A8%E6%96%B0MEEGO%E6%93%8D%E4%BD%9C%E7%B3%BB%E7%BB%9F/dp/B005MWLXU2?_encoding=UTF8&s=electronics
  1. http://www.amazon.cn/gp/help/customer/display.html
-activeThreads=10, spinWaiting=10, fetchQueues.totalSize=2
* queue: http://www.amazon.cn
  maxThreads    = 1
  inProgress    = 0
  crawlDelay    = 5000
  minCrawlDelay = 0
  nextFetchTime = 1320640700231
  now           = 1320640698056
  0. http://www.amazon.cn/%E8%AF%BA%E5%9F%BA%E4%BA%9AN9-%E5%85%A8%E8%A7%A6%E5%B1%8F3G%E6%99%BA%E8%83%BD%E6%89%8B%E6%9C%BA-%E5%85%A8%E6%96%B0MEEGO%E6%93%8D%E4%BD%9C%E7%B3%BB%E7%BB%9F/dp/B005MWLXU2?_encoding=UTF8&s=electronics
  1. http://www.amazon.cn/gp/help/customer/display.html
-activeThreads=10, spinWaiting=10, fetchQueues.totalSize=2
* queue: http://www.amazon.cn
  maxThreads    = 1
  inProgress    = 0
  crawlDelay    = 5000
  minCrawlDelay = 0
  nextFetchTime = 1320640700231
  now           = 1320640699057
  0. http://www.amazon.cn/%E8%AF%BA%E5%9F%BA%E4%BA%9AN9-%E5%85%A8%E8%A7%A6%E5%B1%8F3G%E6%99%BA%E8%83%BD%E6%89%8B%E6%9C%BA-%E5%85%A8%E6%96%B0MEEGO%E6%93%8D%E4%BD%9C%E7%B3%BB%E7%BB%9F/dp/B005MWLXU2?_encoding=UTF8&s=electronics
  1. http://www.amazon.cn/gp/help/customer/display.html
-activeThreads=10, spinWaiting=10, fetchQueues.totalSize=2
* queue: http://www.amazon.cn
  maxThreads    = 1
  inProgress    = 0
  crawlDelay    = 5000
  minCrawlDelay = 0
  nextFetchTime = 1320640700231
  now           = 1320640700058
  0. http://www.amazon.cn/%E8%AF%BA%E5%9F%BA%E4%BA%9AN9-%E5%85%A8%E8%A7%A6%E5%B1%8F3G%E6%99%BA%E8%83%BD%E6%89%8B%E6%9C%BA-%E5%85%A8%E6%96%B0MEEGO%E6%93%8D%E4%BD%9C%E7%B3%BB%E7%BB%9F/dp/B005MWLXU2?_encoding=UTF8&s=electronics
  1. http://www.amazon.cn/gp/help/customer/display.html
fetching http://www.amazon.cn/%E8%AF%BA%E5%9F%BA%E4%BA%9AN9-%E5%85%A8%E8%A7%A6%E5%B1%8F3G%E6%99%BA%E8%83%BD%E6%89%8B%E6%9C%BA-%E5%85%A8%E6%96%B0MEEGO%E6%93%8D%E4%BD%9C%E7%B3%BB%E7%BB%9F/dp/B005MWLXU2?_encoding=UTF8&s=electronics
-activeThreads=10, spinWaiting=10, fetchQueues.totalSize=1
* queue: http://www.amazon.cn
  maxThreads    = 1
  inProgress    = 0
  crawlDelay    = 5000
  minCrawlDelay = 0
  nextFetchTime = 1320640705384
  now           = 1320640701058
  0. http://www.amazon.cn/gp/help/customer/display.html
-activeThreads=10, spinWaiting=10, fetchQueues.totalSize=1
* queue: http://www.amazon.cn
  maxThreads    = 1
  inProgress    = 0
  crawlDelay    = 5000
  minCrawlDelay = 0
  nextFetchTime = 1320640705384
  now           = 1320640702060
  0. http://www.amazon.cn/gp/help/customer/display.html
-activeThreads=10, spinWaiting=10, fetchQueues.totalSize=1
* queue: http://www.amazon.cn
  maxThreads    = 1
  inProgress    = 0
  crawlDelay    = 5000
  minCrawlDelay = 0
  nextFetchTime = 1320640705384
  now           = 1320640703060
  0. http://www.amazon.cn/gp/help/customer/display.html
-activeThreads=10, spinWaiting=10, fetchQueues.totalSize=1
* queue: http://www.amazon.cn
  maxThreads    = 1
  inProgress    = 0
  crawlDelay    = 5000
  minCrawlDelay = 0
  nextFetchTime = 1320640705384
  now           = 1320640704061
  0. http://www.amazon.cn/gp/help/customer/display.html
-activeThreads=10, spinWaiting=10, fetchQueues.totalSize=1
* queue: http://www.amazon.cn
  maxThreads    = 1
  inProgress    = 0
  crawlDelay    = 5000
  minCrawlDelay = 0
  nextFetchTime = 1320640705384
  now           = 1320640705063
  0. http://www.amazon.cn/gp/help/customer/display.html
fetching http://www.amazon.cn/gp/help/customer/display.html
-finishing thread FetcherThread, activeThreads=8
-finishing thread FetcherThread, activeThreads=8
-finishing thread FetcherThread, activeThreads=7
-finishing thread FetcherThread, activeThreads=6
-finishing thread FetcherThread, activeThreads=5
-finishing thread FetcherThread, activeThreads=4
-finishing thread FetcherThread, activeThreads=3
-finishing thread FetcherThread, activeThreads=2
-finishing thread FetcherThread, activeThreads=1
-finishing thread FetcherThread, activeThreads=0
-activeThreads=0, spinWaiting=0, fetchQueues.totalSize=0
-activeThreads=0
Fetcher: finished at 2011-11-07 12:38:26, elapsed: 00:00:35
ParseSegment: starting at 2011-11-07 12:38:26
ParseSegment: segment: crawl-20111107123624/segments/20111107123749
Error parsing: http://g-ec4.images-amazon.com/images/G/28/x-locale/common/transparent-pixel._V192562247_.gif: failed(2,0): Can't retrieve Tika parser for mime-type image/gif
ParseSegment: finished at 2011-11-07 12:38:28, elapsed: 00:00:01
CrawlDb update: starting at 2011-11-07 12:38:28
CrawlDb update: db: crawl-20111107123624/crawldb
CrawlDb update: segments: [crawl-20111107123624/segments/20111107123749]
CrawlDb update: additions allowed: true
CrawlDb update: URL normalizing: true
CrawlDb update: URL filtering: true
CrawlDb update: Merging segment data into db.
CrawlDb update: finished at 2011-11-07 12:38:30, elapsed: 00:00:01
LinkDb: starting at 2011-11-07 12:38:30
LinkDb: linkdb: crawl-20111107123624/linkdb
LinkDb: URL normalize: true
LinkDb: URL filter: true
LinkDb: adding segment: file:/E:/Workspaces/workspace1/L-nutch/crawl-20111107123624/segments/20111107123633
LinkDb: adding segment: file:/E:/Workspaces/workspace1/L-nutch/crawl-20111107123624/segments/20111107123646
LinkDb: adding segment: file:/E:/Workspaces/workspace1/L-nutch/crawl-20111107123624/segments/20111107123749
LinkDb: finished at 2011-11-07 12:38:32, elapsed: 00:00:01
SolrIndexer: starting at 2011-11-07 12:38:32
SolrIndexer: finished at 2011-11-07 12:38:37, elapsed: 00:00:05
SolrDeleteDuplicates: starting at 2011-11-07 12:38:37
SolrDeleteDuplicates: Solr url: http://localhost:8080/solr/
SolrDeleteDuplicates: finished at 2011-11-07 12:38:39, elapsed: 00:00:01
crawl finished: crawl-20111107123624

抓取数据模型

1. CrawlDB，用于存储所有的urls信息，包括抓取机制，抓取状态，网页指纹和元数据。

2. LinkDB，存储每一个url的连入锚链接和锚文本

3. Segment，原始的网页内容；解析后的网页；元数据；外链接；用于索引的元文本




参考：http://blog.csdn.net/amuseme_lu/article/details/5993916

你可能感兴趣的:(nutch1.3与solr3.4集成部署在eclipse上之——运行的输出日志)

  • 【GIC400】——GIC 简介 tyustyu ARM体系结构与编程GICPPISGISPICPUinterface
    文章目录GIC简介控制器总览GIC中断分类SPIPPISGI中断IDGIC逻辑分块分发器端（distributor）CPU接口端（CPUinterface）寄存器定义参考系列文章【ARMv7-A】——异常与中断【ARMv7-A】——异常中断处理概述【ARMv7-A】——进入和退出异常中断的过程【GIC400】——PLIC，NVIC和GIC中断对比【GIC400】——GIC简介【GIC400】——G
  • 2024全球十大工程成就：文生视频大模型Sora引领AI时代 前端
    2024年，中国工程院院刊《Engineering》公布了备受瞩目的“2024全球十大工程成就”，这不仅是对过去一年工程科技领域杰出贡献的肯定，更标志着全球科技发展进入一个新的阶段。这十大成就涵盖了航天探索、生物医学、人工智能、新能源等多个领域，体现了当今科技前沿的最高水平。其中，文生视频大模型Sora的入选尤为引人注目，它代表着AI代码生成技术在内容创作领域的突破性进展，预示着未来内容生产方式的
  • 【论文速读】| 评估并提高大语言模型生成的安全攻击探测器的鲁棒性 llm
    基本信息原文标题：EvaluatingandImprovingtheRobustnessofSecurityAttackDetectorsGeneratedbyLLMs原文作者：SamuelePasini,JinhanKim,TommasoAiello,RocíoCabreraLozoya,AntoninoSabetta,PaoloTonella作者单位：UniversitàdellaSvizze
  • 手把手教会你Disruptor的常用使用场景！(含详细代码示例) 后端
    Disruptor常见使用场景与代码示例1.引言上期介绍到Disruptor是一个高性能的无锁并发队列，适用于需要极低延迟和高吞吐量的应用场景。它通过环形缓冲区（RingBuffer）和高效的事件处理机制，显著减少了CPU缓存失效和上下文切换的开销。今天介绍Disruptor的几个常见使用场景：事件处理、日志记录、消息传递、实时数据分析和并发任务调度，让你进一步加深对它的印象，下期将介绍Disru
  • PHP简单项目案例（改进版） 小邱同志~ PHPphpweb程序设计mysql数据库
    最近开学php，下午闲着没事干，想着做个小项目练练手，也就是用php写个网页，对数据库里的东西实现增删改查，下面给大家分享一下，由于本人的业务能力尚浅，大家有啥建议我很欢迎哦！简单效果：1.打开网页呈现数据库数据：2.删除功能，添加信息功能。3.信息修改功能（带数据进页面）下面便是源码：数据库文件：（数据库名：dataphp表名：student）/*SQLyog企业版-MySQLGUIv8.14M
  • Windows不用anaconda安装labelImg及bug解决 欢天喜地小姐姐 解决bug技巧bug
    1.Windows不用anaconda安装labelImg：安装labelImg所需环境–打开#安装labelImg所需环pipinstllpyqt5lxml#打开labelImgpythonlabelImg.py2.Windows:‘pip’不是内部或外部命令,也不是可运行的程序或批处理文件2.1原因分析系统环境变量没配置好2.2解决方法1.控制面板\系统和安全\系统”→“高级系统设置”→“高级
  • set()函数用法 欢天喜地小姐姐 python编程学习python
    python内置函数文章目录python内置函数描述set()语法返回值实例描述set（）是集合的一种。set()函数创建一个无序不重复元素集，可进行关系测试，删除重复数据，还可以计算交集、差集、并集等。set()语法classset([iterable])iterable–可迭代对象对象；返回值返回新的集合对象实例>>>x=set('runoob')>>>y=set('google')>>>x,
  • Ubuntu常用指令及用法详解 我的混世小魔王 ubuntu
    1.ls这个相当于Windows下的dir命令，可以列出当前窗口或指定窗口下的内容。2.rm这个相当于Windows下的del和rmdir命令，可以删除文件及文件夹。常见用法：rm-rf/home/ubuntu/.cache(删除/home/ubuntu/.cache这个文件夹)禁忌：rm-rf/*这个命令会删除根分区下所有文件，在某些efi机器上还会删除主板固件，造成主板固件丢失从而无法开机(比
  • Pocsuite3渗透测试框架编写POC和EXP脚本 wespten 全栈网络安全渗透测试代码审计网络安全工具开发大数据
    在我们的日常渗透测试中，经常挖掘到一些漏洞，但是我们一般使用挖掘工具或者手工判断的时候，不好确定是不是真的存在这么一个漏洞，因此POC脚本就应运而生了。POC全称是ProofofConcept，中文译作概念验证。它是专门为了验证漏洞是否真的存在的脚本。而EXP全称是Exploit，中文译作漏洞利用程序。它是对POC验证结果的一种漏洞利用脚本。因为市面上有关POC和EXP脚本的教程比较稀少，但是比较
  • Python软件包中的__init__.py文件的作用 python_136 python
    当然可以，我会尽量用更详细和易懂的方式来说明Python软件包中的__init__.py文件的作用。一、__init__.py文件的基本作用在Python中，一个包含__init__.py文件的目录被视为一个Python包。这个文件的存在告诉Python解释器，这个目录应该被当作一个整体来对待，里面的Python文件（.py文件）可以被当作模块（module）来导入。二、__init__.py文件
  • icm20608 linux驱动 regmap spi的方式读写寄存器 Embedded-Alien linuxkernellinuxdriverarmlinux
    开发版芯片imx6ull驱动测量了系统调用read10000次的时间验证了开启硬件浮点和不开启硬件浮点的运算浮点数时间基本相同1.驱动代码#include#include#include#include#include#include#include#include#include#include#include#include#include#include#include#include#in
  • Python自动化运维：一键掌控服务器的高效之道 蒙娜丽宁 Python杂谈运维python自动化
    《PythonOpenCV从菜鸟到高手》带你进入图像处理与计算机视觉的大门！解锁Python编程的无限可能：《奇妙的Python》带你漫游代码世界在互联网和云计算高速发展的今天，服务器数量的指数增长使得手动运维和管理变得异常繁琐。Python凭借其强大的可读性和丰富的生态系统，成为实现自动化运维的理想语言。本文以“Python自动化运维：编写自动化脚本进行服务器管理”为主题，深入探讨了如何利用Py
  • Java复习第四天 Allen_idle 算法leetcode职场和发展
    一、代码题1.相同的树(1)题目给你两棵二叉树的根节点p和q，编写一个函数来检验这两棵树是否相同。如果两个树在结构上相同，并且节点具有相同的值，则认为它们是相同的。示例1:输入:p=[1,2,3]，q=[1,2,3]输出:true示例2:输入:p=[1,2]，q=[1,null,2]输出:false示例3:输入:p=[1,2,1]，q=[1,1,2]输出:false(2)思路实现a.题目实现如果两
  • 代码随想录算法训练营day28（0121） Lazy.land 算法
    1.买卖股票的最佳时机II想到思路其实代码非常简单，其实也跟之前做的那一题摆动序列有一点关联，只不过更加地简单这题的代码，思路很巧妙！题目122.买卖股票的最佳时机II给你一个整数数组prices，其中prices[i]表示某支股票第i天的价格。在每一天，你可以决定是否购买和/或出售股票。你在任何时候最多只能持有一股股票。你也可以先购买，然后在同一天出售。返回你能获得的最大利润。示例1：输入：pr
  • leetcode136.寻找重复数 努力d小白 #其他算法数据结构
    标签：计数排序给定一个包含n+1个整数的数组nums，其数字都在[1,n]范围内（包括1和n），可知至少存在一个重复的整数。假设nums只有一个重复的整数，返回这个重复的数。你设计的解决方案必须不修改数组nums且只用常量级O(1)的额外空间。示例1：输入：nums=[1,3,4,2,2]输出：2示例2：输入：nums=[3,1,3,4,2]输出：3示例3:输入：nums=[3,3,3,3,3]输
  • Redis实战-初识Redis 啥都想学的又啥都不会的研究生 redis数据库缓存
    初识Redis1、Redis简介2、Redis数据结构简介3、Redis命令3.1字符串3.2列表3.3集合3.4散列3.5有序集合3.6发布与订阅3.7其他命令3.7.1排序3.7.2过期时间如有侵权，请联系～如有错误，也欢迎批评指正～本篇文章大部分是来自学习《Redis实战》的笔记1、Redis简介Redis是一个远程内存数据库，它不仅性能强劲，而且还具有复制特性以及为解决问题而生的独一无二的
  • Css3 3D转换 黄丫丫07 css33dcss
    特点：近大远小物体后面遮挡不可见三维坐标系：三维坐标系其实就是指立体空间，立体空间是由3个轴共同组成的。X轴：水平向右为正Y轴：垂直向下为正Z轴：垂直屏幕向外为正3D位移和3D旋转：主要知识点：3D位移：translate3d（x,y,z）3D旋转：rotate3d(x,y,z)透视：perspective3D呈现transform-style3D位移：translate3d（x,y,z）:Tra
  • Python二叉树用法介绍 很酷的站长 编程笔记python开发语言
    二叉树是一种非常重要的数据结构，它在计算机科学中得到了广泛应用，例如在搜索算法、图形渲染和游戏AI等领域。本文将以Python二叉树为中心，从多个角度对其进行详细阐述，包括二叉树定义、二叉树遍历、二叉搜索树、平衡二叉树等内容。一、二叉树定义二叉树是一种有根树，它满足以下条件：每个节点最多有两个子节点每个节点只有一个父节点左子节点是其父节点的左子树，而右子节点是其父节点的右子树按照这个定义，我们可以
  • 高并发系统的艺术：如何在流量洪峰中游刃有余 京东云开发者 京东云
    作者：京东物流赵勇萍前言我们常说的三高，高并发、高可用、高性能，这些技术是构建现代互联网应用程序所必需的。对于京东618备战来说，所有的中台系统服务，无疑都是围绕着三高来展开的。而对于京东庞大的客户群体，高并发的要求尤为重要。用户对在线服务的需求和期望不断提高，系统的并发处理能力成为衡量其性能和用户体验的关键指标之一。高并发系统不仅仅是大型互联网企业的专利，对于任何希望在市场中占据一席之地的公司来
  • 大数据平台Bug Bash大扫除最佳实践 京东云开发者 大数据bugbash
    作者：尹伟一、背景随着越来越多的"新人"在日常工作以及大促备战中担当大任，我们发现仅了解自身系统业务已不能满足日常系统开发运维需求。为此，大数据平台部门组织了一次BugBash活动，既能提升自己对兄弟产品的理解和使用，又能促使自家产品功能日趋完善。今天来给大家分享一些实际操作过程和经验总结~二、什么是BugBash？BugBash，顾名思义就是缺陷大扫除。通常由QA主导发起，团队全员放下手中的活，
  • 记录一次RPC服务有损上线的分析过程 京东云开发者 rpcjavasql
    作者：京东零售郭宏宇1.问题背景某应用在启动完提供JSF服务后，短时间内出现了大量的空指针异常。分析日志，发现是服务依赖的藏经阁配置数据未加载完成导致。即所谓的有损上线或者是直接发布，当****应用启动时，service还没加载完，就开始对外提供服务，导致失败调用。关键代码如下数据的初始化加载是通过实现CommandLineRunner接口完成的@ComponentpublicclassLoadS
  • Linux 存储设备和 Ventoy 启动盘制作指南 小白也有IT梦 linux运维服务器
    一、Linux存储设备基础知识1.设备路径（/dev）设备路径是Linux系统中物理存储设备的唯一标识，类似设备的"身份证号"。命名规则解析/dev/sda：/dev：device（设备）的缩写，存放设备文件的目录sd：源自SCSIdevice，现在用于表示存储设备a：表示第一个检测到的存储设备数字（如sda1）：表示该设备上的分区编号2.挂载点与挂载过程挂载点是访问存储设备内容的入口，本质是一个
  • 交叉引用多篇文献操作 小白也有IT梦 word
    要在Word中为多个连续的参考文献创建一个交叉引用（如[1-3]表示文献1、2、3），你可以按以下步骤操作：使用“交叉引用”功能，插入你需要引用的文献范围内的第一个和最后一个文献编号，比如[1][3]。选中这两个编号，右键选择“切换域代码”，将其转换为域代码形式。对于第一个文献的域代码，在代码末尾添加\#"[0"；对于最后一个文献的域代码，在代码末尾添加\#"0]"。\#"[0",\"#0]"选择
  • ubuntu取消输入密码 hunter206206 ubuntuubuntu服务器运维
    要在Ubuntu中取消登录时输入密码，可以设置自动登录。以下是具体步骤：方法1：通过图形界面设置自动登录打开“设置”：点击右上角的系统菜单（电源图标或用户图标）。选择“设置”。进入“用户”设置：在“设置”窗口中，选择“用户”选项。解锁设置：点击右上角的“解锁”按钮。输入当前用户的密码，点击“认证”。启用自动登录：在“用户”设置中，找到“自动登录”选项。打开“自动登录”开关。选择要自动登录的用户（如
  • ubuntu取消定时锁定 hunter206206 ubuntuubuntu服务器运维
    在Ubuntu中，取消定时锁定屏幕的功能可以通过以下步骤实现。定时锁定通常是由屏幕保护程序或电源管理设置触发的，因此需要调整相关设置。方法1：通过图形界面取消定时锁定打开“设置”：点击右上角的系统菜单（电源图标或用户图标）。选择“设置”。进入“电源”设置：在“设置”窗口中，选择“电源”选项。调整屏幕锁定时间：找到“屏幕空白”或“自动挂起”选项。将“屏幕空白”时间设置为“从不”。将“自动挂起”时间设
  • 在VSCode中更改专用终端的Conda环境 小白也有IT梦 pythonvscode
    步骤打开VSCode：启动VSCode并打开你需要的工作目录。打开命令面板：使用快捷键Ctrl+Shift+P（Windows/Linux）或Cmd+Shift+P（macOS）打开命令面板。选择Conda环境：在命令面板中输入Python:SelectInterpreter并选择该选项。在出现的列表中选择你需要的Conda环境。这个步骤会改变当前工作目录下Python解释器的环境。打开终端：使用
  • CES Asia 2025优惠期倒计时5天，科技盛宴即将开启 赛逸展张胜 科技
    随着时间的推移，备受瞩目的CESAsia2025优惠期已进入最后5天倒计时。作为亚洲顶级的消费电子盛会，CESAsia2025将汇聚众多国内外知名的科技企业，展示涵盖智能家居、智能出行、虚拟现实、人工智能等热门赛道的顶尖成果，是行业交流、商贸合作、趋势洞察的绝佳平台。在这最后的优惠时段内，参展商们仍有机会享受到展位费用的梯度折扣，越早锁定，优惠力度越大，还能优先挑选心仪展位，获得额外的宣传推广资源
  • CES Asia 2025：民族凝聚力引领科技创新未来 赛逸展张胜 ces赛逸展消费电子科技
    2024年12月03日，星期二，虽CESAsia2025（赛逸展）尚未举办，但已然引发广泛关注。面对西方组团拒签中国企业的挑战，中华民族正以强大的民族凝聚力积极筹备这场科技盛会。中国科技协会勇挑大梁，凝聚各方力量，为展会的成功举办奠定坚实基础。众多国内科技企业摩拳擦掌，准备在CESAsia2025上展现中国科技创新的卓越实力。这场尚未开幕的展会，将成为科技创新与民族凝聚力的精彩舞台。从充满想象力的
  • CES Asia 2025：智慧健康与生活科技领域买家聚焦盛会 赛逸展张胜 人工智能科技大数据
    随着科技的飞速发展，智慧健康和生活科技领域正日益成为全球关注的焦点。即将在2025年举办的CESAsia（赛逸展）展会，更是吸引了众多专业买家的目光。这些买家涵盖了医疗机构、美容机构、零售商与电商平台、游戏与娱乐公司以及金融机构等多个领域，他们将在展会上积极探寻行业最新趋势与创新产品，为推动智慧健康和生活科技产业的蓬勃发展注入强大动力。在医疗机构方面，北京大学第三医院、上海交通大学医学院附属瑞金医
  • AI Agent 原理解析及应用场景深度洞察 power-辰南 大模型算法实战工程人工智能aiagent大模型
    在当今科技飞速发展的时代，AIAgent作为人工智能领域的重要分支，正以其独特的智能特性和广泛的应用潜力，逐渐渗透到各个行业和我们生活的方方面面。它为解决复杂问题、提升系统效率和实现智能化交互提供了全新的途径。本文将深入剖析AIAgent的原理，并详细探讨其在多个领域的关键应用场景。一、AIAgent的定义与基本概念AIAgent，即人工智能代理，是一种能够感知其所处环境，并基于所感知的信息自主地
  • knob UI插件使用 换个号韩国红果果 JavaScriptjsonpknob
    图形是用canvas绘制的 js代码 var paras = { max:800, min:100, skin:'tron',//button type thickness:.3,//button width width:'200',//define canvas width.,canvas height displayInput:'tr
  • Android+Jquery Mobile学习系列(5)-SQLite数据库 白糖_ JQuery Mobile
    目录导航   SQLite是轻量级的、嵌入式的、关系型数据库，目前已经在iPhone、Android等手机系统中使用,SQLite可移植性好，很容易使用，很小，高效而且可靠。   因为Android已经集成了SQLite，所以开发人员无需引入任何JAR包，而且Android也针对SQLite封装了专属的API，调用起来非常快捷方便。   我也是第一次接触S
  • impala-2.1.2-CDH5.3.2 dayutianfei impala
    最近在整理impala编译的东西，简单记录几个要点： 根据官网的信息（https://github.com/cloudera/Impala/wiki/How-to-build-Impala）： 1. 首次编译impala，推荐使用命令： ${IMPALA_HOME}/buildall.sh -skiptests -build_shared_libs -format 2.仅编译BE ${I
  • 求二进制数中1的个数 周凡杨 java算法二进制
    解法一： 对于一个正整数如果是偶数，该数的二进制数的最后一位是 0 ，反之若是奇数，则该数的二进制数的最后一位是 1 。因此，可以考虑利用位移、判断奇偶来实现。   public int bitCount(int x){ int count = 0; while(x!=0){ if(x%2!=0){ /
  • spring中hibernate及事务配置 g21121 Hibernate
    hibernate的sessionFactory配置： <!-- hibernate sessionFactory配置 --> <bean id="sessionFactory" class="org.springframework.orm.hibernate3.LocalSessionFactoryBean"> <
  • log4j.properties 使用 510888780 log4j
    log4j.properties 使用 一.参数意义说明 输出级别的种类 ERROR、WARN、INFO、DEBUG ERROR 为严重错误 主要是程序的错误 WARN 为一般警告，比如session丢失 INFO 为一般要显示的信息，比如登录登出 DEBUG 为程序的调试信息 配置日志信息输出目的地 log4j.appender.appenderName = fully.qua
  • Spring mvc-jfreeChart柱图（2） 布衣凌宇 jfreechart
    上一篇中生成的图是静态的，这篇将按条件进行搜索，并统计成图表，左面为统计图，右面显示搜索出的结果。 第一步：导包 第二步；配置web.xml(上一篇有代码) 建BarRenderer类用于柱子颜色 import java.awt.Color; import java.awt.Paint; import org.jfree.chart.renderer.category.BarR
  • 我的spring学习笔记14-容器扩展点之PropertyPlaceholderConfigurer aijuans Spring3
    PropertyPlaceholderConfigurer是个bean工厂后置处理器的实现，也就是BeanFactoryPostProcessor接口的一个实现。关于BeanFactoryPostProcessor和BeanPostProcessor类似。我会在其他地方介绍。 PropertyPlaceholderConfigurer可以将上下文（配置文件）中的属性值放在另一个单独的标准java
  • maven 之 cobertura 简单使用 antlove maventestunitcoberturareport
    1. 创建一个maven项目 2. 创建com.CoberturaStart.java package com; public class CoberturaStart { public void helloEveryone(){ System.out.println("=================================================
  • 程序的执行顺序 百合不是茶 JAVA执行顺序
          刚在看java核心技术时发现对java的执行顺序不是很明白了,百度一下也没有找到适合自己的资料,所以就简单的回顾一下吧   代码如下;     经典的程序执行面试题 //关于程序执行的顺序 //例如： //定义一个基类 public class A(){ public A(
  • 设置session失效的几种方法 bijian1013 web.xmlsession失效监听器
    在系统登录后，都会设置一个当前session失效的时间，以确保在用户长时间不与服务器交互，自动退出登录，销毁session。具体设置很简单，方法有三种：（1）在主页面或者公共页面中加入：session.setMaxInactiveInterval(900);参数900单位是秒，即在没有活动15分钟后，session将失效。这里要注意这个session设置的时间是根据服务器来计算的，而不是客户端。所
  • java jvm常用命令工具 bijian1013 javajvm
    一.概述         程序运行中经常会遇到各种问题，定位问题时通常需要综合各种信息，如系统日志、堆dump文件、线程dump文件、GC日志等。通过虚拟机监控和诊断工具可以帮忙我们快速获取、分析需要的数据，进而提高问题解决速度。 本文将介绍虚拟机常用监控和问题诊断命令工具的使用方法，主要包含以下工具:       &nbs
  • 【Spring框架一】Spring常用注解之Autowired和Resource注解 bit1129 Spring常用注解
    Spring自从2.0引入注解的方式取代XML配置的方式来做IOC之后，对Spring一些常用注解的含义行为一直处于比较模糊的状态，写几篇总结下Spring常用的注解。本篇包含的注解有如下几个： Autowired Resource Component Service Controller Transactional 根据它们的功能、目的，可以分为三组，Autow
  • mysql 操作遇到safe update mode问题 bitray update
        我并不知道出现这个问题的实际原理,只是通过其他朋友的博客,文章得知的一个解决方案,目前先记录一个解决方法,未来要是真了解以后,还会继续补全.     在mysql5中有一个safe update mode,这个模式让sql操作更加安全,据说要求有where条件,防止全表更新操作.如果必须要进行全表操作,我们可以执行 SET
  • nginx_perl试用 ronin47 nginx_perl试用
    因为空闲时间比较多，所以在CPAN上乱翻，看到了nginx_perl这个项目(原名Nginx::Engine)，现在托管在github.com上。地址见：https://github.com/zzzcpan/nginx-perl 这个模块的目的，是在nginx内置官方perl模块的基础上，实现一系列异步非阻塞的api。用connector/writer/reader完成类似proxy的功能（这里
  • java-63-在字符串中删除特定的字符 bylijinnan java
    public class DeleteSpecificChars { /** * Q 63 在字符串中删除特定的字符 * 输入两个字符串，从第一字符串中删除第二个字符串中所有的字符。 * 例如，输入”They are students.”和”aeiou”，则删除之后的第一个字符串变成”Thy r stdnts.” */ public static voi
  • EffectiveJava--创建和销毁对象 ccii 创建和销毁对象
    本章内容： 1. 考虑用静态工厂方法代替构造器 2. 遇到多个构造器参数时要考虑用构建器（Builder模式） 3. 用私有构造器或者枚举类型强化Singleton属性 4. 通过私有构造器强化不可实例化的能力 5. 避免创建不必要的对象 6. 消除过期的对象引用 7. 避免使用终结方法 1. 考虑用静态工厂方法代替构造器     类可以通过
  • [宇宙时代]四边形理论与光速飞行 comsci
       从四边形理论来推论 为什么光子飞船必须获得星光信号才能够进行光速飞行？    一组星体组成星座  向空间辐射一组由复杂星光信号组成的辐射频带，按照四边形-频率假说  一组频率就代表一个时空的入口    那么这种由星光信号组成的辐射频带就代表由这些星体所控制的时空通道，该时空通道在三维空间的投影是一
  • ubuntu server下python脚本迁移数据 cywhoyi pythonKettlepymysqlcx_Oracleubuntu server
    因为是在Ubuntu下，所以安装python、pip、pymysql等都极其方便，sudo apt-get install pymysql， 但是在安装cx_Oracle（连接oracle的模块）出现许多问题，查阅相关资料，发现这边文章能够帮我解决，希望大家少走点弯路。http://www.tbdazhe.com/archives/602 1.安装python 2.安装pip、pymysql
  • Ajax正确但是请求不到值解决方案 dashuaifu Ajaxasync
    Ajax正确但是请求不到值解决方案   解决方案：1 .     async: false ,    2.     设置延时执行js里的ajax或者延时后台java方法！！！！！！！   例如：   $.ajax({     &
  • windows安装配置php+memcached dcj3sjt126com PHPInstallmemcache
    Windows下Memcached的安装配置方法 1、将第一个包解压放某个盘下面，比如在c:\memcached。 2、在终端（也即cmd命令界面）下输入 'c:\memcached\memcached.exe -d install' 安装。 3、再输入： 'c:\memcached\memcached.exe -d start' 启动。（需要注意的: 以后memcached将作为windo
  • iOS开发学习路径的一些建议 dcj3sjt126com ios
    iOS论坛里有朋友要求回答帖子，帖子的标题是： 想学IOS开发高阶一点的东西，从何开始，然后我吧啦吧啦回答写了很多。既然敲了那么多字，我就把我写的回复也贴到博客里来分享，希望能对大家有帮助。欢迎大家也到帖子里讨论和分享，地址：http://bbs.csdn.net/topics/390920759   下面是我回复的内容：   结合自己情况聊下iOS学习建议，
  • Javascript闭包概念 fanfanlovey JavaScript闭包
    1.参考资料 http://www.jb51.net/article/24101.htm http://blog.csdn.net/yn49782026/article/details/8549462 2.内容概述 要理解闭包，首先需要理解变量作用域问题 内部函数可以饮用外面全局变量 var n=999; 　　functio
  • yum安装mysql5.6 haisheng mysql
    1、安装http://dev.mysql.com/get/mysql-community-release-el7-5.noarch.rpm   2、yum install mysql   3、yum install mysql-server   4、vi /etc/my.cnf   添加character_set_server=utf8
  • po/bo/vo/dao/pojo的详介 IT_zhlp80 javaBOVODAOPOJOpo
        JAVA几种对象的解释 PO:persistant object持久对象,可以看成是与数据库中的表相映射的java对象。最简单的PO就是对应数据库中某个表中的一条记录，多个记录可以用PO的集合。PO中应该不包含任何对数据库的操作. VO:value object值对象。通常用于业务层之间的数据传递，和PO一样也是仅仅包含数据而已。但应是抽象出的业务对象,可
  • java设计模式 kerryg java设计模式
    设计模式的分类：    一、 设计模式总体分为三大类： 1、创建型模式（5种）：工厂方法模式，抽象工厂模式，单例模式，建造者模式，原型模式。 2、结构型模式（7种）：适配器模式，装饰器模式，代理模式，外观模式，桥接模式，组合模式，享元模式。 3、行为型模式（11种）：策略模式，模版方法模式，观察者模式，迭代子模式，责任链模式，命令模式，备忘录模式，状态模式，访问者
  • [1]CXF3.1整合Spring开发webservice——helloworld篇 木头.java springwebserviceCXF
    Spring 版本3.2.10 CXF 版本3.1.1 项目采用MAVEN组织依赖jar 我这里是有parent的pom，为了简洁明了，我直接把所有的依赖都列一起了，所以都没version，反正上面已经写了版本 <project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="ht
  • Google 工程师亲授：菜鸟开发者一定要投资的十大目标 qindongliang1922 工作感悟人生
    身为软件开发者，有什么是一定得投资的？ Google 软件工程师 Emanuel Saringan 整理了十项他认为必要的投资，第一项就是身体健康，英文与数学也都是必备能力吗？来看看他怎么说。（以下文字以作者第一人称撰写）） 你的健康 无疑地，软件开发者是世界上最久坐不动的职业之一。 每天连坐八到十六小时，休息时间只有一点点，绝对会让你的鲔鱼肚肆无忌惮的生长。肥胖容易扩大罹患其他疾病的风险，
  • linux打开最大文件数量1,048,576 tianzhihehe clinux
    File descriptors are represented by the C int type. Not using a special type is often  considered odd, but is, historically, the Unix way. Each Linux process has a maximum number of files th
  • java语言中PO、VO、DAO、BO、POJO几种对象的解释 衞酆夼 javaVOBOPOJOpo
    PO:persistant object持久对象 最形象的理解就是一个PO就是数据库中的一条记录。好处是可以把一条记录作为一个对象处理，可以方便的转为其它对象。可以看成是与数据库中的表相映射的java对象。最简单的PO就是对应数据库中某个表中的一条记录，多个记录可以用PO的集合。PO中应该不包含任何对数据库的操作。 BO:business object业务对象 封装业务逻辑的java对象
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他