游侠儿evil
游侠儿evil

脚本之内容转换

Content Transformation

内容转换脚本用于在从网页中提取内容后转换内容。内容转换通常用于HTML元素，以提取不放在单个元素中的信息，因此不能在web浏览器中选择。例如，内容转换可以用来从包含完整地址的单个HTML元素中提取地址的某些部分，例如邮政编码。

内容转换还可以用于向内容元素中插入一个值，比如FixedValue元素。例如，可以使用内容转换脚本将项目输入参数插入到内容元素中。

您可以通过单击内容转换(Content Transformation)按钮向内容元素添加内容转换。

脚本之内容转换_第1张图片
image.png

内容转换按钮不能用于所有内容类型，比如PageAttribute内容，但是您可以通过使用Advanced Options选项卡向这些内容类型添加内容转换。

脚本之内容转换_第2张图片
image.png

当您点击内容转换按钮时，内容转换脚本编辑器会打开。


脚本之内容转换_第3张图片
image.png

您可以通过输入左下角的输入文本来测试内容转换，然后单击Transform按钮。转换后的结果将出现在右下方的窗口中。

内容转换可以定义为正则表达式或C#或VB.Net。当您希望从更大的提取文本中提取子文本时，经常使用正则表达式。

正则表达式

Visual Web Ripper 的正则表达式脚本可以包括任意数量的正则表达式匹配和替换操作。每个regex操作必须在两行中指定:第一行必须包含regex模式，第二行必须包含操作，该操作可以返回、替换或插入。如果操作返回，则不需要返回(return)关键字。return操作将返回原始内容中的第一个匹配，或者在匹配中选择一个组。替换操作将替换原始内容中的所有匹配，然后返回内容。insert操作将一个匹配插入指定的字符串($$必须指定为一个组，而不是使用insert时$)。

如果一个regex脚本包含多个regex操作，则下一个操作将处理前一个操作的输出结果。

所有的正则表达式操作都是大小写不敏感的，并且会忽略换行符。

下面的5个特殊操作应该在一行中指定:

  • strip_html 从内容中删除所有的HTML标记。
  • url_decode 解码加密的URL。
  • html_decode 解码经加密的HTML
  • trim 从内容的开始和结束删除换行符和空格。
  • line_breaks 将一些HTML标签(

    ,
    ,

  • )转换成标准的Windows换行符。
  • to_lower 转换文本为小写
    -to_upper 转换文本为大写
  • capitalize_words 单词首字母大写于文本

语法{$content_name} 可用于在当前模板中引用提取的数据。例如，如果您有一个名为product_id的内容元素，您可以构造下面的正则表达式来提取产品ID和第一个空白区域之间的所有文本。

{$product_id}(.*?)\s
demo description
.*
return		 Returns the entire match, so everything in this case.
返回整个匹配，在此例子中。
A(.*?)B
return $1		 Returns the group 1 match, so everything between A and B.
返回组1匹配，所有的在A与B之间。
(A).*?(B)
return $1$2		 Returns group 1 and 2 matches, so A B in this case.
返回组1与2匹配，AB在此列中。
A(.*?)B
replace		 Replaces every instance of everything between A and B (including A and B) with nothing.
在A与B（包含A与B）的所有实例替换为无nothing。
A(.*?)B
replace some new text		 Replaces every instance of everything between A and B (including A and B) with "some new text".
替换一些新文本，替换A和B(包括A和B)之间的所有实例，并使用“一些新文本”。
A(.*?)B
replace $1		 Replaces every instance of everything between A and B (including A and B) with the text between A and B, so in effect it removes A and B.
将A和B之间的所有实例(包括A和B)替换为A和B之间的文本，因此实际上它删除了A和B。
A(.?)B
return $1
C(.?)D
replace		 First extracts everything between A and B, and then replaces every instance of everything between C and D (including C and D) with nothing.
首先提取A和B之间的所有内容，然后替换C和D之间的所有实例(包括C和D)。


replace \r\n		 Replaces all
HTML tags with standard Windows line breaks.
用标准的Windows换行符替换所有的
HTML标签。
A(.*?)B
return $1
url_decode		 Returns the group 1 match, so everything between A and B, and then URL-decodes the result.
返回组1匹配，所以A和B之间的所有内容，然后url_decodes结果。
A(.*?)B
insert C$$1D		 Inserts the first match between C and D.
在C和d之间插入第一个匹配项。

Examples

demo description
.*
return		 Returns the entire match, so everything in this case.
返回整个匹配，在此例子中。
A(.*?)B
return $1		 Returns the group 1 match, so everything between A and B.
返回组1匹配，所有的在A与B之间。
(A).*?(B)
return $1$2		 Returns group 1 and 2 matches, so A B in this case.
返回组1与2匹配，AB在此列中。
A(.*?)B
replace		 Replaces every instance of everything between A and B (including A and B) with nothing.
在A与B（包含A与B）的所有实例替换为无nothing。
A(.*?)B
replace some new text		 Replaces every instance of everything between A and B (including A and B) with "some new text".
替换一些新文本，替换A和B(包括A和B)之间的所有实例，并使用“一些新文本”。
A(.*?)B
replace $1		 Replaces every instance of everything between A and B (including A and B) with the text between A and B, so in effect it removes A and B.
将A和B之间的所有实例(包括A和B)替换为A和B之间的文本，因此实际上它删除了A和B。
A(.?)B
return $1
C(.?)D
replace		 First extracts everything between A and B, and then replaces every instance of everything between C and D (including C and D) with nothing.
首先提取A和B之间的所有内容，然后替换C和D之间的所有实例(包括C和D)。


replace \r\n		 Replaces all
HTML tags with standard Windows line breaks.
用标准的Windows换行符替换所有的
HTML标签。
A(.*?)B
return $1
url_decode		 Returns the group 1 match, so everything between A and B, and then URL-decodes the result.
返回组1匹配，所以A和B之间的所有内容，然后url_decodes结果。
A(.*?)B
insert C$$1D		 Inserts the first match between C and D.
在C和d之间插入第一个匹配项。

C# and VB.NET Scripts

内容转换脚本必须有一个方法，如下所示。

public   static  string TransformContent(WrContentTransformationArguments args)   
{   
     try   
    {   
         //Place your transformation code here.   
         //This example just returns the input data   
         return  args.Content;   
    }   
     catch (Exception exp)   
    {   
         //Place error handling here   
        args.WriteDebug(exp.Message);   
         return   "Custom script error" ;   
    }   
}

public static string TransformContent(WrContentTransformationArguments args)

内容转换方法TransformContent必须具有准确的名称和签名，因此只更改方法体，而不是方法签名。该方法接收原始内容作为参数，必须返回转换后的内容。

WrContentTransformationArguments Properties

Name Type Description
Content string The original extracted content.
Text string The inner text of the extracted element.
HTML string The outer HTML of the extracted element.
WebBrowserElement IHTMLElement The extracted HTML element if the WebBrowser or InternetExplorer collectors are used. This property is null if the WebCrawler collector is used.
WebCrawlerElement SimpleHtmlElement The extracted HTML element if the WebCrawler collector is used. This property is null if the WebBrowser or InternetExplorer collectors are used.
Project WrProject The current Visual Web Ripper project.
InternalDataRow WrInternalDataRow The current data row containing the extracted content in the current template.
Database WrSharedDatabase An open database connection.
* See Script Utilities for more information about shared script databases.
InputDataRow WrDataRow The current input data row if an input data source has been defined.
* See Using an Input Data Source for more information about input data sources.
InputParameters WrInputParameters Input parameters for the current project.
* See Using Input Parameters for more information about input parameters.

Examples
下面的示例展示了一个内容转换脚本，该脚本用于将项目输入参数分配给FixedValue内容元素。

using  System;      
using  VisualWebRipper.Internal.SimpleHtmlParser;      
using  VisualWebRipper;      
public   class  Script      
{      
     public   static  string TransformContent(WrContentTransformationArguments args)      
    {      
         try      
        {                  
             return  args.InputParameters[ "par1" ];      
        }      
         catch (Exception exp)      
        {                  
            args.WriteDebug(exp.Message);      
             return   "Custom script error" ;      
        }      
    }      
}

下面的示例提取提取的内容，并从另一个提取的元素中添加内容。请注意，其他内容必须在当前内容元素之前提取，否则在脚本运行时，内容元素将不可用。

using  System;   
using  VisualWebRipper.Internal.SimpleHtmlParser;   
using  VisualWebRipper;   
public   class  Script   
{      
     public   static  string TransformContent(WrContentTransformationArguments args)   
    {   
         try   
        {              
             return  args.Content +  " "  + args.InternalDataRow[ "moreDescription" ];   
        }   
         catch (Exception exp)   
        {   
             //Place error handling here   
            args.WriteDebug(exp.Message);   
             return   "Custom script error" ;   
        }   
    }   
}

文件名转换

using  System;   
using  VisualWebRipper.Internal.SimpleHtmlParser;   
using  VisualWebRipper;   
public   class  Script   
{   
     //See help for a definition of WrContentTransformationArguments.   
     public   static  string TransformContent(WrContentTransformationArguments args)   
    {   
         try   
        {              
             return  args.InternalDataRow[ "productName" ].Replace( " " , "_" );   
        }   
         catch (Exception exp)   
        {   
             //Place error handling here   
            args.WriteDebug(exp.Message);   
             return   "Custom script error" ;   
        }   
    }   
}

链接转换

C# and VB.NET Scripts

public   static  string TransformLink(WrLinkTransformationArguments args)   
{   
     try   
    {              
         return  args.Link;   
    }   
     catch (Exception exp)   
    {              
        args.WriteDebug(exp.Message);   
         return   "Custom script error" ;   
    }   
}

public static string TransformLink(WrLinkTransformationArguments args)
链接转换方法TransformLink 必须有这个确切的名称和签名，所以只改变方法体，而不是方法签名。该方法接收原始内容作为参数，并必须返回已转换的链接。

Example

using  System;   
using  VisualWebRipper.Internal.SimpleHtmlParser;   
using  VisualWebRipper;   
public   class  Script   
{   
     //See help for a definition of WrContentTransformationArguments.   
     public   static  string TransformLink(WrLinkTransformationArguments args)   
    {   
         try   
        {              
             return  "/products.aspx?ID=" + args.InternalDataRow["ProductId"];   
        }   
         catch (Exception exp)   
        {   
             //Place error handling here   
            args.WriteDebug(exp.Message);   
             return   "Custom script error" ;   
        }   
    }   
}

表单字段输入转换

C# and VB.NET Scripts

public   static  string TransformInput(WrInputTransformationArguments args)   
{   
     try   
    {              
         return  args.InputData;   
    }   
     catch (Exception exp)   
    {   
        args.WriteDebug(exp.Message);   
         return   "Custom script error" ;   
    }   
}

Examples
下面的例子显示了一个输入转换脚本，该脚本用于将一个项目输入参数分配给FormField元素。

using  System;   
using  VisualWebRipper.Internal.SimpleHtmlParser;   
using  VisualWebRipper;   
public   class  Script   
{   
     //See help for a definition of WrInputTransformationArguments.   
     public   static   string  TransformInput(WrInputTransformationArguments args)   
    {   
         try   
        {           
             return  args.InputParameters[ "par1" ];   
        }   
         catch (Exception exp)   
        {               
            args.WriteDebug(exp.Message);   
             return   "Custom script error" ;   
        }   
    }   
}

下一个示例显示了一个简单地返回当前日期的脚本。

using  System;  
using  VisualWebRipper.Internal.SimpleHtmlParser;  
using  VisualWebRipper;  
public   class  Script  
{  
    //See help for a definition of WrInputTransformationArguments.  
    public static string TransformInput(WrInputTransformationArguments args)  
    {  
        try  
        {             
            return DateTime.Now.ToString("dd/MM/yyyy");  
        }  
        catch(Exception exp)  
        {  
            //Place error handling here  
            args.WriteDebug(exp.Message);  
            return "Custom script error";  
        }  
    }  
}

内容脚本 Content Scripts

在数据提取过程中，内容脚本用于执行定制脚本。此内容类型不会生成任何输出数据，也不会选择任何HTML元素。通常，内容脚本用于在提取数据时重新组织数据。

脚本可以通过选择以下选项之一在模板中的任何地方执行。请注意，如果您在模板中首先执行脚本，那么在执行脚本时，从模板中提取的数据将不可用。

脚本之内容转换_第4张图片
image.png
脚本选项 Script Options
Execute script last in template 在模板中提取所有内容之后，执行脚本，包括在任何子模板中定义的所有内容。
Execute script first in template 在提取模板中的任何内容之前执行脚本。
Execute script after 在特定的内容元素或模板之后执行脚本。

当您单击脚本Script按钮时，内容脚本编辑器会打开。

脚本之内容转换_第5张图片
image.png

C# and VB.NET Scripts

public   static   void  ScriptMethod(WrContentScriptArguments args)   
{   
     try   
    {              
    }   
     catch (Exception exp)   
    {   
        args.WriteDebug(exp.Message);   
    }   
}

public static void ScriptMethod(WrContentScriptArguments args)
：脚本方法ScriptMethod必须具有确切的名称和签名，因此只更改方法体。

Name Type Description
Project WrProject The current Visual Web Ripper project.
InternalDataRow WrInternalDataRow The current data row containing the extracted content in the current template.
Database WrSharedDatabase An open database connection.
InputDataRow WrInputDataRow The current input data row if an input data source has been defined.
InputParameters WrInputParameters Input parameters for the current project.

WrContentScriptArguments Properties

Name Type Description
Project WrProject The current Visual Web Ripper project.
InternalDataRow WrInternalDataRow The current data row containing the extracted content in the current template.
Database WrSharedDatabase An open database connection.
InputDataRow WrInputDataRow The current input data row if an input data source has been defined.
InputParameters WrInputParameters Input parameters for the current project.

Example

using  System;   
using  mshtml;   
using  VisualWebRipper;   
public   class  Script   
{   
     //See help for a definition of WrContentScriptArguments.   
     public   static   void  ScriptMethod(WrContentScriptArguments args)   
    {   
         try   
        {              
             int  newValue =  int .Parse(args.InternalDataRow[ "value" ]);   
             int  sum =  int .Parse(args.InternalDataRow[ "sum" ]);   
            args.InternalDataRow[ "sum" ] = (sum + newValue).ToString();   
        }   
         catch (Exception exp)   
        {   
            args.WriteDebug(exp.Message);   
        }   
    }   
}

等待脚本 Wait Scripts

许多网站使用JavaScript和AJAX请求异步更新页面。Visual Web Ripper 常常可以钩入AJAX请求，从而确定AJAX请求何时完成。如果Visual Web Ripper无法连接到AJAX请求，或者无法确定AJAX请求何时完成，则需要使用异步JavaScript操作。

AJAX是一个JavaScript，它执行从web浏览器到web服务器的异步回调。AJAX调用通常发生在用户单击链接或按钮时。通常，他们从服务器检索数据并在网页上显示。AJAX调用异步执行，从来不会加载一个全新的页面，因此用户不会注意到AJAX回调，除非发生在页面上的更改。有些网站会显示加载信息，以便通知用户新内容正在加载。Visual Web Ripper可能无法检测到AJAX回调，除非是在网页上寻找变化。为了确定AJAX回调何时完成，您必须告诉Visual Web Ripper在网页上的更改。

Visual Web Ripper需要等待一个AJAX回调来完成，这样它就不会在新数据加载到页面之前就开始提取数据了。

链接模板和FormSubmit模板可以有一个完整的页面加载动Full page load作或JavaScript动作。如果您选择了异步AJAX操作，您可以选择等待元素来让Visual Web Ripper等待，以确定何时完成了AJAX调用。等待元素可以是项目中任何其他适当的内容或模板。Visual Web Ripper等待被选择为等待元素的HTML元素。如果您不选择等待元素Wait Element，那么Visual Web Ripper会自动选择链接中的第一个内容元素或FormSubmit模板作为等待元素Wait Element。

在打开一个具有异步JavaScript操作的模板时，遵循以下这些默认步骤:

  1. 点击选择的链接或web表单按钮。
  2. 等待等待元素Wait Element从网页中消失，或者等待等待元素Wait Element的内容发生变化。如果那个时候的等待元素Wait Element在网页上不存在，那么这个步骤就会自动完成。
  3. 等待等待元素Wait Element出现在网页上。

这些默认的步骤通常很有效，但是有时您需要给Visual Web Ripper提供额外的信息，以确定异步JavaScript何时完成。例如，等待元素的内容可能会经历以下三个阶段:

  1. 等待元素Wait Element包含原始内容。
  2. 等待元素内容更改为“Loading..”。
  3. 等待元素包含新内容。

异步JavaScript调用在等待元素Wait Element包含新内容之前没有完成，但是Visual Web Ripper不理解“Loading…”文本，所以它认为这是它需要等待的新内容。Visual Web Ripper过早地停止等待异步JavaScript调用，如果您的数据提取项目从等待元素中提取内容，它将提取“Loading…”“文本而不是新内容。在这种情况下，您需要一个等待脚本，告诉Visual Web Ripper继续等待等待元素的内容发生变化，但如果内容更改为“Loading…”，则继续等待。

单击脚本等待条件Script Wait Condition按钮，将一个等待脚本添加到AJAX操作。

脚本之内容转换_第6张图片
image.png

在您单击脚本等待条件按钮后，等待脚本编辑器将打开。

脚本之内容转换_第7张图片
image.png

C# and VB.NET Scripts

public   static   bool  IsAjaxCallCompleted(WrWaitScriptArguments args)   
{   
     try   
    {   
         //Place your condition code here.   
         //This example waits until the old content has been replaced with new content,   
         //but waits a maximum of 3 seconds.   
  
         if (args.SecondsWaited>3)   
             return   true ;   
  
         if (!args.OldContent.Equals(args.NewContent))   
             return   true ;   
  
         return   false ;   
    }   
     catch (Exception exp)   
    {   
        args.WriteDebug(exp.Message);   
             return   true ;   
    }   
}

public static bool IsAjaxCallCompleted(WrWaitScriptArguments args)

等待脚本方法 IsAjaxCallCompleted 必须具有这个确切的名称和签名，所以只更改方法体，而不是方法签名。当AJAX调用完成时，该方法必须返回true，如果尚未完成，则返回false。

*WrWaitScriptArguments Properties *

Name Type Description
SecondsWaited double The number of seconds Visual Web Ripper has waited for the AJAX call to be completed.
OldContent string The content of the wait element before the AJAX call was activated. The actual content depends on the content type selected for the wait element.
NewContent string The current content of the wait element. The actual content depends on the content type selected for the wait element.
OldText string The inner text of the wait element before the AJAX call was activated.
NewText string The inner text content of the wait element.
OldHtml string The outer HTML of the wait element before the AJAX call was activated.
NewHtml string The current outer HTML of the wait element.
WaitElement IHTMLElement The actual wait element. Please see Microsoft documentation for the IHTMLElement for more information.
IsOptionalWait bool True if the AJAX call may not change the wait element.
Project WrProject The current Visual Web Ripper project.
InternalDataRow WrInternalDataRow The current data row containing the extracted content in the current template.
Database WrSharedDatabase An open database connection.
InputDataRow WrDataRow The current input data row if an input data source has been defined.
InputParameters WrInputParameters Input parameters for the current project.

Example
面的例子展示了等待等待的等待元素的等待，直到等待的元素的内容发生变化，并且不等于“加载…”。等待脚本最多等待3秒

using  System;   
using  mshtml;   
using  VisualWebRipper;   
public   class  Script   
{      
     public   static   bool  IsAjaxCallCompleted(WrWaitScriptArguments args)   
    {   
         try   
        {              
             if (args.SecondsWaited>3)   
                 return   true ;   
  
             if (!args.OldContent.Equals(args.NewContent) && !args.NewContent.Equals( "Loading..." ))   
                 return   true ;   
  
             return   false ;   
        }   
         catch (Exception exp)   
        {   
            args.WriteDebug(exp.Message);   
                 return   true ;   
        }   
    }   
}

页面转换脚本 Page Transformation Scripts

脚本之内容转换_第8张图片
image.png

C# and VB.NET Scripts

public   static  string TransformContent(WrContentTransformationArguments args)   
{   
     try   
    {              
         return  args.Content;   
    }   
     catch (Exception exp)   
    {   
         //Place error handling here   
        args.WriteDebug(exp.Message);   
         return   "Custom script error" ;   
    }   
}

public static string TransformContent(WrContentTransformationArguments args)
页面转换方法转换必须有准确的名称和签名，所以只修改方法体，而不是方法签名。该方法接收原始内容作为参数，必须返回转换后的内容。

Example

using  System;   
using  VisualWebRipper.Internal.SimpleHtmlParser;   
using  VisualWebRipper;   
public   class  Script   
{      
     public   static  string TransformContent(WrContentTransformationArguments args)   
    {   
         try   
        {              
             return  args.Content.Replace( "class=blue_text" , "" );   
        }   
         catch (Exception exp)   
        {   
             //Place error handling here   
            args.WriteDebug(exp.Message);   
             return   "Custom script error" ;   
        }   
    }   
}

项目初始化脚本Project Initialization Scripts

项目初始化脚本在数据提取项目启动之前运行。该脚本通常用于在项目启动之前设置项目参数，例如数据库连接参数。
通过在Advanced Options中单击初始化脚本选项按钮，您可以将项目初始化脚本添加到项目中。

脚本之内容转换_第9张图片
image.png

在您单击初始化脚本按钮后，脚本编辑器将打开。


脚本之内容转换_第10张图片
image.png

C# and VB.NET Scripts

public   static   bool  InitializeProject(WrProjectInitializeArguments args)   
{   
     try   
    {   
         //Place your script code here.   
         return   true ;   
    }   
     catch (Exception exp)   
    {   
        args.WriteDebug(exp.Message);   
         return   false ;   
    }   
}

public static bool InitializeProject(WrProjectInitializeArguments args)

脚本方法InitializeProject必须有这个确切的名称和签名，所以只修改方法体，而不是方法签名。该方法必须返回true，以指示成功或false表示失败。

Example
下面的示例展示了一个项目初始化脚本，该脚本将项目开始URL设置为输入参数的值。

using  System;   
using  mshtml;   
using  VisualWebRipper;   
public   class  Script   
{      
     public   static   bool  InitializeProject(WrProjectInitializeArguments args)   
    {   
         try   
        {   
             if (args.InputParameters.Contains( "url" ))   
            {   
                args.Project.StartUrls.Clear();   
                args.Project.StartUrls.Add(args.InputParameters[ "url" ]);   
            }   
             return   true ;   
        }   
         catch (Exception exp)   
        {   
            args.WriteDebug(exp.Message);   
             return   false ;   
        }   
    }   
}

API 参考API Considerations

项目初始化脚本是在运行项目之前执行的，因此，如果您正在使用这个API来运行项目，那么您的应用程序应该像这样执行任何项目初始化脚本:

if (project.ProjectInitialize.IsEnabled)
{
    project.ProjectInitialize.ExecuteProjectInitializeScript(project);
}

自定义XPath函数

每次单击web浏览器中的内容时，Visual Web Ripper就会在幕后进行一些高级处理，以计算选择XPath。XPath是一种常用的语法，用于在类似于xml的文档中选择元素，比如HTML文档。Visual Web Ripper使用了XPath的定制实现，它支持XPath v1.0语法。定制的Visual Web Ripper XPath版本还支持一系列特别设计的新功能，以简化Web抓取。除了内置函数外，还可以定义自己的自定义函数。

自定义XPath函数是通过向数据提取项目添加一个脚本来定义的。单个脚本用于定义整个项目中的所有自定义XPath函数。这个脚本可以在Advanced Options屏幕上显示。


脚本之内容转换_第11张图片
image.png
脚本之内容转换_第12张图片
image.png

与其他XPath函数一样，使用自定义XPath函数。例如:

//DIV[@id='content']/DIV[MyCustomFunction(TABLE/TR[1]/TD[1])=1]

C# and VB.NET Scripts

自定义XPath函数可以有任意名称和任意数量的参数，但是返回类型和所有参数必须是下列类型之一:

  • C#: int, double, DateTime, string, bool
  • VB.NET: Integer, Double, DateTime, String, Boolean
public   static   bool  CustomName1(WrXpathArguments args, string customArg1,  bool  customArg2)   
{   
     try   
    {   
         return   true ;   
    }   
     catch (Exception exp)   
    {   
        args.WriteDebug(exp.Message);   
         return   true ;   
    }   
}   
  
public   static   int  CustomName2(string customArg1)   
{   
     try   
    {   
         return  0;   
    }   
     catch (Exception exp)   
    {   
         return  0;   
    }   
}

自定义XPath函数也可以有一个可选参数类型WrXpathArguments。该参数必须是函数中的第一个参数，并被自动添加到函数调用中，因此在选择XPath时调用函数时不应指定该参数。

Name Type Description
Project WrProject The current Visual Web Ripper project.
InternalDataRow WrInternalDataRow The current data row containing the extracted content in the current template.
Database WrSharedDatabase An open database connection.
InputDataRow WrDataRow The current input data row if an input data source has been defined.
InputParameters WrInputParameters Input parameters for the current project.

**WrXpathArguments Properties **

Name Type Description
Project WrProject The current Visual Web Ripper project.
InternalDataRow WrInternalDataRow The current data row containing the extracted content in the current template.
Database WrSharedDatabase An open database connection.
InputDataRow WrDataRow The current input data row if an input data source has been defined.
InputParameters WrInputParameters Input parameters for the current project.

Example

using  System;   
using  mshtml;   
using  VisualWebRipper;   
public   class  Script   
{          
     public   static   bool  IsNotLastPage(WrXpathArguments args)   
    {   
         try   
        {   
             if (args.InternalDataRow[ "currentPage" ] == args.InternalDataRow[ "lastPage" ])   
                 return   false ;   
             else   
                 return   true ;   
        }   
         catch (Exception exp)   
        {   
            args.WriteDebug(exp.Message);   
             return   true ;   
        }   
    }      
}

这个XPath函数可以用于一个Next Page导航链接总是显示在页面上，甚至在导航的最后一个页面上。如果你使用一个分页导航模板来处理这个导航，Visual Web Ripper就会进入一个无限循环，因为Visual Web Ripper会继续跟随下一页Next Page链接。如果页面显示当前页面索引和页面总数，那么您可以提取该信息并使用上面的XPath函数来确保在当前页面等于导航的最后一页时没有选择下一页Next Page面链接。

//A[.="Next page"][IsNotLastPage()]

XPath转换 XPath Transformation

可以使用XPath转换脚本转换模板或内容元素的XPath。XPath转换脚本是非常专业的脚本，很少使用。使用XPath函数而不是XPath转换总是更好，因为函数更容易使用，而且提供了更大的灵活性。

XPath转换有时可以与重复父模板结合使用。如果您正在使用一个重复父模板重复一个模板来重复多个级别的子类别链接，那么您可能会发现，在每个级别上的子类别链接都与以前的子类别级别的链接略有不同。当前子类别链接的位置可能取决于前面的子类别链接的位置。这对于树菜单布局来说尤其如此。

可以将XPath转换定义为正则表达式或C#或VB.NET脚本。c#或VB.NET脚本通常用于XPath转换，因为它提供对一些重要属性的访问，这些属性在使用正则表达式时是不可访问的。

C# and VB.NET Scripts

XPath转换脚本必须有一个方法，如下所示。

public   static  string TransformXpath(WrXpathTransformationArguments args)   
{   
     try   
    {   
         return  args.Xpath;   
    }   
     catch (Exception exp)   
    {   
        args.WriteDebug(exp.Message);   
         return   "Custom script error" ;   
    }   
}

public static string TransformXpath(WrInputTransformationArguments args)

XPath转换方法TransformXpath必须具有准确的名称和签名，因此只更改方法体，而不是方法签名。该方法接收原始XPath作为参数，并必须返回已转换的XPath。

WrXpathTransformationArguments Properties

Name Type Description
XPath string The original XPath.
ParentXpath string The XPath of the parent template.
RepeatLevel int The number of times the same RepeatParent template has been processed.
Project WrProject The current Visual Web Ripper project.
InternalDataRow WrInternalDataRow The current data row containing the extracted content in the current template.
Database WrSharedDatabase An open database connection.
InputDataRow WrDataRow The current input data row if an input data source has been defined.
InputParameters WrInputParameters Input parameters for the current project.

Examples
下面的例子展示了一个在重复父模板上使用的XPath转换脚本。该脚本根据父模板的XPath生成一个新的XPath。重复父模板的父模板是相同的重复父模板，所以这是一个递归机制。如果是第一次在递归循环中处理重复父模板，那么参数重复级别是1。

using  System;   
using  VisualWebRipper;   
public   class  Script   
{      
     public   static  string TransformXpath(WrXpathTransformationArguments args)   
    {   
         try   
        {   
             if (args.RepeatLevel>1)   
                 return  args.ParentXpath +  "/../UL/LI/A" ;   
             else   
                 return  args.Xpath;   
        }   
         catch (Exception exp)   
        {   
            args.WriteDebug(exp.Message);   
             return   "Custom script error" ;   
        }   
    }   
}

条件脚本 Condition Scripts

条件脚本用于在某些条件不满足时取消数据提取。您可以取消整个模板的数据提取，也可以取消当前的内容元素。如果您取消了list模板的数据提取，您可以选择是否应该为整个元素列表取消数据提取，还是只选择列表中的当前元素。举个例子,如果你有一个模板,列表遍历一组产品链接,你使用一个脚本取消数据提取条件如果一个产品已经存在于您的数据库,那么你可以选择取消数据提取只对当前产品链接,而不是其他产品链接。

您可以在Advanced Options窗口中向两个模板和内容元素添加条件脚本。

脚本之内容转换_第13张图片
image.png
脚本之内容转换_第14张图片
image.png

C# and VB.NET Scripts

public   static   bool  IsCondition(WrConditionArguments args)   
{   
     try   
    {   
         return   true ;   
    }   
     catch (Exception exp)   
    {   
        args.WriteDebug(exp.Message);   
         return   true ;   
    }   
}

public static bool IsCondition(WrConditionArguments args)

条件脚本方法IsCondition必须有这个确切的名称和签名，所以只修改方法体，而不是方法签名。该方法必须返回false，以触发条件失败Condition fail操作。

Example

using  System;   
using  mshtml;   
using  VisualWebRipper;   
public   class  Script   
{   
     public   static   bool  IsCondition(WrConditionArguments args)   
    {   
         try   
        {   
            args.Database.SetSql( "select count(*) as total from product where product_code=@productCode" );          
            args.Database.PrepareSql();   
            args.Database.SetParameterTextValue( "@productCode" , args.Content);   
             int  total = ( int ) args.Database.ExecuteScalar();   
             if (total == 0)   
                 return   true ;   
             else   
                 return   false ;   
        }   
         catch (Exception exp)   
        {   
            args.WriteDebug(exp.Message);   
             return   true ;   
        }   
    }   
}

输入数据的脚本 Input Data Scripts

一个输入数据脚本可以用来为一个项目生成输入值。该脚本通常用于为项目生成启动url。如果该脚本用于生成启动url，则必须将该项目配置为从输入数据源提供启动url。

在将输入数据源设置为脚本之后，可以将输入数据脚本添加到项目中。

脚本之内容转换_第15张图片
image.png

脚本之内容转换_第16张图片
image.png

C# and VB.NET Scripts

using  System;   
using  System.Data;   
using  mshtml;   
using  VisualWebRipper;   
public   class  Script   
{   
     //See help for a definition of WrInputDataScriptArguments.   
     public   static  DataTable GetInputData(WrInputDataScriptArguments args)   
    {   
         try   
        {   
             //Place your script code here.   
             return   new  DataTable();   
        }   
         catch (Exception exp)   
        {   
            args.WriteDebug(exp.Message);   
             return  null;   
        }   
    }   
}

*public static bool GetInputData(WrGetInputDataArguments args)

这个脚本方法GetInputData必须有这个确切的名称和签名，所以只修改方法体，而不是方法签名。该方法必须返回一个标准。包含您想要向您的项目提供的输入数据的NET DataTable。

WrGetInputDataArguments Properties

Name Type Description
Project WrProject The current Visual Web Ripper project.
Database WrSharedDatabase An open database connection.
InputParameters WrInputParameters Input parameters for the current project.

Utility Classes

Visual Web Ripper 提供了一些实用程序类，它们使创建输入数据脚本变得更容易。

VisualWebRipper.ScriptUtils.ArrayToDataTable(string columnName, string[] values)
VisualWebRipper.ScriptUtils.ArrayToDataTable(string columnName, string stringFormat, string[] values)

ArrayToDataTable 方法是脚本类中的一个静态方法，它可以用来将一个字符串数组转换成一个单独的列数据表。
VisualWebRipper.ScriptData.States.USA
USA属性是状态类中的一个静态属性，它返回一个字符串数组，其中包含了USA所有州的短名称。

Examples

using  System;   
using  System.Data;   
using  mshtml;   
using  VisualWebRipper;   
using  VisualWebRipper.ScriptData;   
public   class  Script   
{      
     public   static  DataTable GetInputData(WrInputDataScriptArguments args)   
    {   
         try   
        {   
             return  ScriptUtils.ArrayToDataTable( "url" ,    
                 "http://www.domain.com/states/{0}" , States.USA);   
        }   
         catch (Exception exp)   
        {   
            args.WriteDebug(exp.Message);   
             return  null;   
        }   
    }   
}

下面的示例显示了一个输入数据脚本，该脚本根据数字1到1000生成一个开始url的列表。

using  System;   
using  System.Collections.Generic;   
using  System.Data;   
using  mshtml;   
using  VisualWebRipper;   
public   class  Script   
{      
     public   static  DataTable GetInputData(WrInputDataScriptArguments args)   
    {   
         try   
        {   
            List urls =  new  List();   
             for ( int  i = 1;i < 1000;i++)   
            {   
                urls.Add( "http://www.domain.com/page.php?ID=" +i.ToString());   
            }   
             return  ScriptUtils.ArrayToDataTable( "url" , urls.ToArray());   
        }   
         catch (Exception exp)   
        {   
            args.WriteDebug(exp.Message);   
             return  null;   
        }   
    }   
}

下面的示例与上面的示例相同，但是使用一个输入参数来指定最大索引。

using  System;   
using  System.Collections.Generic;   
using  System.Data;   
using  mshtml;   
using  VisualWebRipper;   
public   class  Script   
{      
     public   static  DataTable GetInputData(WrInputDataScriptArguments args)   
    {   
         try   
        {   
            List urls =  new  List();   
             int  maxIndex =  int .Parse(args.InputParameters[ "MaxIndex" ]);   
             for ( int  i = 0;i < maxIndex;i++)   
            {   
                urls.Add( "http://www.domain.com/page.php?ID=" +i.ToString());   
            }   
             return  ScriptUtils.ArrayToDataTable( "url" , urls.ToArray());   
        }   
         catch (Exception exp)   
        {   
            args.WriteDebug(exp.Message);   
             return  null;   
        }   
    }   
}

下面的示例从XML文件中读取url。您需要包含assembly参考system.xml.Linq和System.Core 是为了编译这个脚本。

public static DataTable GetInputData(WrInputDataScriptArguments args)
{ 
    try 
    { 
        XNamespace ns = http://www.google.com/schemas/sitemap/0.84; 
        XDocument xmlFile = XDocument.Load(http://www.mydomain.com/myxml.xml); 
        var result = from r in xmlFile.Descendants(ns + "url") select r.Element(ns + "loc").Value; 
        string[] urls = result.ToArray(); 
        return ScriptUtils.ArrayToDataTable("Url", urls); 
    } 
    catch(Exception exp) 
    { 
        args.WriteDebug("Custom script error: " + exp.Message); 
        return null; 
    }
}

使用第三方组件Using 3rd Party Assemblies

您可以在脚本中使用第三方程序集，但是您必须首先在项目程序集引用(Project Assembly References)屏幕上添加一个组件引用。使用管理程序集引用(Manage Assembly References)按钮打开这个屏幕。

脚本之内容转换_第17张图片
image.png

记住这点很重要: .NET不能从可执行文件的文件夹外部加载程序集。这意味着所有的第三方程序集应该被复制到Visual Web Ripper安装文件夹中。Visual Web Ripper不会自动将选择的程序集复制到安装文件夹。如果您使用的是Visual Web Ripper API，那么第三方程序集必须被复制到您自己的应用程序的文件夹中。
























你可能感兴趣的:(脚本之内容转换)

  • 扫地机类清洁产品之直流无刷电机控制 悟空胆好小 清洁服务机器人单片机人工智能
    扫地机类清洁产品之直流无刷电机控制1.1前言扫地机产品有很多的电机控制，滚刷电机1个，边刷电机1-2个，清水泵电机，风机一个，部分中高端产品支持抹布功能，也就是存在抹布盘电机，还有追觅科沃斯石头等边刷抬升电机，滚刷抬升电机等的，这些电机有直流有刷电机，直接无刷电机，步进电机，电磁阀，挪动泵等不同类型。电机的原理，驱动控制方式也不行。接下来一段时间的几个文章会作个专题分析分享。直流有刷电机会自动持续
  • ArcGIS栅格计算器常见公式（赋值、0和空值的转换、补充栅格空值） 研学随笔 arcgis经验分享
    我们在使用ArcGIS时通常经常用到栅格计算器，今天主要给大家介绍我日常中经常用到的几个公式，供大家参考学习。将特定值（-9999）赋值为0，例如-9999.Con("raster"==-9999,0,"raster")2.给空值赋予特定的值（如0）Con(IsNull("raster"),0,"raster")3.将特定的栅格值(如1)赋值为空值，其他保留原值SetNull("raster"==
  • 2018-07-23-催眠日作业-#不一样的31天#-66小鹿 小鹿_33
    预言日：人总是在逃避命运的路上，与之不期而遇。心理学上有个著名的名词，叫做自证预言；经济学上也有一个很著名的定律叫做，墨菲定律；在灵修派上，还有一个很著名的法则，叫做吸引力法则。这3个领域的词，虽然看起来不太一样，但是他们都在告诉人们一个现象：你越担心什么，就越有可能会发生什么。同样的道理，你越想得到什么，就应该要积极地去创造什么。无论是自证预言，墨菲定律还是吸引力法则，对人都有正反2个维度的影响
  • 《大清方方案》| 第二话 谁佐清欢
    和珅究竟说了些什么？竟能令堂堂九五之尊龙颜失色！此处暂且按下不表；单说这位乾隆皇帝，果真不愧是康熙从小带过的，一旦决定了要做的事，便杀伐决断毫不含糊。他当即亲自拟旨，着令和珅为钦差大臣，全权负责处理方方事件，并钦赐尚方宝剑，遇急则三品以下官员可先斩后奏。和珅身负皇上重托，岂敢有半点怠慢，当夜即率领相关人等，马不停蹄杀奔江汉。这一路上，和珅的几位幕僚一直在商讨方方事件的处置方案。有位年轻幕僚建议快刀
  • 《庄子.达生9》 钱江潮369
    【原文】孔子观于吕梁，县水三十仞，流沫四十里，鼋鼍鱼鳖之所不能游也。见一丈夫游之，以为有苦而欲死也，使弟子并流而拯之。数百步而出，被发行歌而游于塘下。孔子从而问焉，曰：“吾以子为鬼，察子则人也。请问，‘蹈水有道乎’”曰：“亡，吾无道。吾始乎故，长乎性，成乎命。与齐俱入，与汩偕出，从水之道而不为私焉。此吾所以蹈之也。”孔子曰：“何谓始乎故，长乎性，成乎命？”曰：“吾生于陵而安于陵，故也；长于水而安于
  • 第四天旅游线路预览——从换乘中心到喀纳斯湖 陟彼高冈yu 基于Googleearthstudio的旅游规划和预览旅游
    第四天：从贾登峪到喀纳斯风景区入口，晚上住宿贾登峪；换乘中心有4路车，喀纳斯①号车，去喀纳斯湖，路程时长约5分钟；将上面的的行程安排进行动态展示，具体步骤见”Googleearthstudio进行动态轨迹显示制作过程“、“Googleearthstudio入门教程”和“Googleearthstudio进阶教程“相关内容，得到行程如下所示：Day4-2-480p
  • PHP环境搭建详细教程 好看资源平台 前端php
    PHP是一个流行的服务器端脚本语言，广泛用于Web开发。为了使PHP能够在本地或服务器上运行，我们需要搭建一个合适的PHP环境。本教程将结合最新资料，介绍在不同操作系统上搭建PHP开发环境的多种方法，包括Windows、macOS和Linux系统的安装步骤，以及本地和Docker环境的配置。1.PHP环境搭建概述PHP环境的搭建主要分为以下几类：集成开发环境：例如XAMPP、WAMP、MAMP，这
  • 下载github patch到本地 小米人er 我的博客gitpatch
    以下是几种从GitHub上下载以.patch结尾的补丁文件的方法：通过浏览器直接下载打开包含该.patch文件的GitHub仓库。在仓库的文件列表中找到对应的.patch文件。点击该文件，浏览器会显示文件的内容，在页面的右上角通常会有一个“Raw”按钮，点击它可以获取原始文件内容。然后在浏览器中使用快捷键（如Ctrl+S或者Command+S）将原始文件保存到本地，选择保存的文件名并确保后缀为.p
  • SQL Server_查询某一数据库中的所有表的内容 qq_42772833 SQLServer数据库sqlserver
    1.查看所有表的表名要列出CrabFarmDB数据库中的所有表（名），可以使用以下SQL语句：USECrabFarmDB;--切换到目标数据库GOSELECTTABLE_NAMEFROMINFORMATION_SCHEMA.TABLESWHERETABLE_TYPE='BASETABLE';对这段SQL脚本的解释：SELECTTABLE_NAME：这个语句的作用是从查询结果中选择TABLE_NAM
  • 少了生活气息 我爱大草莓
    最近啊，总觉得自己日更的内容缺了点什么。我仔细地想，大概是少了些生活气息。这两三个月减少了许多与别人相处的时间，独自生活，偶尔只是出去买菜，总觉得生活好像变空了许多。买菜的时候会跟档口的阿姨聊一两句话，让自己感觉在真实地生活着。幸好我也不是一宅到底，偶尔周末也会约着跟好朋友见面，面对面交流跟隔着屏幕交流，效果还是不一样的，至少有更为真实的生活感。写作不仅需要有阅读量，有文笔，生活阅历也是非常重要的
  • 高端密码学院笔记285 柚子_b4b4
    高端幸福密码学院（高级班）幸福使者：李华第（598）期《幸福》之回归内在深层生命原动力基础篇——揭秘“激励”成长的喜悦心理案例分析主讲：刘莉一，知识扩充:成功=艰苦劳动+正确方法+少说空话。贪图省力的船夫，目标永远下游。智者的梦再美，也不如愚人实干的脚印。幸福早课堂2020.10.16星期五一笔记:1，重视和珍惜的前提是知道它的价值非常重要，当你珍惜了，你就真正定下来，真正的学到身上。2，大家需要
  • 2020-04-12每天三百字之连接与替代 冷眼看潮
    不知道是不是好为人师，有时候还真想和别人分享一下我对某些现象的看法或者解释。人类社会不断发展进步的过程，就是不断连接与替代的过程。人类发现了火并应用火以后，告别了茹毛饮血的野兽般的原始生活（火烧、烹饪替代了生食）人类用石器代替了完全手工，工具的使用使人类进步一大步。类似这样的替代还有很多，随着科技的发展，有更多的原始的事物被替代，代之以更高效、更先进的技术。在近现代，汽车替代了马车，高速公路和铁路
  • 探索OpenAI和LangChain的适配器集成：轻松切换模型提供商 nseejrukjhad langchaineasyui前端python
    #探索OpenAI和LangChain的适配器集成：轻松切换模型提供商##引言在人工智能和自然语言处理的世界中，OpenAI的模型提供了强大的能力。然而，随着技术的发展，许多人开始探索其他模型以满足特定需求。LangChain作为一个强大的工具，集成了多种模型提供商，通过提供适配器，简化了不同模型之间的转换。本篇文章将介绍如何使用LangChain的适配器与OpenAI集成，以便轻松切换模型提供商
  • 使用Apify加载Twitter消息以进行微调的完整指南 nseejrukjhad twittereasyui前端python
    #使用Apify加载Twitter消息以进行微调的完整指南##引言在自然语言处理领域，微调模型以适应特定任务是提升模型性能的常见方法。本文将介绍如何使用Apify从Twitter导出聊天信息，以便进一步进行微调。##主要内容###使用Apify导出推文首先，我们需要从Twitter导出推文。Apify可以帮助我们做到这一点。通过Apify的强大功能，我们可以批量抓取和导出数据，适用于各类应用场景。
  • 如何部分格式化提示模板:LangChain中的高级技巧 nseejrukjhad langchainjava服务器python
    标题:如何部分格式化提示模板:LangChain中的高级技巧内容:如何部分格式化提示模板:LangChain中的高级技巧引言在使用大型语言模型(LLM)时,提示工程是一个关键环节。LangChain提供了强大的提示模板功能,让我们能更灵活地构建和管理提示。本文将介绍LangChain中一个高级特性-部分格式化提示模板,这个技巧可以让你的提示管理更加高效和灵活。什么是部分格式化提示模板?部分格式化提
  • 东南林氏之九牧林候选父系 祖缘树TheYtree
    渊源介绍东晋初年晋安林始祖林禄公入闽，传十世隋右丞林茂，由晋安迁居莆田北螺村。又五世而至林万宠，唐开元间任高平太守，生三子：韬、披、昌。韬公之孙攒，唐德宗立双阙以旌表其孝，时号"阙下林家"。昌公字茂吉，乃万宠公第三子，官兵部司马，配宋氏，生一子名萍。萍于唐贞元间明经及第，官沣洲司马(后追赠中宪大夫)。唐太和年间归隐后，迁居仙游游洋，世称“游洋林”；其后裔居游洋后迁移漳州漳浦路下，由路下林第四房平和
  • 大伟说成语之唉声叹气 求索大伟
    ＊大伟说成语＊【唉声叹气】叹气：因心里不痛快或不如意而吐出长气，发出声音。因为痛苦、憋闷或感伤而发出叹息的声音。【大伟说】情绪外露，非人类所特有，动物亦有情绪，悲哀和欢乐所表示的情绪亦是不一样的，会嗷嗷大叫也会低吟痛哭。不同的是，人类的情绪更复杂，更多样，更丰富。唉声叹气，可以说是最基础的情绪，因为无奈而举足无措，不知该如何如何化解，只有独自一人慢慢承受，长吁短叹不知如何是好，其实是无能无力的表现
  • Python快速入门 —— 第三节：类与对象 孤华暗香 Python快速入门python开发语言
    第三节：类与对象目标：了解面向对象编程的基础概念，并学会如何定义类和创建对象。内容：类与对象：定义类：class关键字。类的构造函数：__init__()。类的属性和方法。对象的创建与使用。示例：classStudent:def__init__(self,name,age,major):self.name&#
  • libyuv之linux编译 jaronho Linuxlinux运维服务器
    文章目录一、下载源码二、编译源码三、注意事项1、银河麒麟系统（aarch64）（1）解决armv8-a+dotprod+i8mm指令集支持问题（2）解决armv9-a+sve2指令集支持问题一、下载源码到GitHub网站下载https://github.com/lemenkov/libyuv源码，或者用直接用git克隆到本地，如：gitclonehttps://github.com/lemenko
  • ARM中断处理过程 落汤老狗 嵌入式linux
    一、前言本文主要以ARM体系结构下的中断处理为例，讲述整个中断处理过程中的硬件行为和软件动作。具体整个处理过程分成三个步骤来描述：1、第二章描述了中断处理的准备过程2、第三章描述了当发生中的时候，ARM硬件的行为3、第四章描述了ARM的中断进入过程4、第五章描述了ARM的中断退出过程本文涉及的代码来自3.14内核。另外，本文注意描述ARM指令集的内容，有些sourcecode为了简短一些，删除了T
  • 如何成为段子手 欣雅阅读
    我是一个尬聊大师，与朋友聊天经常把话题聊死，留我一个人在群里，望着自己打下的最后一句话无语凝噎。看到风趣幽默的朋友与人聊天，很是艳羡，觉得自己何时才能成为这样的段子手呢？一、段子是什么？“段子”一词在百度百科上的解释：本是相声中的一个艺术术语，指的是相声作品中一节或一段艺术内容。我的理解：段子就是一些搞笑的故事或者笑话。二、为什么要会说段子？不知道大家有没有这样的朋友，本来很无趣的聚会，只要有他参
  • 怎么做淘客赚钱(2022最新免费淘客盈利的方法) 高省_飞智666600
    很多人都不知道什么是淘宝客，今天小编为大家解答一下吧。淘宝客，现在简称淘客，是时下比较流行的一个词语，特质为淘宝店推广商品获取提成的人，这些人没有自己的产品，只是在淘宝里面选择适合自己的产品，在自己比较熟悉的领域推广，把产品卖出去之后，会从淘宝店家那里获得百分之五到百分之五十左右的佣金。淘宝客付出的是什么呢？时间。你需要花时间去选适合自己推广的产品，需要花时间去选自己的推广方法，如果你打算自己做个
  • Python爬虫解析工具之xpath使用详解 eqa11 python爬虫开发语言
    文章目录Python爬虫解析工具之xpath使用详解一、引言二、环境准备1、插件安装2、依赖库安装三、xpath语法详解1、路径表达式2、通配符3、谓语4、常用函数四、xpath在Python代码中的使用1、文档树的创建2、使用xpath表达式3、获取元素内容和属性五、总结Python爬虫解析工具之xpath使用详解一、引言在Python爬虫开发中，数据提取是一个至关重要的环节。xpath作为一门
  • 01-Git初识 Meereen Gitgit
    01-Git初识概念：一个免费开源，分布式的代码版本控制系统，帮助开发团队维护代码作用：记录代码内容。切换代码版本，多人开发时高效合并代码内容如何学：个人本机使用：Git基础命令和概念多人共享使用：团队开发同一个项目的代码版本管理Git配置用户信息配置：用户名和邮箱，应用在每次提交代码版本时表明自己的身份命令：查看git版本号git-v配置用户名gitconfig--globaluser.name
  • 锁之缘 尘缘诗词原创作品
    是谁追寻梦的足迹，是谁在偷偷的哭泣，日月隔离在黑白天地情感在心中蔓延的痕迹天与地的距离有多远流失的星晨落入哪片空间不要让泪水模糊双眼心牢中一样充满温暖谁说爱情没有永远白娘子又为何爱许仙蝴蝶墓地展翅翩翩轻歌慢舞袖卷人间传奇千古留爱万年…………月落星飞徘徊是选择不去问自已为合舍不得寂寞本就是痛苦的不在追寻梦中的痕迹才不会失去真实的自已
  • ARM驱动学习之基础小知识 JT灬新一 ARM嵌入式arm开发学习
    ARM驱动学习之基础小知识•sch原理图工程师工作内容–方案–元器件选型–采购（能不能买到，价格）–原理图（涉及到稳定性）•layout画板工程师–layout（封装、布局，布线，log）（涉及到稳定性）–焊接的一部分工作（调试阶段板子的焊接）•驱动工程师–驱动，原理图，layout三部分的交集容易发生矛盾•PCB研发流程介绍–方案，原理图(网表)–layout工程师（gerber文件）–PCB板
  • ARM驱动学习之5 LEDS驱动 JT灬新一 嵌入式C底层arm开发学习单片机
    ARM驱动学习之5LEDS驱动知识点：•linuxGPIO申请函数和赋值函数–gpio_request–gpio_set_value•三星平台配置GPIO函数–s3c_gpio_cfgpin•GPIO配置输出模式的宏变量–S3C_GPIO_OUTPUT注意点：DRIVER_NAME和DEVICE_NAME匹配。实现步骤：1.加入需要的头文件：//Linux平台的gpio头文件#include//三
  • ARM驱动学习之4小结 JT灬新一 嵌入式C++arm开发学习linux
    ARM驱动学习之4小结#include#include#include#include#include#defineDEVICE_NAME"hello_ctl123"MODULE_LICENSE("DualBSD/GPL");MODULE_AUTHOR("TOPEET");staticlonghello_ioctl(structfile*file,unsignedintcmd,unsignedlo
  • C++ | Leetcode C++题解之第409题最长回文串 Ddddddd_158 经验分享C++Leetcode题解
    题目：题解：classSolution{public:intlongestPalindrome(strings){unordered_mapcount;intans=0;for(charc:s)++count[c];for(autop:count){intv=p.second;ans+=v/2*2;if(v%2==1andans%2==0)++ans;}returnans;}};
  • 2020-12-24 我和我的天使们
    阅读《老子的心事》391—403“将欲取之，必固与之”：想要得到什么，首先就要送出什么。我常常对孩子们说，你希望别人怎样对你你就怎样对待别人。想要得到别人的尊重，首先要尊重别人。我希望她们可以不迟到，因为不迟到是对别人的尊重，我就自己就先做到不迟到。哪怕是约朋友逛街，我尽量准时赴约。我严格要求孩子们，也同样严格要求自己，我跟孩子们一起把好的品格变成习惯。“是谓微明”：这就是微妙的智慧。看起来很少很
  • 数据采集高并发的架构应用 3golden .net
    问题的出发点：          最近公司为了发展需要，要扩大对用户的信息采集，每个用户的采集量估计约2W。如果用户量增加的话，将会大量照成采集量成3W倍的增长，但是又要满足日常业务需要，特别是指令要及时得到响应的频率次数远大于预期。       &n
  • 不停止 MySQL 服务增加从库的两种方式 brotherlamp linuxlinux视频linux资料linux教程linux自学
    现在生产环境MySQL数据库是一主一从，由于业务量访问不断增大，故再增加一台从库。前提是不能影响线上业务使用，也就是说不能重启MySQL服务，为了避免出现其他情况，选择在网站访问量低峰期时间段操作。  一般在线增加从库有两种方式，一种是通过mysqldump备份主库，恢复到从库，mysqldump是逻辑备份，数据量大时，备份速度会很慢，锁表的时间也会很长。另一种是通过xtrabacku
  • Quartz——SimpleTrigger触发器 eksliang SimpleTriggerTriggerUtilsquartz
    转载请出自出处：http://eksliang.iteye.com/blog/2208166 一.概述 SimpleTrigger触发器，当且仅需触发一次或者以固定时间间隔周期触发执行；   二.SimpleTrigger的构造函数 SimpleTrigger(String name, String group)：通过该构造函数指定Trigger所属组和名称； Simpl
  • Informatica应用（1） 18289753290 sqlworkflowlookup组件Informatica
    1.如果要在workflow中调用shell脚本有一个command组件，在里面设置shell的路径；调度wf可以右键出现schedule，现在用的是HP的tidal调度wf的执行。 2.designer里面的router类似于SSIS中的broadcast（多播组件）;Reset_Workflow_Var：参数重置 （比如说我这个参数初始是1在workflow跑得过程中变成了3我要在结束时还要
  • python 获取图片验证码中文字 酷的飞上天空 python
    根据现成的开源项目 http://code.google.com/p/pytesser/改写 在window上用easy_install安装不上  看了下源码发现代码很少  于是就想自己改写一下   添加支持网络图片的直接解析   #coding:utf-8 #import sys #reload(sys) #sys.s
  • AJAX 永夜-极光 Ajax
    1.AJAX功能:动态更新页面,减少流量消耗,减轻服务器负担   2.代码结构:    <html> <head> <script type="text/javascript"> function loadXMLDoc() { .... AJAX script goes here ...
  • 创业OR读研 随便小屋 创业
            现在研一，有种想创业的想法，不知道该不该去实施。因为对于的我情况这两者是矛盾的，可能就是鱼与熊掌不能兼得。                研一的生活刚刚过去两个月，我们学校主要的是
  • 需求做得好与坏直接关系着程序员生活质量 aijuans IT 生活
            这个故事还得从去年换工作的事情说起，由于自己不太喜欢第一家公司的环境我选择了换一份工作。去年九月份我入职现在的这家公司，专门从事金融业内软件的开发。十一月份我们整个项目组前往北京做现场开发，从此苦逼的日子开始了。        系统背景：五月份就有同事前往甲方了解需求一直到6月份，后续几个月也完
  • 如何定义和区分高级软件开发工程师 aoyouzi
    在软件开发领域，高级开发工程师通常是指那些编写代码超过 3 年的人。这些人可能会被放到领导的位置，但经常会产生非常糟糕的结果。Matt Briggs 是一名高级开发工程师兼 Scrum 管理员。他认为，单纯使用年限来划分开发人员存在问题，两个同样具有 10 年开发经验的开发人员可能大不相同。近日，他发表了一篇博文，根据开发者所能发挥的作用划分软件开发工程师的成长阶段。 　　初
  • Servlet的请求与响应 百合不是茶 servletget提交java处理post提交
      Servlet是tomcat中的一个重要组成,也是负责客户端和服务端的中介     1,Http的请求方式(get  ,post);   客户端的请求一般都会都是Servlet来接受的,在接收之前怎么来确定是那种方式提交的,以及如何反馈,Servlet中有相应的方法,  http的get方式 servlet就是都doGet(
  • web.xml配置详解之listener bijian1013 javaweb.xmllistener
    一.定义 <listener> <listen-class>com.myapp.MyListener</listen-class> </listener>   二.作用        该元素用来注册一个监听器类。可以收到事件什么时候发生以及用什么作为响
  • Web页面性能优化（yahoo技术） Bill_chen JavaScriptAjaxWebcssYahoo
    1.尽可能的减少HTTP请求数 content 2.使用CDN server 3.添加Expires头(或者 Cache-control) server 4.Gzip 组件 server 5.把CSS样式放在页面的上方。 css 6.将脚本放在底部(包括内联的) javascript 7.避免在CSS中使用Expressions css 8.将javascript和css独立成外部文
  • 【MongoDB学习笔记八】MongoDB游标、分页查询、查询结果排序 bit1129 mongodb
    游标   游标，简单的说就是一个查询结果的指针。游标作为数据库的一个对象，使用它是包括 声明 打开 循环抓去一定数目的文档直到结果集中的所有文档已经抓取完 关闭游标   游标的基本用法，类似于JDBC的ResultSet(hasNext判断是否抓去完,next移动游标到下一条文档)，在获取一个文档集时，可以提供一个类似JDBC的FetchSize
  • ORA-12514 TNS 监听程序当前无法识别连接描述符中请求服务 的解决方法 白糖_ ORA-12514
    今天通过Oracle SQL*Plus连接远端服务器的时候提示“监听程序当前无法识别连接描述符中请求服务”，遂在网上找到了解决方案： ①打开Oracle服务器安装目录\NETWORK\ADMIN\listener.ora文件，你会看到如下信息：   # listener.ora Network Configuration File: D:\database\Oracle\net
  • Eclipse 问题 A resource exists with a different case bozch eclipse
    在使用Eclipse进行开发的时候，出现了如下的问题： Description Resource Path Location TypeThe project was not built due to "A resource exists with a different case: '/SeenTaoImp_zhV2/bin/seentao'.&
  • 编程之美-小飞的电梯调度算法 bylijinnan 编程之美
    public class AptElevator { /** * 编程之美 小飞 电梯调度算法 * 在繁忙的时间，每次电梯从一层往上走时，我们只允许电梯停在其中的某一层。 * 所有乘客都从一楼上电梯，到达某层楼后，电梯听下来，所有乘客再从这里爬楼梯到自己的目的层。 * 在一楼时，每个乘客选择自己的目的层，电梯则自动计算出应停的楼层。 * 问：电梯停在哪
  • SQL注入相关概念 chenbowen00 sqlWeb安全
    SQL Injection：就是通过把SQL命令插入到Web表单递交或输入域名或页面请求的查询字符串，最终达到欺骗服务器执行恶意的SQL命令。 具体来说，它是利用现有应用程序，将（恶意）的SQL命令注入到后台数据库引擎执行的能力，它可以通过在Web表单中输入（恶意）SQL语句得到一个存在安全漏洞的网站上的数据库，而不是按照设计者意图去执行SQL语句。 首先让我们了解什么时候可能发生SQ
  • [光与电]光子信号战防御原理 comsci 原理
          无论是在战场上,还是在后方,敌人都有可能用光子信号对人体进行控制和攻击,那么采取什么样的防御方法,最简单,最有效呢?       我们这里有几个山寨的办法,可能有些作用,大家如果有兴趣可以去实验一下       根据光
  • oracle 11g新特性:Pending Statistics daizj oracledbms_stats
    oracle 11g新特性:Pending Statistics 转 从11g开始，表与索引的统计信息收集完毕后，可以选择收集的统信息立即发布，也可以选择使新收集的统计信息处于pending状态，待确定处于pending状态的统计信息是安全的，再使处于pending状态的统计信息发布，这样就会避免一些因为收集统计信息立即发布而导致SQL执行计划走错的灾难。 在 11g 之前的版本中，D
  • 快速理解RequireJs dengkane jqueryrequirejs
    RequireJs已经流行很久了，我们在项目中也打算使用它。它提供了以下功能： 声明不同js文件之间的依赖 可以按需、并行、延时载入js库 可以让我们的代码以模块化的方式组织 初看起来并不复杂。 在html中引入requirejs 在HTML中，添加这样的 <script> 标签： <script src="/path/to
  • C语言学习四流程控制if条件选择、for循环和强制类型转换 dcj3sjt126com c
    # include <stdio.h> int main(void) { int i, j; scanf("%d %d", &i, &j); if (i > j) printf("i大于j\n"); else printf("i小于j\n"); retu
  • dictionary的使用要注意 dcj3sjt126com IO
    NSDictionary *dict = [NSDictionary dictionaryWithObjectsAndKeys: user.user_id , @"id", user.username , @"username",
  • Android 中的资源访问(Resource) finally_m xmlandroidStringdrawablecolor
    简单的说，Android中的资源是指非代码部分。例如，在我们的Android程序中要使用一些图片来设置界面，要使用一些音频文件来设置铃声，要使用一些动画来显示特效，要使用一些字符串来显示提示信息。那么，这些图片、音频、动画和字符串等叫做Android中的资源文件。 在Eclipse创建的工程中，我们可以看到res和assets两个文件夹，是用来保存资源文件的，在assets中保存的一般是原生
  • Spring使用Cache、整合Ehcache 234390216 springcacheehcache@Cacheable
    Spring使用Cache            从3.1开始，Spring引入了对Cache的支持。其使用方法和原理都类似于Spring对事务管理的支持。Spring Cache是作用在方法上的，其核心思想是这样的：当我们在调用一个缓存方法时会把该方法参数和返回结果作为一个键值对存放在缓存中，等到下次利用同样的
  • 当druid遇上oracle blob(clob) jackyrong oracle
    http://blog.csdn.net/renfufei/article/details/44887371 众所周知，Oracle有很多坑, 所以才有了去IOE。 在使用Druid做数据库连接池后，其实偶尔也会碰到小坑，这就是使用开源项目所必须去填平的。【如果使用不开源的产品，那就不是坑，而是陷阱了，你都不知道怎么去填坑】 用Druid连接池，通过JDBC往Oracle数据库的
  • easyui datagrid pagination获得分页页码、总页数等信息 ldzyz007
    var grid = $('#datagrid');  var options = grid.datagrid('getPager').data("pagination").options;  var curr = options.pageNumber;  var total = options.total;  var max =
  • 浅析awk里的数组 nigelzeng 二维数组array数组awk
    awk绝对是文本处理中的神器，它本身也是一门编程语言，还有许多功能本人没有使用到。这篇文章就单单针对awk里的数组来进行讨论，如何利用数组来帮助完成文本分析。   有这么一组数据：   abcd,91#31#2012-12-31 11:24:00 case_a,136#19#2012-12-31 11:24:00 case_a,136#23#2012-12-31 1
  • 搭建 CentOS 6 服务器(6) - TigerVNC rensanning centos
    安装GNOME桌面环境 # yum groupinstall "X Window System" "Desktop" 安装TigerVNC # yum -y install tigervnc-server tigervnc 启动VNC服务 # /etc/init.d/vncserver restart # vncser
  • Spring 数据库连接整理 tomcat_oracle springbeanjdbc
    1、数据库连接jdbc.properties配置详解 　　jdbc.url=jdbc:hsqldb:hsql://localhost/xdb 　　jdbc.username=sa 　　jdbc.password= 　　jdbc.driver=不同的数据库厂商驱动，此处不一一列举 　　接下来，详细配置代码如下： 　　 Spring连接池    
  • Dom4J解析使用xpath java.lang.NoClassDefFoundError: org/jaxen/JaxenException异常 xp9802
    用Dom4J解析xml,以前没注意,今天使用dom4j包解析xml时在xpath使用处报错      异常栈：java.lang.NoClassDefFoundError: org/jaxen/JaxenException异常       导入包 jaxen-1.1-beta-6.jar 解决; &nb
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他