关于学习非结构化数据转换为结构化数据的学习心得

---恢复内容开始---

参考文献:

万里鹏. 非结构化到结构化数据转换的研究与实现[D]. 西南交通大学, 2013.
 
 
文中提到了一种方法:非结构化数据(通过提取有关的元数据)——>xml文档(根据约束条件)——>结构化数据
通过这样的方式来使得数据从非结构化到结构化。
 
如何提取有关的元数据呢?
一般采用了文件模板的方式,即把文件分为(1)文件字段名(2)字段类型(3)索引 以及更多的类型,这里的类型就依据所需要处理的属性具体划分,而文件模板的主要作用就是用于创建数据表,从而使得其原始数据能够结构更加清晰。
文件模板存放于系统模板库中,这样的话能够重复利用。
 
文中提到的比较多的文件类型是PDF、Office文档、文本数据以及HTML网页。都是不具有通用性,只能根据某一种文件的某一个特征进行分析、转换为xml。
(1)Word文档用到了Jacob技术
(2)Excel文档用到了Java Excel API技术
(3)HTML网页需要用到Webharvest、htmlparser或者htmlclean
(4)图片、图像、音频、视频这类非文本的以二进制形式存储的文件,则不能转换为xml文档
 
所提到的这些技术能够支持非结构化数据到xml文档的转换。其实也可以换一种思路理解,xml是一个承载数据转化的中间过程,最终的数据是以结构化的形式存储在关系数据库中的。

 1.首先,先要了解一下jacob.官方的解释是JavaCOM Bridge,即Javacom组件间的桥梁.com一般表现为dllexe等二进制文件,像我们一会将用到的jacob-1.14.3-x64.dll文件

   2.通过mavenpom.xml文件依赖第三方Jacob.jar:

https://mvnrepository.com/artifact/net.sf.jacob-project/jacob

 

<dependency>

 

<groupId>net.sf.jacob-projectgroupId>

 

<artifactId>jacobartifactId>

 

<version>1.14.3version>

 

dependency>

 

————————————————————————————————————————————————————————————————————————

结合自己研究的方向,主要将目光聚焦于如何处理html网页的日志文档,而处理html网页需要用的技术也是调用相应的包。

Web-Harvest 是一个用Java 写的开源的Web 数据提取工具。它提供了一种从所需的页面上提取有用数据的方法。为了达到这个目的,你可能需要用到如XSLT,XQuery,和正则表达式等操作text/xml 的相关技术。Web-Harvest 主要着眼于目前仍占大多数的基于HMLT/XML 的页面内容。另一方面,它也能通过写自己的Java 方法来轻易扩展其提取能力。

    Web-Harvest 的主要目的是加强现有数据提取技术的应用。它的目标不是创造一种新方法,而是提供一种更好地使用和组合现有方法的方式。它提供了一个处理器集用于处理数据和控制流程,每一个处理器被看作是一个函数,它拥有参数和执行后同样有结果返回。而且处理是被组合成一个管道的形式,这样使得它们可以以链式的形式来执行,此外为了更易于数据操作和重用,Web-Harvest 还提供了变量上下方用于存储已经声明的变量。
 
    web-harvest 启动,可以直接双击jar包运行,不过该方法不能指定web-harvest java虚拟机的大小。第二种方法,在cmd下切到web-harvest的目录下,敲入命令“java -jar -Xms400m webharvest_all_2.jar” 即可启动并设置起java虚拟机大小为400M。
 
采用
import org.webharvest.definition.ScraperConfiguration;
import org.webharvest.runtime.Scraper;
这样的方式,将jar包引入。
 

 

转载于:https://www.cnblogs.com/hezhuoheng/p/9300548.html

你可能感兴趣的:(关于学习非结构化数据转换为结构化数据的学习心得)