论文原稿：网络信息资源评价现状及构建研究

 注：本文发表于《图书情报工作》2006年第12期，若要引用，请使用原文。

请点击此处下载此文的word版： http://dl2.csdn.net/down4/20070730/30074040306.doc

请点击此处下载此文的pdf版：http://dl2.csdn.net/down4/20070730/30191703664.pdf

 

摘   要   本文通过对国内外有关的文献和评价工具进行全面深入的调查，从定性评价、定量评价、综合评价和自动评价四个方面总结和分析了当今网络信息资源评价的主要方法，指出了其中存在的主要问题。在此基础上，从网站的内部特征和外部特征出发，探讨科学的网站评价指标体系，提出基于可用性工程的自动网站评价方案。

关键词   网络信息资源评价   定性评价   定量评价   自动网站评价系统   可用性工程

分类号   G250.76

 

The analysis of the status and countermeasure for the web information resource evaluation 

 

Abstract ： The paper summarizes the main methods of web resource evaluation nowadays through a comprehensive research on articles and evaluation tools related to web resource evaluation. It summarizes and analyzes these methods from four aspects: qualitative analysis, quantitative analysis, synthetically analysis and automatic analysis .It also points out problems within them. Based on these, it discusses the guide line system of web sites evaluation from two aspects ： The inner characters and the outer characters. At last, it raises a scheme of automatic web sites evaluation based on the usability engineering theory.

Keywords：Web resource evaluation    Quantity analysis  Analysis of non-quantity   System of automatic web sites evaluation  

          Usability engineering  

Class Number ： G250.76

 

1 引言

 

因特网（Internet）从诞生到现在仅仅几十年，其信息资源登载量已经远远超过了任何一种传统的信息传播媒介。根据中国互联网中心2006年1月发布的第17次《中国互联网发展状况统计报告》 ^[1]，截止到2005年12月31日，我国的上网计算机总数为4，950万台，与去年同期相比增长19.0%；WWW站点数为694，200个，与去年同期相比增长3.8%。

因特网的快速发展，一方面使得信息飞速增长与积累；另一方面，大量垃圾信息和对用户无用的信息也快速增长，使得信息过载（Information Overload）现象严重。大量的研究表明：对个人而言，获取信息是人们上网最主要的目的，但是人们使用网络时，约有60%的时间因为找不到信息而浪费。对组织而言，约有50%的潜在用户因为找不到所需信息而流失。个人和组织的共同需求，使得对数字信息资源的管理 ^[2]、有效检索 ^[3]和评价势在必行。网站作为网络空间中信息的主要载体，在整个网络链路空间中处于信息节点的关键地位。因此，网络信息资源网站评价与方法选择，在信息高速增长的时代显得尤为重要。目前，国外对网站评价进行了大量的研究，国内也开始着手这方面的研究工作，大量的网络信息资源评价方法，并不意味着该领域的成熟。造成这种现象的原因，来自网站本身的复杂性。网站运行平台、网站实现技术、网站定位、网站内容和网站规模等的不同，使得现实网络环境中，网站分析难于进行。大量的网站分析方法暴露出网站分析缺乏统一的理论指导和严谨的实现框架。面对复杂的网络环境，没有统一的理论指导和科学的方法支持，很难将零散的细节问题统一起来，很难发现问题的关键症结所在，找到进一步改进的方向，保证分析评价结果的准确性和可靠性。

因此，对网络信息资源评价现状进行深入的分析，并探讨恰当的解决方案，具有重大意义。

 

2 网络信息资源评价现状分析

 

网络信息资源评价（网站评价）研究的对象是网站中所包含的信息内容及其载体，即包含网站的信息内容和网站的架构设计。从评价的类型上划分，网络信息资源评价可以分为定性、定量、综合评价和自动分析评价四种方式。

2.1  定性评价方法及其分析

     定性评价方法主要有指标体系法和调查表法两种：指标体系法通过设置一系列反映网站质量的指标，由领域专家根据指标体系对网站进行分析评价。出于不同的目的和角度，以及针对不同类型的网站，可以设置不同的指标体系。国外学者Betsy Richamand 提出的10C原则 ^[4]， Harris Robert制定的网络信息资源评价的四条标准 ^[5]，David Stoker和Alision Cooke则建立了与Robert Harris完全不同的8条标准 ^[6]，Gemer L.Wilkinson等人则在论文《评价标准和质量指示列表》中将诸多学者提出的评价标准进行比较综合和汇总，在全面分析网络信息资源的特点和属性的基础上，提出了网络信息资源评价标准的11个大类125个质量指标 ^[7]。国内学者也纷纷针对不同类型的网站提出相应的指标体系，如图书馆网站评价指标体系 ^[8]，文献 ^[9]则从网站设计、内容和技术三个方面探讨了综合评价的指标体系；调查表法充分利用用户对网站的认知、感知和态度，来度量网站对于用户所产生的效用。这种方法通常是由评价机构或个人为了解网站服务能力和经营效果，面向用户设计一套调查问卷，并开展调查，然后对结果进行分析处理，评测网站质量。

    定性评价方法能比较全面的分析网络信息资源的质量，能充分利用人对网站的感性认识，得出的结果具有直接性和可理解性。但是，目前的定性评价方法仍存在如下几个主要问题：

● 指标体系不完整 

网络信息资源是一个非常复杂、庞大的体系，评价的指标也非常复杂。至今，评价机构或学者提出的指标体系有很大差别，尚未达成共识也说明了这一点。事实上，很少有人对网站进行综合全面的考察，对网站内、外部属性进行充分客观的揭示。

● 指标设计不合理 

网站有许多属性，属性之间存在一定的因果关系，某些评价方法中，未对网站的这些指标做科学的界定，如网络信息内容的质量与网站流量、访问量和被连接量间的关系等，往往将其分开界定。指标之间有较多重复的地方，如有些指标，字面表达虽然不同，但实质内容相同或相近，如可信度(Credibility)与准确性(Accuracy)等。有的指标让人难以理解，如批判性思考(Critical Thinking)。也有的指标看似合理，但其具体测度和运用，则有相当大的难度，不具备实用性，如公正性、世界观的指标概念，人们无法根据这个标准对网络信息资源的质量进行评价。

● 部分指标对象模糊 

网站的组成既包含其结构框架，也包含其信息内容。网页的结构的评价和信息内容进行评价的指标没有做恰当的区分。有些指标适合于评价网站网页，而有的则适合于评价信息内容。二者混为一谈的对象界定的模糊性，使得所提出的指标体系缺乏必要的科学性。    

● 调查问卷法存在问题 

在实施调查问卷的过程中，由于误差难以控制，特别是无法控制用户填写问卷的有效性和客观性，使得调查结果不能准确反应网站的质量。

除此之外，由于定性评价方法存在较强的主观性，其评价结果容易受网络环境、评价标准、参评人员的素质和心情的制约，使得这种评价方法的操作性较差，评价结果可靠性也较低。在实施评价工作时需要花费较大的时间、人力、物力和财力，成本太高，特别是难以适应大量网站评价的需要。

2 .2 定量评价方法及其分析

    定量分析方法提供了一套科学、规范、客观的评价方法，用可靠的数字来说明和分析问题。最初从分析链接数、访问次数、登录等一些基本元素的考察分析开始，后来发展为系统的定量评价方法，国内外比较典型的定量评价方法有网络信息计量法、层次分析法和对应分析法等三种。

    网络信息计量法（链接分析方法），借用传统引文分析原理，运用于网络信息资源评价的一项有效的方法。一般认为，一个网站被其他网站的链接越多，就说明这个网站的质量越好。同时研究还发现，网页链接的关系与对发表文章的引文研究相似，但又不相同，它也符合洛特卡效应 ^[10]。人们在利用链接分析法进行研究时，通常使用一些著名的搜索引擎，如Google，AltaVista等，这些搜索引擎通常都提供特定的软接口和数据检索方法，用户很容易从网站中挖据需要的数据。

    层次分析法利用人们的常规思维来处理问题，将一个复杂问题分解成若干个小问题，并充分利用人们分析、判断和综合问题的能力，对复杂问题进行量化。该方法对网络信息资源的属性进行概念划分，利用专家调查法来取得数据和确定权重，通过评分确定网络信息资源的级别或排名，如文献 ^[11]探讨了层次分析法应用在高校图书馆网站评价中的思路和方法。

    关联分析法（对应分析方法），最初由法国科学家提出用于企业决策定位。英国的Berthon教授在2001年运用对应分析法对世界范围内的十五家电信公司网站进行评价 ^[12]，取得了新的突破。他指出对应分析法能够较好地评估网站的定位问题，能够较准确的评价出网站之间的区分度。这种方法不仅仅适用于电信类网站评价，也适合其它各领域的网站评价。文献 ^[13]也利用了关联分析方法对我国的网络媒体网站进行实验性评价，通过确定网站的几个基本属性，建立关联分析的数学模型，从Alexa数据仓库中获取相应的数据，然后生成关联定位图，从而可进行决策分析定位，具有较大的参考价值。

    定量评价方法在一定程度上克服了定性分析法的主观性和可控性的问题。但是，这些定量评价方法也存在较为突出的问题：

● 链接分析法的局限性 

随着研究的深入，人们越来越发现文献之间的引用与网络信息之间的链接存在着显著的差异，链接分析法仍然存在很多问题。譬如，Stephen P. Harter和Charlotte E. Ford的研究发现，在指向电子期刊的网络链接中，有近半数是结构性自我链接，对于评价文献的学术价值和研究学术交流行为没有意义；具有指向电子期刊的链接的网页，只有不到8％的网页是学术性的；Thelwall通过对英国大学网站中被链接次数最多的100个网页进行分析，其结果也表明网页被链接次数并不能反映其学术价值。目前已经达成的共识是网络链接与引文在本质上完全不同，虽然引文分析对我们开展网络链接研究具有一定的启发作用，但在借鉴时应当充分考虑到两者之间所存在的差异，对运用该方法取得的结果应进行相应的处理。

● 层次分析法的局限性

将层次分析法用于网站评价，主要有两个方面缺陷，一是层次分析法本身存在的局限性；二是层次分析法对于网站评价的适应性问题。层次分析法中系统的划分和权重的取得都是人为进行的，而且评分也需要人工实施，虽然经过了误差控制，但仍不能避免人的主观性，从而使得分析的结果与实际状况存在一定偏差。组成网站各要素之间也存在着相互影响和相互作用的关系，用层次分析法直接对其进行笼统、简单的层次划分，即改变了网站要素之间的特定关系，也使得其结果与实际情况不符。

● 关联分析法的局限性   

由于关联分析法只是单纯地针对网站定位、区分度等信息评价，并没有从网站整体因素出发，不能全面系统的反映网站的综合水平。另外，数据仓库的数据本身也存在一定的问题，容易被人为的篡改或者检测不准的情况，这对网站评价的实际工作也形成了一定的障碍。

 迄今为止，网站的定量评价方法均采用传统的原理和方法，这些方法对实施网站评价提供了一个很好的思路和参考，也导致忽略了对网站本身的特点和面向的用户进行深入的研究，缺乏对评价目标的科学准确的界定，没有取得实质性评价进展，仅在学术研究上极具参考价。

2 .3 综合评价方法及其分析

     用于网站评价的综合评价法有用户调查和定量测试综合的方法、基于IA理论的网站评价和网站框架评价法三种：

● 用户调查和定量测试综合的方法

该方法基于定性方法和定量方法的各种组合，通常是从用户的角度出发，获取用户对网站的评价意见，如问卷调查法、专家调查法等，同时也考虑获取网站的有关数据信息进行定量的分析，如WEB挖掘、服务器日志分析法，然后综合这二者的结果得出网站质量好坏的测度。

● 基于IA理论的网站评价法

该方法从信息构建的分类、导航、搜索和标引系统的四个方面对网站进行考察分析 ^[14]，这种分析方法通常是从用户体验的角度进行，通过用户确定使用目标、检验用户实践的效果来对网站进行评价。这种方法较之上述的定性方法而言更加系统和科学，属于实证性的分析方法。

● 网站框架评价法

该方法根据网站的不同侧面，制定出一系列可以度量的标准，并且将各项标准性指标放在一种非常结构化的框架和表格中，然后将此标准作为评价依据的一种网站评价方法。该方法既可以客观描述，又可以用定量标准来量化，评价结果比较全面。是一个折衷的方法。

由于综合利用了定性评价法和定量评价法的优点，综合评价法可以得到较好的效果，但必须考虑处理好以下两个问题：定性方法和定量方法比例如何选择；随比例灵活选择，将会评价系统带来一些误差。事实上，实施这种方法所花的代价和精力远比单纯的定性和定量方法还要多。

2 .4 自动工具评价方法及其分析

自动评价法从网站本身的属性和特点入手，利用数字化、自动化、智能化的手段来解决问题，通过开发相关的自动测试软件或网站，使其能够对各类网站进行测试，自动采集测评数据，并根据建立的网站评价模型，对采集评价数据自动地进行统计、分析和计算，给出评价结果。自动网站评价法指利用计数器（Counters）、Cookies、缓存（Caching）以及IP地址（IP addressing）作为网站的分析基础数据，通过对用户访问记录分析、基于Web的站点分析服务，以及服务器日志分析等自动分析法，分析网站的使用负载和信息质量的客观评价法，具有客观性和可靠性等优点 ^[15]。

尽管自动评价工具方法能够检测出更多的相关联的错误、能够提高分析特征的覆盖范围、减少专家分析意见和时间开销、融合UI（Usability Interface）设计和分析，但是自动分析只能作为标准分析方法，不同的技术揭示不同的问题，用户的满意度的主观的评价，不能用自动测试方法。而且该领域也还很不成熟，造成这种现象的原因，来自网站本身的复杂性。用户想了解、观测这些数据，也是非常繁琐，目前不具备实用性，只能作为网站评价活动中的参考因素。

 

3 网络信息资源评价对策分析

 

3 .1 设置科学的评价指标体系 

 网络信息资源评价（网站评价）必须根据网站自身的特点，利用自身领域的理论来指导实践的进行。已有的研究和实践，并没有将网站的属性进行适当的区分，导致了指标体系设置的混乱。笔者认为，对于一个网站而言，它具有内部和外部特征，从不同的角度反映了网站的质量，网站评价应当根据这两方面展开：

● 网站的内部特征是由网站实体的各构成要素决定的，它反映了网站目标的技术实现。Newman和 Landay的研究表明 ^[16]，网站是一个包括内容、导航和外观的多维复合体，可见网站内部特征的评价对象应包含内容、导航和外观三个方面 ^[17]。如图 1所示。这样划分可以避免网站要素间相互作用的影响，所以，可以利用层次分析法对其进行科学的指标设置。其中，内容评价主要是信息构建的评价，具体包括分类系统、检索系统、标识系统、信息保障系统四个方面 ^{[18] [19]}。导航评价则需要对全局导航、局部导航、补充导航、语义导航进行评价。外观评价针对网站的展现和布局，比如网站色彩的搭配、多媒体素材的选用等。充分研究网站内容、导航和外观的客观属性，利用层次分析法确定其权值，形成网站内部特征评价的指标体系。

 

图1 网站内部评价对象

 

● 网站的外部特征则包括流量（ Traffic）、访问量（Visit）、被链接数（Connectivity）、速度（Speed）、用户平均浏览页面数（Page Views）和更新时间（Freshness），还包括注册用户的数量以及注册用户的使用频率。网站最终目的是面向用户，用户的满意度、用户体验有关的指标也是网站外部特征的核心内容。获取这样的数据，利用关联分析法对其进行聚类分析，清晰的反映各个网站在网络上的区分度 ^[20]，是对网站评价的一个有益的补充。如图 2所示。

 

图2 关联分析法的聚类分析图

 

通过对网站特征分析，找出以往指标体系法中指标界定不清、指标不能切实反映网站质量、层次分析法的适应性、关联分析法的片面性等问题，形成一套基于可用性工程的定量评价为主、定性评价为辅的指标体系。

3.2 构建自动网站评价系统

本系统采用软件工程的快速原型法，并结合面向组件（对象）的开发方法，开发构建基于B/S模式的自动网站评价工具模型系统。系统开发过程中将用到Java或 .NET技术，UML建模、XML、Web Services、Intelligent Agent和Portal技术，采用基于J2EE或 .NET Framework等多层开放式软件体系结构，以期实现该软件平台的可扩展性和可维护性。如图3所示。

● 终端用户

终端用户使用台式电脑访问所有Web Server，以获得不同类型网站的评价（主要信息）以及网站基准

图3 自动网站评价系统结构

 

开发模式（辅助信息）信息。

● Web服务器

Web服务器提供Web浏览服务，通过分布式应用程序接口和组件接口调用后台服务器应用模块。

● 后台服务器

后台服务器是系统开发的重点和难点部分，采用基于J2EE或 .NET Framework等开放式软件体系结构进行开发，以实现自动网站分析工具动态增加和调整。其主要组成部分包括Profile 开发工具(Profile Development Tool)、矩阵计算工具(Metrics Computation Tools)和分析算法工具(Analysis Tools)等。重点是建立网站标准特征库和开发智能分析比较算法。根据不同类型的网站，设计网站参数标准特征库，如网站的信息构建标准、色调标准、导航标准等，用以提供比较分析的参照。在参数标准特征库中，还应当包括有专家分析得出的各参数的权值，且这些权值因不同类型的网站而有所差异。智能分析工具按其功能可将其分为关联分析、比较分析、间接测量三大系统。关联分析系统用于对网站进行定位和区分，以去除相关干扰因素。比较分析系统用于将网站的特征值与参数标准库中的特征值进行比较，结合算法和相应分析矩阵，对网站内部的各个组成部分进行全面的分析。间接测量系统，用来测量用户的满意度和网站体验感受这两个相对较主观指标，并对间接反映这两个指标特征参数（如平均访问量等）的分析，来客观的评价用户的满意度和体验感受。

● 抓获提取器

内容抓获提取器是网站客观数据收集的重要部分，利用开发成形的搜索引擎，结合本系统的具体特点，开发适合本系统的抓获提取器，根据已经设置好的指标体系，为自动网站评价提供客观数据。提取器按照既定要求，抓获网站内部和外部的特征数据，进行格式化转换，提取出需要的网站客观数据。

    ● DB服务器

该系统的所有数据采用数据库存放。这些数据包括基准网站的数据，目标网站的评价的数据，计算中间产生、分析矩阵和用户浏览数据等。在实际系统中将采用分布式数据库，以实现系统负载平衡。

目前，实用性网站评价很少，现有的方法也不能全面评价一个网站的各样指标，因此，我们将以可用性工程基本原理为基础，综合运用图书馆学、信息管理学、数理统计、计算机科学、认知理论等多门学科的理论与方法，在系统总结和研究国内外的网站评价研究成果的基础上，进一步探讨基于可用性工程原理的自动网站评价模型和方法。它将有利于数字信息资源网站评价指标体系、评价模型、评价机制完善，提高信息资源网站的优化配置，推动政府转变职能，更好地履行市场监督和公共管理。

 

参考文献

[1] 中国互联网络信息中心（CNNIC）．第十七次中国互联网络发展状况报告，2006.1

[2] 吴慰慈．网络信息资源管理的标准化体系研究［J］．情报科学，2001（01）：42-45

Wu Wuici ，Zhang Jiuzhcn．Study of Network Information Standardize System［J］．Information Science，2001，19（1）：42-45  作者.题目［J］．出版单位，年，卷号（期号）：页码

[3] 苏新宁．超文本技术在全文检索系统中的实现［J］．情报学报，2000（06）：582-585

Su Xinning ．Realizing Hypertext Retrieval in Full-text Retrieval System［J］．Journal of 他he China society

for Scientific and Technical Information ，2000，19（6）：582-585

[4] 孙 瑾．网络信息资源评价研究综述［J］．大学图书馆学报，2005（01）：7-13

Sun Jin ．Research Summary on the Network Information Resources Evaluation［J］．大学图书馆学报，2005（01）：7-13

[5] 陈文静，陈耀盛．网络信息资源评价研究述评［J］．四川图书馆学报，2004（01）：25-31

[5] 沈 洁，朱庆华．国内外网络信息资源评价指标研究述评［J］．情报科学，2005（07）：1104-1109

[7] 赵俊玲，陈兰杰．国外网络信息资源评价研究综述［J］．图书工作与研究，2004（03）：24-26

[8] 张会田．图书馆网站评价指标体系研究［J］．图书情报知识，2005（02）：96-99

[9] 李东旻．网站综合评价指标初探［J］．情报理论与实践，2005（03）：303-306

[10] R. Rousseau ．Sitations: An exploratory Study．Cybernetics，1997

[11] 魏红梅．层次分析法在高校图书馆网站评价中的应用［J］．现代图书情报技术，2005（10）：74-83

[12] Pierre Berthon ．Positioning in Cyberspace: Evaluating Telecom Websites Using Correspondence Analysis［J］．Information Resources Management Journal，2001（01）：13-21

[13] 沈祥兴，李东旻．关于对应分析法对中国媒体网站评价的研究［J］．中国软科学，2005（01）：126-133

[14] 甘利人．电子商务网站信息构建考察分析［J］．情报理论与实践，2005(3)：605-608

[15] 李东旻．网站信息自动评价研究［J］．图书情报知识 ， 2005 （02）：104-107

[16] Newman, M. W. and Landay, J. A. Sitemaps, storyboards, and specifications: A sketch of web site design

practice.In Proceedings of Designing Interactive Systems: DIS 2000, New York, 2000.8: 263-274.

[17] 郝金星，沈祥兴．基于可用性工程的网站分析框架研究 ［ J ］ ． 图书情报知识，2006（02）：51-56

[18] 荣毅虹，梁战平. 信息构建(Information Architecture, IA)探析 ［J］． 情报学报， 2003（2）：231.

[19] Shel Kimen. 10 questions about information architecture ，September 29, 2003. http://builder.com.com/5100-31-5074224.html

[20] 6Xiangxing Shen etc ． Evaluating China’s University Library Web sites Using Correspondence Analysis

［ J ］ ． Journal of the American Society for Information Science and Technology, 2006 （ 4 ）： 493-500 , U.S.A.