可视化应用的评估方法研究综述

２０２０年４月

·研究综述与前沿进展·

ＪｏｕｒｎａｌｏｆＭｏｄｅｒｎＩｎｆｏｒｍａｔｉｏｎ

现代情报

Ｖｏｌ􀆰４０　Ｎｏ􀆰４

Ａｐｒ．，２０２０

可视化应用的评估方法研究综述

刘合翔

（杭州电子科技大学人文艺术与数字媒体学院，浙江杭州３１００１８）

摘　要：［目的／意义］可视化是新形势下信息服务的一种普遍技术需求和应用趋势，而如何更好地运用这一技术就涉及对技术本身及其用户效用的考察与评估。［方法／过程］本文通过回顾相关研究及实践中对其可视化应用的评估方法，分别从理论运用、方法路径、评估任务、评估维度及指标等几个方面进行了梳理与分析。［结果／结论］研究发现，目前可视化应用评估中采用的方法已比较多元，但多数评估仍主要以实验方法为主，评估的效用多以认知为主，可视化的情感效用与社会效用少有探讨及测度，缺少评估的通用框架和用于评估的标准（任务、数据）测试集。而这些方面也相应地为可视化应用的评估提供了进一步创新实践的机会。

关键词：可视化；应用；评估方法；评估任务；评估维度；评估指标；综述ＤＯＩ：１０．３９６９／ｊ．ｉｓｓｎ．１００８－０８２１．２０２０．０４．０１７〔中图分类号〕Ｇ２５２　

〔文献标识码〕Ａ　

〔文章编号〕１００８－０８２１（２０２０）０４－０１４８－１１

ＲｅｓｅａｒｃｈＲｅｖｉｅｗｏｎＥｖａｌｕａｔｉｏｎＭｅｔｈｏｄｓｏｆＶｉｓｕａｌｉｚａｔｉｏｎＡｐｐｌｉｃａｔｉｏｎ

（ＳｃｈｏｏｌｏｆＭｅｄｉａａｎｄＤｅｓｉｇｎ，ＨａｎｇｚｈｏｕＤｉａｎｚｉＵｎｉｖｅｒｓｉｔｙ，Ｈａｎｇｚｈｏｕ３１００１８，Ｃｈｉｎａ）

Ａｂｓｔｒａｃｔ：［Ｐｕｒｐｏｓｅ／Ｓｉｇｎｉｆｉｃａｎｃｅ］Ｖｉｓｕａｌｉｚａｔｉｏｎｉｓａｇｅｎｅｒａｌｔｅｃｈｎｉｃａｌｒｅｑｕｉｒｅｍｅｎｔａｎｄａｔｒｅｎｄｏｆｉｎｆｏｒｍａｔｉｏｎｓｅｒｖｉｃｅｓｉｎｔｈｅｎｅｗｓｉｔｕａｔｉｏｎ，ａｎｄｂｅｔｔｅｒｕｔｉｌｉｚｉｎｇｏｆｔｈｉｓｔｅｃｈｎｏｌｏｇｙｄｅｐｅｎｄｓｏｎｉｎｖｅｓｔｉｇａｔｉｏｎａｎｄｅｖａｌｕａｔｉｏｎｏｆｉｔｓｕｔｉｌｉｔｙ．［Ｍｅｔｈｏｄ／Ｐｒｏｃｅｓｓ］Ｆｒｏｍａｓｐｅｃｔｓｏｆｔｈｅｏｒｙｅｍｐｌｏｙｉｎｇ，ａｓｓｅｓｓｉｎｇｗａｙｓ，ｔａｓｋ，ｄｉｍｅｎｓｉｏｎａｎｄｉｎｄｅｘｏｆｅｖａｌｕａｔｉｏｎｂｙｒｅｖｉｅｗｉｎｇｒｅｌｅ⁃

ＬｉｕＨｅｘｉａｎｇ

ｖａｎｔｒｅｓｅａｒｃｈｅｓａｎｄｐｒａｃｔｉｃｅｓ．［Ｒｅｓｕｌｔ／Ｃｏｎｃｌｕｓｉｏｎ］Ｔｈｅｍｅｔｈｏｄｓｕｓｅｄｉｎｔｈｅａｓｓｅｓｓｍｅｎｔｏｆｖｉｓｕａｌｉｚｅｄａｐｐｌｉｃａｔｉｏｎｓｗｅｒｅｍｏｓｔｌｙａｂｏｕｔｃｏｇｎｉｔｉｏｎ．Ｅｍｏｔｉｏｎａｌａｎｄｓｏｃｉａｌｕｔｉｌｉｔｙｗｅｒｅｒａｒｅｌｙｄｉｓｃｕｓｓｅｄａｎｄｍｅａｓｕｒｅｄ．Ｔｈｅｒｅｗａｓａｌａｃｋｏｆａｎａｓｓｅｓｓｍｅｎｔｇｅｎｅｒｉｃｆｒａｍｅｗｏｒｋａｎｄｓｔａｎｄａｒｄｔｅｓｔｓｅｔ（ｏｆｔａｓｋ，ｄａｔａ）ｆｏｒｅｖａｌｕａｔｉｏｎ．Ｃｏｒｒｅｓｐｏｎｄｉｎｇｔｏｔｈｉｓ，ｔｈｅｒｅｗｅｒｅｍａｎｙｏｐｐｏｒｔｕｎｉ⁃ｔｉｅｓｆｏｒｉｎｎｏｖａｔｉｖｅｐｒａｃｔｉｃｅｓｉｎｔｈｅｅｖａｌｕａｔｉｏｎｏｆｉｎｆｏｒｍａｔｉｏｎｖｉｓｕａｌｉｚａｔｉｏｎａｐｐｌｉｃａｔｉｏｎｓ．ｃａｔｏｒ；ｒｅｖｉｅｗ

Ｋｅｙｗｏｒｄｓ：ｖｉｓｕａｌｉｚａｔｉｏｎ；ａｐｐｌｉｃａｔｉｏｎ；ｅｖａｌｕａｔｉｏｎｍｅｔｈｏｄ；ｅｖａｌｕａｔｉｏｎｔａｓｋ；ｅｖａｌｕａｔｉｏｎｄｉｍｅｎｓｉｏｎ；ｅｖａｌｕａｔｉｏｎｉｎｄｉ⁃

ｑｕｉｔｅｄｉｖｅｒｓｅ，ｂｕｔｍｏｓｔｏｆｔｈｅｅｖａｌｕａｔｉｏｎｓｗｅｒｅｍａｉｎｌｙｂａｓｅｄｏｎｅｘｐｅｒｉｍｅｎｔａｌｍｅｔｈｏｄｓ．Ｔｈｅｕｔｉｌｉｔｙｏｆｔｈｅａｓｓｅｓｓｍｅｎｔｗａｓ

　　在当前信息服务的主体越来越多元化，信息服务开始高度竞争化的形势下，信息用户对信息服务提出了有别于和高于传统信息服务的要求。而其中的一点就是在信息简单传递和信息的定题研究之间，延伸出一类新的服务方式：尊重用户自身的信息研判能力，通过提供有效的信息解读辅助，提升用户自身解读信息的效能。而对于信息的辅助解读

最有效的莫过于利用人类高效的视觉认知通道和视觉处理能力来进行信息的可视化。而要确保这一技术手段能得到有效的运用，就需要通过对可视化工具能力的评估和可视化应用后的用户效用评价来为可视化应用的持续改进提供依据。

本文首先通过检索主题相关的研究，选择研究的样本集，在相关研究变量中选择理论运用、方法

收稿日期：２０１９－０９－１０

作者简介：刘合翔（１９８０－），男，讲师，研究方向：信息行为、信息可视化。

—１４８—

第４０卷第４期

２０２０年４月

可视化应用的评估方法研究综述

ｗｗｗ．ｘｄｑｂ．ｎｅｔ

Ｖｏｌ􀆰４０　Ｎｏ􀆰４

Ａｐｒ．，２０２０

路径、评估任务、评估维度及指标４个方面来考察、梳理与比较，最后形成一个以这４个变量为主体的信息可视化应用评估方法的参考框架。

的过程（如算法和技术）和以人为本的过程（如人类认知、交互、情感和沟通），因此可视化的评估通常围绕这两个方面来展开。此前的研究中以可视化技术和算法的评估居多，而近期针对用户的表现与反馈，评估可视化对其工作实践和分析推理能力改进的研究已有稳步的增长［１０］。

尽管已经有各种各样日渐成熟的可视化技术，

１　可视化评估相关研究概述

国内相关研究中，通过对“可视化ＡＮＤ（评估ＯＲ评测ＯＲ评价）”等关键词组合的文献检视，结果文献中大多数是研究如何将可视化作为评估的手段应用在特定领域，而将可视化工具本身及其用户效用作为评估对象的研究则较少。国内针对这方面的典型研究有：陈为［１］对可视化测评的相关研究中评测流程、方法和影响因素的梳理总结；杨峰等对评价信息可视化技术的指标研究［２］和信息可视化显示效果优化的研究［３］；吴莎莎等［４］对信息可视化技术可用性分析的框架设计与案例检验；冯小琴［５］对信息检索可视化的评价标准研究；张会平［６］对可视化的知识转化效用假设的实证研究；王辉等［７］对图书馆可视化系统效用的测试研究；邱玲玲［８］对可视化教学效果的实证研究等。

而通过“ＶｉｓｕａｌｉｚａｔｉｏｎＡＮＤ（ＥｖａｌｕａｔｅＯＲＡｓ⁃ｓｅｓｓＯＲＭｅａｓｕｒｅ）”检索的外文文献相比较而言，针对可视化本身及其效用进行评估的研究则较为普遍。评估类研究也被归结为可视化研究中几大类别中的一类［９］。由于可视化连接的是以机器为中心

但针对不同的应用情境还需要对其进行特定的评估，以确定所选技术在特定场景下是否有用、可用与实用。相比评估结论的差异性与多样性，其评估的方法更值得归纳与总结。不同的评估方法也反映了不同研究者的偏好和对不同情境下方法适用度的判断。

２　可视化应用评估中的理论运用

理论与模型的借鉴是开展各领域研究的一种常用方法，站在成熟的理论与模型的基础上，可以让相关研究能够快速构建思考框架，同时对原有的理论模型做适应性检验和进一步地提炼与延展。

在涉及可视化应用评估的研究中，部分研究运用了一些理论模型来思考研究主题并构建研究框架，涉及的相关研究及其要点按其发表年份列举如下：

表１　可视化评估研究中的理论运用

研究者ＪｕａｒｅｚＯ等［１１］ＶａｌｉａｔｉＥＲＡ等［１２］ＣａｗｔｈｏｎＮ等［１３］ＨöｆｆｌｅｒＴＮ等［１４］ＭｏｅｒｅＡＶ等［１５］ＩｓｅｎｂｅｒｇＴ等［１０］

引述理论“信息处理理论”“人机交互任务模型”“情感设计理论”“诺曼行动理论”

理论用途

评价不同可视化形式对不同任务类型的适用关系提供可视化任务中行为的阶段性参考框架设计可视化效用的实验任务分析可视化中的美学效用

“Ｗｕｎｄｔ的审美接受曲线”、“认知负荷理论”、“双编码理论”、“工作记忆理论”、“多媒体学习的

认知理论”“信息美学模型”“Ｍｕｎｚｎｅｒ嵌套模型”

分析动画在可视化中的意义以及与静态图的效用比较引用其９个标准用例分析“风格”对可视化效用影响参考其模型将可视化的评估分为４个层面：问题表征、数据与任务抽象、视觉编码／交互设计、算法设计

作为可视化构建和评估的理论模型，将可视化定义为从数据点映射到一系列视觉要素的函数，而将视觉嵌入定义为在嵌入的感知空间（范围）内保留数据（域）中结构的函数视觉嵌入理论中，可视化被认为是针对数据结构的感性绘画

ＤｅｍｉｒａｌｐＣ等［１６］“视觉嵌入理论”

—１４９—

第４０卷第４期

２０２０年４月

ＪｏｕｒｎａｌｏｆＭｏｄｅｒｎＩｎｆｏｒｍａｔｉｏｎ

表１（续）

引述理论

“技术接受模型”、“创新扩散理论”、“基于马尔科夫链的行为模型”

“理性选择理论”“技术接受与使用统一模型”

理论用途

评估影响可视化接受与使用的要素评估探索性可视分析中的用户行为及效用

现代情报

Ｖｏｌ􀆰４０　Ｎｏ􀆰４

Ａｐｒ．，２０２０

研究者ＢｒｅｓｃｉａｎｉＳ等［１７］ＲｅｄａＫ等［１８］ＤｉｍａｒａＥ等［１９］

分析评估可视化中视觉诱饵所产生的吸引力对用户认知的影响

　的相关研究中运用的理论来自于　由以上提及的理论可以看出，ＨＣＩ、可视化应用评估认知科学、

设计学等多个领域。然而，相比涉及可视化应用评估研究的数量，运用相关理论来开展评估的仍然属于少数。事实上，在目前相关研究中，理论的运用并未成为一种自觉，运用理论的范围与深度也很有

限，很多有价值的可参考理论，如信息空间理论、信息服务理论等未能被应用到可视化应用的评估上来，而这也为未来相关研究提供了进一步开展理论探索的空间。

３　可视化应用评估中的方法路径

关于可视化应用评估的方法，有一些研究总结了其不同的方向类别。例如ＭｕｎｚｎｅｒＴ［９］总结的可视化应用评估股方法主要有两类：１）在实验室环境中进行用户研究，使用明确或抽象的任务，在时间和准确性方面进行定量测量，运用统计学方法进行分析，发现显著影响因素和因素之间的相互作用；２）开展现场研究，将可视化应用在目标用户的现实环境中，时间跨度通常为数周或数月，开展定性与定量测量。ＰｌａｉｓａｎｔＣ［２０］则是将可视化应用的评估方法分为４类：控制实验比较设计元素，工具的可用性评估，比较两个或更多工具的控制实验，以及在现实环境中对工具进行案例研究。而ＣａｒｐｅｎｄａｌｅＳ［２１］将可视化应用的评估方法从精准性、通用性和现实性的３个维度进一步扩展为：实地研究、实地实验、实验室实验、实验性模拟、判别研究、抽样调查、理论研究、计算机模拟８个类别。

基于对相关研究中方法选型的梳理以及参考前述的这些研究中的分类，本文认为可视化应用评估的方法总体可划分为３个大类：客观评估、主观评估与综合评估。—在客观评估的有关方法上１５０—

，最常用的就是对照

实验及观察法。ＳａｒａｉｙａＰ等［２２］认为可视化应用的评估就主要是在对照实验研究中评估用户对预定任务中的表现。而对于实验的方法，其基本的逻辑是：控制独立变量如工具、任务、数据和参与者等，依赖变量主要是准确性和效率。其中准确性包括精确度、错误率、正确和不正确响应的数量，而效率包括完成预定义基准测试任务的时间。而在实验和传统的观察方法之外，目前已有研究延伸了可视化应用评估的技术手段和方法形式，例如ＣｈｅｎＸ负载等［２３］设计和实践了一个量化可视化所形成心理，并对用户偏好持续考察的在线评估。评估运用基于脑电波、眼动跟踪及日志等手段记录的数据进行了融合性的分析。

在主观评估的有关方法上，有很多研究者采用了有别于客观评估的形式与方法，以弥补可视化应用评估中客观评估方法的不足。例如ＴｏｒｙＭ等［２４］就反思总结实验评估方法的弊端和不足，例如实验评估的成本、深度以及所适用的阶段等，通过与实验评估的比较，论证了专家评估方法的有效性。ＺｕｋＴ等［２５］认为启发式评估（基于既有经验规则的探索式评估）在可视化应用评估上使用得还不够，并总结整理了有关研究中可供参考的经验规则。ＫｅｎｎｅｄｙＨ等［２６］则是在其可视化应用评估中尝试运用了多焦点小组访谈的形式，将小组分为对视觉表达有兴趣组、对数据有兴趣组、外地域组、特定族裔组、主题兴趣组、主题涉及组、无兴趣组、各组代表构成组等多类小组。

随着前述一些主流的评估方法的运用，不少研究者对传统评估方法的有效性提出了疑问与批判，认为可视化应用的评估应当结合客观与主观评估的方法，参考借鉴有关的理论，综合更多的一些现实因素进行考量。

偏综合性评估的相关研究中，ＳｈｎｅｉｄｅｒｍａｎＢ

第４０卷第４期

２０２０年４月

等［２７］在回顾可视化应用的评估方法后提出评估可视化需要引入“多维深度长期案例研究”。其中多维是指使用观察、访谈、调查以及自动记录来评估用户绩效和界面效能；深入是指将专家用户转变成合作伙伴，深入、互动地开展研究；长期是指纵向研究，从特定工具的使用培训开始，观察用户的策略变化；案例研究是指在正常的环境中对用户向工作人员详细报告的有关问题进行分析。而ＲｅｄａＫ

可视化应用的评估方法研究综述

ｗｗｗ．ｘｄｑｂ．ｎｅｔ

Ｖｏｌ􀆰４０　Ｎｏ􀆰４

Ａｐｒ．，２０２０

提出一种质性评估方法，判断可视化是否符合预期的使用情境，并通过评估来促进可视化设计的优化迭代。

而针对当前的可视化应用评估方法中存在的一些普遍问题，有关研究提出了方法批判，例如Ａｎ⁃ｄｒｅｗｓＫ［２９］认为：评估的新的可视化界面不够成势；选择的测试用户不具有代表性；测试用户对可视化界面学习周期影响的考虑不够；测试任务设置简单，缺少对洞察和探索性任务的测试评估等。

更多涉及到以上划分的评估方法，及其应用到的有关研究可参见表２。

熟，在与成熟可视化界面比较时存在成熟度上的劣

等［１８］发现大多数的可视化实证评估都是针对结果，而极少评估其中的用户过程，并针对这一问题以探索性可视分析为例构建了一套强调过程评估的评估方法。ＩｓｅｎｂｅｒｇＰ等［２８］还认为可视化应用的评估在可视化产品开发生命周期的前期就应该进行，进而

表２　可视化评估中的评估方法路径类别

客观评估对照试验［８，２７－２８］

观察法［１０］脑电波分析［２３，３１］眼动分析［２３，３２］日志分析［２３，３３］

主观评估专家评估［２４］启发式评估［２５］抽样问卷调查［６－７，２１］焦点小组访谈［２６］民族志调查［２８］

综合评估案例分析［４，２８－２９］理论研究［１７，３０］

强调过程性评估［１８］，强调前期评估［２８］

强调多维、深度、长期评估［２７］

研究方法批判［２９］

４　可视化应用评估中的评估任务设计

尽管可视化应用评估中采用的方法已较多元化，但目前主流的评估方法仍是以实验方法为主。而由于可视化应用评估的实验针对的具体目标往往不同，评估的对象各异，场景也不一，因此实验设计中的样本规划与流程安排必然是高度情境依赖的，相比较而言，评估实验中的任务设计则借鉴意义更大，因而本节重点考察的是相关评估实验中的任务设置。

表３是对涉及相关任务的研究梳理，可以看到在ＫｅｌｌｅｒＰ等［３９］列举了可视化应用评估的一些常见任务后，后续许多研究在其基础上提出了扩展的评估任务，进一步细化和丰富了可视化应用评估可选的任务集。而这里列举的各研究涉及的具体任务主要是其有别于其他研究创新或特色的任务。而在陆续提出众多的评估任务后，相关研究也对可视化评估中的任务设计做出了类别与方向的划分，如予知（Ｉｎｆｏｒｍ）任务和使能（Ｅｎａｂｌｅ）任务［３７］，基

于理性的任务和基于世界观的任务［３８］，目标性任务和支持性任务［１２］等，同时也为结构化地任务设计提供了思路。

而在多元的实验设计与实验任务背后，这类实验性的评估存在一个显著的问题，即实验与实验之间难于做参照和比较，而这一问题又源于：待评估应用面向场景与问题的差异、实验设计与设置的差异、受试者的差异等。这就导致了我们难于回答：目前的实证研究在多大程度上一致，是否能形成共识，对于特定的任务是否存在最优的可视化形式等。

在ＣｈｅｎＣ等［４６］对３５项信息可视化的比较研究发现，虽然多数的实验任务是基于检索的情境设置，评估也主要是针对可视化环境下任务的完成度和完成效率，相关影响因素的相关性及其显著性也通常会考察，但在实验的可对照性和实验结果的可比较性上仍然存在很大的障碍。为克服这一类问题，作者提出了相关的实验设计建议，建议相关的

—１５１—

第４０卷第４期

２０２０年４月

ＪｏｕｒｎａｌｏｆＭｏｄｅｒｎＩｎｆｏｒｍａｔｉｏｎ表３　可视化评估中的评估任务设计

研究者ＺｈｏｕＭ等［３７］

设计的评估任务

予知（Ｉｎｆｏｒｍ）任务：陈述、概览使能（Ｅｎａｂｌｅ）任务：探索、计算

基于理性的任务：揭示不确定性，关系具体化，判断因果关系基于世界观的任务：确定领域参数，多变量解释和确认假设目标性任务：识别，确认，比较，推断和定位支持性任务：视觉化、配置

现代情报

Ｖｏｌ􀆰４０　Ｎｏ􀆰４

Ａｐｒ．，２０２０

任务类别

ＡｍａｒＲ等［３８］ＶａｌｉａｔｉＥＲＡ等［１２］

ＫｅｌｌｅｒＰ等［３９］ＺｈｏｕＭ等［３７］ＭｏｒｓｅＥ等［４０］

ＩＥＥＥＩｎｆｏｖｉｓＣｏｎｔｅｓｔ［４２］

ＮｏｒｔｈＣ等［４１］

辨别、定位、区分、归类、分簇、分布、排名、比较、联系、关联

在Ｋｅｌｌｅｒ等提出任务的基础上进一步扩展：划界、强调、揭示、追踪、标签、量化、标记、切换、描摹、概括等任务

判断是否有更多满足条件的元素、哪些可以划归、哪些元素最相似、哪类元素最多、哪个节点联系最多、哪些判断为真、以及视图的总体特征判断是否涵盖所有要素

提出可视化评估的基准任务集及数据集

识别数据间可能的关系、找出特定值域的数据、通过差异区分不同的实体、对不同元素类别确认边界、通过空间的间隔划分不同的簇、描述整体的布局特征、识别最好和最差、比较不同空间位置的值、识别数据元素间的形式关

具体任务

ＫｏｕａＥＬ等［４３］

系、识别具有共同属性的数据元素；在空间近似点中找到兴趣点位置、确认兴趣点密度、查看不同属性不同值域的空间分布、识别数据中的不同簇以及簇间的关系、比较不同位置的值并区分值域、明确值、位置与形状的关系、分析提取信息的相关性等

ＧｈｏｒｂｅｌＦ等［４５］

Ｃｈｅｎ等［２７］

Ｉ􀆰－Ｃ􀆰Ｗｕ等［４４］

发现直接关系、发现间接关系、找到主题知识最大值点识别、属性枚举

自由探索，找到特定要求元素，统计特定要求元素

研究尽量使用标准的测试数据（如ＴＲＥＣ的ＮＩＳＴ会议数据集）和标准的任务分类，重点考察常见的任务—形式的组合，尽量使用标准的认知能力测试（如认知因子参考测试工具箱），并且细化统计结果报告等。而上述的问题和建议无疑为相关的可视化应用的实验性评估提供了借鉴和参考。所幸越来越多的个人与机构意识到这一问题而做出了评估标准化的努力，例如ＩＥＥＥＩｎｆｏＶｉｓ自２００３年起就创建了可视化评估的基准数据集和任务［４２］。

数据集、目标任务、显示与交互设备、人类观察者的知识和经验、交互行为、应用环境等。其中一些变量的测量是容易的，例如数据规模、精度以及时间。而其他的一些变量如信息、知识、认知则相对复杂。尽管如此，越来越多的研究者开始尝试来测量与评估特定可视化形式下，人类在洞察、理解、知识学习、创造、认知负荷、信心等方面的表现。

从大的评估类别来看，可视化应用的评估可分为其用户效用的评估与其工具能力的评估两大方面。在一些具体的评估中，有的侧重于前者，例如用户的任务完成时间与成功率；有的侧重后者，如工具的易用性、易学性和满意度，有的则两者兼顾，如ＭａｃｋｉｎｌａｙＪＤ［４７］认为良好的可视化应符合“表达性”和“有效性”的标准，前者关注（工具）如何真实地呈现，而后者则关注（用户）如何准确地看。ＨａｌｉｍＺ等［４８］提出评估可视化应分别考察：（针对用户的）有效性、（工具的）表现力、

５　可视化应用评估中的评估维度及指标

可视化应用的评估最终是通过对评估项及其对应评估指标的跟踪、记录与量化来实现的，因而明确评估项及其评估指标是这类研究的一项核心工作，其科学性与完整性很大程度上决定了可视化应用评估结论的效度。

在可视化应用的过程中存在许多变量，例如源—１５２—

第４０卷第４期

２０２０年４月

可视化应用的评估方法研究综述

ｗｗｗ．ｘｄｑｂ．ｎｅｔ

Ｖｏｌ􀆰４０　Ｎｏ􀆰４

Ａｐｒ．，２０２０

可读性与交互性等方面，并且认为有必要分别给出权重进行组合评估。

由于相关研究中引用的评估指标众多，更多的评估指标我们放在表４中总结和归类。需要注意的是一些新型评估指标的出现，例如在ＪａｎｓｅｎＹ等［４９］对数据物理性可视化———数据雕刻的效用评估中，引入了“是否触摸”的评估维度。而这类

指标对于越来越多基于触摸屏展示的可视化的评估是一个重要的提示。

评价几个评估维度来梳理相关的评估指标。其中评估用户表现的主要是些客观的量化指标，而用户评价及反馈、专家评价则主要基于的是偏主观的量化指标，具体的指标归集如表４所示。

１）我们从用户表现、用户评价及反馈与专家

表４　可视化应用评估中的评估维度及指标

评估维度

评　　估　　类　　别

用户效用评估

效率效果———任务完成时长与成功率平均值［４６，４３，４８，５１］；这两个指标的最大值、最小值以及标准差［５１］；用户测试得分［８，３４，４７，５０］发现洞察———发现数、花费时间、发现的重要性、正确性、深度、意外性、发现类别［２２］；洞察的复杂度、深度、洞察的不完全性与层次性、意外性以及关联性

用户表现

［５２］

工具能力评估

用户反应时长（正确、错误、平均）［５１］、用户认知障碍与困惑点的个数、操作时反馈的问题数［４４］；学习时长［４４］、用户用于查阅帮助、外部文档搜索访问、寻求指导和支持的花费时间［４６］；过程节点数［４７］；工具功能使用率［４７，３４，７１］

边界、关联等）、洞察深度（确信度、难易度、深浅度）和洞察缘起（推理、分析、情感等）的占比式或批判性地讨论

［２６］

［６］

；洞察种类（分布、趋势、

讨论参与———是否激发问题并意愿参与讨论、是否促成对主题正注意力分布———兴趣区注视时间、注视次数、眼动轨迹、眼跳距离、平均注视时间、兴趣区百分比［５４］；脑电波波长、熵［２７］；鼠标轨迹［２７］；是否触摸［５２］

认知反馈———可视化在知识转化（社会化、外化、组合化、内化）方面效用假设认同度评价［６］；是否有收获、是否强化已有知识、是否说服或改变认知、是否学到新知识、是否找到自己觉得有用的数据［２６］；用户心智投入的评分［５１］、认知负荷［５５，７２］

用户评价及反馈

反应态度———用户是否喜欢，是否产生对数据背后人或事的情感、是否产生好奇心、是否惊讶、是否有愉快的经历或感觉愉悦、是否感觉到视觉享受、是否激起强烈的情绪反应、是否增强了对阅读可视化及数据的信心［２６］；初始使用意愿［３４］、再次使用意愿［５４］、用户给出的综合评分［５１］；有用性［５０，５９，３４］、可用性［５０，６２］、实用性［３１，６２，６０］

专家评价

专家评分

［６１］

、沟通效率

［５３］

、参与率

［３７］

、对话频数

［７２］

可识别度（可识别点的比例）［５６］、感知效率、感知正确性、可理解性与可学习性［６０］；功能的缺失及好恶［５７］；用户对工具结果和流程的理解及解释水平、用户对于灵活性，兼容性（工具看起来的工作方式与用户期望之间）和对工具的功能和适用性的主观观点［４６］、工具的满意度［４８，４４］、易用性与易学性［４７－４８］；用户对视觉特性以及配套的听觉特性的评价［４８］；使用不适（如心理压力、视疲劳等）［５８］界面可用性专家评价［２３，６２］

基于成功度（轻松／困难、完全／部分）和任务完成时间的效用

　　２）考虑到不同的评估场景，例如不同的用户

子、特征保存度因子，其中规模因子对应的是可视化应用中的“信息特性”，而后两者则对应的是其“设计特性”。ＦｒｅｉｔａｓＣＭＤＳ等［６２］从可用性的角度对信息可视化技术进行评价，将可视化的可用性分为３个主要的类别：视觉表现可用性，界面交互可用性以及数据可用性，分别对应可视化应用的“设计特性”、

“工具特性”和“信息特性”。而

—１５３—

特性、信息特性、工具特性、设计特性与情境，都会直接影响到评估测试的效果及相关结论的判定，因此还需要针对上述的场景维度做评估指标的梳理。

相关研究中，ＢｅｒｔｉｎｉＥ等［６３］将影响可视化视觉质量的因子分为３类：规模因子、视觉效果因

第４０卷第４期

２０２０年４月

ＫｅｎｎｅｄｙＨ等［２６］的评估涉及了“用户特性”的用户信念与观点、情绪、自信与技能，以及涉及“情境”的应用领域和任务时间等。

ＪｏｕｒｎａｌｏｆＭｏｄｅｒｎＩｎｆｏｒｍａｔｉｏｎ

现代情报

Ｖｏｌ􀆰４０　Ｎｏ􀆰４

Ａｐｒ．，２０２０

更多基于不同特性及情境的评估指标归集详见表５。

表５　可视化应用评估中的评估维度及指标

评估维度

评　　估　　类　　别

用户效用评估

样本人群特征［４８，１５］、参与者动机、期望、构成［１６］、用户偏

用户特性

好［４６］、用户对术语的理解［４８］、信念与观点、情绪、自信与技能［２６］、专家用户［２８］、任务准备状态、领域认知层级、时间投入［７２］

信息抽象度［８，７１］、数据规模［６６］；数据点数与数据密度；数据维

信息特性

三维、时态、多维、层次结构、网络结构）［６４］、信息的碎片度（离散度与不连续性）、信息的内向度（信息潜藏度）、信息的视有无提示、有无文字［１５］、数据完整性［４，６５］、不确定性［３３］

工具特性

支持［６９］、图例［６７］、成图时长［６５］、交互性［５１］

度数［５８］、数据类型（布尔、向量）［４３］；数据结构（一维、二维、

工具能力评估

大数据集处理能力、对多样性数据的处理能力、对问题数据的处理能力，对疑问数据的处理能力、对多尺度数据的处理能力［６６］

状态转换［４］、属性呈现、过滤筛选、搜索查询、视域缩放［４，４８］；选择、缩放、旋转、摇摄、清除、浏览［４６］；定

域（信息在空间及时间维度的可达的尺度）［６５］、数据来源［２６］、浏览器显示兼容性［７］、可协作性、可交流性、对多样化用户的

可视化类型（图标、图表、文字、表格、拟态）［４３，６８］；表现力

设计特性

［５１］

位、帮助、撤销、集簇、裁剪［４，６５］

空间组织、相关信息的视觉编码［４］；特征保存度［６６，６８］；可读性［５１］、图形的闭塞率（模糊的或被遮挡的数据点数／总数据点数）；可识别的关联数据点的比例（与其他可见数据点相关的数据点数量／可见数据点数２）［５８］隐私保护［７０］

长度和交叉度［２］；布局与风格（清晰度、美感）［７，１５］、视觉诱饵［２１］、展现的动态性［６８］；动画类型（电脑、视频）、动画的抽象度、动画的功用类型（展示、装饰）［１５］；逻辑顺序［６５］

所需知识类型（问题解决、陈述、程式化）［１５］、任务［１２］、时间

［２６］

、隐喻

［６８］

、秩序和复杂性

［６９］

；对称性、均匀度、统一边界

情　　境

、应用领域

［１５，２６］

、工作环境

［５８］

、安慰剂

［３０］

　　事实上，场景的评估要素很难在某一项研究中完全穷尽考虑，需要结合实际的应用场景和评估条件来选择较佳的因子组合进行考察。

举例来说，如按场景类别划分，在认知加工类场景中，可视化应用评估侧重的指标主要是可识别性、可交互性、洞察力等。知识获取类的场景中则相对偏重对保真度、可理解性、目标达成度等指标的评价，而交流协作类场景则侧重视觉吸引力、可交互性、沟通力等指标。如果是具体到某个特定场景，比如在虚拟现实环境下的可视化，其效用需要考察诸如可穿戴性、抗眩晕等针对性的指标。而对于图书馆馆藏资源可视化检索与浏览的场景，其效用评价的重点之一就在于可视化条件下用户对资源适用性的判别效率。—１５４—

通过对上述几类特性的识别与相关场景评估指标的梳理，可以帮助具体的评估中相关评估要素的选择，同时也能为可视化应用的设计与应用提供参考。

６　归纳与总结

综合现有的可视化应用评估的各种实践及探索，对其中涉及方法进行总结归纳，通过对方法要素的摘选、合并与归类，本文整理了一个可视化应用评估方法的参考框架，如图１所示，包含可视化评估可参考利用的理论、评估方法类别、评估任务、评估项、主客观的评估指标、评估的影响因素等，为相关可视化应用的评估提供了一个较为完整的方法视图和要素设计的参考索引。

４４月

可视化应用的评估方法研究综述

期

ｗｗｗ．ｘｄｑｂ．ｎｅｔ

图１　可视化应用评估方法参考框架

Ｖｏｌ􀆰Ａｐｒ．，４０　２０２０

Ｎｏ􀆰４

—１５５—

第４０卷第２０２０年第４０卷第４期

２０２０年４月

ＪｏｕｒｎａｌｏｆＭｏｄｅｒｎＩｎｆｏｒｍａｔｉｏｎ

现代情报

Ｖｏｌ􀆰４０　Ｎｏ􀆰４

Ａｐｒ．，２０２０

　估方案时　基于该参考框架，可依次从理论工具集中选取可参考的理

，在具体设计可视化应用的评论模型，选择合适的评估方法路径，参考和选用框架中涉及的评估任务类别及细项，基于框架中列及的影响因素选择需要重点控制的有关变量，选择框架中涉及的评估项目类别与评估指标来做评估的具体执行。

目前可视化应用评估中采用的方法已比较多元，但多数评估仍主要以实验方法为主。各评估的侧重有所不同，有的偏重评估工具能力，有的更重视评测用户效用。当前可视化应用评估存在的一些典型问题有：评估中运用理论较少；评估的效用多以认知为主，可视化的情感效用与社会效用少有探讨及测度；缺少一个评估的通用框架和用于评估的标准（任务、数据）测试集。而与此同时，可视化应用评估的研究与实践也存在着很多的创新机会，例如，对视觉、认知等领域众多有价值理论的引入；针对新兴媒介（ＶＲ、ＡＲ等）可视化效果的评估；构建基于用户交互行为数据的可视化效用测算模型，通过二维码等方式实现线下线上互动的户外可视化应用的公共效用研究等。

随着可视化应用的日益广泛和投入的加大，针对可视化应用的评估势必会为相关的工作实务所重视，进而对评估方法提出更高的要求。而本文通过对相关研究中可视化应用评估方法相关要素的总结梳理，为相关的研究及评估实务提供了一定的方法论参考。

参

考

文

献

［１］陈为．数据可视化［Ｍ］．北京：电子工业出版社，２０１３．［２］杨峰，李蔚．评价信息可视化技术的指标研究［Ｊ］．图书情报

知识，２００７，（４）：８０－８４．

［３］杨峰，李蔚．信息可视化显示效果的优化方法研究［Ｊ］．现代

情报，２０１２，３２（５）：３４－３６．

［４］吴莎莎，刘正捷，张海昕．信息可视化技术的可用性［Ｃ］／／

建立和谐人机环境联合学术会议，２００５．

［５］冯小琴．信息检索可视化的评价标准［Ｊ］．知识经济，２００９，

（３）：１２６－１２７．

［６］张会平．可视化技术对知识转化效果影响的实证研究［Ｊ］．情

报探索，２０１４，（１）：１－５．

［７］王辉，吴鸣，肖永红，等．图书馆系统的用户测试组织案例研

—１５６—

究［Ｊ］．图书情报工作，２０１２，５６（３）：７１－７４．

［８］邱玲玲．可视化与非可视化教学方法对不同文章背景知识的教

学效果的实证性研究［Ｄ］．贵阳：贵州大学，２００８．

［９］ＭｕｎｚｎｅｒＴ．ＰｒｏｃｅｓｓａｎｄＰｉｔｆａｌｌｓｉｎＷｒｉｔｉｎｇＩｎｆｏｒｍａｔｉｏｎＶｉｓｕａｌｉｚａ⁃

ｔｉｏｎｃｅｎｔｅｒｅｄＲｅｓｅａｒｃｈＩｓｓｕｅｓＰａｐｅｒｓａｎｄＰｅｒｓｐｅｃｔｉｖｅｓ［Ｊ］．Ｉｎｆｏｒｍａｔｉｏｎ，Ｖｉｓｕａｌｉｚａｔｉｏｎ：Ｈｕｍａｎ－［１０］ＩｓｅｎｂｅｒｇＴ，ＩｓｅｎｂｅｒｇＰ，ＣｈｅｎＪ，２００８ｅｔａｌ．：１３４ＡＳｙｓｔｅｍａｔｉｃ－１５３．

Ｒｅｖｉｅｗｏｎ

ｔｈｅＶｉｓｕａｌｉｚａｔｉｏｎＰｒａｃｔｉｃｅｏｆａｎｄＥｖａｌｕａｔｉｎｇＣｏｍｐｕｔｅｒＶｉｓｕａｌｉｚａｔｉｏｎＧｒａｐｈｉｃｓ，［２０１３Ｊ］．，ＩＥＥＥ１９（Ｔｒａｎｓａｃｔｉｏｎｓ１２）：２８１８ｏｎ－［１１］２８２７．

ＪｕａｒｅｚＯ，ＨｅｎｄｒｉｃｋｓｏｎＣ，ＧａｒｒｅｔｔＪＨ．ＥｖａｌｕａｔｉｎｇＶｉｓｕａｌｉｚａｔｉｏｎｓ

２０００．ＢａｓｅｄｏｎＰｒｏｃｅｅｄｉｎｇｓ．ｔｈｅＰｅｒｆｏｒｍｅｄＩＥＥＥＴａｓｋＩｎｔｅｒｎａｔｉｏｎａｌ［Ｃ］／／ＩｎｆｏｒｍａｔｉｏｎＣｏｎｆｅｒｅｎｃｅＶｉｓｕａｌｉｚａｔｉｏｎｏｎ．ＩＥＥＥ，，

［１２］２０００Ｖａｌｉａｔｉ：１３５ＥＲ－１４２．

Ａ，ＰｉｍｅｎｔａＭＳ，ＦｒｅｉｔａｓＣＭＤＳ．ＡＴａｘｏｎｏｍｙｏｆ

Ｔａｓｋｓ［Ｃ］／ｆｏｒ／ＰｒｏｃｅｅｄｉｎｇｓＧｕｉｄｉｎｇｔｈｅｏｆＥｖａｌｕａｔｉｏｎｔｈｅ２００６ｏｆＡＶＩＭｕｌｔｉｄｉｍｅｎｓｉｏｎａｌＷｏｒｋｓｈｏｐｏｎＶｉｓｕａｌｉｚａｔｉｏｎｓＢｅｙｏｎｄＴｉｍｅａｎｄＡＣＭＥｒｒｏｒｓ，２００６：：Ｎｏｖｅｌ１－６．ＥｖａｌｕａｔｉｏｎＭｅｔｈｏｄｓｆｏｒＩｎｆｏｒｍａｔｉｏｎＶｉｓｕａｌｉｚａｔｉｏｎ．［１３］ＣａｗｔｈｏｎＮ，ＭｏｅｒｅＡＶ．ＡＣｏｎｃｅｐｔｕａｌＭｏｄｅｌｆｏｒＥｖａｌｕａｔｉｎｇＡｅｓ⁃

ｔｈｅｔｉｃ［Ｃ］Ｅｆｆｅｃｔ／／ＩｎｆｏｒｍａｔｉｏｎＷｉｔｈｉｎｔｈｅＶｉｓｕａｌｉｚａｔｉｏｎＵｓｅｒＥｘｐｅｒｉｅｎｃｅ，２００６．ｏｆＩＶＩｎｆｏｒｍａｔｉｏｎ２００６．ＴｅｎｔｈＶｉｓｕａｌｉｚａｔｉｏｎＩｎｔｅｒｎａ⁃［１４］ｔｉｏｎａｌＨöｆｆｌｅｒＣｏｎｆｅｒｅｎｃｅＴＮ，Ｌｅｕｔｎｅｒｏｎ．ＩＥＥＥＤ．，Ｉｎｓｔｒｕｃｔｉｏｎａｌ２００６：３７４－Ａｎｉｍａｔｉｏｎ３８２．ＶｅｒｓｕｓＳｔａｔｉｃ

１７Ｐｉｃｔｕｒｅｓ（６）：：７２２ＡＭｅｔａ－７３８．

－ａｎａｌｙｓｉｓ［Ｊ］．ＬｅａｒｎｉｎｇａｎｄＩｎｓｔｒｕｃｔｉｏｎ，２００７，

［１５］ＭｏｅｒｅＡＶ，ＴｏｍｉｔｓｃｈＭ，ＷｉｍｍｅｒＣ，ｅｔａｌ．Ｅｖａｌｕａｔｉｎｇｔｈｅ

ＥｆｆｅｃｔｏｎＶｉｓｕａｌｉｚａｔｉｏｎｏｆＳｔｙｌｅｉｎａｎｄＩｎｆｏｒｍａｔｉｏｎＣｏｍｐｕｔｅｒＶｉｓｕａｌｉｚａｔｉｏｎＧｒａｐｈｉｃｓ，２０１２［Ｊ］，．ＩＥＥＥ１８（１２Ｔｒａｎｓａｃｔｉｏｎｓ［１６］２７４８．

）：２７３９－ＤｅｍｉｒａｌｐＣ，ＳｃｈｅｉｄｅｇｇｅｒＣＥ，ＫｉｎｄｌｍａｎｎＧＬ，ｅｔａｌ．Ｖｉｓｕａｌ

Ｅｍｂｅｄｄｉｎｇ：ＡＭｏｄｅｌｆｏｒＶｉｓｕａｌｉｚａｔｉｏｎ［Ｊ］．ＩＥＥＥＣｏｍｐｕｔｅｒ［１７］ＧｒａｐｈｉｃｓＢｒｅｓｃｉａｎｉａｎｄＳ，ＡｐｐｌｉｃａｔｉｏｎｓＥｐｐｌｅｒＭＪ．，Ｅｘｔｅｎｄｉｎｇ２０１４，３４Ｔａｍ（１）：ｔｏＩｎｆｏｒｍａｔｉｏｎ１０－１５．

Ｖｉｓｕａｌｉｚａ⁃

ｔｉｏｎｍａｔｉｏｎ：ＡＳｙｓｔｅｍＦｒａｍｅｗｏｒｋＥｖａｌｕａｔｉｏｎｆｏｒＥｖａｌｕａｔｉｏｎ，２０１５，［１８Ｊ］．（１Ｅｌｅｃｔｒｏｎｉｃ）：４６－５８．

ＪｏｕｒｎａｌｏｆＩｎｆｏｒ⁃［１８］ＲｅｄａＫ，ＪｏｈｎｓｏｎＡＥ，ＰａｐｋａＭＥ，ｅｔａｌ．ＭｏｄｅｌｉｎｇａｎｄＥｖａｌｕａ⁃

ｔｉｎｇＶｉｓｕａｌｉｚａｔｉｏｎＵｓｅｒＢｅｈａｖｉｏｒ，２０１６ｉｎ，Ｅｘｐｌｏｒａｔｏｒｙ１５（４）：３２５Ｖｉｓｕａｌ－３３９．

Ａｎａｌｙｓｉｓ［Ｊ］．Ｉｎｆｏｒｍａｔｉｏｎ［１９］ＤｉｍａｒａＥ，ＢｅｚｅｒｉａｎｏｓＡ，ＤｒａｇｉｃｅｖｉｃＰ．ＴｈｅＡｔｔｒａｃｔｉｏｎＥｆｆｅｃｔｉｎ

ＩｎｆｏｒｍａｔｉｏｎＶｉｓｕａｌｉｚａｔｉｏｎ［Ｊ］．ＩＥＥＥＴｒａｎｓａｃｔｉｏｎｓｏｎＶｉｓｕａｌｉｚａｔｉｏｎ［２０］ａｎｄＰｌａｉｓａｎｔＣｏｍｐｕｔｅｒＣ．ＴｈｅＧｒａｐｈｉｃｓＣｈａｌｌｅｎｇｅ，２０１７ｏｆ，Ｉｎｆｏｒｍａｔｉｏｎ２３（１）：Ｖｉｓｕａｌｉｚａｔｉｏｎ４７１－４８０．Ｅｖａｌｕａｔｉｏｎ

［Ｃ］／／ＰｒｏｃｅｅｄｉｎｇｓｏｆｔｈｅＷｏｒｋｉｎｇＣｏｎｆｅｒｅｎｃｅｏｎＡｄｖａｎｃｅｄＶｉｓｕａｌＩｎｔｅｒｆａｃｅｓ．ＡＣＭ，２００４：１０９－１１６．

第４０卷第４期

２０２０年４月

可视化应用的评估方法研究综述

ｗｗｗ．ｘｄｑｂ．ｎｅｔ

Ｖｏｌ􀆰４０　Ｎｏ􀆰４

Ａｐｒ．，２０２０

［２１］ＣａｒｐｅｎｄａｌｅＳ．ＥｖａｌｕａｔｉｎｇＩｎｆｏｒｍａｔｉｏｎＶｉｓｕａｌｉｚａｔｉｏｎｓ［Ｊ］．Ｉｎｆｏｒ⁃

［２２］ｍａｔｉｏｎＳａｒａｉｙａＶｉｓｕａｌｉｚａｔｉｏｎＰ，ＮｏｒｔｈＣ，，２００８Ｄｕｃａ：Ｋ．１９－Ａｎ４５．

Ｉｎｓｉｇｈｔ－ｂａｓｅｄＭｅｔｈｏｄｏｌｏｇｙｆｏｒ

ＥｖａｌｕａｔｉｎｇｏｎＶｉｓｕａｌｉｚａｔｉｏｎＢｉｏｉｎｆｏｒｍａｔｉｃｓａｎｄＣｏｍｐｕｔｅｒＶｉｓｕａｌｉｚａｔｉｏｎｓＧｒａｐｈｉｃｓ，［２００５Ｊ］．，ＩＥＥＥ１１（Ｔｒａｎｓａｃｔｉｏｎｓ４）：４４３［２３］４５６．

－ＣｈｅｎＸ，ＲａｎＪ．ＳｔａｔｉｓｔｉｃａｌＭｏｄｅｌｉｎｇｆｏｒＶｉｓｕａｌｉｚａｔｉｏｎＥｖａｌｕａｔｉｏｎ

［２４］ＴｈｒｏｕｇｈＴｏｒｙＭ，ＤａｔａＭｏｌｌｅｒＦｕｓｉｏｎＴ．Ｅｖａｌｕａｔｉｎｇ［Ｊ］．ＡｐｐｌｉｅｄＶｉｓｕａｌｉｚａｔｉｏｎｓＥｒｇｏｎｏｍｉｃｓ：，Ｄｏ２０１７．

ＥｘｐｅｒｔＲｅｖｉｅｗｓ

２５Ｗｏｒｋ（５？）：［８Ｊ－］１１．

．ＩＥＥＥＣｏｍｐｕｔｅｒＧｒａｐｈｉｃｓａｎｄＡｐｐｌｉｃａｔｉｏｎｓ，２００５，

［２５］ＺｕｋＴ，ＳｃｈｌｅｓｉｅｒＬ，ＮｅｕｍａｎｎＰ，ｅｔａｌ．ＨｅｕｒｉｓｔｉｃｓｆｏｒＩｎｆｏｒｍａ⁃

ｔｉｏｎＷｏｒｋｓｈｏｐＶｉｓｕａｌｉｚａｔｉｏｎｏｎＢｅｙｏｎｄＥｖａｌｕａｔｉｏｎＴｉｍｅａｎｄ［ＣＥｒｒｏｒｓ］／／Ｐｒｏｃｅｅｄｉｎｇｓ：ＮｏｖｅｌＥｖａｌｕａｔｉｏｎｏｆｔｈｅ２００６ＭｅｔｈｏｄｓＡｖｉ［２６］ｆｏｒＫｅｎｎｅｄｙＩｎｆｏｒｍａｔｉｏｎＨ，ＨｉｌｌＶｉｓｕａｌｉｚａｔｉｏｎ．ＲＬ，ＡｌｌｅｎＡＣＭＷ，，２００６ｅｔａｌ．：１Ｅｎｇａｇｉｎｇ－６．

ｗｉｔｈ（Ｂｉｇ）

ＤａｔａＮｅｗＶｉｓｕａｌｉｚａｔｉｏｎｓ：Ｆａｃｔｏｒｓｔｈａｔ（１１）Ｄｅｆｉｎｉｔｉｏｎｓ．

ｏｆＥｆｆｅｃｔｉｖｅｎｅｓｓＡｆｆｅｃｔ［Ｊ］．ＥｎｇａｇｅｍｅｎｔＦｉｒｓｔＭｏｎｄａｙａｎｄ，２０１６Ｒｅｓｕｌｔｉｎｇ，２１［２７］ＳｈｎｅｉｄｅｒｍａｎＢ，ＰｌａｉｓａｎｔＣ．ＳｔｒａｔｅｇｉｅｓｆｏｒＥｖａｌｕａｔｉｎｇＩｎｆｏｒｍａｔｉｏｎ

ＶｉｓｕａｌｉｚａｔｉｏｎＳｔｕｄｉｅｓＴｉｍｅｉｚａｔｉｏｎ．ａｎｄ［ＣＴｏｏｌｓ：Ｍｕｌｔｉ－ｄｉｍｅｎｓｉｏｎａｌＩｎ－ｄｅｐｔｈＬｏｎｇ－ｔｅｒｍＣａｓｅＡＣＭＥｒｒｏｒｓ］／／，：Ｐｒｏｃｅｅｄｉｎｇｓ２００６Ｎｏｖｅｌｏｆｔｈｅ２００６ＡｖｉＷｏｒｋｓｈｏｐｏｎＢｅｙｏｎｄ：１－Ｅｖａｌｕａｔｉｏｎ７．

ＭｅｔｈｏｄｓｆｏｒＩｎｆｏｒｍａｔｉｏｎＶｉｓｕａｌ⁃［２８］ＩｓｅｎｂｅｒｇＰ，ＺｕｋＴ，ＣｏｌｌｉｎｓＣ，ｅｔａｌ．ＧｒｏｕｎｄｅｄＥｖａｌｕａｔｉｏｎｏｆＩｎ⁃

ｆｏｒｍａｔｉｏｎｏｎｔｉｏｎＢｅｙｏｎｄＶｉｓｕａｌｉｚａｔｉｏｎｓＶｉｓｕａｌｉｚａｔｉｏｎ．ＴｉｍｅａｎｄＡＣＭＥｒｒｏｒｓ［Ｃ，２００８：］Ｎｏｖｅｌ／／Ｐｒｏｃｅｅｄｉｎｇｓ：６．ＥｖａｌｕａｔｉｏｎｏｆＭｅｔｈｏｄｓｔｈｅ２００８ｆｏｒＷｏｒｋｓｈｏｐＩｎｆｏｒｍａ⁃［２９］ＡｎｄｒｅｗｓＫ．ＥｖａｌｕａｔｉｎｇＩｎｆｏｒｍａｔｉｏｎＶｉｓｕａｌｉｓａｔｉｏｎｓ［Ｃ］／／Ｐｒｏ⁃

ｃｅｅｄｉｎｇｓＮｏｖｅｌｏｆｔｈｅ２００６ＡｖｉＷｏｒｋｓｈｏｐＩｎｆｏｒｍａｔｉｏｎｏｎＢｅｙｏｎｄＶｉｓｕａｌｉｚａｔｉｏｎ．ＴｉｍｅａｎｄＥｒｒｏｒｓＡＣＭ：［３０］２００６Ｌａｔｏｒｒｅ：Ｅｖａｌｕａｔｉｏｎ１－Ｐｏｓｔｉｇｏ５．

Ｍｅｔｈｏｄｓｆｏｒ，ＪＭ，Ｈｅｒｎáｎｄｅｚ－ＶｉａｄｅｌＪＶ，ＴｒｉｖｅｓＪＪＲ．Ｅｆｆｉ⁃

ｃａｃｙＶｉｓｕａｌｉｚａｔｉｏｎｏｆａＧｒｏｕｐＭｅｍｏｒｙＴｒａｉｎｉｎｇＭｅｔｈｏｄｆｏｒＯｌｄｅｒＡｄｕｌｔｓＢａｓｅｄｏｎｔｒｏｌｌｅｄｃｈｏｌｏｇｙＴｒｉａｌ，２０１０ＷｉｔｈａｎｄＡｓｓｏｃｉａｔｉｏｎ，２４ａＰｌａｃｅｂｏ（７）：９５６ＧｒｏｕｐＴｅｃｈｎｉｑｕｅｓ－９６８．

［Ｊ］．：ＡｐｐｌｉｅｄＡＲａｎｄｏｍｉｚｅｄＣｏｇｎｉｔｉｖｅ，Ｃｏｎ⁃Ｐｓｙ⁃［３１］ＫｉｍＳ，ＪｏｏＫＨ，ＨａｎＳ，ｅｔａｌ．ＴｈｅＥｆｆｅｃｔｉｖｅｎｅｓｓｏｆＶｉｓｕａｌｉｚａ⁃

ｔｉｏｎｕ－Ｓｙｓｔｅｍａｎｄｅ－ｆｏｒＳｅｒｖｉｃｅＶｉｒｔｕａｌ，ＲｅａｌｉｔｙＳｃｉｅｎｃｅＬｅａｒｎｉｎｇａｎｄＴｅｃｈｎｏｌｏｇｙ［Ｊ］．Ｉｎｔｅｒｎａｔｉｏｎａｌ，２０１５，８Ｊｏｕｒｎａｌ１５１ｏｆ－１６０．

（１２）：［３２］ＲａｍａｓｕｂｒａｍａｎｉａｎＴ．ＥｖａｌｕａｔｉｎｇｔｈｅＥｆｆｅｃｔｉｖｅｎｅｓｓｏｆＷｉｄｅｌｙＡ⁃

ｖａｉｌａｂｌｅ［Ｊ］．Ｊｏｕｒｎａｌ３－ＤＶｉｓｕａｌｉｚａｔｉｏｎｏｆＰｕｂｌｉｃＡｄｍｉｎｉｓｔｒａｔｉｏｎＴｏｏｌｓｉｎＳｕｐｐｏｒｔＳｐｅｃｉａｌｏｆＩｓｓｕｅＰｕｂｌｉｃ，２００９．Ｐａｒｔｉｃｉｐａｔｉｏｎ［３３］ＥｒｆａｎＭｉｒｚａｂｅｉｋｉ，ＬｉｌｉＡ．Ｎｕｒｌｉｙａｎａ．ＥｆｆｅｃｔｉｖｅｎｅｓｓｏｆＴｅｘｔＶｉｓｕａｌ⁃

ｉｚａｔｉｏｎ［３４］ｎａｌＡｎｄｅｒｓｏｎｏｆＩｎｔｅｒａｃｔｉｖｅａｓａＬｅａｒｎｉｎｇＦａｃｉｌｉｔｙ（ＡＲｅｖｉｅｗ）［Ｊ］．ＩｎｔｅｒｎａｔｉｏｎａｌＪｏｕｒ⁃ＥＷ，ＤｉｇｉｔａｌＰｏｔｔｅｒＭｅｄｉａＫＣ，，Ｍａｔｚｅｎ１（３）：ＬＥ４１，－ｅｔ４８．

ａｌ．ＡＵｓｅｒＳｔｕｄｙｏｆ

ＶｉｓｕａｌｉｚａｔｉｏｎＣｏｍｐｕｔｅｒＧｒａｐｈｉｃｓＥｆｆｅｃｔｉｖｅｎｅｓｓＦｏｒｕｍ．ＵｓｉｎｇＢｌａｃｋｗｅｌｌＥＥＧａｎｄＰｕｂｌｉｓｈｉｎｇＣｏｇｎｉｔｉｖｅＬｔｄＬｏａｄ，２０１１［Ｃ］，３０／／（３）：７９１－８００．

［３５］ＢｒｕｓＪ，ＰｏｐｅｌｋａＳ，ＳｖｏｂｏｄｏｖａＪ．ＥｘｐｌｏｒｉｎｇＥｆｆｅｃｔｉｖｅｎｅｓｓｏｆＵｎ⁃

ｃｅｒｔａｉｎｔｙｉｎｇＶｉｓｕａｌｉｚａｔｉｏｎＭｅｔｈｏｄｓｂｙＥｙｅ－Ｔｒａｃｋｉｎｇ［Ｃ］ｓｅｓｓｍｅｎｔｏｆｔｈｅＩｎ１０ｔｈＮａｔｕｒａｌＩｎｔｅｒｎａｔｉｏｎａｌＲｅｓｏｕｒｃｅｓＳｙｍｐｏｓｉｕｍａｎｄＥｎｖｉｒｏｍｅｎｔａｌｏｎＳｐａｔｉａｌＳｃｉｅｎｃｅｓＡｃｃｕｒａｎｃｙ／／Ｐｒｏｃｅｅｄ⁃，Ｂｒａｚｉｌ．

Ａｓ⁃［３６］２０１２．

ＳｃｈｉｍｋｅＤ，ＳｔｏｅｇｅｒＨ，ＺｉｅｇｌｅｒＡ．ＥｖａｌｕａｔｉｎｇｔｈｅＥｆｆｅｃｔｉｖｅｎｅｓｓ

ｏｆＣｏｍｍｕｎｉｔｙＳｏｃｉａｌＶｉｓｕａｌｉｚａｔｉｏｎＰｒａｃｔｉｃｅｓａｎｄＷｉｔｈｉｎＳｏｃｉａｌＶｉｒｔｕａｌＩｎｔｅｒａｃｔｉｖｅＣｏｍｍｕｎｉｔｉｅｓＭｅｄｉａ：［ＪＴｅｃｈｎｏｌｏｇｙ

］．ＶｉｒｔｕａｌＬｉｆｅｃｙｃｌｅ［３７］ｆｌｏｗＺｈｏｕＡｎａｌｙｓｉｓａｎｄＭ，Ｆｅｉｎｅｒ，Ｗｏｒｋｆｌｏｗ２００９．

Ａｎａｌｙｓｉｓ：ＴｅｃｈｎｏｌｏｇｙＬｉｆｅｃｙｃｌｅａｎｄＷｏｒｋ⁃ＳＫ．ＶｉｓｕａｌＴａｓｋＣｈａｒａｃｔｅｒｉｚａｔｉｏｎｆｏｒＡｕｔｏｍａｔｅｄ

ＶｉｓｕａｌＡＣＭＰｒｅｓｓＤｉｓｃｏｕｒｓｅ，１９９８：Ｓｙｎｔｈｅｓｉｓ３９２－３９９．

［Ｃ］／／Ｐｒｏｃ．ＣＨＩ􀆳９８Ｃｏｎｆｅｒｅｎｃｅ，［３８］ＡｍａｒＲ，ＳｔａｓｋｏＪ．ＫｎｏｗｌｅｄｇｅＴａｓｋ－ＢａｓｅｄＦｒａｍｅｗｏｒｋｆｏｒＤｅｓｉｇｎ

ａｎｄＳｙｍｐｏｓｉｕｍＥｖａｌｕａｔｉｏｎｏｎＩｎｆｏｒｍａｔｉｏｎｏｆＩｎｆｏｒｍａｔｉｏｎＶｉｓｕａｌｉｚａｔｉｏｎＶｉｓｕａｌｉｚａｔｉｏｎｓ，２００４［：Ｃ１４３］／－／１４９．Ｐｒｏｃ．ＩＥＥＥ［３９］ＫｅｌｌｅｒＰ，ＫｅｌｌｅｒＭ．Ｖｉｓｕａｌｃｌｕｅｓ：ＰｒａｃｔｉｃａｌＤａｔａＶｉｓｕａｌｉｚａｔｉｏｎ

［Ｍ］．ＬｏｓＡｌａｍｉｔｏｓ，ＣＡ，ＩＥＥＥＣｏｍｐｕｔｅｒＳｃｏｃｉｅｔｙＰｒｅｓｓ，１９９２．［４０］ＭｏｒｓｅＥ，ＬｅｗｉｓＭ，ＯｌｓｅｎＫＡ．ＥｖａｌｕａｔｉｎｇＶｉｓｕａｌｉｚａｔｉｏｎｓ：Ｕ⁃

ｓｉｎｇＣｏｍｐｕｔｅｒａＴａｘｏｎｏｍｉｃＳｔｕｄｉｅｓ，Ｇｕｉｄｅ２０００，［５３Ｊ］．（５Ｉｎｔｅｒｎａｔｉｏｎａｌ）：６３７－６６２．

ＪｏｕｒｎａｌｏｆＨｕｍａｎ－［４１］ＮｏｒｔｈＣ，ＳｈｎｅｉｄｅｒｍａｎＢＥＮ．Ｓｎａｐ－ｔｏｇｅｔｈｅｒＶｉｓｕａｌｉｚａｔｉｏｎ：Ｃａｎ

ＵｓｅｒｓｔｅｒｎａｔｉｏｎａｌＣｏｎｓｔｒｕｃｔａｎｄｏｆＯｐｅｒａｔｅＨｕｍａｎＣｏｏｒｄｉｎａｔｅｄ－ＣｏｍｐｕｔｅｒＳｔｕｄｉｅｓＶｉｓｕａｌｉｚａｔｉｏｎｓ，２０００？，５３［Ｊ］（．５Ｉｎ⁃［４２］７１５Ｊ􀆰－－Ｄ􀆰７３９．

Ｊｏｕｒｎａｌ）：Ｆｅｋｅｔｅ，ＰｌａｉｓａｎｔＣ．Ｉｎｆｏｖｉｓ２００３Ｃｏｎｔｅｓｔ［ＥＢ］．ｈｔｔｐ：／／

［４３］ｗｗｗ．ｃｓ．ｕｍｄ．ｅｄｕＫｏｕａＥＬ，Ｍａｃｅａｃｈｒｅｎ／ｈｃｉｌ／ｉｖ０３ｃｏｎｔｅｓｔＡ，Ｋｒａａｋ／，Ｍ２００３．

Ｊ．ＥｖａｌｕａｔｉｎｇｔｈｅＵｓａｂｉｌｉｔｙ

ｏｆｍｅｎｔＶｉｓｕａｌｉｚａｔｉｏｎＭｅｔｈｏｄｓｉｎａｎＥｘｐｌｏｒａｔｏｒｙＧｅｏｖｉｓｕａｌｉｚａｔｉｏｎｅｎｃｅ，［２００６Ｊ］．，Ｉｎｔｅｒｎａｔｉｏｎａｌ２０（４）：４２５Ｊｏｕｒｎａｌ－４４８．

ｏｆＧｅｏｇｒａｐｈｉｃａｌＩｎｆｏｒｍａｔｉｏｎＥｎｖｉｒｏｎ⁃Ｓｃｉ⁃［４４］Ｉ􀆰－Ｃ􀆰Ｗｕ，ＶａｋｋａｒｉＰ．ＳｕｐｐｏｒｔｉｎｇＮａｖｉｇａｔｉｏｎｉｎＷｉｋｉｐｅｄｉａＢｙＩｎ⁃

ｆｏｒｍａｔｉｏｎｎａｌｏｆＤｏｃｕｍｅｎｔａｔｉｏｎＶｉｓｕａｌｉｚａｔｉｏｎ，：２０１４Ｅｘｔｅｎｄｅｄ，７０（Ｅｖａｌｕａｔｉｏｎ３）：３９２－Ｍｅａｓｕｒｅｓ４２４．［Ｊ］．Ｊｏｕｒ⁃［４５］ＧｈｏｒｂｅｌＦ，ＥｌｌｏｕｚｅＮ，ＭéｔａｉｓＥ，ｅｔａｌ．ＭＥＭＯＧＲＡＰＨ：Ａｎ

ＯｎｔｏｌｏｇｙＶｉｓｕａｌｉｚａｔｉｏｎＴｏｏｌｆｏｒＥｖｅｒｙｏｎｅ［Ｊ］．ＰｒｏｃｅｄｉａＣｏｍｐｕｔｅｒ［４６］ＳｃｉｅｎｃｅＣｈｅｎＣ，，２０１６Ｙｕ，Ｙ９６Ｕ：Ｅ．２６５Ｅｍｐｉｒｉｃａｌ－２７４．

ＳｔｕｄｉｅｓｏｆＩｎｆｏｒｍａｔｉｏｎＶｉｓｕａｌｉｚａ⁃

ｔｉｏｎ：ＡＭｅｔａ－ａｎａｌｙｓｉｓ［Ｊ］．ＩｎｔｅｒｎａｔｉｏｎａｌＪｏｕｒｎａｌ—ｏｆＨｕｍａｎ１５７－—

Ｃｏｍ⁃第４０卷第４期

２０２０年４月

ＪｏｕｒｎａｌｏｆＭｏｄｅｒｎＩｎｆｏｒｍａｔｉｏｎ

现代情报

Ｖｏｌ􀆰４０　Ｎｏ􀆰４

Ａｐｒ．，２０２０

［４７］ｐｕｔｅｒＭａｃｋｉｎｌａｙＳｔｕｄｉｅｓＪ，Ｄ．２０００Ａｕｔｏｍａｔｉｎｇ，５３（５）：ｔｈｅ８５１Ｄｅｓｉｇｎ－８６６．

ｏｆＧｒａｐｈｉｃａｌＰｒｅｓｅｎｔａｔｉｏｎｓ

ｏｆ（２Ｒｅｌａｔｉｏｎａｌ）：１１０－１４１．

Ｉｎｆｏｒｍａｔｉｏｎ［Ｊ］．ＡＣＭＴｒａｎｓ．Ｇｒａｐｈｉｃｓ，１９８６，５［４８］ＨａｌｉｍＺ，ＭｕｈａｍｍａｄＴ．ＱｕａｎｔｉｆｙｉｎｇａｎｄＯｐｔｉｍｉｚｉｎｇＶｉｓｕａｌｉｚａ⁃

ｔｉｏｎｔｉｏｎ：ＳｃｉｅｎｃｅｓＡｎＥｖｏｌｕｔｉｏｎａｒｙ，２０１７，３８５Ｃｏｍｐｕｔｉｎｇ－３８６：－２８４ｂａｓｅｄ－３１３．

Ａｐｐｒｏａｃｈ［Ｊ］．Ｉｎｆｏｒｍａ⁃［４９］ＪａｎｓｅｎＹ，ＤｒａｇｉｃｅｖｉｃＰ，ＦｅｋｅｔｅＪＤ．ＥｖａｌｕａｔｉｎｇｔｈｅＥｆｆｉｃｉｅｎｃｙｏｆ

ＰｈｙｓｉｃａｌＶｉｓｕａｌｉｚａｔｉｏｎｓ［Ｃ］／／ＰｒｏｃｅｅｄｉｎｇｓＳｙｓｔｅｍｓ．ｏｆｔｈｅＡＣＭＳＩＧＣＨＩ，２０１３Ｃｏｎｆｅｒ⁃－ｅｎｃｅ２６０２．

ｏｎＨｕｍａｎＦａｃｔｏｒｓｉｎＣｏｍｐｕｔｉｎｇ：２５９３［５０］ＹａｍｍｉｎｅＫ，ＶｉｏｌａｔｏＣ．ＡＭｅｔａ－ａｎａｌｙｓｉｓｏｆｔｈｅＥｄｕｃａｔｉｏｎａｌＥｆ⁃

ｆｅｃｔｉｖｅｎｅｓｓＴｅａｃｈｉｎｇｏｆＴｈｒｅｅ－ｄｉｍｅｎｓｉｏｎａｌＶｉｓｕａｌｉｚａｔｉｏｎＴｅｃｈｎｏｌｏｇｉｅｓｉｎ（６）：５２５Ａｎａｔｏｍｙ－５３８．［Ｊ］．ＡｎａｔｏｍｉｃａｌＳｃｉｅｎｃｅｓＥｄｕｃａｔｉｏｎ，２０１５，８［５１］章明．视觉认知心理学［Ｍ］．上海：华东师范大学出版社，

［５２］１９９１．

ＮｏｒｔｈＣ．ＴｏｗａｒｄＭｅａｓｕｒｉｎｇＶｉｓｕａｌｉｚａｔｉｏｎＩｎｓｉｇｈｔ［Ｊ］．ＩＥＥＥ

［５３］ＣｏｍｐｕｔＴａｎｇＣＧｒａｐｈ，ＣａｒｐｅｎｄａｌｅＡｐｐｌ，２００６Ｓ．，Ａｎ２６Ｏｂｓｅｒｖａｔｉｏｎａｌ（３）：６－９．

ＳｔｕｄｙｏｎＩｎｆｏｒｍａｔｉｏｎ

ＦｌｏｗＡＣＭＤｕｒｉｎｇＣｏｎｆｅｒｅｎｃｅＮｕｒｓｅｓ􀆳ｏｎＨｕｍａｎＳｈｉｆｔＣｈａｎｇｅ［Ｃ］／／ＩｎＰｒｏｃｅｅｄｉｎｇｓｏｆｔｈｅ５４］Ｐａｇｅｓ宋晓蕾２１９．－视觉表象的产生与训练２２８，ＮｅｗＹｏｒｋ，ＦａｃｔｏｒｓＵＳＡ，ｉｎ：２００７．Ｃｏｍｐｕｔｉｎｇ一个整合的视角ＡＣＭ．Ｓｙｓｔｅｍｓ（ＣＨＩ），［［Ｍ］．北

京：科学出版社，２０１５．

［５５］ＢｒüｎｋｅｎＲ，ＰｌａｓｓＪＬ，ＬｅｕｔｎｅｒＤ．ＤｉｒｅｃｔＭｅａｓｕｒｅｍｅｎｔｏｆＣｏｇｎｉ⁃

［５６］２００３ｔｉｖｅＬｏａｄＢｒａｔｈ，，３８ｉｎＲｉｃｈａｒｄ．（１Ｍｕｌｔｉｍｅｄｉａ）：５３Ｃｏｎｃｅｐｔ－６１．

Ｌｅａｒｎｉｎｇ［Ｊ］．ＥｄｕｃａｔｉｏｎａｌＰｓｙｃｈｏｌｏｇｉｓｔ，Ｄｅｍｏｎｓｔｒａｔｉｏｎ：ＭｅｔｒｉｃｓＦｏｒＥｆｆｅｃｔｉｖｅ

ＩｎｆｏｒｍａｔｉｏｎｓｉｕｍＯｎＩｎｆｏｒｍａｔｉｏｎＶｉｓｕａｌｉｚａｔｉｏｎＶｉｓｕａｌｉｚａｔｉｏｎ［Ｃ］／／ＩｎＰｒｏｃｅｅｄｉｎｇｓＦｏｒＩＥＥＥＳｙｍｐｏ⁃］ＣｅｎｔｅｒＬａｍ，Ｈ，ＰｈｏｅｎｉｘＢｅｒｔｉｎｉ，ＥＡＺ，Ｉｓｅｎｂｅｒｇ，Ｏｃｔ２０Ｐ－，２１，ｅｔ，ｐａｇｅｓａｌ．１９９７．

１０８－１１１．ＩＥＥＥＳｅｒｖｉｃｅ［５７ＥｍｐｉｒｉｃａｌＳｔｕｄｉｅｓｉｎＩｎｆｏｒ⁃

ｍａｔｉｏｎＶｉｓｕａｌｉｚａｔｉｏｎＶｉｓｕａｌｉｚａｔｉｏｎ１５３６．

ａｎｄＣｏｍｐｕｔｅｒ：ＳｅｖｅｎＳｃｅｎａｒｉｏｓＧｒａｐｈｉｃｓ，［２０１２Ｊ］．，Ｉｅｅｅ１８Ｔｒａｎｓａｃｔｉｏｎｓ（９）：１５２０ｏｎ－［５８］ＭｃＩｎｔｉｒｅＪＰ，ＬｉｇｇｅｔｔＫＫ．Ｔｈｅ（Ｐｏｓｓｉｂｌｅ）ＵｔｉｌｉｔｙｏｆＳｔｅｒｅｏｓｃｏｐ⁃

ｉｃａｎｄ３Ｄ［５９］ｔｉｏｎａｌｔｈｅＤｉｓｐｌａｙｓＫａｍａｌＷｏｒｋｓｈｏｐＵｇｌｙ［ｆｏｒＣＩｎｆｏｒｍａｔｉｏｎＶｉｓｕａｌｉｚａｔｉｏｎ：ＴｈｅＧｏｏｄ，ｔｈｅＢａｄ，Ａ，Ｃｕｉｏｎ．］／／３ＤＶｉｓ（３ＤＶｉｓ），２０１４ＩＥＥＥＶＩＳＩｎｔｅｒｎａ⁃Ｆ，ＩＥＥＥＳｈａｎｋａｒ，２０１４Ｇ，：ｅｔ１ａｌ．－９．ＴｅａｃｈｉｎｇＤａｔａＳｔｒｕｃｔｕｒｅｓ：

—１５８—

Ｅｆｆｅｃｔｉｖｅｎｅｓｓ［６０］ｔｐＧｒｉｎｓｔｅｉｎ：／／ｐｅｏｐｌｅ．ｃｓ．ｖｔ．ｅｄｕｏｆＶｉｓｕａｌｉｚａｔｉｏｎＧ，Ｋｏｂｓａ／Ａ～，ｎｏｒｔｈａｎｄＰｌａｉｓａｎｔ／ｉｎｆｏｖｉｚＴｅｘｔｂｏｏｋＣ，／ｄｓｅｖａｌ．ｄｏｃｍｅｔｈｏｄｓｅｔａｌ．Ｗｈｉｃｈ，２０１７［ＥＢ／Ｃｏｍｅｓ－ＯＬ０８］－．Ｆｉｒｓｔ０２．ｈｔ⁃，

ＵｓａｂｉｌｉｔｙＳｅａｔｔｌｅ，ＷＡ．ｏｒＵｔｉｌｉｔｙＩＥＥＥ？

Ｃｏｍｐｕｔｅｒ［Ｃ］／／１４ｔｈＳｏｃｉｅｔｙＩＥＥＥ，２００３．

Ｖｉｓｕａｌｉｚａｔｉｏｎ（ＶＩＺ􀆳０３）．

［６１］ＢｅｒｎａｒｄＪ，ＤａｂｅｒｋｏｗＤ，ＦｅｌｌｎｅｒＤ，ｅｔａｌ．ＶｉｓＩｎｆｏ：ＡＤｉｇｉｔａｌ

ＬｉｂｒａｒｙＳｅａｒｃｈ—ＳｙｓｔｅｍＡＵｓｅｒｆｏｒ－ＴｉｍｅｃｅｎｔｅｒｅｄＳｅｒｉｅｓＤｅｓｉｇｎＲｅｓｅａｒｃｈＡｐｐｒｏａｃｈＤａｔａＢａｓｅｄ［Ｊ］．ｏｎＥｘｐｌｏｒａｔｏｒｙ［６２］ＪｏｕｒｎａｌＦｒｅｉｔａｓｏｎＣＤｉｇｉｔａｌＭＤＳＬｉｂｒａｒｉｅｓ，Ｌｕｚｚａｒｄｉ，２０１５ＰＲ，，１６Ｃａｖａ（１Ｒ）：Ａ３７，－ｅｔ５９．

Ｉｎｔｅｒｎａｔｉｏｎａｌａｌ．Ｅｖａｌｕａｔｉｎｇ

［６３］ＵｓａｂｉｌｉｔｙＢｅｒｔｉｎｉＥｏｆ，ＩｎｆｏｒｍａｔｉｏｎＳａｎｔｕｃｃｉＧ．ＶｉｓｕａｌｉｚａｔｉｏｎＶｉｓｕａｌＱｕａｌｉｔｙＴｅｃｈｎｉｑｕｅｓＭｅｔｒｉｃｓ［［ＪＣ］］．２００２．

／／Ｐｒｏｃｅｅｄ⁃

ｉｎｇｓＥｖａｌｕａｔｉｏｎｏｆｔｈｅ２００６５．

ＭｅｔｈｏｄｓＡＶＩｆｏｒＷｏｒｋｓｈｏｐＩｎｆｏｒｍａｔｉｏｎｏｎＶｉｓｕａｌｉｚａｔｉｏｎ．ＢｅｙｏｎｄＴｉｍｅａｎｄＡＣＭＥｒｒｏｒｓ，２００６：Ｎｏｖｅｌ：１－［６４］ＳｈｎｅｉｄｅｒｍａｎＢ．ＴｈｅＥｙｅｓＨａｖｅＩｔ：ＡＴａｓｋＢｙＤａｔａＴｙｐｅＴａｘｏｎｏ⁃

ｍｙＰｒｏｃｅｅｄｉｎｇｓ．ｆｏｒＩｎｆｏｒｍａｔｉｏｎ，ＩＥＥＥＶｉｓｕａｌｉｚａｔｉｏｎｓＳｙｍｐｏｓｉｕｍｏｎ．［Ｃ］ＩＥＥＥ／／Ｖｉｓｕａｌ，１９９６Ｌａｎｇｕａｇｅｓ：３３６－３４３．，１９９６．［６５］ＰａｒｓｏｎｓＰ，ＳｅｄｉｇＫ．ＡｄｊｕｓｔａｂｌｅＰｒｏｐｅｒｔｉｅｓｏｆＶｉｓｕａｌＲｅｐｒｅｓｅｎｔａ⁃

ｔｉｏｎｓ［Ｊ］．：ＪｏｕｒｎａｌＩｍｐｒｏｖｉｎｇｏｆｔｈｅｔｈｅＡｓｓｏｃｉａｔｉｏｎＱｕａｌｉｔｙｏｆｆｏｒＨｕｍａｎＩｎｆｏｒｍａｔｉｏｎ－ｉｎｆｏｒｍａｔｉｏｎＳｃｉｅｎｃｅＩｎｔｅｒａｃｔｉｏｎａｎｄＴｅｃｈ⁃［６６］ｎｏｌｏｇｙＡｎｄｒｉｅｎｋｏ，２０１４Ｇ，，６５Ａｎｄｒｉｅｎｋｏ（３）：４５５Ｎ，－Ｄｅｍｓａｒ４８２．

Ｕ，ｅｔａｌ．Ｓｐａｃｅ，Ｔｉｍｅａｎｄ

ＶｉｓｕａｌｍａｔｉｏｎＡｎａｌｙｔｉｃｓＳｃｉｅｎｃｅ，２０１０［Ｊ］．，Ｉｎｔｅｒｎａｔｉｏｎａｌ２４（１０）：１５７７Ｊｏｕｒｎａｌ－１６００．

ｏｆＧｅｏｇｒａｐｈｉｃａｌＩｎｆｏｒ⁃［６７］ＥｄｓａｌｌＲＭ，ＫｒａａｋＭＪ，ＭａｃＥａｃｈｒｅｎＡＭ，ｅｔａｌ．Ａｓｓｅｓｓｉｎｇｔｈｅ

Ｅｆｆｅｃｔｉｖｅｎｅｓｓ［Ｃ］／／ＧＩＳ／ＬＩＳ．ｏｆＴｅｍｐｏｒａｌ１９９７，９７Ｌｅｇｅｎｄｓ：２８－３０．

ｉｎＥｎｖｉｒｏｎｍｅｎｔａｌＶｉｓｕａｌｉｚａｔｉｏｎ［６８］ＢａｒｔｒａｍＬ．ＣａｎＭｏｔｉｏｎＩｎｃｒｅａｓｅＵｓｅｒＩｎｔｅｒｆａｃｅＢａｎｄｗｉｄｔｈ？

［Ｃ］／／Ｐｒｏｃｅｅｄｉｎｇｓｏｆ１９９７ＩＥＥＥＣｏｎｆｅｒｅｎｃｅｏｎＳｙｓｔｅｍｓ，Ｍａｎ［６９］ａｎｄＢｉｒｋｈｏｆｆＣｙｂｅｒｎｅｔｉｃｓＧ．Ａｅｓｔｈｅｔｉｃ，１９９７．

Ｍｅａｓｕｒｅ［Ｍ］．Ｃａｍｂｒｉｄｇｅ，Ｍａｓｓａｃｈｕ⁃

［７０］ｓｅｔｔｓＤａｓｇｕｐｔａ，ＨａｒｖａｒｄＡ，ＵｎｉｖｅｒｓｉｔｙＣｈｅｎＭ，ＫｏｓａｒａＰｒｅｓｓ，Ｒ．１９３３．

ＭｅａｓｕｒｉｎｇＰｒｉｖａｃｙａｎｄＵｔｉｌｉｔｙ

ｉｎｒｕｍＰｒｉｖａｃｙ，２０１３－，Ｐｒｅｓｅｒｖｉｎｇ３２Ｖｉｓｕａｌｉｚａｔｉｏｎ［Ｃ］／／ＣｏｍｐｕｔｅｒＧｒａｐｈｉｃｓＦｏ⁃［７１］权国龙．ＣＳＫ可视化知识表征设计（８）：３５－４７．

、应用及效用分析［Ｄ］．

上海：华东师范大学，２０１７．

［７２］蔡慧英．语义图示工具支持的协作问题解决学习的研究

［Ｄ］．上海：华东师范大学，２０１６．（责任编辑：陈　媛）