Process modeling and bottleneck mining in online peer-review systems
Authors
-
Wichian Premchaiswadi
- Graduate School of Information TechnologySiam University
-
Parham Porouhan
- Graduate School of Information TechnologySiam University
First online:
22 August 2015
Received:
16 January 2015
Accepted:
27 July 2015
DOI: 10.1186/s40064-015-1183-4
Download PDF | Export Citation
Abstract
This paper is divided into three main parts. In the first part of the study, we captured, collected and formatted an event log describing the handling of reviews for proceedings of an international conference in Thailand. In the second part, we used several process mining techniques in order to discover process models, social, organizational, and hierarchical structures from the proceedingrsquo;s event log. In the third part, we detected the deviations and bottlenecks of the peer review process by comparing the observed events (i.e., authentic dataset) with a pre-defined model (i.e., master map). Finally, we investigated the performance information as well as the total waiting time in order to improve the effectiveness and efficiency of the online submission and peer review system for the prospective conferences and seminars. Consequently, the main goals of the study were as follows: (1) to convert the collected event log into the appropriate format supported by process mining analysis tools, (2) to discover process models and to construct social networks based on the collected event log, and (3) to find deviations, discrepancies and bottlenecks between the collected event log and the master pre-defined model. The results showed that although each paper was initially sent to three different reviewers; it was not always possible to make a decision after the first round of reviewing; therefore, additional reviewers were invited. In total, all the accepted and rejected manuscripts were reviewed by an average of 3.9 and 3.2 expert reviewers, respectively. Moreover, obvious violations of the rules and regulations relating to careless or inappropriate peer review of a manuscript—committed by the editorial board and other staff—were identified. Nine blocks of activity in the authentic dataset were not completely compatible with the activities defined in the master model. Also, five of the activity traces were not correctly enabled, and seven activities were missed within the online submission system. On the other hand, dealing with the feedback (comments) received from the first and the third reviewers; the conference committee members and the organizers did not attend to those feedback/comments in a timely manner.
Keywords
Online peer review system Process discovery Conformance checking Performance analysis Bottleneck mining Social network analysis LTL checker Petri nets
Background
Currently, online and blind peer review of manuscripts submitted by authors is an important part of the publication process. However, a peer review does not necessarily include the assessment of a work by one or more reviewers who are experts in that field of study only. It is a process that includes selection and invitation of expert reviewers, allocation of deadline for reviewers, collection of comments from reviewers, discussion of manuscripts in detail, analysis of reviewersrsquo; comments by an editorial board, invitation of more reviewers, a decision to accept or reject the manuscript, notification to authors about decisions, and so on. Typically, the most difficult part of a peer review process is selecting appropriate reviewers. The invited reviewers may be too busy with other commitments and obligations and are not able to participate in any manuscript revision tasks. On the other hand, some reviewers may initially show interest to take part in a peer review process but later refuse to provide any feedback or comments concerning the assigned manuscript. The main objective of the study was to investigate and scrutinize the peer review process of an international conference in a private university in Thailand. To do this, we initially developed an online reviewing system that: (1) could automatically store and acknowledge the online submissions, (2) could assign independent reviewers for the submitted manuscripts, (3) could easily show the status of the submission during the review, (4) could indicate whether a reviewer has participated in the reviewing process or not, (5) could automatically collect feedbacks from invited reviewers, (6) could send the received comments and feedback to the editorial board for making a decision, (7) could invite more reviewers and repeat the same steps if necessary, (8) could accept or reject a manuscript based on the final decisions made by the editorial board, and (9) could record and extract all of the above mentioned steps in terms of datasets.
In this study, we aimed to apply two classes of process mining techniques (i.e., Discovery and Conformance Analysis) in order to discover models, organizational structures, and bottlenecks related to the handling of proceedingsrsquo; peer reviews in an international conference in Thailand. Knowing that process mining analysis tools receive the input logs only in MXML (Mining eXtensible Markup Language) and XES (eXtensible Event Stream) formats, we initially converted the collected event log into a MXML-forma
剩余内容已隐藏，支付完成后下载完整资料
在线审稿系统流程建模和瓶颈挖掘
摘要
本文分为三个主要部分。在研究的第一部分，我们捕获、收集和格式化描述审查程序在一次在泰国举办的国际会议处理事件日志。第二部分，我们用几个过程挖掘技术从程序的事件日志中发现流程模型，社会、组织和层次结构。第三部分，我们通过比较观察到的事件（即，真实数据集）与一个预定义的模式（即，主图）检测到的偏差和同行审查过程的瓶颈，最后，我们调查以改善预期的会议和研讨会的成效和在线投审稿系统的效率性能的信息，以及总的等待时间。因此，这项研究的主要目标如下:
（1）对转换成适当格式的过程挖掘分析工具；
（2）发现过程模型构建社交网络的基础收集的事件日志；
（3）对发现偏差，支持收集的事件日志的差异和收集的事件日志和主机之间的瓶颈预定义模型。
结果表明，虽然每篇论文最初被送往三个不同审阅者;它并不总是能够做出第一轮审查后的决定;因此，需要邀请其他审阅者。总数，分别由平均 3.9 和 3.2 的专家审阅者有接受和拒绝的手稿综述。此外，有关违反明显的规章制度，不在乎或不恰当的同行评议的手稿提交由编委会和其他工作人员进行鉴定。在真实数据集九部分作用，并不完全兼容的主模型中定义的行为。而且在此基础上，五个行为痕迹错误启用，在线提交系统内七个行为被错过了。另一方面，处理从第一和第三的审阅者; 收到的反馈（评论）会议委员会成员和组织者没有出席向那些意见反馈及时。
关键字
在线同行评议制度流程中，LTL性质模型检测发现一致性检查性能分析瓶颈挖掘佩特里网社会网络分析.
背景
目前，作者稿件在线提交和盲审是出版过程的重要组成部分。然而，同行审评审不一定包括工作由一个或多个审阅者都是在这一领域的研究只有专家的评估。它是一个过程，包括选择和邀请的专家审阅者收集从审阅者的注释的手稿详细，编委会，邀请更多的审阅，决定接受或拒绝的稿件，作者的决定，通知等审稿人的意见的分析讨论审阅者截止日期分配。通常情况下，最困难的同侪审查进程部分选择适当的审阅者。邀请的审阅者可能太忙其他的承诺和义务，不能够参与任何手稿修订任务。另一方面，一些评论家最初可能会感兴趣参加同侪审查进程的一部分，但后来拒绝提供任何反馈或意见的分配的手稿。研究的主要目的是调查和审议国际会议在泰国一所私立大学的同行审查过程。要做到这一点，我们最初开发一个在线的检讨制度，: （1） 可以自动存储和承认在线提交，（2） 可以分配独立的审阅者提交手稿，（3） 可以轻松地显示审查期间提交情况的报告，（4） 可以表明是否审阅者已经参加了在审查过程中或不，（5） 能自动收集反馈从邀请的审阅者（6） 可以发送收到的意见和反馈到决策，(7) 编委会可以邀请多个审阅者和重复相同的步骤，如果有必要，(8) 可以接受或拒绝基于编委会及 (9) 所作的最后决定手稿可以记录和提取所有上述提到的数据集的步骤。
在此研究中，我们的目的是将两个类的过程挖掘技术 （即，发现和一致性分析） 应用，发现模式、 组织结构和有关的国际会议在泰国诉讼参与人的同行评审处理的瓶颈。了解过程挖掘分析工具接收输入日志仅在 MXML （挖掘可扩展标记语言） 和 beta; （可扩展事件流） 格式，我们最初转化 MXML 格式的日志收集的事件日志。后来，阿尔法 （alpha;） 算法的启发式算法、 模糊、 社会网络挖掘技术 （从发现类） 的使用，以自动构建基于真实数据，而无需任何先验模型的整个诉讼程序的审查模式。虽然启发式矿工看起来非常类似于阿尔法算法，该技术具有特权，更好地处理 XOR 和连接器基于事件日志之间的依赖关系。接下来，实际过程行为被投射到模糊模型。其结果是动画电影，帮助我们更好地了解真实的活动发生 (在诉讼期间同行评议过程)。此外，通过使用社会网络矿工我们旨在分析同行组织视角的技术审查进程的三个指标，即作为: （a） 交接的工作，（b） 工作在一起，和 （c） 类似任务 （Aalst 2011 年）。
另一方面，我们旨在通过比较观察到的事件 （真实数据） 与预定义的模型，以及监测偏差。我们有先验模型记录进行审查后，用 LTL 检查和性能分析技术 （从一致性检查器类） 来标识日志和预定义的模型之间的差异。后应用 LTL 检测的方法，检测的不一致和偏差 — — 导致丰富真实模型。此外，性能分析技术使我们能够投射在同侪审查制度瓶颈。表 1 说明了过程挖掘术语和技术 （支持舞会 5.2） 在这项研究中使用的一些。
表 1
处理挖掘技术，这项研究中使用的术语
|
插件 |
说明 |
|---|---|
|
Alpha 挖掘 |
发现佩特里网使用 alpha; 算法 |
|
启发式挖掘 |
发现使用启发式挖掘 C 网 |
|
模糊挖掘 |
发现利用模糊挖掘模糊模型 |
|
社会网络挖掘 |
创建基于选定的准则的社会网络 |
|
LIT检查器检查挖掘 |
表示LIT性能检查 |
|
健身计算 |
发现利用模糊挖掘模糊模型 |
|
响应 |
过程的LIT检查、比较和连接痕迹的正宗的日志中的事件与一个预定义的主模型 |
|
一致性检查 |
程序分析模型与实际数据之间的差距来检测冲突 |
|
基于佩斯里网的性能分析 |
使用重播检索各种关键性能指标 |
资料来源: （Aalst 2011 年）。
一般情况下，本文中使用的技术的主要好处之一是信息客观地编译。说简单，我们根据反馈参与人的同行评审过程的审查过程，收集有关实际发生的事和现有的瓶颈，而不是我们只是认为期望看到发生在事件日志的宝贵信息。考虑研究结果，会议委员会主席和组织者可以更好地评估性能以及涉及审阅者 （工作人员） 内分配的任务。这将提高性能、 效率和效力的前瞻性的学术会议的审查处理。
### 可编程只读存储器和流程挖掘框
Promimport是一个通用的框架，在标准环境中实施过程挖掘工具。ProM frameworka XES 或 MXML 格式接收输入的日志。目前，这一框架有插件的过程挖掘、 分析、 监测和转换。流程挖掘算法框架已经成为一个完整的插件能环境。它可以通过简单地添加插件和目前超过 90 插件已添加 （克林金和 Kalishenko 2013） 扩展。图 1 （左） 说明了可以如何分类过程挖掘插件。插件基于数据，在事件日志被称为发现插件，因为它们不使用任何现有的信息关于部署模型。检查多少数据在事件日志匹配中部署模型的规定的行为被称为一致性插件的插件程序。最后，插件称为扩展插件需要的模型和其关联的日志以发现将增强这个模型 （昌等人，2008年）的信息。应该指出的是ProMimportb可用于从各种系统（例如，Staffware和花）导入事件日志，这样他们可以分析使用 ProM （Aalst 等人，2007年）。图 1 （右）说明了标准的 MXML （挖掘可扩展标记语言）格式。TheProcessInstance元素对应的案件。一个业务程序实例元素可能持有多个AuditTrailEntry元素。每个元素表示一个事件。每个AuditTrailEntry元素可能包含WorkfowModelElement、 事件类型、时间戳和发端人的元素。WorkfowModelElement和事件类型是强制性的元素（Aalst和熙2002年;Aalst等人2007年;迪马等人，2005年）。
图 1
（左）一般处理挖掘模型。三个类的过程挖掘技术包括发现、 一致性和增强 （Aalst 2011 年）。（右）MXML 是一种标准格式用于存储事件日志作为输入的格式为舞会 (来源 ︰ Aalst 等人 2007 年;Aalst 2011)。
相关的工作
过程挖掘的想法不是新的。Cook和Wolf （1996 年） 进行了许多研究项目中的软件工程处理进程上下文。最初，他们描述了过程发现的三种方法︰使用神经网络，使用纯粹的算法，及个人使用马尔科夫方法。作者认为后者两个作为最有前途的方法。纯粹的算法建立有限状态机在各国进行融合如果他们期货（即，在接下来的k步骤可能的行为） 是完全相同（Cook和Wolf,1996年）。马尔科夫方法使用了混合算法和统计的方法，能够处理简单过程图中的噪声。然而，他们的研究结果仅限于顺序行为。Cook和Wolf（1998年）扩展他们到并发进程的工作。他们提出了具体的衡量标准——熵和事件类型计数、周期性，因果关系等 — — 和这些指标用于发现内事件流的模型。然而，他们没有提供一个明确的流程模型生成方法。稍后，库克和Wolf(1999)提供措施量化过程模型与实际行为之间的差异，当注册使用基于事件的数据。扩展数据库技术在 Valencia，西班牙（阿格拉等人，1998年）举行第六届国际会议介绍了应用在管理上下文中工作流过程挖掘的思想。这项工作基于工作流图的启发而来的工作流产品，如 IBM MQSeries工作流（原名拉） 和皇权 （张 2010 年）。2001年，基于这些算法工具了可用（Maxeiner 等人 2001 年）。Schimm（2000年、2002年）开发挖掘工具，适用于发现分层结构化工作流流程。这让所有的分裂和联接来加以平衡。赫布斯特和 Karagiannis（1998年、1999年）也讨论了过程挖掘技术在工作流管理使用归纳法的上下文中的问题。虽然，他们的工作是限于时序模型;他们允许的并发性分析的方法。赫布斯特（2000年）随机任务图用作使用工作流模型建模语言阿多尼斯所述中间表示形式。在介绍性的步骤中，任务节点进行合并和拆分以发现潜在的过程。Weijters 和 Aalst （2001 年 a，b）开发了启发式的方法来构建所谓'依赖/频率表'和'依赖/频率图'。然而，在他们的工作只给出了初步结果提供启发式方法和更集中噪音等问题。Aalst 和东根 (2002) 提出了发出的工具，用于 alpha; algorithmc 扩展的版本将计时信息。其他一些研究 （Burt 和轻微的 1983 年;Aalst 等人，2004 年;斯科特和卡林顿 2011年） 用于调查表 （也称 sociography）作为一种方法在人际交往中图表或矩阵的窗体上显示数据。术语表是由雅各征收Moreno（Moreno和詹宁斯1934年）进行了第一的远程社交研究在纽约状态训练学校的女孩 （沃瑟曼和浮士德 》 1994 年; 在纽约哈德逊创造的。宋2004年）。作为这项研究的一部分，Moreno 和詹宁斯(1934)用于社交技巧将分配给各种住宅别墅的居民。他们发现分配调查表的基础上，从基金的出走的人数大幅减少。Moreno 和詹宁斯的早期作品，计量学和社会网络Analysisd特别是自从活跃的研究领域 （柴油机等人，2004年）。工作流管理系统如Staffware注册的开始和结束的活动（Aalst和Dongen2002）。像SAPERP系统登录所有的交易，例如，用户填写表单，更改文档，等等。企业对企业 (B2B) 系统日志消息的交换其他缔约方（大仲马等人，2005年）。打电话给中心包以及与客户的一般用途CRM系统日志交互。这些例子表明，许多系统具有某种类型的事件日志通常被称为'历史'、'审计跟踪'、'交易文件'等 (Aalst 2005)。Rozinat和Aalst（2008年）提出了循序渐进的方式进行检查一致性的过程模型和事件日志。他们的目标是指标的检测的过程模型和其相应的执行日志和所形成量化之间不一致。Aalst 等人 （2012 年）佩特里网的一致性检察院，并用Petri功能性能分析工具——哪些是适合开放——建立事件和模型元素之间的确切关系。通过应用这些技术，他们可以诊断偏离行为模式的影响，并确定每个偏差的严重性因此，他们的研究结果能正确检测和显示过程中的瓶颈。
方法
在此研究中，我们使用事件日志描述处理的评论国际会议在泰国的私立大学。如图 2 所示，收集的事件日志最初在MicrosoftAccess数据库格式。事件日志包括87文件（称为例）和3267事件。编辑委员会的会议由超过 30 在计算机科学、信息技术和软件工程领域的学术专家组成。在收到一份手稿后，每篇论文被送往三个不同审阅者使用在线和自动处理系统。它并不总是能作出第一回合的审稿决定,包括审阅和审阅者,因此，如果没有收到邀请的审阅者的反馈不够，应邀参加多个审阅者。这个过程被重复直到可以由委员会成员作出最后决定。会议委员会的主席是负责决策是否'接受'，'邀请另一个审阅者'，或'拒绝'（咨询后与其他成员） 的一篇文章。以'接受'一张纸，至少2,3需要包含积极意见提交的稿件审阅者 （或收集反馈的 67%）。另外，为了'拒绝'了，至少 2的审阅者 （或收集反馈的67%）3个需要包含关于提交的稿件的负面评论。事件日志包含个人信息和敏感信息关于作者的名字，出生地点、电子邮件地址和等等，我们故意作出匿名的事件日志（如原始发件人名称） 的必要部分在开始任何过程建模或瓶颈挖掘分析之前。表1显示了一些的过程挖掘术语和技术（流程挖掘算法 5.2） 在这项研究中使用。
图 2
三个截图从 MS Access数据库初始的事件日志设置格式。从表第一和第二被提取，然后导入到新表中四个即如下数据︰流程实例表、数据属性过程实例表、 审计线索条目表和数据-属性
剩余内容已隐藏，支付完成后下载完整资料
资料编号：[150200]，资料为PDF文档或Word文档，PDF文档可免费转换为Word
以上是毕业论文外文翻译，课题毕业论文、任务书、文献综述、开题报告、程序设计、图纸设计等资料可联系客服协助查找。
