英语原文共 15 页,剩余内容已隐藏,支付完成后下载完整资料
评估信息系统的有效性 - 第一部分:比较评估方法
斯科特·汉密尔顿·诺曼L.切尔瓦尼
摘要
虽然管理信息系统(MIS)的使用和成本已经变得十分可观,但是人们对评价和讨论系统的有效性却没有给予多少关注。由于系统的多维度,系统有效性的评估是很困难的。人们需要考虑它的定量和定性方面,以及其多重性,而且,往往评估者主观观点才是最能引发冲突的。
本文概述了系统有效性的含义以及应如何衡量它。这是两篇连续出版的季刊MIS文章中的第一篇。从系统有效性的定义开始,本文根据系统目标的概念层次来检查系统有效性的评估。层次结构用于引入评估系统有效性的问题和提供建议,以及比较各种MIS评估方法。第二篇文章对评估者对于参与MIS实施的用户、管理信息系统、内部审计和管理的若干职能小组中决策者的观点进行了描述和比较。同时,推荐了几种MIS的评估方法,用于将多维度和多个评估者观点纳入信息系统有效性评估。
关键词:管理信息系统,MIS,评估
1介绍
管理信息系统(MIS)的评估是管理控制过程中的一个组成部分。SHARE研究[8]强调了改进MIS管理和使企业信息系统的价值变得显而易见的建议。由客观成果所定义的MIS的有效性是很关键的,不仅涉及管理职能,而且涉及MIS实施中涉及的用户,开发人员和内部审计人员。然而,很少有组织会以一个有组织的流程来评估MIS的有效性。
这第一篇文章旨在概述评估MIS有效性的方法。系统的有效性是首次被讨论,根据系统目标的概念层次来讨论系统有效性同样也是第一次。概念层次结构用于讨论评估系统有效性的问题和建议。同时,它也被应用于评估成熟的MIS和比较MIS的评估方法。
2系统有效性的定义
关于系统有效性的含义以及应如何衡量,可以采取两种一般性观点:以目标为中心的观点和系统资源观。
(1)在以目标为中心的观点中,评估系统有效性的方法首先是确定系统或利用系统的组织单位的任务目标,然后制定标准措施以评估目标的实现情况。通过比较绩效与目标来确定有效性。以系统有效性为目标的观点的一个例子是将实际成本和收益与预算成本和收益进行比较。
(2)在系统资源观点中,系统有效性是通过达到规范状态来衡量的,例如一次“良好”实践的标准。有效性是根据资源可行性,而不是具体任务目标来概念化的。例如,人力资源方面系统的有效性可能通过MIS与用户人员之间的沟通和冲突的性质,用户参与系统开发或用户工作满意度来表示。在技术资源方面,系统效率可能由系统质量或服务水平表明。系统资源模型意识到需要考虑这些因素:系统履行了既定功能,以及有除了既定目标之外的其他目标。
在评估系统有效性时,评估方法的选择取决于考虑的是这两种观点中的哪一种。在实践中,这两种观点应该趋同。为了解释在实现目标方面成功或失败,需要进行系统资源调查。
这两种观点之间的区别类似于评价研究文献中“总结性”和“形成性”评价方法之间的区别[28]。总结性评估确定系统是否已完成目标,而形成性评估衡量系统的质量和相关支持。总结性和形成性评估方法之间的区别类似于对结束与方法或结果与过程的评估。形成性评估方法在整个实施过程中提供信息,以帮助改进方法或过程,以实现目标并帮助解释总结性评估结果。总结性评估方法提供有关系统结果或结束的信息,以支持继续,采用或终止系统的决策。形成性和总结性评估方法通常用于提供有关系统有效性的评估信息。
3评估系统有效性
本文将从实施MIS时通常考虑的目标的方面来讨论系统有效性的评估。目标的概念层次结构被提出,并用于比较MIS评估方法。为了说明概念层次结构如何使用,我们提出了一些可能被用来评估MRP系统有效性的目标和性能指标的客观和实践方法。
3.1系统目标的概念层次结构
系统目标广泛地定义了管理信息系统的目标,体现了组织目标的层次结构,从单一的战略陈述(非常概念化)到单个管理信息系统开发项目的详细运营目标[20]。通常情况下,信息系统的需求定义或设计规范是系统目标的操作描述,并构成MIS开发和操作人员的参考点。目标的概念层次结构如图1所示。格林伯格等人提出了类似的概念层次结构。 [12],克里波尔[16]和基茨伯格[11]。
MIS职能的主要目标之一是开发和运营/维护信息系统,以提高组织实现其目标的能力。 可以从特定信息系统的两个角度评估该目标的完成情况:
(1)MIS开发和运营流程利用分配的资源(员工,机器,材料,资金)为用户提供信息系统的效率。
(2)用户或用户的组织单位利用信息系统完成组织任务的有效性。
面向效率的观点反映在图1的左侧,用于MIS开发和运营流程。通过选择和应用组织资源,MIS开发过程产生了信息系统,然后由MIS操作过程支持。MIS开发和运营流程的目标分为四个层次:
第0级:信息系统的需求定义
第1级:提供信息系统所需的资源消耗
第2级:资源的生产能力或能力
第3级:资源投资水平
有效性视角反映在图1的右侧。信息系统提供的信息和支持信息系统影响用户决策过程和用户组织绩效,进而影响组织绩效和可能的外部环境。可以在三个目标层面评估系统有效性:
第1级:信息系统提供的信息,以及MIS功能为系统用户提供的支持
第2级:信息系统的使用及其对用户组织过程和绩效的影响
第3级:信息系统对组织绩效的影响
系统有效性最好根据信息系统对组织目标实现的贡献来评估,即其对组织绩效的影响(第3级)。例如,组织目标和绩效衡量指标可以用销售收入,客户满意度和利润贡献来表示。这些影响并非直接和立即显现,而是从使用信息系统和组织过程的变化中而来。在使用过程和用户组织绩效方面的系统目标(第2级)反映了系统对这些组织过程的影响,包括决策者的变化,决策过程的变化以及用户组织绩效的变化。但是,系统目标通常根据需求定义来陈述,该定义指定了信息系统要提供的信息(级别1)。 这些目标(例如改进信息的及时性,内容或形式)仅通过使用过程影响组织绩效(级别2)。
可以通过绩效衡量标准来评估MIS目标的实现情况。 图2和图3分别说明了面向效率和有效性观点的各种MIS目标和相应的绩效衡量指标,它们反映了文献中提到的观点。 例如,Ein-Dor和Segev [9]对系统目标的总结,以及Norton和Rau的[23]以及Smith的[31]性能测量说明,可以映射到图2和图3中。
MIS开发阶段 |
MIS操作阶段 |
|
层级 |
目标 性能指标 |
目的 性能指标 |
0 信息系统 |
技术质量 符合程序设计,数据库设计,测试等的系统开发标准等。 控制质量 符合应用程序控制标准。 文档质量 符合文档标准 |
技术质量 符合设计规范。 控制质量 控制的充分性和完整性的符合性测试。 文档质量 符合文档标准 |
1 资源消耗 |
开发预算 预算差异 计划完成度 安排合规 用户参与 参与的数量与类型 |
操作预算 预算差异 预定运行时间 实际运行时间,重新运行百分比。 需要估计的计 算机资源单位 使用的实际资源单位 |
2 生产能力 |
可利用的人力 可收费的工时生产率加班费百分比 |
可用计算机容量(吞吐量) 正常运行时间百分比,响应时间积压百分比,利用率实际吞吐量 职位描述 工作满意度 工作内容 |
3 资源投入 |
MIS人员培训 培训支出 |
资本投资 (硬件) 资本支出 |
图2 MIS开发和运营流程的四个效率目标和绩效指标
层级 |
目标 |
性能指标 |
1 已提供的信息与支持 |
改善演示时间 |
数据货币:报告间隔加处理延迟交货时间表(离线) 响应时间(在线) 周转时间(请求) |
提高信息内容质量 |
数据:准确性,范围,聚合级别,时间范围,可靠性,安全性,完整性 |
|
提高信息内容质量 |
数据:访问新的/更多数据 型号:计算能力图书馆设施 |
|
提升演示形式 |
系统界面:灵活性,简单性,易用性,响应性,便利性,可用性等 格式:图形,表格,颜色,文档等 |
|
改善用户支持 |
用户培训的数量用户指南的质量数量MIS的质量 - 用户关系用户对MIS服务的控制量 |
|
2 使用步骤和用户体验 |
提升决策者的能力 |
对问题的理解共同信息的程度合作的程度和共识态度的转变:走向工作,“迈向MIS,走向MIS方法,走向决策的信心” |
改善决策制定流程 |
目标/目标的明确性考虑约束,替代方案分析的全面性行动后果的量化更明智地使用MIS做出决策的时间长度 |
|
通过以下方式改善用户组织绩效:降低信息处理成本 |
自动化手动计算/分析自动化数据处理/收集/校正成本替代(人员,设备)改进程序 |
|
提高资产利用率 |
库存水平降低/周转减少延期交货数量 |
|
3 组织表现 |
财务目标 |
销售收入利润贡献投资回报率 |
顾客目标 |
顾客满意度 监管机构合规 |
|
组织发展目标 |
符合道德标准 |
图3 MIS使用过程的三个有效性目标和绩效指标
3.2一个制造业管理信息系统的实例分析
制造业的MIS用于说明系统目标和相应性能测量的概念层次的应用。 很少有公司能够采取有效措施来确定制造功能的表现。 由于制造资源计划(MRP)系统为劳动力和材料管理中的制造经理提供了实质性支持,因此它将绘制MRP系统的示例。
MRP系统由若干子系统组成,包括物料清单,工艺路线,成本核算,库存状态,采购,主生产计划,物料计划,容量计划和车间控制。 各种子系统的实现是渐进的,代表了制造MIS的开发周期[3]。 MRP系统主要服务于制造领域的用户,但也支持营销,财务和其他功能组的决策者。
图4显示了MRP系统的目标和相应的性能指标的示例。系统的有效性目标反映了主要用户的关注点,例如,通过教育提高用户意识,提高数据准确性,改进库存控制和生产计划,改进 功能组之间的协调,以及提高客户满意度。进化实施MRP系统以及实现2级和3级目标的基本要求是持续不断更新的用户教育计划,以提高用户的理解和意识。 图4中列出的面向效率的措施反映了MIS功能的关注,例如,改进后的MIS计划完成书,MIS容量和MIS人员的意识报告。
目标层级 |
目标层次 |
目标 |
性能指标 |
|
效率导向视角 |
3 2 1 0 |
资源投入 生产能力 资源消耗 信息系统 |
提高MIS人员认知度 提高MIS能力 提高MIS的计划完成度 改善数据库积分 |
MIS培训的类型与数量 每单位时间处理的交易输入数量 输入截止值满足报告重新开始报告按计划交付报告 数据冗余量数据输入的次数 |
有效性导向视角 |
1 2 3 |
已提供的信息与支持 使用步骤和用户表现 组织表现 |
提高数据准确度 提高用户认知度 改进库存控制和 全文共9341字,剩余内容已隐藏,支付完成后下载完整资料 资料编号:[1842] |
以上是毕业论文外文翻译,课题毕业论文、任务书、文献综述、开题报告、程序设计、图纸设计等资料可联系客服协助查找。