数据转移是在不同数据存贮类型、格式或计算机化系统之间转移数据的过程。
数据迁移是将已存贮的数据从一个持久的存贮位置转移至另一个存贮位置的过程。这可能包括数据格式的改变,但并不改变内容和含义。
数据转移是在存贮介质类型或计算机化系统之间转移数据和元数据的过程。数据迁移则需要改变数据格式(必要时),使得其适合于或可见于替代的计算化系统。
数据转移/迁移程序应包括其合理性,其设计应能经受变化,应进行验证以确保在数据生命周期中数据完整性得到维护。
应仔细考虑以了解数据格式,以及在每个数据生成、转移和之后的存贮阶段其改变的可能性。迁移数据的挑战通常会被低估,尤其是在保存所迁移记录的完整含义方面。
数据转移应经过验证。数据在转移至工作表或其它应用程序过程中及转移后不应有改变。对此过程应有审计追踪。如果数据转移操作不正确,应遵守适当的质量程序。
用于自动化的电子工作表(如纸质记录)应进行版本控制,所有对工作表的修改均应进行适当记录/核对。
驱使公司进行旧有系统数据迁移的原因可能各不相同,但典型理由如下:
技术更新换代
新法律法规导致旧有系统无法满足合规性需求
供应商不再提供技术支持
供应商破产
供应商业务被第三方收购
高层商业决定,决定旧有系统淘汰
以下有关数据迁移的事项,需要特别注意以减少或者消除数据完整性合规风险,包括如下:
清晰了解哪些数据需要被迁移
清晰了解这些数据的风险影响
在整个迁移过程中确保数据完整性
定义一个合适的数据迁移策略
定义一个合适的数据迁移验证策略
另一方面,我们需要从以下方面对所迁移数据的数据类型进行评估:
旧有数据的格式
新系统要求数据的格式
旧有数据的大小容量
旧有数据在法规上影响
旧有数据的保存年限(药品的有效期, GDP的定义)
*本文内容根据英文原文翻译,具体理解按照原文为准。
数据迁移包括 3 个基本步骤:
提取数据
转换数据
加载数据
数据迁移问题里最大的一个挑战就是公司实际上一般不理解(哪些)数据需要迁移。所以公司最后经常把旧系统的所有数据迁移到新系统来完成项目,而这样操作的问题是:并不是所有数据都需要迁入新系统;迁入过多无用数据导致 :
1.迁移后数据完整性测试任务量增加,
2. 新系统因为数据过多导致运行效率降低和备份时间过长。
这个(简单粗暴迁移所有数据)问题的产生源自对旧有数据的数据保存要求没正确的认知。数据迁移应当仅限于数据保存期的数据方才被要求迁移入新系统。这样仅迁移相关数据的做法有助于帮助数据迁移项目实现高效率和合理成本控制。总的来说,数据迁移会在如下十大挑战:
不联系主要利益相关方。无论迁移规模如何,总会有人关心着您所移动的数据。在开始执行任务之前,请先追踪到利益相关方,向其说明项目的必要性及项目影响。否则,您肯定会在某个阶段听到他们的声音,他们很可能会打乱您的时间表。
不与业务部门沟通。向利益相关方说明项目后,请务必让他们了解您的进度。最好在每周的同一天提供状态报告,尤其是在情况偏离正常时。定期沟通对于与所有受影响的人建立信任有很大的帮助。
缺乏数据监管。请确保您清楚知道谁有权在源系统中创建、批准、编辑或删除数据,并将这些信息以书面形式记录在项目计划中。
专业知识匮乏。尽管这是一项简单的任务,但移动数据涉及到许多复杂性。拥有经验丰富的专业人员以及出色的参考资料,有助于顺利完成此过程。
缺乏规划。平均而言,家庭在计划假期时花费 10 到 20 个小时,而 IT 团队在规划小型数据迁移时所花费的时间可能只有一半。耗时规划并不总是能保证迁移成功,但制定可靠的数据迁移计划确实可以在实际数据移动时节省时间。
数据准备软件和技能不足。如果这是一次大规模迁移(数百万条记录或数百张表),请使用一流的数据质量软件,并考虑聘请一家专业公司来提供帮助。好消息:外部公司很可能会向您出租软件,帮助您节省成本。
等待目标位置达到完美规格。如果实施团队正在整理设计标准,请开始执行步骤 2 和 3。目标位置就绪状态的重要性在项目后期才会显现,现在不要让它妨碍您。
未经验证的迁移方法。进行一些研究,以确保数据移动过程对像您这样的其他公司行之有效。请勿草草接受供应商提供的通用过程。
供应商和项目管理。必须管理供应商和项目。如果您还有其他日常工作,请确保您有时间管理项目以及任何相关的供应商。
跨对象依赖关系。借助目前可用的数据管理工具的技术和功能,如果发现原始计划中未包含某个拥有依赖关系的数据集,仍会令人震惊。由于跨对象依赖关系往往要等到迁移过程中很晚的阶段才会发现,因此请务必构建一个相应的应急计划,以免无法满足整体交付日期要求。
如何避免这些问题呢,可以至少做到如下几点:
在实施数据迁移之前,旧有数据的风险应该被充分理解评估。直接影响CPP(关键工艺参数)和CQA(关键质量属性)的数据将被定义为高风险。旧有系统的风险评估报告将作为一个重要参考引入数据迁移的策略和计划的制定。
从合规及商业角度来看,在整个数据迁移项目中维持数据完整性都是十分重要的。数据完整性是合规性要求的重要一环,需要在数据迁移策略中得以体现。数据迁移战略需要与执行数据迁移所需的可交付成果一起记录。数据迁移策略需要确保在数据迁移活动期间数据不会被改变或丢失。
为确保数据迁移策略的目标得到正确执行,公司需要设计一个可靠的数据迁移验证流程。数据迁移验证活动旨在展示数据迁移过程中保持数据完整性的文件证据。
在数据迁移之前,数据的格式问题也是一个需要提前考虑的问题。在很多公司的数据迁移项目,兼容性问题常常被忽视。
旧有数据的大小是数据迁移之前需要充分理解的另一个关键属性。旧有数据的大小可能会受到迁移过程中需要发生的任何数据转换的影响。同时将数据迁移到云环境时,公司需要清楚地了解传统数据大小要求以及在其生命周期中管理数据所需的未来磁盘和内存空间。有时被作为“即需即用软件”
总之,数据迁移项目面临的最大挑战之一是缺乏对此任务的充分理解,包括需要妥善管理和理解的关键数据属性的规划,策略和理解。
本文来源于制药人职场加油站
2024-08-17
2024-09-02
2024-08-09
2024-08-06
2024-08-19
2024-08-28
2024-08-15
随着科技的飞速发展,传统中医药行业正站在一个新的历史起点上。近年来,国家层面对中医药的传承与创新发展给予了高度重视,相继出台了一系列政策,旨在通过科技创新推动中医药现代化转型,智能化、自动化已成为当下制药行业的主要发展趋势。作为与中药制剂非常紧密相关的生产设备,其数字化与智能化升级也迫在眉睫,本文基于北京翰林航宇科技发展股份公司(以下简称“翰林航宇”)近年来开展的智能化工程,阐述了对中药制剂设备的数字化升级改造的探索与思考。
作者:张士威、张磊、池明芳
评论
加载更多