[시나공 토막강의] 31-33강 정리

31강. 데이터 전환(ETL; Extraction, Transformation, Load, 즉 추출, 변환, 적재 과정)

- 기존 정보 시스템에 축적되어 있는 데이터를 추출(Extraction)하여 새로 개발할 정보 시스템에서 운영할 수 있도록 변환(Transformation)한 후, 적재(Loading)하는 일련의 과정

- 데이터 이행(Data Migration) 또는 데이터 이관이라고도 함

 

- 데이터 전환 계획서 : 데이터 전환이 필요한 대상을 분석하여 데이터 전환 작업에 필요한 모든 계획을 기록하는 문서

 - 주요 항목 : 데이터 전환 개요, 대상 및 범위, 환경 구성, 조직 및 역할, 일정, 전환 방안, 정비 방안, 비상 계획, 데이터 복구 대책

 

 

32강. 데이터 검증

- 원천 시스템의 데이터를 목적 시스템의 데이터로 전환하는 과정이 정상적으로 수행되었는지 여부를 확인하는 과정

 

1. 검증 방법에 따른 분류

 - 로그 검증 : 데이터 전환 과정에서 작성하는 추출, 전환, 적재 로그를 검증

 - 기본 항목 검증 : 로그 검증 외에 별도로 요청된 검증 항목에 대해 검증

 - 응용 프로그램 검증 : 응용 프로그램을 통한 데이터 전환의 정합성을 검증

 - 응용 데이터 검증 : 사전에 정의된 업무 규칙을 기준으로 데이터 전환의 정합성을 검증

 - 값 검증 : 숫자 항목의 합계 검증, 코드 데이터의 범위 검증, 속성 변경에 따른 값 검증을 수행

 

2. 검증 단계에 따른 분류

 - 추출(Extraction) : 원천 시스템 데이터에 대한 정합성 확인 / 로그 검증

 - 전환(Transformation) : 매핑 정의서에 정의된 내용의 정확한 반영과 매핑 정의서 오류 여부 확인 / 로그 검증

 - DB 적재(Load) : SAM 파일을 적재하는 과정에서 발생할 수 있는 오류나 데이터 누락 여부 확인 / 로그 검증

 - DB 적재 후 : 적재 완료 후 정합성 확인 / 기본 항목 검증

 - 전환 완료 후 : 데이터 전환 완료 후 추가 검증 과정을 통해 데이터 전환의 정합성 검증 / 응용 프로그램 검증, 응용 데이터 검증

 

 

33강. 오류데이터 측정 및 정제

- 고품질의 데이터를 운영 및 관리하기 위해 수행

- 순서 : 데이터 품질 분석 -> 오류 데이터 측정 -> 오류 데이터 정제

 1) 데이터 품질 분석 : 원천 및 목적 시스템 데이터의 정합성 여부 확인

 2) 오류 데이터 측정 : 데이터 품질 분석을 기반으로 정상 데이터와 오류 데이터의 수를 측정하여 오류 관리 목록 작성

 3) 오류 데이터 정제 : 오류 관리 목록의 각 항목을 분석하여 원천 데이터를 정제하거나 전환 프로그램을 수정

 

1. 오류 상태

 - Open : 오류가 보고만 되고 분석되지 않은 상태

 - Assigned : 오류의 영향 분석 및 수정을 위해 개발자에게 오류를 전달한 상태

 - Fixed : 개발자가 오류를 수정한 상태

 - Closed : 수정된 오류에 대해 테스트를 다시 했을 때 오류가 발견되지 않은 상태

 - Deferred : 오류 수정을 연기한 상태

 - Classified : 보고된 오류를 관련자들이 확인했을 때 오류가 아니라고 확인된 상태

 

2. 데이터 정제요청서

- 원천 데이터의 정제와 전환 프로그램의 수정을 위해 요청사항 및 조치사항 등 데이터 정제와 관련된 전반적인 내용을 문서로 작성한 것

 

3. 데이터 정제보고서

- 데이터 정제요청서를 통해 정제된 원천 데이터가 정상적으로 정제되었는지 확인한 결과를 문서로 작성한 것