[2020 정보처리기사 필기] 데이터 전환

115. 데이터 전환 ★★

1. 데이터 전환의 정의

- 데이터 전환이란 운영 중인 기본 정보 시스템에 축적되어 있는 데이터를 추출하여 새로 개발할 정보 시스템에서 운영 가능하도록 변화한 후, 적재하는 일련의 과정을 말한다.

- 데이터 전환을 ETL(Extraction, Transformation, Load), 즉 추출, 변환, 적재 과정이라고 한다.

- 데이터 전환을 데이터 이행(Data Migration) 또는 데이터 이관이라고 한다.

 

2. 데이터 전환 계획서

- 데이터 전환 계획서는 데이터 전환이 필요한 대상을 분석하여 데이터 전환 작업에 필요한 모든 계획을 기록하는 문서이다.

 

핵심

- 데이터 전환 : 추출, 변환, 적재

- 데이터 전환 계획서 : 데이터 전환 작업에 필요한 모든 계획을 기록하는 문서

---

116. 데이터 전환 계획서 작성 ★

1. 데이터 전환 개요

- 데이터 전환 개요 항목에는 데이터 전환의 목표, 성공적인 데이터 전환을 위한 주요 요인, 데이터 전환 작업을 위한 전제 조건 및 제약 사항을 서술한다.

- 데이터 전환 목표는 간단하고 명료하게 정의한다.

- 데이터 전환 작업을 위한 전제 조건이나 제약 사항을 정확히 기술한다.

 

2. 데이터 전환 대상 및 범위

- 데이터 전환 대상 정보, 해당 업무에 사용되는 Table 수, 데이터 크기를 기술

 

3. 데이터 전환 환경 구성

- 데이터 전환 환경 구성 항목에는 원천 시스템과 목적 시스템의 구성도, 전환 단계별 DISK사용량을 기술한다.

- 원천 시스템 구성도 : 원천 시스템의 서버, 스토리지, 네트워크 등을 포함한 구성도를 작성한다.

- 목적 시스템 구성도 : 목적 시스템의 서버, 스토리지, 네트워크 등을 포함한 구성도를 작성한다.

- 전환 단계별 DISK 용량 산정 : 전환 검증, 시험 단계, 본 전환 단계별로 요구되는 File공간과 DB공간을 산정하여 기술한다.

 

4. 데이터 전환 조직 및 역할 작성

- 데이터 전환 조직 및 역할에는 데이터 전환을 수행하고 결과를 검증할 작업자와 작업자별 역할을 최대한 상세히 기술한다.

 

5. 데이터 전환 일정 작성

- 데이터 전환 및 검증 작업별로 상세하게 일정을 수립하여 작성한다.

 

핵심

- 데이터 전환 목표는 간단하고 명료하게 작성

- 데이터 전환 환경 : 원천 시스템 구성도, 목적 시스템 구성도, 전환 단계별 DISK 용량 산정

---

117. 데이터 전환 방안 ★

1. 데이터 전환 방안

- 데이터 전환 방안 항목에는 데이터 전환 규칙, 데이터 전환 절차, 데이터 전환 방법, 데이터 전환 설계, 전환 프로그램 개발 및 테스트 계획, 데이터 전환 계획, 데이터 검증 방안이 있다.

 

2. 데이터 전환 규칙

- 데이터 전환 규칙 항목에는 데이터 전환 과정에서 공통적으로 적용해야 할 규칙들을 기술한다.

 

3. 데이터 전환 절차

- 데이터 전환 절차 항목에는 전환 준비, 전환 설계/개발, 전환 테스트, 실데이터 전환, 최종 전환 및 검증의 데이터를 전환 절차를 체계적이고 상세하게 기술한다.

 

4. 데이터 전환 방법

- 데이터 전환 방법 항목에는 단위 업무별로 데이터 전환 방법을 기술하되, 데이터 전환 시 업무별로 요구되는 전제 조건도 함께 기술한다.

 

5. 데이터 전환 설계

- 데이터 전환 설계 항목에는 업무별로 전환 대상과 전환 제외 대상을 기술하고 원천 시스템 테이블과 목적 시스템 테이블의 매핑 정의서를 작성한다.

 

6. 전환 프로그램 개발 및 테스트 계획

- 전환 프로그램 개발 및 테스트 계획 항목에는 전환 프로그램 개발 계획과 전환 프로그램 테스트 계획을 수립한 후 관련 내용을 기술한다.

 

7. 데이터 전환 계획

- 데이터 전환 계획 항목에는 데이터 전환 시간을 단축하기 위해 선 전환, 본 전환, 후 전환으로 분리하여 계획을 수립한 후 관련 내용을 기술한다.

- 데이터 전환 시간을 단축하기 위해 일자별 거래 내역, 일자별 근태 내역과 같은 대량의 데이터 테이블은 사전에 전환한다.

 

8. 데이터 검증 방안

- 데이터 검증 방안 항목에는 데이터 전환 이후 전환 데이터의 정합성을 검증하고 전환 과정에서 발생할 수 있는 문제에 대응할 수 있도록 단계별 데이터 전환 검증 방안을 수립한 후 관련 내용을 기술한다.

 

핵심

- 데이터 전환 시간을 단축하기 위해 대량의 데이터 테이블은 사전에 전환

- 데이터 전환 시 업무별로 요구되는 전제조건도 함께 기술

---

118. 데이터 검증 ★

1. 데이터 검증

- 데이터 검증이란 시스템의 데이터를 목적 시스템의 데이터로 전환하는 과정이 정상적으로 수행되었는지 여부를 확인하는 과정이다.

- 검증 방법과 검증 단계에 따라 분류할 수 있다.

 

2. 검증 방법에 따른 분류

- 로그 검증, 기본 항목 검증, 응용 프로그램 검증, 응용 데이터 검증, 값 검증

 

3. 검증 단계에 따른 분류

- 추출, 전환, DB적재, DB적재 후, 전환 완료 후

 

핵심

- 데이터 전환 검증에 사용되는 방법 : 로그, 기본 항목, 응용 프로그램, 응용 데이터, 값 검증

---

119. 오류 데이터 측정 및 정제 ★

1. 오류 데이터 측정 및 정제의 개요

- 오류 데이터 측정 및 정제는 고품질의 데이터를 운영 및 관리하기 위해 수행한다.

- 데이터 품질 분석 -> 오류 데이터 측정 -> 오류 데이터 정제

 

2. 데이터 품질 분석

- 데이터 품질 분석은 오류 데이터를 찾기 위해 원천 및 목적 시스템 데이터의 정합성(데이터의 값이 서로 모순 없이 일관되게 일치하는 정도)여부를 확인하는 작업이다.

 

3. 오류 데이터 측정

- 오류 데이터 측정은 데이터 품질 분석을 기반으로 정상 데이터와 오류 데이터의 수를 측정하여 오류 관리 목록을 작성하는 것이다.

 

4. 오류 데이터 정제

- 오류 관리 목록의 각 항목을 분석하여 원천 데이터를 정제하거나 전환 프로그램을 수정하는 것이다.

- Classified : 보고된 오류를 관련자들이 확인했을 때 오류가 아니라고 확인된 상태

 

핵심

- 데이터 품질 분석 -> 오류 데이터 측정 -> 오류 데이터 정제

---

120. 데이터 정제요청서 및 정제보고서 ★

1. 데이터 정제요청서의 개요

- 데이터 정제요청서는 원천 데이터의 정제와 전환 프로그램의 수정을 위해 요청사항 및 조치사항 등 데이터 정제와 관련된 전반적인 내용을 문서로 작성한 것이다.

- 오류 관리 목록을 기반으로 데이터 정제 요건 목록을 작성하고 이 목록의 항목별로 데이터 정제요청서를 작성한다.

 

2. 데이터 정제 요건 목록 작성

- 데이터 정제 요건 목록은 오류 관리 목록의 각 항목에 대해 정제 유형을 분류라고 현재의 정제 상태를 정의한 것

- 정제 유형 : 완전성, 유효성, 일치성(상호 관련이 있는 항목이 서로 다른 경우), 유일성

- 정제 방법 : 원천, 전환, 모두

- 상태 : 요건 제기, 1~3차 검토/조치/확인 등 진행 상태를 기재

 

3. 데이터 정제요청서 작성

- 데이터 정제요청서에는 데이터 전환 시 발생한 오류의 수정을 위한 정제 요청의 전반적인 내용들을 작성하며, 데이터 정제 검토 시 신속한 의사 결정을 위해 오류사항의 해결 방안도 포함시킨다.

 

4. 데이터 정제보고서의 개요 및 작성

- 데이터 정제보고서는 데이터 정제요청서를 통해 정제된 원천 데이터가 정상적으로 정제되었는지 확인한 결과를 문서로 작성한 것이다.

- 정제 요청 데이터와 정제된 데이터 항목을 육안으로 직접 비교하여 확인한다.

- 정제된 데이터를 데이터 전환 프로그램을 이용하여 전환한 후 오류의 발생 여부를 확인하고 목적 데이터베이스에서 전환된 데이터를 확인한다.

- 정제된 데이터의 확인 결과를 반영한 데이터 정제보고서를 정제 ID별로 작성한다.

- 데이터 정제보고서는 데이터 전환 결과 외에도 오류 데이터의 원인, 실제 데이터 정제 건수, 향후 대응 방안 등을 포함한다.

 

핵심

- 정제요청서 : 원천 데이터의 정제와 전환 프로그램의 수정을 위해 요청사항 및 조치사항 등 데이터 정제와 관련된 내용을 문서로 작성한 것

- 정제보고서 : 정제요청서를 통해 정제된 원천 데이터가 정상적으로 정제되었는지 확인한 결과를 문서로 작성한 것

- 데이터 정제보고서는 정제ID별로 작성한다.