[2021 정보처리기사-3과목] 데이터 전환 계획 수립

[정보처리기사 3과목 필기 예상 키워드] 목록으로 돌아가기
과목: 3. 데이터베이스 구축 챕터: 3장 데이터베이스 구축 키워드: 데이터 전환 계획 수립	#ETL

 

 

 

데이터 전환 계획 수립

전환 범위 및 기술 환경 정의

기존의 정보시스템(원천)에서 새로운 정보시스템(목적)으로 데이터를 옮기는 것을 데이터 전환이라고 한다. 두 시스템의 환경이 서로 상이하기 때문에, 새로운 시스템 환경에 맞게 기존의 데이터를 변경하여 마이그레이션(Migration) 하게 된다.

추출(Extraction) > 정제 > 변환(Transformation) > 적재(Load) > 검증 의 단계를 거쳐 전환 프로세스가 이루어지며 이 절차를 약자로 ETL 이라고 한다.

 

 

 

 

 

 

전환 계획서 작성(간단하고 명료하게 분석! 계획! 문서화!)

개요-목표와 제약조건

전환대상 및 범위

환경구성-시스템환경

조직 및 역할

전환일정

 

전환방안

✔ 전환 프로그램은 목록별로 프로그램 입력 정보, 중간 생성 정보, 출력 정보, 프로그램 위치, 담당자 등을 작성

✔ 단위 업무별로 데이터 전환 방법을 기술하되, 데이터 전환 시 업무별로 요구되는 전제 조건도 함께 기술

 

 

-절차

---

-방법

✔ 정형데이터

플랫파일, 테이블, 스프레드시트 등

파일 형태로 추출하거나 DBMS Link 이용

저장공간 확보 필요

전달 프로그램 필요

 

✔ 비정형데이터

이미지, 첨부파일 등

별도의 관리 가능한 저장소 구축

저장공간 확보 필요

 

✔ 전달 프로그램 필요

-준비
-설계
-개발 및 테스트
-시간 단축
-리허설
-전환
-검증

---

정비방안
비상계획
복구대책

 

 

 

 

 

 

 

 

 

 

 

전환환경구축

원천시스템 분석

 

-현행시스템 상세 현황

-HW/SW 구성도

-모형도

-운영환경

-장비사양

-데이터베이스 현황

-데이터 용량 분석

 

목적 시스템

 

-원천시스템 + 목적시스템 환경구성 + SW 구성도

 

 

데이터 전환 개발 환경 필요 도구

 

-개발 환경 구성도

-서버와 클라이언트(전환작업용)

-전환 도구

-전환 작업 모니터링 도구

 

 

 

 

 

 

전환 설계서 작성

데이터 전환 흐름 설계(Logical Mapping)

작업의 이해를 위해 ETL 과정을 흐름도(flowchart)로 설계, 업무 변경의 흐름까지 반영

 

 

데이터 관계 설계 (Data Mapping)

데이터를 표준에 맞게 정의(표준화 작업 선행 필요) 하고 매핑관계를 기술

소스데이터: 테이블, 플랫파일, 스프레드 시트 등의 다양한 종류

소스와 목적데이터의 관계 정의(1:1, 1:M 등)

 

 

코드 데이터 전환 관리

신/구의 코드 데이터 매핑 정보 정의

효율성을 위해 별도 테이블에서 관리, 관리지점 표시 필요

 

 

 

 

 

 

 

 

 

 

데이터 전환 검증 설계서 작성

검증 방법에 따른 분류

A. 로그 검증: ETL 로그 작성으로 검증

B. 기본 항목 검증: 검증 프로그램 이용 검증(설문지 같은 검사항목임)

C. 응용 프로그램 검증: app을 통한 검증(우리가 아는 컴퓨터 프로그램)

D. 응용 데이터 검증: 사전에 정의된 업무 규칙을 통해 검증

E. 값 검증: 숫자의 합계, 코드의 범위, 속성 변경에 따른 값 검증

 

검증 단계에 따른 분류

ETL 단계별로 검증 방법을 달리하여 실시

 

 

 

 

 

 

 

 

데이터 정비

데이터 정비 프로세스

A. 분석

B. 검토

C. 계획수립

 

 

정비 시점별 방안

A. 설계 ~ 구축

(제외대상: 필요없는 데이터)
- 정합성(모순이 없는) 마비

- 불필요한 데이터

- 손실된 데이터

- 맞지 않는 데이터 타입

- 오류 데이터

 

*오류데이터:
분석->측정->정제
Open: 오류가 보고되었지만 아직 분석되지 않은 상태

Assigned: 오류의 영향 분석 및 수정을 위해 개발자에게 오류를 할당한 상태

Fixed: 개발자가 오류를 수정한 상태

Classified: 보고된 오류를 관련자들이 확인했을 때 오류가 아니라고 확인된 상태

 

 

B. 테스트: 테스트 결과 발견된 오류 데이터

C. 이행: 이행 과정에서 정비

 

 

 

 

데이터 전환 시간 단축 방법

데이터 추출 방식 조정

이행 범위 조정

전환 시나리오 최적화

- 시나리오 검증

- 목적 시스템의 자원을 최대한 활용

- 주요 테이블 튜닝

- 가장 긴 시간이 소요되는 루트를 중점적으로 최적화

- 많은 시간이 소요되는 작업을 미리 진행

 

사전(미리) 이행

 

 

 

 

 

 

 

 

---

정보처리기사 3과목 필기 (상시업뎃)

 

참고: 시나공 정보처리기사 필기 (저자: 강윤석, 김용갑, 김우경, 김정준 | 출판사: 길벗), 유튜브 주간컴공TV