[파일처리] 00 파일처리 소개

1. 교과목 배경

• 데이터를 파일로 구성하고 관리하는 기술을 정보시스템의 가장 중요한 요소. --> 빅 데이터 처리 기술이 중요해짐
• 빅 데이터의 3대 요소 (3V)
  - 크기 (Volume) : 수십 TB 이상
  - 속도 (Velocity) :  실시간, 스트림 처리
  - 다양성 (Variety) : 정형 (사무정보), 비정형 (XML/HTML 같이 메타 데이터나 스키마), 반정형 (동영상, SNS, RFID, 센서, 사물정보)
• 최근에 5V
  정확성 (Varacity), 가치 (Value)
• 정보과 시대에서 데이터 공용은 정확성과 보안 측면에서 엄격한 관리가 요구. 파일의 구성 방법과 처리 기법에 영향을 줌
• 파일은 파나의 파일 자체로도 중요하지만 고차원적인 데이터베이스 시스템을 구현하는 하부구조로도 중요함

2. 화일의 종류

• 디스크에 저장하는 데이터는 논리적으로 파일로 구분된다.
• 하나의 화일(file)이란?
  - 어떤 공통적인 응용 목적을 가지고 보조기억장치에 저장된 데이터 레코드(recod)의 집합
  - 레코드는 서로 연관된 데이터 필드 (field)들로 구성
  - 필드는 이름을 가진 논리적 데이터의 최소 단위이며 애트리뷰트(attribute) 또는 데이터 항목 (item)이라도 고 한다.
  - 이보다 작은 단위로 쪼개면 의미가 없어진다.
  - 데이터 베이스 시스템을 구현하는 하부구조이다.

3. 화일의 분류

• 기능에 따라
  - 마스터 화일 (master file) _ 정적인 파일, 고정된 정보들을 저장하는 파일
  - 트랜잭션 화일 (transaction file) _ 동적인 파일, 변경되는 정보들을 모은 파일
  - 보고서 화일 (repoit file) _ 문서화 작업시 나오는 파일
  - 작업 파일 ( work file) _ 정렬 등의 작업 중 생기는 임시 파일
  - 프로그램 파일, 텍스트 파일 등등
• 프로그램의 화일 접근 목적에 따라
  - 입력 화일 (input file)
  - 출력 화일 (output file)
  - 입출력 화일 (input/output file)

4. 화일에 대한 기본 연산

• 화일 생성 _ 데이터 정의, 적재
• 화일 기록 _ 레코드 삽입, 삭제, 갱신
• 화일 판독 _ 화일의 이름과 판독해야 할 블록을 명세
• 화일 삭제 _ 화일 제거
• 화일의 개방과 폐쇄 _ 버퍼의 할당과 반환

5. 화일 구조 산정 요소

• 화일 구조 선정 요소
  - 가변성
  - 활동성
  - 사용빈도수
  - 응답 시간
  _ 화일 크기
  _ 화일 접근 유형

6. 화일 저장 장치의 특성

1. 1차 저장 장치 (primary storage)

• 메인 메모리 (Main memory)
  - 내용을 접근하는 시간이 일정하고 빠름 : 10 ~ 100   ns
  - 프로그램/ 데이터 처리를 위한 작업공간
• 캐시 메모리 (Cache memory)
  - 메인 메모리의 성능 향상 목적
  - 작고 비싸다

2. 2차 저장 장치 (secondary storage)

• 자기 디스크 (magnetic disk)
  - 데이터 접근 시간이 느림 : 10 ~ 30 ms
  - 용량이 크고 싸서 주로 화일 저장에 쓰임
  - 저장된 데이터는 메인 메모리응 거쳐 CPU에 의애 처리
• 광 디스트 (Optical disk), 자기 테이프 (Magnetic tape)

7. 저장 장치의 계층

캐시 메모리
메인 메모리
플래시 메모리
자기 디스크
광 디스크
자기 테이프

테이프에서 캐시메모리로 가면서 비용은 증가하고 접근속도는 빨라진다.