[빅데이터분석기사 필기 요약] 1장 빅데이터 분석 기획 - 빅데이터의 이해(1)

[빅데이터분석기사 필기 요약] 1장 빅데이터 분석 기획 - 빅데이터의 이해(1)

 

 

1. 빅데이터의 이해

1) 빅데이터의 개념

• 빅데이터는 막대한 양(수십 테라바이트 이상)의 정형 및 비정형 데이터이다.
• 데이터로부터 가치를 추출하고 결과를 분석하는 기술의 의미이다.
• 데이터에서부터 가치를 추출하는 것은 통찰, 지혜를 얻는 과정으로 Ackoff.R.L이 도식화한 DIKW 피라미드로 표현할 수 있다.

 

피라미드 요소	설명
데이터	객관적 사실로서 다른 데이터와의 상관관계가 없는 가공하기 전의 순수한 수치나 기호
정보	가공, 처리하여 데이터 간의 연관 관계와 함께 의미가 도출된 데이터
지식	획득된 다양한 정보를 구조화해 유의미한 정보로 분류하고 일반화시킨 결과물 정보에 기반해 찾아낸 규칙
지혜	근본 원리에 대한 깊은 이해를 바탕으로 도출되는 창의적 아이디어 상황이나 맥락에 맞게 규칙을 적용하는 요소

데이터를 수집, 저장, 관리, 분석하는 기존의 관리 방법으로는 막대한 양의 데이터를 처리하기 어려울 때 빅데이터를 사용한다.

 

 

 

2) 빅데이터 특징

7V의 특징

특징	설명
규모(Volume)	빅데이터 분석 규모에 관련된 특징 ICT  기술 발전으로 과거의 텍스트 데이터부터 SNS으로부터 수집되는 사진, 동영상 등의 다양한 멀티미디어 데이터까지 디지털 정보량의 기하급수적 증가
다양성(Variety)	빅데이터 자원 유형에 관련된 특징 정형 데이터뿐만 아니라 비정형, 반정형 데이터를 포함
속도(Velocity)	빅데이터 수집,분석,활용 속도에 관련된 특징 사물 정보, 스트리밍 정보 등 실시간 성 정보의 생성 속도 증가에 따라 처리속도 가속화 요구 가치 있는 정보 활용을 위해 데이터 처리 및 분석 속도의 중요성 증가
신뢰성(Veracity)	빅데이터 수집 대상 데이터가 가지는 신뢰에 관련된 특징 방대한 데이터에서 노이즈 및 오류 제거를 통해 활용 데이터에 대한 품질과 신뢰성 제고 요구
가치(Value)	빅데이터 수집 데이터를 통해 얻을 수 있는 가치 비즈니스나 연구에 활용되어 유용한 가치를 끌어낼 수 있는 가에 대한 문제 빅데이터의 가치는 데이터의 정확성 및 시간성과 관련됨
정확성(Validity)	빅데이터의 수집 대상 데이터가 가지는 유효성과 정확성 질 높은 데이터를 활용한 정확한 분석 수행이 없다면 의미가 없음 데이터가 타당한지 정확한지에 대한 여부는 의사결정의 중요한 요소
휘발성(Volatility)	빅데이터의 수집 대상 데이터가 의미가 있는 시간 얼마나 오래 저장되고, 타당하여 오랫동안 쓰일 수 있을 지에 관한 속성 빅데이터는 장기적인 관점에서 유용한 가치를 창출해야 함

 

 

3) 빅데이터의 유형

유형	설명
정형	정형화된 스키마 구조, DBMS에 내용이 저장될 수 있는 구조 고정된 필드(속성)에 저장된 데이터 ex) 관계형 데이터베이스
반정형	데이터 내부에 데이터 구조에 대한 메타 정보가 포함된 구조 메타데이터나 데이터 스키나 정보를 포함하는 데이터 ex) XML, HTML, JSON, 로그, 센서 데이터 등
비정형	수집 데이터 각각이 데이터 객체로 구분되는 구조 고정 필드 및 메타데이터가 정의되지 않음 Crawler, API, RSS 등의 수집 기술을 활용 ex) 텍스트 문서, 이진 파일, 이미지 등

 

 

 

4) 데이터 지식경영

데이터 기반 지식 경영의 핵심 이슈는 암묵지와 형식지의 상호작용에 있다.

• 암묵지 : 학습과 경험을 통해 개인에게 체화되어 있지만 겉으로 드러나지 않는 지식, 사회적으로 중요하지만 다른 사람에게 공유되지 않음(공통화, 내면화)
• 형식지 : 문서나 메뉴얼 처럼 형상화된 지식, 전달과 공유가 용이(표출화, 연결화)

 

상호작용	내용
공통화	다른 사람과의 대화 등 상호작용을 통해 개인이 암묵지를 습득하는 단계
내면화	행동과 실천교육 등을 통해 형식지가 개인의 암묵지로 체화되는 단계
표출화	개인에게 내재된 경험을 객관적인 데이터인 문서나 매체로 저장하는 과정
연결화	형식지가 상호결합하며 새로운 형식지를 생성하는 과정

 

 

 

 

2. 빅데이터 산업의 이해

1) 빅데이터 산업 개요

• 스마트폰, SNS, 사물인터넷 확산 등에 따라 데이터 활용이 증가하여 빅데이터는 신성장동력으로 급부상하고 있다.
• 클라우드 컴퓨팅 기술의 발전으로 데이터 처리 비용이 급격하게 감소하며 빅데이터가 발전하고 있다.
• 주요국 및 글로벌 기업은 빅데이터 산업의 육성 및 활용에 주력하고 있다.
• 우리나라는 데이터 생산량이 많은 산업이 발달해 잠재력이 크지만 불확실성에 따른 투자리스크 등으로 활용은 저조하다.

 

 

 

3. 빅데이터 조직 및 인력

1) 빅데이터 조직 설계

빅데이터 서비스 도입 및 운영조직을 구성하기 위해서는 빅데이터 업무 프로세스를 이해, 고려해야 한다.

 

- 빅데이터 업무 프로세스

빅데이터 도입 및 운영은 빅데이터 도입계획을 수립하고, 빅데이터 시스템을 구축하며, 빅데이터 서비스를 운영하는 단계로 진행된다.

단계	설명
빅데이터 도입 단계	빅데이터 서비스를 제공하기 위해서는 빅데이터 시스템 구축을 위한 빅데이터 도입 기획, 기술 검토, 도입 조직 구성, 예산 확보 등을 수행
빅데이터 구축 단계	빅데이터 플랫폼을 구축하기 위해서는 요구사항 분석, 설계, 구현, 테스트 단계를 수행
빅데이터 운영 단계	빅데이터 시스템의 도입 및 구축이 끝나면, 이를 인수해 운영 계획을 수립 빅데이터 플랫폼 운영, 데이터 및 빅데이터 분석 모델 운영, 빅데이터 운영 조직, 빅데이터 운영 예산 고려

 

- 조직 설계의 절차

조직 설계는 기업이나 조직의 경영 전략 및 사업 전략, 전체 조직 구조, 핵심 업무 프로세스, 팀 조직 구조, 핵심 인력, 역할과 책임, 성과 기준 측정, 역량 교육 및 훈련 등의 순서로 검토한다.

 

 

- 조직 구조의 설계의 요소

조직의 목적을 성공적으로 달성하기 위해 업무활동, 부서화, 보고 체계를 고려한다.

 

 

- 조직 구조 유형

빅데이터 조직 구조의 유형은 집중 구조, 기능 구조, 분산 구조가 있다.

유형	설명
집중 구조	전사 분석 업무를 별도의 분석 전담 조직에서 담당 전략적 중요도에 따라 분석 조직이 우선순위를 정해서 진행 가능 현업 업무부서의 분석 업무와 중복 및 이원화 가능성이 높음
기능 구조	일반적인 형태로 별도 분석 조직이 없고 해당 부서에서 분석 수행 전사적 핵심 분석이 어려우며 과거에 국한된 분석 수행
분산 구조	분석조직 인력들을 현업 부서로 직접 배치해 분석 업무를 수행 전사 차원의 우선순위 수행 분석 결과에 따른 신속한 피드백이 나오고 베스트 프랙티스 공유가 가능 업무 과다와 이원화 가능성이 존재할 수 있기에 부서 분석 업무와 역할 분담이 명확해야 함 *베스트 프랙티스 : 효과적인 해결책이나 문제해결방법

DSCoE(Data Science Center of Excellence)는 데이터 사이언스 전문가 조직이다.

 

 

- 조직 구조의 설계 특성

조직 구조를 설계할 때는 공식화, 분업화, 직무 전문성, 통제 범위, 의사소통 및 조정 등의 특성을 고려한다.

특성	설명
공식화	업무의 수행 절차, 수행 방법, 작업 결과 등의 기준을 사전에 설정하여 공식화
분업화	조직의 목표 달성을 위해 업무 수행시 업무를 분할하여 수행 업무의 성격에 따라 여러 단위로 나누는 수평적 분할과 계획, 감독, 실무 업무 실행 등의 수준에 따라 나누는 수직적 분할로 구분
직무 전문화	직무 전문화는 수행 업무에 활용되는 직무 전문성의 유형을 의미하며, 직무 전문성에 따라 생산성이 증대되므로 전문 지식과 경험이 중요한 요소
통제 범위	관리자가 효율적이며 효과적으로 관리할 수 있는 조직의 인원수
의사소통 및 조정	업무 수행 시 의사소통은 업무의 지시, 보고, 피드백 등 수직적인 활동과 문제해결을 위한 협업 등 수평적인 활동으로 구분

 

 

 

 

2) 조직 역량

기업이나 조직을 지속적으로 경영하기 위해서는 조직 역량의 확보가 필수적이다.

조직 역량은 조직 구성원의 할당된 업무를 조직이 기대하는 성과 달성을 위한 중요한 요소임

 

- 역량 모델링

• 기업이나 조직의 목표 달성을 위해서는 우수 성과자의 기여가 중요한 요소다.
• 우수 성과자의 행동 특성을 파악해 타 조직원에게 전달 및 공유하면 조직의 목표를 달성하기 쉬워진다.
• 우수 성과자의 행동하는 특성을 파악해 업무 달성을 위한 지식, 스킬, 태도 등 직무 역량 요소들을 도출해 직무별 역량 모델을 만든다.
• 데이터 사이언티스트의 요구 역량에는 하드스킬과 소프트 스킬이 있다.

구분	스킬	설명
소프트 스킬	분석의 통찰력	논리적 비판 능력, 창의적 사고력, 호기심
	여러 분야의 협력 능력	커뮤니케이션 능력
	설득력 있는 전달력	스토리텔링 능력, 비주얼라이제이션
하드 스킬	빅데이터 관련 이론적 지식	빅데이터 관련 기법 및 다양한 방법론 습득
	분석기술의 숙련도	목적에 맞는 최적 분석 설계, 노하우 축적

 

- 역량 모델 개발 절차

조직의 직무별 역량 모델은 조직의 미션/성과목표/CSF를 검토하고, 우수 성과자의 행동 특성을 도출해 이를 기반으로 지식, 스킬, 태도와 같은 역량을 도출하여 개발한다.

 

 

- 역량 교육 체계 설계 절차

직무별 역량 모델을 기반으로 역량 강화를 위한 교육 체계를 설계한다.

역량 교육 체계는 교육에 대한 요구사항을 분석하고 직무 역량과 교육 내용 매트릭스를 작성하여 설계한다.

 

 

 

 

3) 조직성과 평가

조직 구성원은 업무 수행에 필요한 활동을 하며, 이 활동은 조직의 목표 달성에 기여하기 때문에 개인성과에 대한 관리가 중요하다.

개인의 성과에 대한 목표 설정에 필요한 CSF와 목표 달성에 필요한 KPI를 정의하고 관리한다.

*KPI(Key Performance Indicator) : 사업, 부서, 개인의 목표가 달성되었는지 그 실적을 추적하기 위한 정량화된 측정 지표

 

- 조직성과 평가 절차

목표 설정 -> 모니터링 -> 목표 조정 -> 평가 실시 -> 결과의 피드백

 

- 균형 성과표(BSC; Balanced Score Card) 관리

조직의 성과 목표 달성을 위해 회사의 비전이나 전략에 따라 성과 목표를 재무, 고객, 내부 프로세스, 학습 성장 관점으로 균형 있게 목표를 정하고, 이를 조직 구성원의 개개인에게 네 가지 관점으로 목표를 설정해 관리한다.

관점	설명
재무	기업의 주요 이해 관계자들에게 재무적인 지표를 통해 조직의 성과를 보여주기 위한 관점
고객	고객 관계 관리를 위한 관점
내부 프로세스	성과를 극대화하기 위해 기업의 핵심 프로세스 및 핵심 역량을 규명하는 과정에 관련된 관점
학습 성장	BSC의 4가지 관점 중에서 가장 미래지향적인 관점 현재에는 그 가치가 보이지 않지만, 회사의 장기적인 잠재력에 대한 투자가 기업 성장에 얼마나 영향을 미칠 수 있을지를 파악