*수강대상 : 기업 내 정보화 및 IT 혁신사업 담당자 기업의 전산시스템 및 데이터베이스 관리 담당자 빅데이터 기술 습득이 필요한* 업무담당자
*과정소개 : 빅데이터 도입 전략 및 데이터 분석 기술 적용 사례 빅데이터 병렬 처리의 핵심 기술 및 빅데이터 처리와 분석 하둡 생태계의 구성요소 및 관련 이슈 오픈소스 하둡 설치 및 맵리듀스 프로그래밍 실습 고급 병렬처리 도구 Pig와 Hive 활용 실습 하둡 클러스터 관리 및 데이터 수집과 저장 실습
*교육내용 : 빅데이터의 가치와 도입 전략 빅데이터 개요 및 가치 빅데이터 활용 도입 전략 빅데이터 플랫폼과 오픈소스 빅데이터 플랫폼 구현 기술의 이해 하둡의 이해 및 구성요소 하둡 생태계 이해 HDFS(Hadoop Distributed File System)의 이해 빅데이터 병렬 처리의 핵심 기술 MapReduce(대용량 분산/병렬 처리 프레임워크) Hadoop 설치 및 데모 빅데이터의 처리와 분석 Pig(데이터-흐름 기반의 스크립트 프로그래밍 언어) Hive(SQL 기반 Data Warehouse) HBase(컬럼 구조의 저장소) Hadoop 생태계의 핵심 4대 구성요소 Flume(데이터를 수집해서 HDFS에 저장하는 프레임워크) Scoop(다양한 DBMS 자료를 HDFS로 입출력) Oozie(Hadoop의 Workflow 스케쥴러) Zookeeper(분산 클러스터 시스템 관리 코디네이터) 오픈소스 하둡 설치 하둡 Stand Alone 설치 - 가상 서버를 활용한 하둡 설치 Hadoop Cluster 설치 절차 이해 분산병렬처리 MapReduce 프레임워크 Hadoop Cluster 설치 Hadoop 명령어 이해 및 HDFS 활용 MapReduce 프로그래밍 이해 MapReduce를 이용한 데이터 처리 실습 고급 병렬처리 도구 Pig/Hive - Pig 소개 및 구조 이해 Pig 설치 절차 이해 및 설치 Hive 소개 및 구조 이해 Hive 설치 절차 이해 및 설치 클러스터 관리 및 데이터 수집/저장 Zookeeper 이해 및 설치 HBase 설치 및 활용 Sqoop 이해 및 설치 Sqoop을 활용한 데이터 Import/Export 하둡 플랫폼 고급 활용 국내외 하둡 적용 사례 - 데이터 유형별 하둡 아키텍처 교육과정 Review