본문 바로가기

전체 글98

빅데이터 분석기사 1-2 데이터 분석 계획 (1) 1_ 분석 방안 수립 1) 분석 로드맵 설정 (1) 빅데이터 분석 기획 개요 1. NCS 빅데이터 분석 기획 > 빅데이터 분석 기획의 능력 단위 요소 : 도메인 이슈 도출하기, 분석 목표 수립하기, 프로젝트 계획하기, 보유 데이터 자산 확인하기 2. 분석 대상과 그 방법에 따른 4가지 분석 주제 - 분석 기획 시 고려사항 : 가용 데이터, 적절한 활용 방안과 유즈케이스, 사전 계획 수립 3. 분석 방법론 - 업무의 특성에 따른 분석 방법론 폭포수 모델(Waterfall) : 단계를 순차적으로 진행, 전형적인 SW 개발 방식 프로토타입 모델(Prototype) : 일부분을 먼저 개발하고 난 뒤, 요구 분석과 성능 분석, 개선 순서로 진행 나선형 모델 : - KDD(Knowledge Discovery in .. 2021. 2. 5.
빅데이터 분석기사 1-1. 빅데이터의 이해 (3) 02_ 빅데이터 기술 및 제도 1) 데이터 기초 (1) 빅데이터 플랫폼의 이해 1. 빅데이터 플랫폼의 개요 빅데이터 플랫폼 = 빅데이터 관리 플랫폼 + 빅데이터 분석 플랫폼 2. 빅데이터 플랫폼 개발 기업 현황| : 많은 기업이 분산형 병렬처리 및 리얼타임 데이터 처리를 위한 하둡 기반의 솔루션을 사용하고 있음 (2) 빅데이터 에코시스템(Ecosystem) 1. 에코시스템 : 빅데이터를 수집, 정제, 처리, 적재 등 많은 단계를 거치는 동안 사용하는 기술 및 프레임워크, 솔루션 등을 통틀어 에코시스템이라고 함. 2. 하둡 에코시스템 : 거대한 프로젝트의 집합체. 많은 기업이 채용하고 있음. 2) 빅데이터와 인공지능 (1) 인공지능의 이해 1. 빅데이터와 인공지능의 관계 : 인공지능(Artificial I.. 2021. 1. 22.
빅데이터 분석기사 1-1. 빅데이터의 이해 (2) 3) 빅데이터 산업의 이해 (1) 데이터 산업의 발전 1. 데이터 용량 KB < MB < GB < TB < PB < EB < ZB < YB (2) 전략적 인사이트 도출을 위한 역량 1. 데이터 사이언스의 이해와 역량 - 데이터 사이언스는 데이터로부터 의미 있는 정보를 추출해내는 학문 - 데이터 사이언스는 전략적 통찰을 추구하고 비즈니스 핵심 이슈에 답하고, 사업의 성과를 견인해 나갈 수 있음. 2. 데이터 사이언스의 구성 요소 - Analytics - IT(Data Management) - 비즈니스 분석 3. 데이터 사이언티스트에게 요구되는 역량 - 하드 스킬(Hard Skill) : 빅데이터에 대한 이론적 지식, 분석 기술에 대한 숙련 ex) 코딩 능력, 통계 지식, 기술 등 - 소프트 스킬(Soft .. 2021. 1. 17.
윈도우10에서 리눅스 환경 구동하기 Feat.우분투(Ubuntu) 리눅스는 오픈소스 무료 운영체제다. 운영 체제(Operating System, OS)는 CPU, 메모리, 스토리지처럼 시스템의 하드웨어와 리소스를 직접 관리하는 소프트웨어로 우리가 흔히 사용하는 윈도우. 맥OS와 같은 운영체제라고 볼 수 있다. 개발자들에게는 오픈소스 운영체제인데다가, 다양한 네트워킹 기술을 제공하여 서버용 OS로 적합하고, 보안적으로도 우수하기 때문에 거의 필수적인 존재로 자리잡았다. 리눅스도 다양한 종류가 있는데 쉽고 편한 설치와 쉬운 이용법 덕분에 초보자들에게 적합하다고 여겨지고 데스크탑용 리눅스 배포판 중 가장 많은 이용률을 자랑하는 우분투를 사용하고자한다. 최근 Windows10이 업데이트로 'Linux용 Windows 하위시스템(WSL)'을 지원하게 되면서 윈도우 상에서 쉽게 .. 2021. 1. 17.
빅데이터 분석기사 1-1. 빅데이터의 이해(1) 2021년 올 한해의 목표로 이번에 신설된 기사시험인 빅데이터 분석기사 자격증 취득을 목표로 삼았다. 진로를 내가 가지고 있는 전공과 정반대로 확 틀었고, 내가 이 분야에 관심을 가지고 있다는 것을 어필하기 위한 여러 가지 방법 중 하나이기 때문에 절실하게 느껴진다. 공부를 하면서 복습할 겸, 누군가에게 도움이 된다면 도움을 주고자 블로그에 공부했던 내용을 올리기로 결심했다. 공부를 하면서 암기가 필요하다고 생각되는 부분만 간추려서 올릴 계획이고, 암기를 목적으로 하는 필기이기 때문에 이해하기 쉽고 간단하게 설명하고자 한다. 전문가가 아니기에 글을 올리면서 종종 오류도 발생할 수 있을 거라 생각한다. 누가 볼 진 모르겠지만 서로 공부가 될 수 있을 거라 생각하기에 오류를 발견하게 되면 댓글로 알려주셨으면.. 2021. 1. 16.
탐색적 데이터 분석(EDA) 예전에 면접볼 때 받았던 질문 중에 탐색적 데이터 분석이 무엇인지와, 고객이 데이터를 던져줬을때 어떻게 EDA를 할 것인가라는 질문을 받았던 경험이 있다.그 경험을 바탕으로 탐색적 데이터 분석. EDA(Exploratory Data Analysis)가 무엇인가에 대해 알아보고자 한다. 1) 정의탐색적 데이터 분석이란. 데이터를 수집하고, 수집된 데이터를 다양한 방면에서 관찰하고 이해하는 과정이다.데이터를 분석하기 전에 통계적으로 해석하거나 그래프를 그려 시각화하고 데이터를 직관화하는 과정을 말한다.EDA의 E가 의미하는 Exploratory의 뜻은 우리가 풀어야 하는 문제에 대한 분석이 초기에 정해진대로 쭉 이어가야한다는 의미가 아니라 말 그대로 '탐색적' 방식을 통해 분석을 진행하면서 바뀌게 될 수도 .. 2020. 12. 13.