데이터엔지니어3 [독서] BI 도구, 빅데이터를 지탱하는 기술 1장. 빅데이터의 기초 지식 1-4. BI 도구와 모니터링 * 모니터링: 계획적으로 데이터의 변화를 추적해 나가는 것 - 무료: Tableau Public, Quick Sencse, Microsoft Power BI, 구글 Data Studio - 스몰데이터 빠르게 시각화, 애드 혹 분석 등 대화형에서 데이터 시각화하고 싶을 때 편리하다. - 원하는 대로 집계 결과를 얻으려면 '시각화하기 쉬운 데이터'로 만들어야 한다. - 한계 : 제대로 설계된 데이터가 없다면, 자신의 생각과 딱 맞는 화면을 만들 수 없다. 데이터 마트 > 1. BI 도구에서 직접 데이터 소스에 접속 2. 데이터 마트를 준비하고, 그것을 BI 도구로부터 연다. - 장점: 어떤 테이블이라도 .. 2022. 3. 1. [독서] 데이터 프레임, 빅데이터를 지탱하는 기술 1장. 빅데이터의 기초 지식 1-3. [속성 학습] 스크립트 언어에 의한 특별 분석과 데이터 프레임 1) 스크립트 언어: 파이썬 1. 컴파일 언어 - 실행 전 소스코드를 컴파일하여 기계어로 변환 후 해당 파일을 실행 - 이미 기계어로 변환된 것을 실행하므로 비교적 빠름 - 문법적 제약이 일반적으로 많음 - 운영체제에 따라 다르게 작업해야 함 2. 스크립트 언어(인터프리터 언어) - 코드를 작성함과 동시에 인터프리터가 기계어로 번역하고 실행함 - 실행 과정 상에 번역 과정이 있어 비교적 느림 - 문법적 제약이 일반적으로 적음 - 운영체제를 신경 쓸 필요 없이 한 번만 작성하면 됨 출처: https://ryusm.tistory.com/105 파이썬 pandas - 장점: 1) 스크립트 .. 2022. 2. 28. [독서] Hadoop과 NoSQL, 빅데이터를 지탱하는 기술 1장. 빅데이터의 기초 지식 1-1. [배경] 빅데이터의 정착 1) Hadoop : '다수의 컴퓨터에서 대량의 데이터를 처리하기' 위한 시스템 (분산처리 프레임워크) (2013년 이후 Apache Spark와 같은 새로운 분산 시스템용 프레임워크 보급 -> 맵리듀스보다 효율적) 2) NoSQL : 고속의 읽기, 쓰기가 가능하고 분산 처리에 뛰어나다. -> 'NoSQL 데이터베이스에 기록, Hadoop으로 분석 처리' 3) 가속도적으로 늘어나는 데이터 처리 -> Hadoop 비교적 작은 데이터, 또는 중요한 데이터만 -> 데이터 웨어하우스 -> Hadoop에 데이터 처리를 맡김으로써 데이터 웨어하우스의 부하를 줄임. 4) 데이터 처리를 위한 클라우드 서비스 - (2009) Amazon Elastic Map.. 2022. 2. 23. 이전 1 다음 반응형
