Big Data and Maching Learning in the Cloud

Google Cloud

Google이 제공하는 인프라 및 데이터 처리 최신 기술을 사용 가능, 데이터 분석 시스템 구축/ 유지할 때의 복잡성 자동으로 제거

 

Google Cloud 빅데이터 솔루션

유용한 데이터 분석 정보로 비즈니스와 사용자 경험을 변화 (통합 서버리스 플랫폼)

 

서버리스

작업을 실행하는 인스턴스의 프로비저닝이 필요하지 X 

 

Apache Hadoop

빅 데이터 대응 오픈 소스 프레임 워크, Google이 개발한 MapReduce 프로그래밍 모델이 베이스

 

Cloud Dataproc

Hadoop 관리 서비스 , HAdoop, Spark, Hive, Pig, GCP에서 실행 가능, Hadoop 클러스터를 요청하기만 하면 90초 이내에 클러스터가 자동으로 생성

• 온프레미스 하드웨어 자산보다 민첩하게 리소스를 사용 가능
• 데이터가 클러스터로 캡처되면 Spark와 Spark SQL을 사용하여 데이터 마이닝 가능

 

Cloud Dataflow

실시간 데이터 및 데이터의 크기와 비율을 예측할 수 없는 경우 적합, 광법위한 데이터 처리 패턴을 개발하고 실행 가능 

• 추출, 변환, 판독에서 배치 계산, 연속 계산까지 대응
• 모든 차원을 온디맨드로 제공, 최적화된 자동 파티셔닝 기능

 

BigQuery

방대한 데이터를 탐색, 데이터를 실행, 페타바이트 규모의 저렴한 요금, 완전관리 분석 데이터 웨어 하우스, 인프라 관리 필요 X

• Cloud Dataflow, Hadoop, Spark를 사용하여 BigQuery의 데이터를 쉽게 읽고 쓸 수 있음

 

BigQuery 데이터 캡처 방법

Cloud Storage 및 Cloud Datastore에서 로드, BigQuery에 초당 100,000행 스트리밍

 

Cloud Pub/ Sub

실시간 이벤트를 다룰 때 도움이 되는  메시징 서비스

• 간단하고 안정적인 확장 가능한 기반, 독립적으로 스케일링 가능
• 시스템을 분리하는데 유용, 전송을 낮은 대기 시간으로 수행하도록 설계
• 온디멘드 스케일링

 

Jupyter

파이썬 코드를 포함한 웹 기반 노트북을 만들고 유지 가능, 대화식으로 코드 실행 결과 확인 가능

 

Cloud Datalab

Jupyter와 비슷한 기법에서 관리 작업을 제거, Compute Engine VM 내에서 실행, 실행 중에는 Google Charts로 데이터를 시각화하거나 선 그래프를 그릴 수 있음

 

Cloud Machine Learning Platform

최신 ML 서비스를 제공, 사전 훈련된 모델 제공 맞춤형 모델도 생성 가능, 사용 유형이 2가지

• 구조화된 데이터 처리
  • ML을 사용하여 다양한 분류 작업과 회귀 작업 가능
  • Ex) 고객 분리 분석, 제품 진단, 예측 등
• 비정형화된 데이터 처리
  • ML을 이미지 분석에 사용
  • Ex) 스타일 식별, 배송품 손상, 텍스트 분석

 

TensorFlow

Google Brain이 사내 용으로 개발한 오픈 소스 소프트웨어 라이브러리, 신경망과 같은 ML 앱에서 뛰어난 효과를 발휘

• GCP가 이상적인 장소
• Tensor Processing Unit(TPU)도 사용 가능

 

Google Cloud Machine Learning Engine

모든 데이터 ML 모델을 쉽게 구축 가능, 모든 TensorFlow 모델을 사용하여 대규모 교육 관리형 클러스터에서 수행 가능

 

Cloud Vision API

이미지를 수천 개의 카테고리로 고속으로 분류, 사용하기 쉬운 API 뒤에 고급 ML 모델이 내장되어 있음

• 이미지 카탈로그 메타데이터 만들기
• 부적절한 콘텐츠 관리
• 이미지 감정 분석 가능

 

Cloud Speech API

음성을 텍스트로 변환 가능, 80개 이상의 언어와 방언 인식

• 음성 명령 컨트롤 사용, 음성 파일의 문자 발생 가능

 

Cloud Natural Language API

자연 언어를 이해하기 위한 다양한 기술을 제공

• 사용자가 입력한 문장을 토큰으로 분할해서 구문 분석

 

Cloud Translation API

간단하고 프로그래밍 가능한 인터페이스로 모든 문자열 지원되는 언어로 번역 가능, 원문 언어를 모르더라도 API 식별 가능 

 

Cloud Video Intelligence API

다양한 형식의 동영상에 주석 달기, 동영상의 주요 엔티티 식별, 동영상 검색 가능

 

 

※ 본 게시글은 Google Cloud Fundamentals - Core Infrastructure 강의를 필기한 것입니다.

 

(강의 사이트)
https://partner.cloudskillsboost.google/course_templates/60