Google Cloud Platform 강의

Google Cloud 강의

 

GCP 

GCP is organized into regions and zones

Multi-Region

Region - 반드시 3개 이상의 zone이 들어가야함

하나의 zone에 문제가 생기더라도 다른 zone에 문제가 없으니까 이상이 없다는 것

 

Zone - data center

 

Open APIs and open source mean customers can leave

 

Why choose Google Clout Platform?

 

Google Cloud Platform offers a range of compute services

 

GCP Fundametals: Core Infrastructure

 

Cloud security requires collaboration

 

Resource hierarchy levels define trust boundaries

Org Node - Folders - Projects - Resources

권한 상속 가능해서 쉽게 이용 가능

 

All GCP services you user are asssociated with a project

project는 비용이 지불되는 단위이고, 프로젝트 관리자가 모든 것을 할 수 있음

 

Projects have thress identifying attributes

Project ID - Globally unique / Immutable

Project name - Need not be unique / Mutable

Project number - Globally unique / Assigned by GCP / Immutable

 

Folders offer flexible management

folder를 쓰는 가장 큰 이유는 관리 때문에

folder가 없어도 상관 없음

folder A가B에게 권한을 상속하면 A, B project에 권한 갖게 됨

 

 

The organization node organizes projects

Notable organization roles:

- Organization Policy

- Project Creator

 

An example IAM resources hierarchy

 

Google Cloud Identity 

 

Who:

Google account or Cloud Identity user

Service account

Google group

Cloud Identity or G Suite domain

 

Can do what: IAM roles are collections of related permissions

InstanceAdmin

 

On which resource

Resource 여러가지...

 

There are three types of IAM roles

Primitive: 이미 정의되어져 있는 role, 바꿀순 없음, 프로젝트 초기에 많이 사용

on all resources 가장 상위 레벨

IAM primitive roles offer fixed

Owner

Editor

Viewer

Billing Administrator

 

Predefined:  사전 정의된 role

IAM predefined roles apply to a particular GCP service in a project

InstanceAdmin Role - ... 여러 관리에 필요한 기능들을 묶어서 사전에 정의되어져 있는 권한

 

IAM custom roles let you define a precise set of permissions

InstanceOperator Role - 사전 정의된 role에서 권한 추가, 삭제 해서 만들 수 있고, 처음부터 원하는 대로 생성 가능

 

Service Accounts control server-to-server interactions

프로그램에서 개발할 때 필요한 계정이다.

 

Service Accounts and IAM

 

Gmail, G Suite, Cloud Identity domain

 

GCP Interaction

Google Cloud SDK

 

Virtual Private Cloud Networking

 

Compute Engine offers customer friendly pricing

Scale up or scale out with Compute Engine

 

Load Balancing

 

Cloud DNS is highly available and scalable

Cloud CDN (Content Delivery Network)

Cloud Storage is binary large-object storage

 

There are several ways to bring data into Cloud Storage

Online tansfer

Storage Transfer Service

Transfer Appliance

 

Cloud Spanner is a horizontally scalable RDBMS

 

 

실습

console.cloud.google.com

 

project 아래 resource

 

 

 

 

Big Query ML

 

Data Warehouse

서버가 없는 완전 관리형 서비스입니다.

PETA Byte

 

컴럼형 데이터베이스 (BigQuery)

- 데이터 저장 시 압축, 암호화

- 3개 이상 복제 분산 저장

 

반복 및 중첩 컬럼

repeated fields - JSON 파일 구조

 

데이터 저장

- 테이블 자동 삭제로 불필요한 데이터 삭제

- 파이션 설정을 통한 장기 데이터 할인

: 데이터가 변경없이 계속 늘어나는 경우 파티션 분리를 통해 장기 데이터(Long-term)에 대해 50% 할인 적용

_PARTITIONDATE 날짜 단위로 나눠짐

-스트리밍 입력은 반드시 필요한 경우에만

 

데이터 쿼리

- 필요한 컬럼만 조회

: 컬럼형 데이터이므로 select *이 아닌 필요한 컬럼명을 명시적으로 조회 / 데이터 처리량에 대해 과금 부여

- 데이터 구조는 "미리보기" 활용

- LIMIT 구문은 비용 절감 없음

: 내부적으로 처리되는 데이터는 전체이기 때문에 의미 없음

- 파티션을 통한 하위 집합 쿼리

- 쿼리 예상 비용 사전 확인

- 쿼리 결과를 단계별로 구체화

- 역정규화

: 비용 절감 / RDB와는 다른 개념으로 사용해야함

 

실습

1. Dataset 생성

2. 테이블 생성

3. 테이블 쿼리

 

 

 

BigQuery ML

 

Machine learning process

Data Collection > Data Preparation > Training Model > Evaluation Model > Parameter Tuning > Prediction

 

BigQuery ML

Step 1: Create Model

 

Step 2: Prediction

 

실습

run.qwiklabs.com/

Qwiklabs - Hands-On Cloud Training

 

 

 

 

 

Auto ML

커스텀 머신러닝 모델

 

AutoML Table

데이터 셋 불러오기 부터 모델학습 생성까지 진행