매일 꾸준히, 더 깊이

Amazon EC2 Amazon CloudWatch - 1분 간격으로 데이터를 수신하고 집계 - 모니터링을 시작한 시점부터 최대 2주 동안 모든 Amazon EC2 인스턴스의 메트릭 데이터를 가져올 수 있다. Amazon EC2 인스턴스 모니터링이 비활성화되고 2주가 경과하면 Amazon EC2 인스턴스의 메트릭 데이터를 사용할 수 없게 된다. 2주가 경과한 후에도 메트릭 데이터를 보관하려면 명령줄에 mon-get-stats 명령을 호출한 후 결과를 Amazon S3 또는 Amazon SimpleDB에 저장 Amazon EC2 Auto Scaling - 용량 최적화 전략 용량 지표를 분석하여 가장 가용성이 높은 스팟 인스턴스 풀에서 스팟 인스턴스의 프로비저닝을 시도한다. 이러한 전략은 빅 데이터 및 분석..

[Redshift] ● 스냅샷용으로 무료 스토리지를 제공하고 있지만, 스토리지 용량이 일정 수준을 넘어서면 과금이 발생한다. 빈 스냅샷의 용량이 상한에 도달하면 과금이 된다. 따라서 자동 스냅샷을 저장하고, 보존기간을 바꿔 불필요한 수동 스냅샷을 줄일 필요가 있다. ● 확장 VPC 라우팅 확장 VPC 라우팅을 사용하면 Amazon Redshift는 클러스터와 데이터 리포지터리 사이의 모든 Copy와 Unload트래픽이 Amazon VPC을 통하도록 강제한다. 이 설정을 통해 VPC 엔드 포인트, VPC 엔드 포인트 정책, 인터넷 게이트 웨이, 도메인 네임 시스템(DNS)서버 등의 VPC의 기능을 Redshift로 사용하는 것이 가능하다. 이러한 기능을 사용하여 Amazon Redshift 클러스트와 다른..

docker 컨테이너를 실행하고 로그인 docker run -i -t [이미지명] /bin/bash 참고로, -u[유저명] 을 추가로 입력하여 가동할 때의 유저를 지정할 수 있다. docker이미지를 tar.gz형식으로 저장하기 docker save [이미지명] > [파일명].tar.gz tar.gz형식의 docker이미지를 로드 docker load < [파일명].tar.gz docker이미지를 복사(태그명 변경) docker tag [대상 이미지명:태그] [변경 후 이미지명:태그] 실행중인 컨테이너에 로그인 docker exec -it [컨테이너ID] bash 실행중인 컨테이너의 호스트에서 파일을 복사 docker cp [호스트 파일 경로] [컨테이너ID]:[컨테이너복사 대상 경로] 실행중인 컨테이너..

Python 3.5부터 Type Hints라는 기능이 도입되었다. 이것은 (데이터)형에 관한 주석(데이터형 어노테이션)을 붙일 수 있는 것으로 간단히 살펴 보자면 아래와 같이 작성한다. def greeting(name: str) -> str: return 'Hello ' + name 어노테이션에 실제로 해당하는 부분은 아래와 같다. - name: str : 인수 name이, str형이라는 것을 어노테이션한다. - -> str : 함수 greeting의 반환값의 형이 str이라는 것을 어노테이션한다. 또한 Type Hints에서는 변수 선언에 있어서 형 코맨트에 대해서도 언급하고 있다. x = [] # type: List[Employee] 이것은 어떠한 문법이 아니라 정말 코맨트의 확장 역할이지만, 현재 ..

Step1. 함수 >>> def foo(): ... return 1 ... >>> foo() 1 제일 기본이다. Python에 있어서 함수는 def 키워드로 함수명과 파라미터의 리스트(임의)를 이용해 정의한다. 또한 괄호를 붙인 이름을 지정하여 함수를 지정할 수 있다. Step2. 스코프 Python에서는 함수를 만들면 새로은 스코프가 만들어진다. 다시 말하자면 각각의 함수르 각각의 이름 공간을 가지고 있다는 의미이다. Python에서 이것을 확인하기 위한 함수도 준비되어 있다. locals()라는 함수로 자신이 가진 로컬 이름 공간의 값을 사전형으로 반환한다. >>> def foo(arg): ... x = 10 ... print locals() ... >>> foo(20) {'x': 10, 'arg':..

지난 포스팅에 이어서 기본적인 사용법에 대해 정리해보고자 한다. 지난 번에 간단한 그래프와 이미지 변환에 대해 살펴보았다면 이번 포스팅에서는 조금 더 구체적인 내용을 다뤄보고자한다. 버튼 위젯 작성 단순 버튼을 만들어보자. import ipywidgets as widgets button = widgets.Button(description='Click me') button 한편으로 위의 코드는 위젯이 여러 개 있거나 복잡한 패턴이 되는 경우 다루는 것은 힘들다. 따라서 IPython.display.display()함수의 인수에 위젯을 전달하는 방식이 아마 알기 쉬울 것이라고 생각한다. display는 JupyterLab이라면 import하지 않고 사용가능한 것 같지만 혹시 모르기 때문에 import한 후에..

1. ipywidgets이란 ipywidgets는 UI 라이브러리로 함수를 전달하면 셀렉트 박스나 슬라이더의 조작으로 인수를 변경하면서 함수를 실행할 수 있게 된다. 예를 들어 아래의 그림과 같이 tsne로 2차원화하여 납작하게 한 것을 셀렉트박스로 선택한 샘플만을 표시하게 할 수도 있다. 이외에도 EDA할 때에 x축과 y축을 셀렉트 박스로 선택하여 플롯하게 만들거나 변수의 파라미터를 변경하면서 플롯하게 만들 수도 있다. 플롯 이외에도 함수를 나열해 조작할 수 있도록 할 수 있으므로 여러모로 편리하다. 그러나 ipywidgets는 함수를 호출하는 것 뿐이므로 빠른 속도로 실행하거나 그래프 등을 그려주거나 해주지는 않는다. 또한 참고로 여기서 추가로 matplotlib를 그래프 함수로 호출한 경우, 매번 ..

※ 일본의 블로그 글을 번역한 포스팅입니다. 오역과 직역이 있을 수 있으며 내용 오류가 있다면 지적해주시면 감사합니다. 이 포스팅을 통해 알 수 있는 것 지난 포스팅에서는 Docker이란 무엇인가에 대한 내용부터 간략하게 대략적인 구조에 대한 이야기를 했다. 이번 포스팅을 통해서 데이터마운트(volume), Docker Network, Docker Compose에 대해서 설명하도록 하겠다. Docker에서의 데이터 관리 작동하는 컨테이너 내에서 다루는 동적 데이터를 읽고 쓰는 것이 가능한 최상의 레이어(컨테이너 레이어)에 두는 것이 가능하지만, 다음과 같은 세 가지 디메리트가 있다. - 컨테이너가 삭제되는 시점에서는 그 컨테이너 내의 데이터도 삭제된다. - 컨테이너간에 데이터를 공유하는 것은 불가능하다...

※ 일본의 포스팅을 번역한 것입니다. 오역 및 직역이 있을 수 있으며 내용에 오류가 있다면용에 오류가 있다면 지적해주심 감사하겠습니다. 이번 포스팅을 통해 알 수 있는 것 이미지나 컨테이너 등의 기본 지식부터 docker-compose, docker-machine, docker swarm등의 Docker과 관련된 다양한 개념의 전체적인 정리하여 Docker의 구조를 이해하기 위한 포스트입니다. Docker이란? Docker사가 제공하는 ＂컨테이너형 가상화 기술＂을 실현한 제품이다． ＂가상화＂란？ PC나 서버등 머신에 설치되어 있는 OS(호스트 OS) 상에 다른 머신을 가상으로 구축하는 것을 의미한다. 간단하게 말하하자면, "컴퓨터 속에 가상 컴퓨터를 작동시키는 것"이 가상화이다. 본래의 가상화(호스트형 ..

1. Delegate의 개요 delegate를 한 마디로 말하자면, "함수를 대입할 수 있는 변수"이다. 코드로 설명한다면 더 빨리 와닿을 것 같지만, 그 전에 Delegate형을 선언하는 방법부터 설명하고자 한다. 방금 Delegate는 함수를 대입하는 변수라고 설명했다. 이 말은 즉, 함수에는 "반환값"과 "인수"가 필요하다는 것이다. 아래와 같은 형식으로 선언한다. delegate 리턴값의데이터형 델리게이트형이름(인수리스트); 예를 들어, 표준 출력으로 Hello를 표시하는 리턴값이 없고 인수가 없는 SayHello이라는 델리게이트형의 이름으로 선언하는 경우 아래와 같이 작성할 수 있다. delegate void SayHello(); 더욱 자세한 예를 살펴 보자. 이름을 인수를 넣으면 "Hello!..