매일 꾸준히, 더 깊이

Docker에서 이미지나 컨테이너를 파일으로 export하거나, import하는 방법에 대해 알아보고자한다. Docker에서는 컨테이너를 저장하는 export 커맨드와 이미지를 저장하는 save 커맨드 두 가지가 있다. 그리고 save와 export는 각각 이미지와 컨테이너를 압축파일(.tar확장자)로 저장한다. 이미지 이미지를 파일로 저장하는 save docker save [옵션] 이미지명 Docker 이미지를 포함된 태그 정보 등을 포함한 이미지를 저장한다. sample-image이라는 이미지를 저장하는 경우는 아래와 같이 사용한다. docker save sample-image > sample-image.tar 컨테이너에서의 변경을 이미지에 반영할 경우에는 commit한 후에 저장한다. 저장한 이미지..

Docker에서는 불필요한 것을 삭제하는 garbage collection으로 prune 커맨드를 사용한다. 이러한 prune 커맨드에는 다양한 옵션이 있는데, 예를 들어 컨테이너 정지된 후 몇 시간 동안 사용하지 않은 오브젝트를 삭제할 것인지 시간을 지정할 수 있고 날짜를 지정할 수 있다. 예시 : 정지된지 24시간이 지난 컨테이너, 이미지 및 네트워크 삭제하기 $ docker system prune -a --filter "until=24h" ... Are you sure you want to continue? [y/N] ←여기서「y」+「Enter」를 입력하면 처리가 진행된다. -a는 --all로, build 캐쉬랑 중간 이미지(태그가 없는 이미지)도 삭제한다. 개발 환경에서는 역으로 영향이 발생할 수..

Docker이란? Docker이란 간단히 말하면, 가벼운 컨테이너형 어플리케이션 실행환경을 의미한다. 독립된 실행환경이라고 한다면 Hyper-V나 Windows Virtual PC등 가상 실행 환경을 떠올리는 경우가 많은데, 이러한 것들은 PC의 하드 웨어를 에뮬레이션하여 그 위에 OS나 어플리케이션을 동작시킨다. 또한 목적 어플리케이션이라는 관계없는 서비스 등도 다수 동작된다. 그로 인해 오버 헤드가 많고, 리소스를 비효율적으로 많이 쓰게 된다. 이에 반해 컨테이너란 액세스할 수 있는 리소스나 권한 등을 제한, 분리한 "프로세스"이다. 컨테이너를 관리하는 코스트는 프로세스를 관리하는 코스트와 거의 동일하며, 가상 머신을 관리하는 코스트와 비교하면 매우 가볍다. Docker의 실행 환경은 아래와 같다. ..

2022년 목표로 작성했던 統計検定2級에 대한 공부 방법, 자료 등을 수집하기 위한 포스팅이다. 기본적으로 일본에서 치뤄지는 통계시험이므로 자료는 모두 일본어이다. 統計検定2級 자격증이란? 대학 기초 과목 레벨의 통계학 지식 습득과 활용을 위한 이해도를 묻기 위해 실시하는 검증 시험이다. "현상에 대해 문제를 발견하고, 그 문제를 해결하기 위해 수집한 데이터를 바탕으로, 가설의 구축과 검증을 할 수 있는 통계 능력과 새로운 지식 습득의 계기를 찾는다"는 즉 통계적 문제 해결력을 주로 보는 시험이다. * 주요 개념에 대해 정리해둔 치트 시트(일본어 자료) 공부 방법 1. 합격수기 A 통계 WEB 이라는 사이트에서 기본적인 통계 지식(입문 수준)을 배웠다. 그리고 공식 문제집(기출 문제집)을 풀고 심화 내용..

Mixed Precision API란? 기존의 뉴럴 네트워크 학습시에 가중치와 활성값으로써 FP32(32bit 부동소수점)가 이용됐다. 그러나 심층 학습의 성공과 뉴럴 네트워크의 사이즈가 커지면서 최근에 뉴럴 네트워크의 학습에 걸리는 계산 비용이 급격하게 증가하게 됐다. 이러한 문제는 제품 발매를 위한 시행착오를 거치는 동안 시간이 너무 많이 걸리는 문제가 생겼다. 문제를 해결하기 위해 심층 학습을 위하 하드웨어를 제공하는 기업(예를 들면 NVDIA)은 계산을 고속화하기 위한 액셀러레이터를 도입하였다. 예를 들어, NVIDIA의 Volta 세대 이후의 GPU는 계산을 고속화하기 위해 Tensor Cores를 제공하고 있다. 그러나, FP16(16bit 부동소수점)을 가중치, 활성값, 기울기에 사용하는데 ..

이번 포스팅에서는 point cloud 데이터관련해서 주류 모델인 PointNet에 대해 알아보고자 한다. 참고로 PointNet은 2017년에 제안된 모델로, 그 이후에 발표된 정밀도가 높은 모델이 다수 제안됐다. 그러한 모델에 관련된 정보를 살펴보고 싶다면 여기를 참고하길 바란다. 그리고 포스팅에서 사용된 이미지는 이 논문에서 인용됐다. 기존의 방법 : 3차원 합성곱 신경망(Convolution neural Network) Volumetric CNN이라는 이름의 모델로 point cloud 를 voxel화하여 한층 한층을 이미지로써 다루며 그 이미지는 합성곱 신경망에 입력되게 된다. 각 voxel은 2개의 숫자로 표현되어, 메쉬로부터 voxel로 변환할 때 voxel 안에 데이터가 있는지 아닌지를 0..

Figure.add_subplot() 메소드로 projection에 "3d"를 전달하면, 3차원 데이터를 가시화할 수 있는 subplot(mpl_toolkits.mplot3d.Axes 3D 클래스의 인스턴스)가 있다. Axes3D오브젝트에는 아래와 같은 메소드들이 존재한다. Axes3D.plot() 파라미터 곡선 Axes3D.plot_surface() 곡면 Axes3D.plot_surface() 평면과 법선(normal(line)) Axes3D.scatter() 산포도 Axes3D.plot_wireframe() 와이어 프레임 Axes3D.plot_trisurf() 파라미터 곡면 Axes3D.contour 3차원 등고선 파라미터 곡선 Axes3D.plot()을 사용하면 파라미터 t와 매개되는 공간곡선을 그..

TensorFlow에는 GradientTape이라는 클래스가 있다. 이 클래스는 기울기를 구하기 위한 클래스이다. 정밀도가 좋은 예측 모델을 만들기 위해서는 적당히 선택된 파라미터로 예측과 실제 결과를 비교하여 그 차이가 작아지도록 파라미터를 반복해서 조정한다. 이때, 파라미터를 어느정도 줄이거나 늘려야 좋을지를 결정하는 것이 "기울기"이다. 이번 포스팅에서는 코드를 살펴보며 사용하는 방법에 대해 알아보고자한다. import tensorflow as tf tf.enable_eager_execution() # 계산 그래프를 즉시 실행하는 Eager execution를 사용한다. x = tf.constant(3.0) # TensorFlow에 정수를 작성 with tf.GradientTape() as g: #..

Open3D는 3D데이터를 다루는 소프트 웨어의 개발을 서포트하는 오픈 소스 라이브러리이다. Open3D는 C++와 Python 프론트엔드를 제공하고 있으며, 엄선된 데이터 구조와 알고리즘을 두 환경에서 이용가능하다. 공식 사이트는 여기를 참고하길 바란다. 이번 포스팅에서는 이 라이브러리를 이용해서 point cloud를 3D mash(.obj, .ply, .stl, .gltf)로 변경하는 일련의 프로세스에 대해 설명하고자 한다. 데이터를 로드하여 준비하기 라이브러리를 import한다. import numpy as np import open3d as o3d 데이터가 저장되어 있는 파일의 경로를 작성한다. input_path="your_path_to_file/" output_path="your_path_t..

내장함수 delattr/getattr/hasattr/setattr은 각각 오브젝트로부터 속성의 삭제/오브젝트의 속성 값의 획득/오브젝트에 속성이 있는지 확인/오브젝트에 대해 속성을 설정을 한다. 아래와 같이 표시할 수 있다. delattr(object, name) # object로부터 속성name을 삭제 getattr(object, name[, default]) # object의 속성 name값을 획득 hasattr(object, name) # object에 속성 name가 있는지를 확인 setattr(object, name, value) # object의 속성 name값을 value로 설정 내장함수 delattr/getattr/hasattr/setattr delattr 내장함수 delattr는 제1인수..