매일 꾸준히, 더 깊이

※ 일본의 글을 번역한 포스팅입니다. 오역 및 직역, 의역이 있을 수 있으며 틀린 내용은 지적해주시면 감사하겠습니다. 더 좋은 쉘 스크립트 쓰는 방법에 대해 정리해보았다. 아무것도 하지 않는 : (콜론) 커맨드 쉘을 작성했을 때에 매우 필요했던 커맨드가 바로 이거 아무것도 하지 않는 커맨드이다. : 이라는 커맨드를 이용하면, 아무것도 하지 않고 종료 상태 0 (즉, 정상 종료)가 반환된다. 이것은 언제든지 쓸 수 있는 만능 커맨드로, 이 커맨드를 이용하여 귀찮은 에러 처리를 간소화하거나, 입력이나 출력의 리다이렉트할 곳/하는 곳으로 사용하는 등에 사용할 수 있다. 커맨드이므로 인수도 받을 수 있다. 하지만 물론 아무것도 하지 않는다. 예를 들어 표준 출력에도 아무것도 반환하지 않으므로, 이것을 이용하여 ..

압축 tar -zcvf filename.tar.gz directoryname 해제 tar -zxvf filename.tar.gz 옵션 각 옵션에 대한 설명은 다음과 같다. 옵션 풀네임 의미 -z --gzip gzip 형식으로할 것을 지정 -c --create 새롭게 압축파일을 만듦 -v --verbose 처리 결과를 출력 -f --file 압축 파일의 이름 -x --extract 압축파일에서 파일을 빼냄 추가) 특정 파일을 제외하고 압축/해제하고 싶을 경우 tar 커맨드에 "--exlude 패턴"을 지정하여 특정 파일을 제외하고 처리를 할 수 있다. "패턴"으로는 파일명이나 디렉토리명을 지정할 수 있다. 이때 "*", "?", "[...]" 과 같은 와일드 카드를 사용해서 이름을 지정할 수 있다. 예를 ..

프록시(Proxy)란? 프록시(Proxy)는 "대리"의 의미로, 인터넷과 관련해서 쓰이는 경우, 특히 내부 네트워크에서 인터넷 접속을 할 때에, 빠른 액세스나 안전한 통신등을 확보하기 위한 중계서버를 "프록시 서버"라고 일컫는다. 클라이언트와 Web서버의 중간에 위치하고 있어, 대신 통신을 받아 주는 것이 프록시 서버이다. 프록시(Proxy)의 종류 프록시(Proxy)는 포워드 프록시와 리버스 프록시로 나뉘어져, 기본적으로 포워드 프록시는 클라이언트쪽, 리버스 프록시는 서버쪽의 설정을 한다. 포워드 프록시 클라이언트의 대신 프록시 서버가 목적 서버에 통신해주는 구성을 "포워드 프록시"라고 한다. 프록시를 사용하지 않은 경우 아래와 같다. 포워드 프록시의 경우 아래와 같이 프록시 서버가 외부 Web 서버와..

※ 일본의 한 블로그 글을 번역한 포스팅입니다. 의역 및 직역, 오역이 있을 수 있으면 내용 오류 알려 주시면 수정하도록 하겠습니다. Google은 프라이버시 샌드 박스(*)의 일환으로 Privacy Budget을 제안했다. 간단히 말하자면, 얻어진 정보에 대해서는 상한을 두자는 아이디어이다. 사용할 수 있는 예산(buget)을 예를 들어 100점이라고 정해두고, 유저 에이전트를 취득하면 10점, IP 어드레스를 취득하면 30점과 같이 점수를 쌓아가 상한으로 설정한 100점을 넘으면 식별 정도를 취득할 수 없는 느낌이다. 즉 이것으로 얻을 수 있는 정보를 제한하여, 핑거 프린트의 위험성을 줄이는 것이다. (*) 프라이버시 샌드 박스 : 서드 파티 Cookie나 그 외에 추적 매커니즘을 사용하지 않고 크로..

Azure Machine Learning 머신러닝 모델의 개발/디플로이를 지원하는 Azure 서비스 "Azure Machine Learning"에는 크게 세 가지 서비스가 존재한다. 하나는 "Azure Machine Learning Studio"로, Azure Machine Learning Studio는 Web 브라우저에서 동작하는 GUI 베이스의 개발환경으로 기계학습 모델의 생성, 학습, Web 서비스로 디플로이 등을 가능하게 한다. 또 하나의 서비스는 "Azure Machine Learning Service" 이다. Azure Machine Learning Service는 머신러닝의 구축, 학습, 디플로이를 지원하는 Python을 사용한 데이터 사이언티스트용 서비스이다. 마지막은 "Azure Mach..

flake8과 Black이란? flake8 flake8이란 "pep8의 체크, pyflakes의 체크 및 순환 복잡도를 체크할 수 있는 Wrapper"이다. 즉, 폭 넓게 커버해주는 Python의 코드 체크 툴이다. flake8은 아래의 항목을 체크해준다. PyFlakes (pyflakes : 코드의 에러 체크) pycodestyle (pycodestyle : PEP8에 준거하고 있는지를 체크) Ned Batchelder's McCabe script (mccabe : 순환 복잡도를 체크) Black 다만, flake8은 코드의 체크를 해주긴 하지만 에러의 수정까지는 불가능하다. 여기서 에러를 자동으로 수정해주는 것이 Black이다. flake8의 도입 및 실행 이제 flake8을 사용해보자 ! 그전에 먼..

이번 포스팅에서는 docstring 작성에 주로 사용되는 세 가지 스타일 reStructuredText, Google style, Numpy style에 대해서 간략하게 알아보고자한다. reStructuredText def func(arg1, arg2, arg3): """Hello, func Lorem ipsum dolor sit amet, :param string arg1: First argument :param arg2: Second argument :type args2: list[int] :param arg3: Third argument :type args3: dict[str, int] :return: Return value :rtype: str or None :raises ValueError: i..

※ 일본의 한 블로그 글을 번역한 포스팅입니다. 오역 및 의역, 직역이 있을 수 있으며, 틀린 내용은 지적해주시면 감사하겠습니다. 이번 포스팅에서는 지난 포스팅에 이어 실제로 Azure에서 MLOps를 구현해보고자 한다. Azure에서 MLOps 라이프 사이클을 실현하기 위한 최적화된 방법 아래 5개의 그림이 Azure에서 추천하는 MLOps기반의 좋은 방법이다. 1. 재이용 가능한 파이프라인으로 모델을 만들기 모델링에 이용하는 데이터 세트의 선택, 각 종 파라미터의 설정등도 하나로 모아서 모델 생성의 포르레스를 파이프라인화한다. 2. 모델 등록의 자동화 이벤트 구동형으로 실제 사용자 환경에 가동할 모델을 바꿀 수 있도록 메타 정보를 포함하여 모델의 버전 관리를 행한다. 3. 감사증좌의 자동화 테스트 코..

※ 일본의 한 블로그 글을 번역한 것입니다. 오역 및 의역, 직역이 있을 수 있으며 틀린 내용은 지적 부탁드립니다. 이번 포스팅에서는 ML Ops에 있어서 머신러닝 모델을 운용할 때에 과제와 개념을 정리해보았다. 다음 포스팅에서는 실제로 Azure의 각 종 서비스를 이용해여 MLOps를 실현해보고자한다. 머신러닝 운용할 때의 과제 상정 먼저 머신러닝 모델을 운용해감에 있어서 몇 가지 과제를 같이 생각해보자. 이번 포스팅에서는 위의 역할과 흐름으로 머신러닝 모델이 개발된다고 상정하고 있다. 모델 개발의 흐름 1번 : 맨 처음 데이터 분석가가 머신러닝 모델의 개발을 위한 준비단계로써 머신러닝으로 해결할 과제 정의과 가설 검증을 실행한다. 어떤 머신러닝모델을 사용하면, 비즈니스의 가치가 있을지를 고찰하는 단계..

※ 일본의 한 블로그 글을 번역한 것입니다. 오역 및 의역, 직역이 있을 수 있으며 틀린 내용은 지적 부탁드립니다. AWS는 어느정도 알고 있지만 Azure은 처음인 경우 당황하는 경우가 많다. 나도 그런 사람 중 한 사람이었다. 따라서 이번 포스팅에서는 AWS의 환경 구축 순서를 바탕으로 Azure에서는 어떻게 환경을 구축하는지 차이를 살펴보고자 한다. 참고로 아래의 내용은 2021년 5월 기점에 작성된 것으로 현재는 바꼈을 가능성이 있으니 참고하길 바란다. 구축할 환경 AWS와 Azure 각각에 가상 머신을 1개 실행하여 인터넷에서 부터 접속 할 수 있는 심플한 환경을 만들어 볼 것이다. 이러한 환경을 구축해 가면서 두 개의 차이점에 대해서 간단히 설명하고자한다. 아래의 그림은 AWS와 Azure의 ..