Spot by NetApp은 3사 클라우드의 Spot Instance를 더욱 비용 효율적으로 사용하고, 비점유형 인스턴스 사용 시 발생할 수 있는 서비스 다운타임을 최소화하기 위한 기능을 제공합니다. spot Instance란? 스팟 인스턴스(spot Instance)는 온디맨드 가격보다 저렴한 비용으로 사용할 수 있는 미사용 컴퓨팅 인스턴스입니다. AWS와 Azure는 Spot Instance, GCP는 Preemptible VM 으로 제공됩니다. 매우 저렴한 대신 항상 이용 가능한 자원은 아니며, 각 클라우드 업체마다 제한 사항이 존재합니다. 따라서 단기간 작업을 요구하는 배치(Batch)성 작업이나 갑작스러운 중단에 영향을 받지 않는 작업에 이용하는 것을 권장합니다....
171명 77팀을 대상으로 온라인 해커톤이 진행됐다. 우리 회사에서는 VSCodeSpace 기반 공동 개발 환경을 안내하고, 팀별 프로덕트 배포 및 데이터베이스 설치를 위한 VM을 제공해야 했다. 효율적인 리소스 관리를 위해 VM을 미리 만들어서 접속 경로만 배포하기로 했다. 77팀이니까 77개 그룹을 생성해서 팀별로 나누고, 리소스 그룹을 77개 만들어서 접근 권한을 부여하고, ARM 템플릿과 Azure CLI를 사용해 VM을 77개 배포하고, 그 결과로 생성된 사용자 계정, 패스워드, 공용 IP 77개를 각 팀에 전달하면 끝나는 작업이었다....
지난 포스팅에 이어 유추 파이프라인을 만들고 배포하는 과정을 소개하겠습니다. 1. 유추 파이프라인 만들기 모델을 훈련시키는 파이프라인을 만들고 실행한 후에는 훈련된 모델을 사용하여 새로운 데이터의 features를 바탕으로 label 값을 추론할 수 있는 두 번째 파이프라인이 필요합니다. 자동차에 대한 features를 바탕으로 가격 label을 학습한 모델을 이용하여 유추 파이프라인을 만들어보겠습니다. 추론에 사용할 데이터는 자동차 3대에 대한 새로운 데이터이며, 가격 column을 제외하고 입력합니다. (1) 학습 파이프라인 우측 상단의 유추 파이프라인을 클릭하고, 실시간 유추 파이프라인을 선택합니다....
이번 포스팅은 Azure Machine Learning 실습 자료를 바탕으로 작성하였습니다. 해당 모듈은 Azure Machine Learning을 사용하여 코드 없이 예측 모델 만들기 실습의 두 번째 모듈입니다. 1. 회귀란 무엇일까? 자동차의 가격을 예측하자 지난 포스팅에서도 특정 날짜의 자전거 대여 수를 예측하기 위해 회귀 분석을 사용하였습니다. 회귀는 특징(features)을 기반으로 numeric label을 예측하기 위해 사용하는 머신러닝 모델입니다. 예를 들어 중고 자동차 판매 회사는 엔진 크기, 시트 개수, 주행량 등 차의 특징을 이용하여 판매 가능한 가격을 예측할 수 있습니다....
이번 포스팅은 Azure Machine Learning 실습 자료를 바탕으로 작성하였습니다. 해당 모듈은 Azure Machine Learning을 사용하여 코드 없이 예측 모델 만들기 실습의 첫 번째 모듈입니다. 다양한 머신러닝 모델을 알아보고, Azure Machine Learning의 자동화된 머신러닝 기능을 사용하여 예측 모델을 학습하고 배포하기 위한 실습입니다. 1. What is machine learning? 머신러닝은 알려지지 않은 값을 예측하기 위해 수학과 통계를 사용하는 기술입니다. 머신러닝 모델을 하나 이상의 연산을 수행하는 함수로 이해할 수 있습니다. 예를 들어 도시에 자전거 대여 회사가 있다고 가정해봅시다....
Stream Analytics job은 여러 원본으로부터 스트리밍 데이터를 동시에 분석 및 처리하도록 설계된 이벤트 처리 엔진입니다. Azure IoT Hub, Azure Event Hubs, Azure Blob Storage에서 원본 데이터를 수집할 수 있습니다. 이번 포스팅에서는 IoT Hub에서 Azure Stream Analytics job으로 데이터를 전송하고, 결과를 Blob 스토리지에 저장하는 방법을 소개합니다. Stream Analytics job 목차는 다음과 같습니다. Azure Stream Analytics job 생성 Blob Storage 생성 입력 및 출력 설정 쿼리 수정 작동 테스트 1....
IoT Hub에서 서비스 버스로 라우팅을 설정하고, Logic Apps를 이용해 메일 알람을 설정하는 방법을 알아보겠습니다. 장비의 이상 탐지를 위해 IoT Hub에서 특정 값이 있는 메시지를 Azure Service Bus의 큐로 전송합니다. Logic Apps를 통해 큐의 메시지를 3분마다 한 번 검색하여 큐에 내용이 있으면 메일로 해당 내용을 전송하도록 합니다. 목차는 다음과 같습니다. Azure Service Bus 네임스페이스 및 큐 생성 IoT Hub 사용자 엔드포인트 추가 Logic Apps 만들기 결과 확인 1. Azure Service Bus 네임스페이스 및 큐 생성 Azure Portal에 Azure Service Bus를 검색하여 클릭합니다....
지난 포스팅에서 Azure에서 제안하는 IoT 아키텍처를 소개하고, 각 구성 요소를 살펴보았습니다. 이번에는 예제 애플리케이션을 사용하여 원격 장치 데이터를 IoT 허브로 전송하는 방법을 알아보겠습니다. 해당 예제의 시뮬레이터는 MQTT를 통해 IoT 허브로 온습도 정보를 1초에 한 번 전송하도록 구성되어 있습니다. 목차는 다음과 같습니다. 실습 환경 설정 SDK 다운로드 및 빌드 IoT 허브 생성 및 디바이스 등록 허브에서 데이터 읽기 스토리지 계정으로 메시지 라우팅 1. 실습 환경 설정 Visual Studio 2019 설치 - C++를 사용한 데스크톱 개발 워크로드 사용 설정 최신 버전의 Git 설치 애플리케이션을 실행할 환경의 방화벽에서 8883 포트를 열어 MQTT 프로토콜 통신 허용 운영 체제에 맞는 CMake 빌드 시스템 다운로드하고 환경 변수에 추가 2....
IoT란 각종 사물에 센서와 통신 기능을 내장하여 무선 네트워크 상에서 데이터를 수집하고 전송하는 시스템을 말합니다. Azure Architecture Center에서 제안하는 IoT 참조 아키텍처를 설명합니다. Azure IoT Reference Architecture Microsoft가 제안하는 Azure PaaS component를 이용한 아키텍처는 다음과 같습니다. Edge Device와 IoT 디바이스로부터 온 데이터의 형식을 변환해서 Cold Path와 Warm Path로 데이터를 나눠서 처리하고, 미리 수집한 데이터와 디바이스 데이터를 결합하여 머신러닝을 적용해 비즈니스 인사이트를 도출합니다. Cold Path, Warm Path? 측정 데이터 처리 방식에 따라 나눌 수 있습니다....