AWS에 해당하는 글 4건

  1. AWS

    AWS SageMaker Studio 일배치 실행하는 방법은?!

    SageMaker Studio는 쥬피터랩과 같은 환경에서 원하는 인스턴스를 선택해서 실행할 수 있어 편리하다. 하지만, 일반 서버에서 작업하는 것과 거의 차이가 없어서, 신나게 알고리즘을 개발하고 나니 정작 일배치를 적용할 때 큰 어려움을 겪게 됐다. 필자와 같이 어려움을 겪고 있을 다른 사람들을 위해 SageMaker Studio에서 일배치 실행하는 방법에 대해서 다뤄보고자 한다. 인터넷을 찾아보면 SageMaker Studio에서 일배치로 실행하는 방법을 여럿 볼 수 있다. 그 중에 하나는 노트북 파일을 이용하는 것이다. 관련된 플러그인도 있는데, 이게 노트북 파일을 S3로 옮겨서 한다는 단점이 있다. 필자는 Custom이미지를 사용하고, 미리 작성한 다른 파이썬 파일도 이용해야 하기 때문에 이 방법..

     2021.07.18
  3. AWS

    AWS python(파이썬) S3 파일 읽기 및 쓰기!

    AWS는 파일을 S3에 저장하고, 아테나(ATHENA)로 쿼리를 날려 데이터를 조회하고 편집할 수 있는 구조를 가지고 있다. 아테나 쿼리는 속도도 빠르고, S3에 저장된 파일을 따로 접근할 수도 있어 사용해보면 생각보다 굉장히 편리하다. S3에는 그냥 일반 파일도 저장이 가능하다. S3에 저장한 파일을 읽고 쓰는 방법은 여러가지가 있다. 하지만, 잘 정리가 안 되어(?) 있는 것 같아 포스팅을 작성하기로 하였다. 오늘은 AWS python(파이썬) S3 파일 읽기 및 쓰기에 대해서 알아보도록 하겠다. 1. 판다스(pandas) 데이터프레임으로 읽고 쓰기 판다스는 read_csv나 write_csv등 파일로 읽고 쓸 수 있는 함수들을 가지고 있다. 여기에 S3주소를 넣으면 그대로 파일을 읽고 쓸 수 있다...

     2021.06.08
  4. AWS

    AWS API 사용법 및 서비스 만들기

    AWS에서 DB에 있는 정보를 API로 수신 받고, 결과를 제공하는 서비스를 구현해야할 필요성이 생겼다. 찾아볼 수 있는 예제는 일부 있지만, 필자의 케이스에 정확히 맞는 것은 찾기 어려웠다. 이번 기회에 정리해두려고 한다. AWS에서 API 서비스를 하기 위해서 별도의 API서버를 만들 필요는 없다. AWS에서 제공하는 서비스로 충분히 구현이 가능하기 때문이다. AWS 람다와 API Gateway를 이용하면 된다. API 게이트웨이에서 AWS람다로 데이터를 전달하면, DB조회 후 결과를 반환하면 된다. 처음에는 S3에 데이터를 저장하고, boto3를 이용해서 쿼리를 날리려고 했다. 하지만, 이렇게 하니 연속되는 코드 상에서 쿼리 결과를 받지 못한 상태에서 다음 코드로 넘어가 에러가 발생했다. 그래서 A..

     2021.04.25
이전 1 다음

티스토리툴바