AWS 검색 결과
4 개의 검색 결과가 있습니다.
파이썬/파이썬 기초

파이썬 데이터 분석 학습, 실행만이 답이다!

요즘 빅데이터, 인공지능이 화두가 되면서 코딩과 데이터 분석을 배우려는 사람들이 많은 것 같다. 전공자가 아니라도 자기계발의 목적으로 관심을 가지는 사람들도 있다. 하지만 비전공자가 단순한 자기계발 정도의 목적으로 없는 시간을 쪼개 배우기는 쉽지 않다. 배움은 효능이 있어야 지속할 수 있다. 필자도 파이썬에 관심이 있어 독학으로 공부를 시작했고, 지금은 운이 좋아 약간의 부수입도 얻고 있다. 배우는 방법이야 여러가지가 있겠지만, 필자는 이 방법이 꾸준히 학습을 계속해 나갈 수 있는 좋은 방법이라고 생각한다. 그럼, 필자의 학습방법과 부수입을 얻는 과정까지 차례대로 한 번 알아보도록 하겠다. 1. 파이썬 기초는 최대한 빠르게! 파이썬을 배우는 것은 목적이 아니다. 시중에는 파이썬 기초 도서라고 해서 두꺼운..

2021. 6. 9. 07:27
AWS

AWS SageMaker Studio 일배치 실행하는 방법은?!

SageMaker Studio는 쥬피터랩과 같은 환경에서 원하는 인스턴스를 선택해서 실행할 수 있어 편리하다. 하지만, 일반 서버에서 작업하는 것과 거의 차이가 없어서, 신나게 알고리즘을 개발하고 나니 정작 일배치를 적용할 때 큰 어려움을 겪게 됐다. 필자와 같이 어려움을 겪고 있을 다른 사람들을 위해 SageMaker Studio에서 일배치 실행하는 방법에 대해서 다뤄보고자 한다. 인터넷을 찾아보면 SageMaker Studio에서 일배치로 실행하는 방법을 여럿 볼 수 있다. 그 중에 하나는 노트북 파일을 이용하는 것이다. 관련된 플러그인도 있는데, 이게 노트북 파일을 S3로 옮겨서 한다는 단점이 있다. 필자는 Custom이미지를 사용하고, 미리 작성한 다른 파이썬 파일도 이용해야 하기 때문에 이 방법..

2021. 7. 18. 08:15
AWS

AWS python(파이썬) RDS 데이터베이스 읽기 및 쓰기

AWS에서는 RDS(Relational Database Services)를 이용해서 기존에 잘 알려진 RDBMS를 사용할 수 있다. PostgreSQL, MySQL, MariaDB, ORACLE, Microsoft SQL Server, Amazon Aurora 등의 DB를 이용할 수 있다. 사용방법은 어렵지 않지만, 처음할 때는 모든지 생소하기 마련이다. 오늘은 AWS python(파이썬) RDS 데이터베이스 읽기 및 쓰기에 대해서 알아보도록 하겠다. 파이썬에서 RDS를 사용할 수 있는 방법은 다양하다. sqlalchemy를 이용하는 방법도 있고, AWS wrangler를 이용할 수도 있다. 여기서는 Amazon Aurora DB를 이용하는 방법에 대해서 알아보도록 하겠다. 우선 psycopg2 패키지가..

2021. 6. 9. 06:15
AWS

AWS python(파이썬) S3 파일 읽기 및 쓰기!

AWS는 파일을 S3에 저장하고, 아테나(ATHENA)로 쿼리를 날려 데이터를 조회하고 편집할 수 있는 구조를 가지고 있다. 아테나 쿼리는 속도도 빠르고, S3에 저장된 파일을 따로 접근할 수도 있어 사용해보면 생각보다 굉장히 편리하다. S3에는 그냥 일반 파일도 저장이 가능하다. S3에 저장한 파일을 읽고 쓰는 방법은 여러가지가 있다. 하지만, 잘 정리가 안 되어(?) 있는 것 같아 포스팅을 작성하기로 하였다. 오늘은 AWS python(파이썬) S3 파일 읽기 및 쓰기에 대해서 알아보도록 하겠다. 1. 판다스(pandas) 데이터프레임으로 읽고 쓰기 판다스는 read_csv나 write_csv등 파일로 읽고 쓸 수 있는 함수들을 가지고 있다. 여기에 S3주소를 넣으면 그대로 파일을 읽고 쓸 수 있다...

2021. 6. 8. 06:12
AWS

AWS API 사용법 및 서비스 만들기

AWS에서 DB에 있는 정보를 API로 수신 받고, 결과를 제공하는 서비스를 구현해야할 필요성이 생겼다. 찾아볼 수 있는 예제는 일부 있지만, 필자의 케이스에 정확히 맞는 것은 찾기 어려웠다. 이번 기회에 정리해두려고 한다. AWS에서 API 서비스를 하기 위해서 별도의 API서버를 만들 필요는 없다. AWS에서 제공하는 서비스로 충분히 구현이 가능하기 때문이다. AWS 람다와 API Gateway를 이용하면 된다. API 게이트웨이에서 AWS람다로 데이터를 전달하면, DB조회 후 결과를 반환하면 된다. 처음에는 S3에 데이터를 저장하고, boto3를 이용해서 쿼리를 날리려고 했다. 하지만, 이렇게 하니 연속되는 코드 상에서 쿼리 결과를 받지 못한 상태에서 다음 코드로 넘어가 에러가 발생했다. 그래서 A..

2021. 4. 25. 21:17