본문 바로가기

분류 전체보기209

[AWS] AWS 란? Elice Ai Track에서 제공하는 강의자료를 바탕으로 작성하였습니다. AWS - Intro 1. 개념 데이터 센터 가상화 - 논리 서버 (가상머신) 클라우드 3-Tier Architecture : Web server (정적 컨텐츠), API server (동적 컨텐츠), Database AWS에서 제공하는 서비스로 손쉽게 웹 서버를 만들 수 있다. 2. 글로벌 인프라 리전 (Regions) 물리적인 데이터센터 클러스터 단위 가용 영역 (Availability Zone: AZ) 지리적으로 분리된 1개 이상의 데이터센터 AZ를 분리한 이유: 내결함성과 고가용성을 유지하기에 적합한 구조 엣지 로케이션 (Edge Location) 전 세계적으로 통신사와 협업하여 빠른 네트.. 2022. 4. 14.
[#1] Docker, Docker compose를 이용한 개발 환경 구축 0. 개요 포트폴리오 공유 웹사이트 프로젝트를 진행했다. 프론트의 react-app과 백엔드의 nodejs-app으로 나누어 작업을 했다. 당시 프로젝트를 배포를 할 때에는 VM을 활용해서 배포를 진행했지만 프로젝트가 끝난 후 '데이터 엔지니어링/데브옵스' 스터디에서 클라우드 / AWS / Docker / Docker compose / Kubernetes 까지 학습을 진행하였고 나는 배운 내용을 직접 진행했던 프로젝트에 적용해봄으로써 공부한 내용을 실습해볼 예정이다. 해당 포스팅은 기본적인 개념 공부를 마친 후 실습을 기록하는 포스팅이므로 기본 개념은 숙지된 가정하에 기록한다. 1. Docker 개념 Docker에 대한 개념은 나의 깃허브에도 정리되어 있으며 블로그 또는 Docker Docs를 통해 학습.. 2022. 4. 14.
[독서] 분산 처리 프레임워크, 빅데이터를 지탱하는 기술 3장. 빅데이터의 분산처리 3-1. 대규모 분산 처리의 프레임워크 구조화 데이터와 비구조화 데이터 구조화된 데이터 : 스키마가 명확하게 정의된 데이터 (ex. 테이블) 비구조화 데이터 : 스키마가 없는 데이터 > 스키마리스 데이터 기본 서식은 있지만, 스키마 정의 안 됨. > 데이터 구조화의 파이프라인 테이블 형식으로 열 지향 스토리지 장기 보존 구조화 데이터 중 시간에 따라 증가하는 데이터 -> 팩트 테이블 > 열 지향 스토리지의 작성 분산 스토리지 상에 작성해 효율적으로 데이터를 집계 MPP 데이터베이스 Hadoop : 직접 열 지향 스토리지 형식, 쿼리 엔진 선택 비구조화 데이터 -> 열 지향 스토리지 : 많은 리소스 소비 그래서 Hadoop, Spark 등 분산 처리 프레임워크 필요 Hadoop .. 2022. 4. 13.
[Docker] push 에러 해결하기 : An image does not exist locally with the tag 1. Dockerfile을 이용해서 이미지 생성 docker build -t node_portfolio_app:0.0.1 . 2. DockerHub에 이미지 push 1차 시도 docker push node_portfolio_app:0.0.1 2차 시도 Docker Hub를 참고해서 다시 push docker push 아이디/node_portfolio_app:0.0.1 이때 내 이미지 파일의 이름이 node_portfolio_app:0.0.1 임을 깨닫고 이미지 파일의 이름을 변경했다. 3. 이미지 이름 새로 생성 docker image tag node_portfolio_app:0.0.1 아이디/node_portfolio_app:0.0.1 4. 다시 push docker push 아이디/node_port.. 2022. 4. 12.
[독서] 데이터 마트, 빅데이터를 지탱하는 기술 2장. 빅데이터의 탐색 2-4. 데이터 마트의 기본 구조 BI 도구로 분석하려면 데이터 마트 필수! 최근: BI 도구와 MPP 데이터베이스를 조합하여 크로스 집계하는 경우 증가 시각화에 적합한 데이터 마트 == 'BI 도구를 위한 비정규화 테이블을 만드는' '트랜잭션' : 시간과 함께 생성되는 데이터를 기록한 것 '마스터' : 트랜잭션에서 참고되는 각종 정보 > in 데이터 웨어하우스 트랜잭션 -> 팩트 테이블 마스터 -> 디멘젼 테이블 스타 스키마 : 팩트 테이블을 중심으로 여러 디멘전 테이블을 결합한 형태 > in 데이터 마트 팩트 테이블을 중심으로 여러 디멘전 테이블을 결합 MPP 데이터베이스 보급 (열 지향 스토리지) -> 칼럼 단위 데이터 저장 -> 칼럼 수가 성능에 영향.. 2022. 4. 11.
길 [ 길을 따라가며 ] 작년 5월쯤에 친구랑 경주에서 자전거를 탄 적이 있다. 자전거를 타고 있으니깐 휴대폰으로 길을 찾기도 어렵고 “날씨도 좋은데 아 그냥 막 달려보자” 하면서 무작정 달리는데 매번 갈림길이 나오고 항상 선택을 해야 하는 순간이 왔다. 그냥 내키는 대로 일단 달려봤다. 달리면서도 “아~ 우리 이렇게 막 가고 싶은 대로 가도 되나? 나중에 다시 길 어떻게 찾아서 돌아가지? 너무 멀리 와버린 것 같은데? 좋긴 좋은데 대체 여기가 어디야!”라는 말을 하면서도 일단 계속 길을 따라갔다. 신기하게도 그냥 갈레 갈레 가다 보니 반납 시간에 맞게 다시 알던 길로. 우리가 돌아가려고 했던 길로 도착해 있었다. 그날 많은 걸 느꼈다. 아 길이라는 게 쭉 일자로 뻗어있는 게 아니라 어떤 길은 돌아서 결국 .. 2022. 4. 11.
프로젝트 대상 😊🎉 2022. 4. 1.
[엘리스AI트랙] 1차 프로젝트 회고 ✔️ 프로젝트 기간: 22/03/15 (화) ~ 22/03/26 (토) ✔️ 발표 및 배포: 22/03/27 (일) 1. 느낀 점 이번 프로젝트에서 가장 크게 느낀 점은 팀프로젝트의 소통과 피드백의 중요성이다. 혼자 하는 프로젝트가 아니기 때문에 내가 맡은 일을 끝내더라도 프로젝트 전체 흐름을 잘 따라가야한다. 또한 내가 부족하고 힘들 때 팀원 모두가 도와주고 끌어주어 정말 지치지 않고 할 수 있었다. [ 소통과 피드백 성공편 ] 우리 팀의 2주간 팀업 방식은 다음과 같다. ( 오전 10시 ) 모닝 스크럼 : 미팅 시작 전 감정온도를 체크한다. 서로의 감정온도를 체크하면 팀원의 컨디션 체크. 오늘 개발할 파트를 나누고 전 날 해결하지 못한 issue에 대해 이야기한다. gitlab에 미팅 로.. 2022. 3. 29.
[포트폴리오 공유 웹 서비스] 2022년 3월 26일 회고 2022년-3월-26일 Retrospection 1. 오늘 한 일 방명록 CSS 좋아요 조회 API 설계 freeboard, comment 스키마 수정 회원 탈퇴 기능 구현 2. 어려움을 겪은 일 초반 스키마 설계가 잘못돼서 프론트 코드까지 같이 수정했다. freeboard 스키마에서 게시글 작성 시간을 넣어서 게시글에 시간을 표시하고 있는데 게시글 작성 시간이 자꾸 멈춰있었다. 시간 부분 스키마를 확인하니 created_at으로 처음 시간을 기본 값으로 저장하게 되어있었다. 그래서 이 부분을 { timestamps: true, } 로 몽구스 스키마 옵션을 걸었다. 그리고 수정할 때마다 시간이 변경되도록 프론트에서는 updatedAt 값을 랜더링 하도록 설계해서 문제를 해결했다. 3. TIL ( Toda.. 2022. 3. 29.
[포트폴리오 공유 웹 서비스] 2022년 3월 25일 회고 2022년-3월-25일 Retrospection 1. 오늘 한 일 Freeboard 게시판 front 작업하기 Freeboard-Comment-back Get, Put API 구현 Freeboard CSS 2. 어려움을 겪은 일 처음 User 코드 설계에서 User_id 를 mongoDB의 objectid가 아닌 새로 유니크값을 넣은 id로 넣다보니 관계형 DB 처럼 Reference를 줄 수 없어 스키마 구조가 비효율적인 것을 느꼈다..! Comment에서 처음 연결 짓다보니 populate 하는 부분을 이해하는게 어려웠다 ㅠㅠ 강의 다시 복습해야지.. 3. TIL ( Today I Learned ) 1) 3계층 구조로 되어 있으면 폴더 간의 연결을 잊을 때가 있다. 연결이 정확하게 되어 있는지 확인할.. 2022. 3. 25.
[포트폴리오 공유 웹 서비스] 2022년 3월 24일 회고 2022년-3월-24일 Retrospection 1. 오늘 한 일 Freeboard 게시판 front 작업하기 Certificate-Mvp Put 요청 데이터 전송 오타 수정 2. 어려움을 겪은 일 프론트를 잠시 쉬었다고 뇌가 거부한다..! CSS 작업을 하니 작업의 속도가 붙지 않아서 힘들었다! 또한 Following 기능을 프론트에 넘겨줬을 때 프론트에게 어떻게 데이터를 주어야지 사용하기 좋을지 고민해야한다는걸 알았다..! ( 스키마 구성하는게 중요하군..!) 3. TIL ( Today I Learned ) 1) Push하기 전에 merge 취소하기 4. 오늘 느낀 점 프론트 작업의 과정도 이해하고 고려하면 더 좋은 백엔드 코드도 작성할 수 있는 것 같다. 다른 개발자가 작성하던 코드(이미 짜여진 코.. 2022. 3. 24.
[포트폴리오 공유 웹 서비스] 2022년 3월 23일 회고 2022년-3월-23일 Retrospection 1. 오늘 한 일 Following-back 기능 3 계층 구조 설계하기 Following-back-모든팔로우 조회 API 완성 Following-back-모든팔로우 조회 API 명세서 작성하기 User-Mvp Put 요청 비밀번호 해쉬화 버그 수정 2. 어려움을 겪은 일 User-Mvp Put 요청 시 비밀번호 해쉬화 코드 버그 수정! 프로젝트하면서 깃 충돌은 첫날 한번 이외에 없었는데..! 오늘 잘못 다른 branch에 잘못 merge 해버렸다! push 하기 전이라 기록이 남지 않고 되돌릴 수 있었다! 3. TIL ( Today I Learned ) 1) Push하기 전에 merge 취소하기 https://www.npmjs.com/package/mul.. 2022. 3. 23.
[포트폴리오 공유 웹 서비스] 2022년 3월 22일 회고 2022년-3월-22일 Retrospection 1. 오늘 한 일 새로운 기능 회의 및 API url 설계 코드리뷰 바탕으로 Update API Code Refactoring ( + 비밀번호 해쉬화 추가 ) 이미지 업로드 기능을 위해서 multer 모듈 공부 2. 어려움을 겪은 일 이미지 업로드 기능 생각보다 쉽지 않네... 배포를 고려해야하니.. 안되면 되게 하라..! 근데 어떻게 하지..? (능력자님 믿습니다..!) 3. TIL ( Today I Learned ) 1) Update 할 때 한번 요청으로 수정하기 $set 연산자 사용 https://docs.mongodb.com/v3.0/reference/operator/update/set/ $set — MongoDB Manual Navigation T.. 2022. 3. 22.
[포트폴리오 공유 웹 서비스] 2022년 3월 19일 회고 2022년-3월-19일 Retrospection 1. 오늘 한 일 일요일에 있을 코드 리뷰를 대비해서 클린코드 작성하기 클라우드 컴퓨팅 기초 공부 2. 어려움을 겪은 일 음.. gitlab에서 dev branch에 feature branch를 더 만들고 local에서 dev branch에서 pull 해야하는데 안하고 checkout 시도한것?! 3. TIL ( Today I Learned ) 1) 오피스아워 시간을 통해서 3 Layer Architecture에 대해서 제대로 숙지했다! https://velog.io/@hopsprings2/%EA%B2%AC%EA%B3%A0%ED%95%9C-node.js-%ED%94%84%EB%A1%9C%EC%A0%9D%ED%8A%B8-%EC%95%84%ED%82%A4%ED.. 2022. 3. 19.
[포트폴리오 공유 웹 서비스] 2022년 3월 18일 회고 2022년-3월-18일 Retrospection 1. 오늘 한 일 dev branch로 merge 프론트에서 작업하기 편하도록 스키마 수정 (type을 string에서 date로) Delete 기능 feature branch 추가 certificate, project에 Delete API 추가 2. 어려움을 겪은 일 음.. gitlab에서 dev branch에 feature branch를 더 만들고 local에서 dev branch에서 pull 해야하는데 안하고 checkout 시도한것?! 3. TIL ( Today I Learned ) git flow에 대해서 공부 https://techblog.woowahan.com/2553/ 우린 Git-flow를 사용하고 있어요 | 우아한형제들 기술블로그 {{it.. 2022. 3. 18.
반응형

티스토리툴바