반응형 데이터 직군2 데이터 직군 데이터 엔지니어 엔지니어는 데이터를 수집하고 저장하는 역할 수행 추가적으로 시각화를 통해 더 나은 데이터 결과를 제공하는 역할 수행 즉, 데이터 생성 → 수집 → ETL → 시각화 의 과정을 엔지니어가 수행 초기 스타트업은 데이터 수집, 분석에 Google Analytics를 많이 사용 이는 프론트엔드에서 데이터 수집 코드 작성 시 데이터 저장과 시각화까지 전부 손쉽게 가능하기 때문 하지만 기업 입장의 커스터마이징이 힘들기 때문에 결국 엔지니어가 직접 데이터 환경을 구축하게 됨 데이터 파이프라인 데이터 파이프라인: 데이터의 생성 이후 여러 서버를 거쳐 최종 DB에 저장되는 전반적인 과정 따라서 데이터 엔지니어의 업무 ≈ 데이터 파이프라인 구축 이라 할 수 있음 데이터 파이프라인 구축은 데이터와 관련된 서.. 2023. 7. 26. 데이터의 전체 프로세스 개요 IT 회사에서 데이터는 정말 중요 오프라인 매장에서 고객들이 방문하는 것과 달리 온라인은 프론트엔드(웹, 앱)등을 통해서 접근하므로 유저의 방문, 행동 등의 정보를 얻기 위해서는 해당 채널에서 데이터를 수집해야 함 실제로 우리가 사용하는 대부분의 웹에서는 행동 정보를 수집하고 있음 사이트에서 머무는 시간, 스크롤, 클릭 등의 유저 로그 정보들은 전부 데이터화되어 저장됨 데이터의 전체 프로세스 IT 회사에서 처리하는 데이터 프로세스는 크게 아래와 같이 정리할 수 있음 데이터 생성 데이터 수집 데이터 가공 후 저장(ETL) 데이터 시각화(BI) 데이터 분석 데이터 생성 데이터를 얻기 위해서 가장 먼저 데이터 생성이 필요 데이터 수집은 보통 유저가 사용하는 웹, 앱에서 발생 결제하기 버튼을 클릭, 상품페.. 2023. 7. 26. 이전 1 다음 반응형
