정리3 데이터엔지니어란? 1.역할 데이터를 대상으로 목적으로 가지고 작업을 하는 담당자 - DB, file , log 쓰기 좋게, 보기 좋게 만드는 작업 - 매일 수 TB씩 발생하는 데이터를 어떻게 하면 좀 더 편하게 관리할 수 있을까? => 데이터 엔지니어는 데이터를 기준으로 업무를 수행하는 사람 => 분석 및 기획단계에서 필요한 정보와 데이터를 가공하여 해당 업무를 수행할 수 있게 도와주는 업무 => 데이터 엔지니어는 데이터에 기반한 의사결정을 돕는 모든 업무에 관여합니다. #관리 관점의 DE => 관리 관점에서 데이터 엔지니어는 사고가 나더라도 대응할 수 있는 환경을 구축하는데 중점을 둡니다. #수립/구축 관점의 DE => DE 영역은 데이터를 가치 있게 만들 수 있는 분야와 협업을 통해 그 목표를 달성해 나갑니다. 2. .. 2023. 1. 31. Git , Github 차이 버전 관리가 필요한 이유 개발자 간의 협업을 위해 전체 개발 소스를 공유하면서 개발 파트를 나눌 수 있고 같은 모듈을 개발하더라도 소스를 공유하며 개발할 수 있기 때문! Git 오픈 소스 버전 관리 시스템(VCS: Version Control System) 로컬에서 버전 관리 소프트웨어 개발 및 소스 코드 관리에 사용 git은 본인의 코드와 그 수정내역을 기록하고 관리하도록 돕는 버전 관리 프로그램이며, 로컬에서 프로젝트의 기록을 스스로 관리할 수 있도록 해줍니다. git을 통해 브랜치를 생성하고 이전 브랜치로 복구, 삭제, 병합이 가능합니다. 하지만 로컬 저장소를 사용하기 때문에 다른 개발자와 실시간으로 작업을 공유할 수 없습니다. Github Git Repository를 위한 웹 기반 호스팅 서비스 .. 2022. 11. 27. 파이썬의 자료구조(List, Tuple, Set, Dictionary) 파이썬의 자료구조 List 순서가 있다. 리스트는 [ ] 로 둘러쌓여있다. list( ), 리스트는 그 값의 생성, 삭제, 수정이 가능 관련 함수 리스트에 요소 추가(append)리스트 안에는 어떤 자료형도 추가할 수 있다. 리스트 정렬(sort) sort 함수는 리스트의 요소를 순서대로 정렬해 준다.문자 역시 알파벳 순서로 정렬할 수 있다. 리스트 뒤집기(reverse)reverse 함수 : 리스트를 역순으로 뒤집어 준다. 이때 리스트 요소들을 순서대로 정렬한 다음 다시 역순으로 정렬하는 것이 아니라 그저 현재의 리스트를 그대로 거꾸로 뒤집는다 위치 반환(index) index(x) 함수는 리스트에 x 값이 있으면 x의 위치 값을 돌려준다. 리스트에 요소 삽입(insert) insert(a, b)는 리.. 2022. 4. 10. 이전 1 다음