전체 글

20220619_TIL

1. 하둡 & 스파크 친해지기 1) 강의 듣기 [토크ON세미나] 아파치 하둡 입문 3강 - 하둡 분산파일시스템 이해(1) 마스터-슬레이브 구조 - 하둡을 비롯한 대부분의 분산 파일 시스템이 이 구조를 채택 - 항상 마스터의 안정성을 보장하기 위해 마스터에서는 데이터 처리 X 구글 플랫폼의 철학 - 한대의 고가 장비 < 여러 대의 저가 장비 - 데이터는 분산 저장 (parallel vs distributed, parallel은 cpu 코어수, distributed는 데이터 중심) - 시스템(H/W)은 언제든 죽을 수 있다 - 시스템 확장이 쉬워야 한다 하둡 특성 - 수천대 이상의 리눅스 기반 범용 서버들을 하나의 클러스터로 사용 - 마스터-슬레이브 구조 - 파일은 블록(block) 단위로 저장 - 블록 데..

20220617_TIL

TIL 시작 계기 고민을 하다가, 뭐라도 기록을 하면 도움이 되지 않을까...해서 TIL을 시작하게 되었다. (물론, 언제까지 할 수 있을지는 모른다.) 단순, 기록용이다. 최소한 카카오 인턴십이 끝날 때까지는 하고 싶은데, 얼마나 힘들지 가늠이 가지 않기 때문에 확언은 하지 않겠다. 카카오 인턴에 합격하고 기분이 좋은 것은 잠시, 걱정이 이만저만이 아니다. 직무에 대한 공부를 진행하고 있는데 어렵다. 하지만, 하루에 1%씩 성장한다는 마인드로 차근차근 공부해보자! 1. 데이터 엔지니어링 면접때 데이터 엔지니어링 직무에 대한 질문을 시원하게 답하지 못했던 것 같았다. 따라서, 직무에 대한 이해를 돕기 위해 카카오 기술 블로그의 글을 읽었다. 1) 데이터 엔지니어링이란 https://tech.kakao.c..

2022 카카오 인턴 합격 후기

2022년 6월 10일 금요일 카카오 인턴 Data Engineering 분야 합격을 통보받았다. 그동안 실질적으로 혹은 정신적으로 도움받았던 수많은 후기글들을 생각하며 대학시절부터 취준과정을 정리해보았다. 1. 대학시절 이 글은 특히 대학시절을 정말 열심히 놀았고 꿈이 생겨 다시 시작하는 사람들에게 바치는 글이 될 것이다. 그 이유는 내가 그랬기 때문이다. 기둥이 약하면 집이 흔들리듯이 1학년때 너무 열심히 놀아버리니까 2학년이 힘들었고 군대를 갔다온 후에도 쉽지 않았다. 그렇게 졸업때 받은 학점은 3이 조금 못미치는 2점대.. 정말 내놓기 부끄러운 수준의 학점이다. 꿈이 생기기 시작했던건 졸업과제 프로젝트였다. 표정인식을 통한 이모티콘 생성기라는 CNN 알고리즘 기반 딥러닝 프로젝트를 하게 되었는데 ..