뭔가 재미로 만들어볼만한게 있을려나?

 주로 하는 일이 쿼리를 짜거나 아니면 파이썬으로 코드를 짜는 일인데 뭔가를 만드는 일은 아니다. 아니, 분석하고 통계 모델을 만들거나 분석용 데이터를 만들지만 뭔가 사람들이 사용하는 서비스를 만들지는 않는다. 그러한 서비스를 만드는 사람들은 개발자라고 해서 별도의 직원들이 있고, 나는  서비스 기획을 주로 한다고 보면 된다. 지난 2년동안 일반 사용자들이 SQL을 몰라도 GUI를 통해서 마케팅 대상 고객을 산출하고 이를 발송할 수 있는 시스템과 연동되고 나중에 결과도 분석할 수 있는 시스템을 만들어서 이를 서비스중에 있다. 원래 여기 들어온 이유는 머신러닝 모델과 같은 일을 해보려고 온건데 처음부터 이런 시스템 기획 업무를 맡았고 어차피 모델 개발해서 적용하는 것이 있으니 크게 벗어나지 않는다고 생각했다.

 

 올해초에 프로젝트 하나 하고 하반기에 좀더 자연스러운 보고서 포맷을 만드는 일을 했고 거의 1년 반동안 준비했던 디지털 데이터 분석을 진행중이다. 씨티에서 있을때 가장 해보고 싶은 것이 디지털 분석이었지만 데이터의 한계도 있었고 Adobe Analytics라는 것이 워낙에 한계도 있어서 제대로 못했다. 그리고 내가 뭔가를 해보려고 하면 나는 다른 분석 업무를 맡던가 팀장으로 올라가던가 그것도 아니면 디지털팀을 제대로 만들고 나서는 다른 업무를 맡아야만 했다. 디지털이랑 인연은 없나보다 생각하기도 했지만, 이후에도 계속해서 해당 업무를 알아보고 있었고 꾸준히 쿼리나 분석 툴을 공부했다. 물론 가장 재미있고 어려웠던 것은 머신러닝이나 딥러닝같은 것을 공부하는 것이지만, 디지털 분석도 결이 좀 달라서 재미있다고 생각을 했다.

 

 지난 2년동안 아무도 신경쓰지 않았던 디지털 로그 데이터를 바닥부터 하나하나 차곡차곡 분석하고 어느 정도 데이터를 만들어갈 능력이 있었다. 다만, 모든 것을 새로 만들지는 않았고 뭔가 기반이 되는 데이터를 찾는 것조차 어려웠다. 그러나 작년에 새로운 테이블이 2개 생기고 다른 분석 업무를 시작하면서 차츰차츰 기반이 만들어지기 시작했고 그렇게 뭔가 이제 새로운 일을 할 준비가 되었다. 처음 시작할 때에는 거의 3주를 매달렸지만 데이터 근처도 가보지 못했고 쓸만한 데이터 구조를 익히는데도 시간이 걸렸다.

 

 데이터에 익숙해지고  어느 정도 로그데이터의 기능에 대해서 알아가는 와중에 내가 원하는 분석을 하기 위해서는 남들이 잘안쓰는 함수를 잘 써야만 했다. 특히나 윈도우 펑션을 잘 써야 했고 이것을 적용하기 위해서 비슷한 기능의 함수를 오라클, 임팔라 그리고 파이선으로 만들어서 분석을 진행해야 했다. 최근에 안 일인데 테라데이터에서는 NPath()라는 함수를 갖고 비슷한 기능을 많이 수행한다고 한다. 주로 함수를 여러 단계의 서브 테이블로 만들 수 있어야만 했다. 처음에는 이러한 윈도우 펑션을 효율적으로 사용할 줄 몰라서 엄청나게 고생했는데 요즘에는 그 정도로 힘들지는 않아졌다. 경험도 좀 쌓였고 다음에는 경로 분석 + 이탈 분석까지 함께 보여줄 수 있는 sankey chart도 만들려고 한다.