Category: Pointwell

어제(10/22) 오후 4시경 원인을 알 수 없는 서비스 장애 첫경험을 한 이후에 이런 저런 이야기를 썼었습니다.

여러가지 서비스 장애에 원인에 대한 가설을 세우고 분석 중인 상황입니다만 간단하게 결론이 도출될 것 같지 않습니다. 기술적인 장애도 문제였지만 20여분 간의 장애 발생 시간 동안 거래가 있었던 사용자들의 포인트가 꼬여서 수작업으로 필터링 하는 작업도 만만치 않았습니다.

일단 큰 틀에서 장애 후속 조치를 끝내고 시스템도 정상적으로 동작하는 것을 확인하고 직원들은 대부분 퇴근했습니다

그런데, 오후 8시경 완전히 다른 형태의 서비스 장애가 또 발생했습니다.

기존에는 DB 서버의 CPU 부하가 급격하게 증가하면서 DB connection이 꽉차는 문제가 20여분 동안 지속되었다면 저녁에 발생한 장애는 CPU 부하의 특이사항 없이 DB connection만 full이 되었다가 일시에 release되는 널뛰기를 반복하는 현상이었습니다. 가맹점이나 사용자 입장에서는 서비스 장애가 아니라 반응이 느린 현상으로 인식되어서 크게 이슈가 되지 않았지만 생전 처음 겪는 문제에 모두들 저만 쳐다보는데 경험이 없는 저로써도 멘붕이 될 수 밖에 없었습니다.

여기저기 전화로 지인 찬스를 쓰고, 일단 급한대로 DB 서버를 Upgrade하고 지켜보다 보니 다이소 매장의 영업시간이 오후 10시까지라 자연스럽게 트래픽이 줄어들어서 상황이 종료 되었습니다.

원인파악도 문제지만 원인 파악이 완료되더라도 재발 방지 대책 수립 및 사용자가 급증하는 상황에 맞춰서 안정적인 서비스를 제공할 수 있도록 외주가 개발한 시스템에 대한 전반적인 점검과 함께 튜닝과 리팩토링이 필요한 상황이 되었는데, 사업적인 타이밍을 놓치지 않기 위해서 시스템을 개발해야 하는 로드맵과 함께 기존 레거시 시스템에 대한 대대적인 개편이라는 어려운 숙제를 떠안게 되었습니다.

설립한지 6개월도 채 안되는 회사가 서비스 오픈하고 열흘도 안되어서 20만이라는 사용자를 가지고 레거시 운운하는 상황이 참 웃픕니다.

혹시나 장애가 또 발생할지 몰라서 시스템 모니터링하는 화면을 더 자주 보게 되는데 CPU 부하나 DB connection이 급증하면 심쿵이 장난이 아니고 결과적으로 하루 하루가 스펙터클하네요.

ps. 어제 장애가 발생했다는 글을 썼는데 오히려 ‘축하한다’는 반응이 압도적으로 많았습니다. ㅠ.ㅠ

이 글은 2015년 10월 1일부터 2016년 12월 31일까지 (주)포인트웰이라는 스타트업에 근무하면서 느낀 것을 개인 페이스북에 노트 형식으로 기록했던 것인데 호스팅 서버 이전 기념으로 블로그로 옮긴 것입니다.

---

비슷한 내용을 연거푸 올려서 페친 분들께서 스팸성 글로 인식하실 것이 뻔함에도 불구하고 입(손?)이 근질근질해서 못참고 개인 페북에 여러번 포스팅했던 내용입니다.

지금까지는 성공한 회사에 입사해서 성공 이후의 모습만 경험하거나, 한번 성공하고 후속 성공을 만들어내지 못해서 회사가 고전하는 경험만 했었지, 서비스 초기부터 폭발적으로 성공하는 것을 가까이서 지켜보는 것은 이번이 처음이다 보니 개인 페북을 빌어서 신기한 경험을 자랑하고 싶었었습니다.

회원이 폭발적으로 증가하다보니 이제는 찾아다니지 않아도 찾아오는 사업 기회들이 생기고, 기술과 솔루션만 가지고 있어서 회원 기반 플랫폼이 필요한 회사를 만나게 되면 금맥을 찾은 것 처럼 들뜨게 되고, 어쩌다가 사업의 전환점이 될만한 아이템을 찾게 되면 뒷골이 짜릿해지는 경험도 자주 하게 됩니다.

이렇게 매일 매일이 새로운 경험으로 가득차다 보니 구름위에 있는 듯 붕떠서 멍한 느낌이 들기도 하면서도 한편으로는 ‘이렇게 좋아도 되나?’라는 반문을 종종 했었습니다.

제가 딱히 뭔가를 하지 않아도.. 당장 할 수 있는 일이 없기도 해서 가까운 미래를 위한 준비부터 차근차근 하자고 마음먹고 이것저것 한뼘씩 앞으로 나가자는 목표를 세우고 구성원들이 Confluence에 익숙해질 수 있도록 이런 저런 사소한 노력을 해왔습니다.

또한, 지금까지 경험해 왔던 회사와 달리 갓 설립된 조직이다보니 미비한 점이 많고 특히 회사 돌아가는 것이 불투명한 점은 너무 어색하고 못참겠어서, 우선적으로 할 수 있는 운영 서버에 와탭(http://whatap.io)을 연결해서 서버 Instance 상태를 실시간 모니터링할 수 있도록 설정하고, DB 서버는 직관적으로 AWS 모니터링 화면을 누구나 볼 수 있도록 회사에 방치되어 있던 장비를 조합해서 설정을 했습니다.

다행(?)인지 불행인지 모니터링 장비 셋업하고 불과 몇십분이 지나지 않아서 DB 서버의 connection과 CPU load가 급격하게 증가하면서 서비스에 장애가 생겼고 회사 전화는 문의/항의 전화로 폭주했고 처음 겪는 비상 상황에 조직은 당황했습니다.

자연스럽게 모니터링 장비 앞이 상황실이 되었고 잘 모르지만 어설프게나마 그럭저럭 장애 조치를 했습니다. 지금은 장애 과정에서 발생한 오류에 대한 후속조치와 재발 방지를 위한 원인 파악을 하느라 모두들 상당히 분주합니다. (분주한 와중에 저는 또 이 글을 쓰고 있네요… ㅡ.ㅡa)

‘호사다마’이면서 ‘전화위복’이 된 이번 장애는 놀라운 성과에 취해서 붕붕 떠 다니던 직원들의 마음을 다잡는 계기가 되었고 서비스 초기에 발생했기 때문에 그나마 크지 않은 비용으로 복구가 가능할 것으로 보이고 사업적으로도 치명적이지 않을 수 있었다고 생각합니다.

이 글은 2015년 10월 1일부터 2016년 12월 31일까지 (주)포인트웰이라는 스타트업에 근무하면서 느낀 것을 개인 페이스북에 노트 형식으로 기록했던 것인데 호스팅 서버 이전 기념으로 블로그로 옮긴 것입니다.

---

원문 발행일: 2015년 10월 16일

드디어 오늘 회사에서 추진하던 서비스를 그랜드 오픈하였습니다.

물론 제가 기여한 게 하나도 없어서 다운로드와 Google play 리뷰, 피드백 등 기타 등등 도와주십사 부탁하기 민망한 처지입니다만 제가 앞으로 발전시켜 나가야 하는 서비스이다 보니 애착을 가지고 있습니다.

9월 중순부터 인천지역 다이소 직영점을 대상으로 Closed beta 서비스를 진행했는데 놀라운 성장 그래프와 함께 90%에 육박하는 Retention rate는 경이롭기까지 했습니다. 이래서 사람들이 포인트와 리워드 등의 서비스를 하는 것인가 하는 생각이 들더군요.

대략 2년반 전에 kth를 나오고(짤리고?) 여기저기 면접 보러 다니던 시절에 지금 회사 사장님에게 면접을 봤었습니다. 당시 건대 부근 상권을 대상으로 직원들이 일일이 발품을 팔면서 지금과 동일한 컨셉의 서비스로 가맹점을 모으고 있었고, 저는 kth에서 지켜봤던 아임인, 푸딩투, .. 등의 소위 가오 나오는 B2C 서비스에 삘이 꽂혀 있었던지라 큰 의미 없이 지나쳤었습니다.

Founder분들의 우여곡절 끝에 지금과 같은 사업 구조를 갖춘 후에 그림을 다시 보니 단순 포인트 사업이 아닌 예전에는 알아보지 못했던 소위 가오 나오는 데이터 비지니스로 진화할 수 있는 여지가 많다는 생각을 하게되었습다. 원래 연말까지 이런저런 기능을 붙여서 추가 개발 계획이 있었는데 지금 이런 급격한 성장세에서 우리에게 필요한 것은 추가 기능이 아니라 성공에 대한 준비라는 생각이 들어서 예정보다 빠른 개발팀 셋업을 시작하게 되었습니다.

여유 있을때 Founder 분들과 티타임을 하거나 사무실에서 격의없이 담소를 나누곤 하는데, 소위 장미빛 실적이 받혀주니 이런 저런 꿈을 꾸는 것이 공상이 아니라 가까운 미래에 실현될 수 있는 현실이고 가벼운 담소에서 사업의 방향과 전략들이 끊임 없이 튀어나오는 벅찬 경험은 kth 이후에 가장 그리웠던 감성이기도 했습니다. 처음에 긴가민가 했던 사업이 이야기를 나눌수록 머리속에서 더 명쾌해지고 ‘이런 상황에서 스타트업을 실패하면 도대체 어떤 사업을 성공할 수 있는거지?’라는 생각까지 하게 됩니다.

어제는 기존 외주개발사를 대체할 개발 파트너사를 찾느라 한 업체를 만나서 이야기를 나누는데, 그 업체가 추진하다가 좌절된 프로젝트와 우리 사업이 너무 잘맞고 협업 시에 시너지가 날 것 같은 느낌이 들어서 회사에 들어오자 마자 그 업체와 사장님이 만날 수 있도록 별도 meeting을 arrange 하였습니다.

사업 성공에 대한 절박함이 있기도 하고, 조직이 작다보니 빠른 의사결정이 많은 기회를 만들어 준다는게 이런 모습이라는 것을 직접 느끼는 계기가 되었습니다.

이 글은 2015년 10월 1일부터 2016년 12월 31일까지 (주)포인트웰이라는 스타트업에 근무하면서 느낀 것을 개인 페이스북에 노트 형식으로 기록했던 것인데 호스팅 서버 이전 기념으로 블로그로 옮긴 것입니다.

---

주식회사 포인트웰은,
생활용품 대표기업 다이소를 포함한 유통, 무역 분야 전문 한웰그룹의 유통분야 계열사입니다.

2015년 10월 다이소멤버십 서비스를 시작으로 제휴사에게는 무료 멤버십 서비스를 제공하고 고객에게는 포인트를 통한 할인 혜택을 제공하는 상생 모델로 320조 오프라인 유통 구조 상의 고객들 매장, 그 안에 24시간 발생하는 구매와 결제 간의모든 거래를 위한 데이터를 분석하여, 프랜차이즈, 광고주, 그리고 그 데이터를 활용하고자 하는 모든 이들이 필요로 하는 정보를 시각적으로 만들어 내는 미래형 데이터 마케팅 기업입니다.

---

원문 발행일: 2015년 10월 15일

오늘로 (세미?)스타트업으로 이직한지 날짜로는 보름째, 실제 근무한 날로는 열흘 남짓 되는 것 같습니다. 저도 그 동안 글로 배우고 말로만 ‘스타트업’을 외쳤지 진짜로 스타트업에 깊숙히 들어와서 현실을 체감하는 것은 처음이라 가끔 느끼는 바를 공유하고자 합니다.

저희 회사도 올 4월에 창업할 때 구성원은 2명이었고 기획/사업 구성원들은 채용을 했는데, 대부분의 스타트업이 그렇듯 개발은 외주로 시작했습니다. 외주 개발사는 과거 3년여간 Founder들과 같이 일을 해온 신뢰가 두터운 나름 믿음직한 업체였습니다.

하지만, 제가 입사 후 마주친 개발의 품질은 외주 개발사와 Founder들의 두터운 신뢰와는 달리 형편 없는 수준이었고 소위 ‘갑’이 ‘을’에게 을질을 당하고 있었고, 스타트업 구성원들의 절박함과 열정이 개발사와의 지루한 줄다리기로 소모되는 현실이었습니다. Founder들이 개발사에 무한 신뢰를 주고 있었지만 막상 외주 개발사는 외주 그 이상도 그 이하도 아닌 수준으로 개발을 진행하고 있었습니다. 회사에 개발을 아는 구성원이 없다보니 Detail한 개발 요구사항을 만들지 못했고 개발 품질을 관리하지 못했으며 결과적으로 개발은 눈에 보이는 것만 문제 없도록 진행되고 있었습니다. 이대로 더 진행이 된다면 사업 성공 눈앞에서 legacy의 한계 때문에 좌절할 것 처럼 보였습니다.

마음 같아서는 당장 개발사를 바꾸고 싶지만 그 동안 개발을 진행하면서 문서 한장 없이 진행이 되었기 때문에 개발사가 ‘안해!’라고 배째모드가 되면 사업을 접어야 하는 위기 상황이 불보듯 뻔해서 눈물을 머금고 인내하고 있습니다.

이러한 현실로 인해서 내부 개발조직 셋업이 저희 회사가 당면한 가장 큰 현안이고 제 주요 미션이기도 합니다.

그렇다고 다 아시다시피 내부 개발조직 셋업도 사업만큼 절대 수월한 작업이 아닙니다. 저 같아도 이왕이면 ‘네*버’, ‘카*오’, ‘SK플*닛’, … 같은 쟁쟁한 업체에서 고수들과 같이 일하고 싶지 언제 망할지 모르는 스타트업에서 청춘을 보내기는 싫을 것입니다.

Founder들이 회사를 창업하면서 가진 열정과 제가 이 회사에 합류하게 된 동기가 다르듯이, 동료가 되었으면 하는 개발자들이 왜 이 회사로 와야 하는지에 대한 당위성을 제가 증명해야 했습니다. 유일하게 사용할 수 있는 무기는 각 개인에게 잠재되어 있는 ‘숨은 열정’을 찾아서 그 열정을 펼쳐볼 수 있다는 희망을 보여주는 것인데 이 또한 점쟁이 수준이 되어야 가능한 일이라고 보였습니다.

요즘 영입하고 싶은 몇몇 분을 만나뵈면서 나름 제가 생각하는 ‘비전’을 공유하고 제 열정을 보여드리고 있습니다. 만나서는 왜 저와 같이 일해야 하는지 당위성에 대해서 열변을 토하지만 뒤돌아서서는 내가 저 사람 인생을 책임질 수 있을까? ‘만에 하나’라는 상황도 있는데 나중에 관계가 틀어지지 않을까 하는 걱정도 많습니다.

하지만 저는 kth에 입사할때 느꼈던 설레임을 지금 회사에서 다시 느끼고 있습니다.