헥토데이터 팀

[코드에프 팀터뷰 #7] 스크래핑팀을 소개합니다.

작성자 hectodata 2022.11.24

핀테크 업계 종사자라면 스크래핑에 대해 한 번쯤은 들어보셨을 겁니다. 스크래핑이란, 흩어져 있던 개인의 금융 정보를 한눈에 볼 수 있도록 모아주는 기술로, 핀테크 서비스의 핵심요소이기 때문이죠. 이번 팀터뷰 시간에는 코드에프 서비스의 근간을 담당하고 있는 스크래핑팀의 민철님과 선식님을 만나보았습니다.

Q. 안녕하세요. 간단한 자기소개 부탁드립니다.

민철 : 안녕하세요 스크래핑팀 팀장 강민철입니다.

선식 : 안녕하세요. 스크래핑팀 양선식입니다. 입사한지는 반년 정도 지났고, 일에 재미도 붙이고 즐겁게 회사 생활하고 있습니다.

Q. 코드에프 스크래핑팀의 역할이 궁금합니다. 그리고 각자 어떤 업무를 담당하고 계시나요?

민철 : 스크래핑팀은 데이터를 수집하여 정제한 뒤 고객사의 서비스가 원활히 운영되도록 데이터 모음을 제공하는 역할을 하고 있습니다.

예를 들어 설명하자면, 은행에서 비대면으로 대출을 신청할 때 별도로 제출하는 서류가 없더라도 신청자 정보를 기반으로 데이터를 끌고 와서 전달하는 중간 다리라고 보시면 돼요. 고객 정보가 담겨져 있는 데이터에서 하이픈이나 점 같이 필요 없는 것들은 정리해서 은행에 전달하는 거죠. 저희 고객사인 은행은 정제된 데이터를 보고 문서를 따로 내려받지 않더라도 대출을 신청하는 사람이 회사에 근무 중인지, 가족 구성원은 어떻게 되는지 등의 정보를 읽을 수 있습니다.

저는 이러한 일련의 과정을 관리하는 업무를 담당하고 있고요😄

선식 : 스크래핑은 인터넷에 있는 고객의 개인/금융 정보에서 필요한 정보만 가공하여 제공하는 기술입니다. 저희는 이러한 기술을 Espider와 CODEF API를 통해 고객에게 제공하고 있고요.

저는 Espider와 CODEF API를 구성하는 ‘모듈’을 개발하고 운영하는 업무를 맡고 있습니다. 여기서 모듈은 원하는 데이터를 끌고 오고, 정제하는 과정을 담당하는 일종의 프로그램이라고 보시면 됩니다.

▶︎ 스크래핑이 뭔지 자세히 알고 싶다면? 코드에프의 콘텐츠를 참고해 보세요

스크래핑과 API, 뭐가 다르죠?
핀테크 시대를 선도하는 마법 ‘스크래핑(Scraping)’, 오픈 API를 만나다

Q. 두 분의 하루 루틴이 궁금합니다.

민철 : 출근하면 가장 먼저 저희가 제공하고 있는 스크래핑 서비스들이 잘 돌아가는지 테스트합니다. 이걸 오전 테스트라고 부르는데, 고객들이 계속 사용하고 있지만, 내부적으로 저희가 한 번 더 점검하고 이상이 있진 않은지 확인하는 거죠.

그리고 개발 일정 관리를 합니다. 누가 어떤 업무를 맡았고, 얼마나 진행되었는지 파악하고요. 나머지 시간에는 팀원들이 업무적으로 모르는 부분을 체크하고 보조하는 관리 업무를 합니다.

선식 : 저도 오전 테스트는 동일합니다. 모듈들이 정상적으로 동작하는지, 기존에 만들어 둔 케이스에 따라 테스트를 진행합니다. 그다음에는 서비스 운영팀을 통해 들어온 모듈의 오류나 고객들의 문의를 처리하죠.

신규로 모듈을 개발해야 하는 경우 팀장님이 잡아주시는 일정에 따라 모듈 작업도 합니다. 운영과 신규 개발 업무의 비율을 따지면, 7 대 3 정도 되는 것 같아요.

color_01_1604_900

Q. 개발을 시작하게 된 계기가 있나요?

민철 : 중학교 때 컴퓨터학원에서 나모 웹 편집인을 배웠는데 재미있더라고요. 그 뒤로 개발자가 되고 싶다고 생각했어요. 그 당시에는 개발자라고 안 하고 프로그래머가 되고 싶다고 했는데, 프로게이머라고 오해받아서 ‘그거 안된다, 다른거 해라’는 이야기를 많이 들었어요😂 아무튼, 중학교 때부터 쭉 컴퓨터랑 관련된 일을 하고 싶었고, 한 번도 꿈이 바뀐 적이 없었어요.

선식 : 어려서부터 수학을 좋아했습니다. 잘하진 못했지만... 대학 진학하면서 유망한 전공들을 선택해서 지원했는데, 합격한 곳이 정보통신학부였고 자연스럽게 전공을 살리게 되었네요. 배울 때는 어려웠지만 수학이랑 비슷한 느낌으로 좋아하게 됐어요. 정답을 찾았을 때의 기쁨이 컸거든요. 지금도 즐기면서 일하고 있어요.

그 당시에 학부에서 프로그래밍 쪽 전공을 선택했고, 졸업 요건으로 프로그램 개발을 하면서 물 흐르듯 이쪽으로 왔는데, 신중하게 선택했던 것은 아니었지만, 지금 돌이켜 보면 정말 좋은 선택이었던 것 같아요.

Q. 코드에프에 합류하시기 전에는 어떤 일을 하셨나요?

민철 : 지금이랑 동일하게 스크래핑 관련된 일을 했습니다. 신입 때도 의도한 바는 아니었지만, 스크래핑 업무를 맡게 되어서 쭉 같은 일을 한지 벌써 7년이 되었네요.

선식 : 챗봇 관련 웹 개발도 했었고, 이메일 푸시・문자 등을 기반으로 대량으로 메시지를 전달하는 발송 엔진을 다루기도 했습니다. 스크래핑은 코드에프에 와서 처음 접했어요. 이때까지 해왔던 업무와 성격이 많이 달라서 해오던 일들에서 배운 것들을 적용해 나가고 있습니다.

Q. 여러 회사 중 코드에프를 선택한 이유가 있으신가요?

민철 : 코드에프가 희남이던 시절에 함께 했었는데, 감사하게도 다시 합류를 제안해 주셨어요. 예전에 같이 일했던 분들에 대한 기억이 좋았기 때문에 돌아오게 되었습니다.

선식 : 신입 시절에 인연을 맺은 태영님이 감사하게도 입사 제안을 해주셔서 오게 됐어요. 저에겐 그 이유가 가장 컸죠. 그리고 회사에 와서 보니, 수평적인 문화가 좋았어요. 말로만 수평적인 곳이 더러 있는데 코드에프는 이미 자리 잡은 상태더라구요. 일도 합리적으로 한다는 인상을 받았고, 모든 사람들이 업무할 때 구김살이 없어서 좋아요.

Q. 일을 합리적으로 한다는 인상 어디서 받으셨나요?

선식 : 업무 이슈가 터졌을 때 가장 효율적인 방식으로 움직인다는 점에서 느꼈어요. 제가 겪었던 다른 회사들은 누군가가 업무를 잘 몰라도 ‘일단 해봐’라는 분위기가 있었어요. 물론 이 과정에서 배우고 성장할 수 있다는 건 좋지만, 상대적으로 처리 속도에 있어서는 문제가 될 수 있거든요.

스크래핑팀에서는 만약 밤에 급히 처리해야 일이 생겼다면, 민철 팀장님이 먼저 나서서 일을 해결하시는 편이에요. 스크래핑 업무 경험이 적은 사람보단 내용을 잘 알고 있는 팀장님이 움직이는 게 가장 빠르고 정확하다는 것을 아는, 합리적인 일 처리 방식인 거죠.

민철 : 이렇게 바로 옆에서.. 칭찬을.. 너무 부끄럽네요…🫣

Group-5--1--2

Q. 스크래핑 업무를 하면서 힘들었던 순간이 있다면?

민철 : 업무 기한이 넉넉하지 않고 일이 몰릴 경우, 처리에 대한 압박이 심할 때가 있어요. 처음 팀이 꾸려졌을 때, 저 말고는 모두가 스크래핑 업무를 처음 해보는 상황이었어요. 그러다 보니 운영에 지연이 생기는 일이 많았죠. 그런데 팀 내부 상황은 외부에서 잘 알 수 없으니 빨리 처리해달라는 요청이 계속 들어왔죠. 이럴 땐 조금 신경도 날카로워지고 힘들었던 것 같아요.

선식 : 제가 처음 들어왔을 때, 기존의 스크래핑팀이 단 한명도 없었어요. 내부 이슈로 인해 팀을 새로 꾸려야 하는 상황이었거든요. 저는 팀장님이 말씀하신, 팀이 처음 꾸려지기 직전에 합류했어요.

당장 일은 주어지지 않았지만, 뭐라도 해야 하니까 기존 서류를 들여다봤는데 인수인계 문서나 자료가 너무 부족하더라고요. 혼자서는 업무를 할 수 없는 수준이었어요. 많이 당황스러웠는데, 기존의 경험이 있는 인원이 사업 지원을 위해 파견의 형태로 인수인계가 진행되었고 그제서야 정리가 되기 시작했어요. 그리고 얼마 지나지 않아 민철 팀장님이 오셔서 소방수 역할을 해주셨죠. 만약 팀장님이 아니었더라면 훨씬 힘든 시간을 보냈을 거에요. 아마 지금까지도..

Q. 반대로 보람있던 순간도 궁금합니다.

민철 : 스크래핑팀은 데이터를 가져오는 일을 하니, 대상이 되는 사이트가 개편되는 것에 큰 타격을 받아요. 늘 촉각을 세우고 대응해야 하죠. 가장 중요한 업무이기도 한데, 이런 사이트 개편을 잘 끝내고 팀원들과 같이 퇴근할 때, 그래도 ‘한 팀으로 움직였다’는 생각이 들면서 뿌듯하죠.

선식 : 요즘 들어, 업무 하나하나 해나갈 때마다 보람을 느낍니다. 처음에 느끼던 부담감이 많이 덜어졌어요. 새로 꾸려진 스크래핑팀들 간에 유대감도 많이 생겨서 좋습니다. 조만간 회식 또 합시다😁

Q. 스크래핑팀만의 문화를 자랑해주세요.

민철 : 게임을 좋아하는 사람들이 많아서 퇴근하고도 같이 게임을 할 때가 있어요. 업무할 때가 아니라도 친하게 지내서 분위기가 좋아지는 것 같아요.

선식 : 팀원들이 모두 비슷한 또래라, 관심사가 비슷하고 회식이나 놀 때 수준이 맞는 것 같아요. 회식을 자주 하지는 않지만, 한번 하면 제대로 하게 돼요. 팀원들끼리 업무시간 외에도 취미생활을 같이 하기도 합니다. 근데 너무 남고 같아요.

마케터의 첨언: 의도하진 않았지만 스크래핑팀의 현재 모든 개발자는 남자입니다. 그러나 코드에프 전체 남녀 성비는 5.5대 4.5로 적절한 편이죠.(강조)

Q. 어떤 게임을 하시나요?

민철 : 롤을 합니다😁 신기하게도 팀원들이 롤을 거의 다 해요. 퇴근하고도 종종 같이 게임을 하다보니 업무 외에 취미를 공유하면서 더 빨리 친해진것 같아요.

Q. 회식을 제대로 한다는 것은?

선식 : 팀원들이 다들 음주 가무를 즐기는 편이에요. 보통 3차까지 가고, 노래방에서 나오면 3, 4시쯤 되는 것 같네요.

민철 : 저희 팀에 오시려면 술을 좋아하셔야 합니다.

선식 : 롤도 필수로 하셔야 해요.

‍️마케터의 첨언: 아닙니다🙅‍♀️ 개발 잘 하시면 됩니다.

Q. 스크래핑팀은 간식 타임을 자주 가지는 것 같던데, 메뉴 선정은 주로 누가 하시는지?

민철 : 준영님이 주로 고르십니다. 준영님이 입사 초반에 간식으로 먹었던 핫도그에 “어떻게 이렇게 맛있는 음식이 있냐”며 크게 감동하셨거든요. 이후로는 직접 메뉴를 고르시더라고요🤣

선식 : 메뉴는 그때그때 다른데, 다들 피자랑 떡볶이를 좋아해서 자주 먹는 것 같습니다.

Q. 민철님, 지난 오렌지나잇 때 받으신 애플워치는 잘 사용하고 계시나요?

민철 : 잘 차고 있습니다. 아이폰은 아직 구매하지 못해서 그냥 시계로 쓰고 있지만.. 조만간 아이폰14를 살 예정입니다!

민철님은 지난 오렌지나잇에서 코드에프 4행시 1등으로 선정되어 애플워치를 받았습니다.

IT 회사가 제대로 노는 법 : 코드에프 사내 행사 '오렌지 나잇' 현장 스케치

Q. 두 분 다 슬랙 프로필 사진이 오렌지레터 인터뷰용으로 찍은 사진인 것 같은데 마음에 드셨나봐요?

코드에프는 2022년 6월까지 신규 입사자 분들을 인터뷰 하여 사내 소식지 ‘오렌지 레터’에 실었었습니다.

Group-6--1--2

선식 : 어.. 솔직히 얘기하면 마음에 들었다기보다도 얼굴이 나오게 찍은 사진이 별로 없어서 썼습니다.

민철 : 저도 마찬가지 입니다.. 사진이 없어서🤣

Q. 스크래핑 업무를 하는데 필요한 역량이나 자질이 있다면?

민철 : 개발 능력도 중요하지만, 코드를 보면서 어느 부분이 오류인지 빠르게 파악하는 센스와 꼼꼼함이 있으면 좋습니다.

선식 : 제한적인 정보로 문제 원인을 추적해야 하는 경우가 많아서 문제해결능력이 좀 필요해요. 단순한 추측이 아니라 명확한 이유를 찾아야 하는데 그걸 증명하는 방법을 많이 고민할 수 있는 끈질김도 있으면 좋을 것 같아요.

제 생각에는 순수 개발 능력보다도 검증과 테스트를 잘하는 사람이 스크래핑을 더 잘할 것 같아요.

Q. 마지막으로 코드에프에 관심이 있는 예비 코드에프인에게 한 마디 부탁드립니다.

민철 : 회사에 오신다면 재미있는 회사 생활을 하실 수 있을거에요 후회하지 않으실 겁니다.

선식 : 코드에프는 젊은 회사이면서 도약할 준비를 하고 있는 회사입니다. 편안한 분위기로 업무를 하지만, 회사와 함께 성장할 수 있는 책임감과 꾸준함을 가지면 좋겠습니다.

--------------_-----------_01

스크래핑팀 민철님, 선식님과의 인터뷰 잘 보셨나요? 이번 인터뷰를 통해 잘 몰랐던 스크래핑 개발자의 업무에 대해 자세히 알 수 있는 알찬 시간이었습니다! 간식타임과 게임, 가끔 하는 회식으로 돈독한 시간을 가지는 스크래핑팀, 그리고 코드에프가 궁금하다면 아래 배너로 더 많은 정보를 확인해 보세요 :)