빅 데이터 3분 요약

질병통제예방센터보다 더욱 빠르게 독감을 예측할 수 있다면 어떨까요? 구글의 엔지니어였던 제러미 긴즈버그는 구글 빅데이터에서 높은 상관관계를 지닌 데이터를 찾았습니다. 사람들이 구글 검색창에 감기 관련 증상을 검색하는 빈도를 파악하면 독감 발병률을 상당히 정확하게 측정할 수 있다는 사실을 알아낸 거죠. 구글은 그 이후 독감 트렌드 서비스를 제공, 질병통제예방센터보다 2주 정도 더 빨리 독감의 확산경로를 예측해 냈습니다. 바로 여기에 빅데이터가 사용됩니다. 여기저기서 너무도 많이 들리는 말 빅데이터, 도대체 빅데이터란 무엇일까요?

포털에서 빅데이터를 검색하면 ‘기존 데이터보다 너무 방대하여 기존의 방법이나 도구로 수집/저장/분석 등이 어려운 데이터’ 라는 정의가 나옵니다. 1분 동안 구글에서는 200만 건의 검색, 유튜브에서는 72시간의 비디오, 트위터에서는 27만 건의 트윗이 생성된다고 하는데요, 컴퓨터나 스마트폰 사용의 증가로 디지털 환경이 조성되면서 사용되는 정보의 양과 규모가 엄청나게 증가했다는 것을 알 수 있죠.

그러나 빅데이터를 단순히 크다와 데이터의 합성어로만 볼 순 없을 것 같습니다. 과학전문지 네이처는 ‘향후 10년 안에 세상을 바꿀 가장 중요한 기술’로 빅데이터를 선정했고, 미국의 시장조사기관 가트너는 미국 경쟁력을 좌우하는 21세기 원유라고 표현하기도 했는데요. 그 방대한 데이터들을 모으고 분석하다 보면 상관관계에 있는 예측도 가능하다는 뜻입니다. 대량의 비정형 데이터에 담긴 사람들의 생각과 필요를 읽어낸다면 실로 그 힘이 엄청나게 커지는 것이죠.

날씨에 따라 먹고 싶은 음식이 달랐던 경험은 누구에게나 있을 듯 한데요, 국내 대표 베이커리 전문 매장은 5년간 169개 지역의 일별 매출과 기상자료를 통계기법으로 지수화한 ‘날씨 판매지수’를 활용했는데요, 판매량을 예측하고 주문량을 조절할 수 있어 판매할 제품이 없어 발생하는 손실인 찬스 로스를 방지할 수 있게 됐고, 영업이익은 더욱 늘었다고 합니다. 또 서울시는 심야시간 강남과 홍대 등 일부 지역에서 통화량이 급증한다는 사실을 깨닫고 데이터 30억 건을 분석해 심야에 사람들이 많이 이용할 수 있는 적절한 노선을 찾아 올빼미 버스라는 성공적인 프로젝트를 실행시켰죠.

“정보를 가진 자가 권력을 가진자이다” 이는 미래학자 앨빈 토플러가 한 말인데요, 만약 지금 앨빈 토플러가 살아 있다면 “정보를 분석하는 능력을 가진 자가 권력을 가진 자다”라고 이야기 하지 않을까 싶네요. 인터넷만 켜면 수많은 정보에 접근할 수 있는 지금, 누구나 가진 구슬을 갖는 사람이 아니라 그 구슬을 꿰어 보배를 만드는 사람이 진정한 권력자가 되겠죠. 빅데이터는 세상을 뒤바꿀 만병통치약이 아니라 의미 있는 일을 위한 도구의 하나라는 사실을 꼭 기억해야겠습니다.