빅데이터 시대, 넘치는 '소음'에서 의미있는 '신호'를 분리해야 > 인지ICT융합산업 뉴스

본문 바로가기


한국인지과학산업협회 ㅣ 인지ICT융합산업뉴스

빅데이터 시대, 넘치는 '소음'에서 의미있는 '신호'를 분리해야

페이지 정보

작성자 관리인 작성일2014-09-03 18:10 조회16,316회

본문






입력 2014-07-30 오후 3:07:44



월간경제노트구독




















인간의 두뇌는 크다. 그러나 우리는 우리가 이해할 수 없을 정도로 광대한 우주 속에 살고 있다. 확률적으로 생각하는 것의 미덕은, 확률적으로 생각하면 무조건 앞으로만 나아가는 게 아니라 잠시 걸음을 멈추고 서서 자료를 살펴보게 된다는 데 있다.

즉, 자신의 믿음에 잘못된 게 없는지 생각할 수 있다는 말이다. 이런 과정이 오랜 시간에 걸쳐 반복되면, 당신은 자신이 내리는 판단의 질이 점점 더 좋아진다는 사실을 깨닫게 될 것이다.(653쪽)

 


 


눈에 보이는 것이 전부는 아닙니다. 보이는 것 너머에 있는 본질, 실제를 알아볼 수 있는 혜안이 필요하지요.

 

미국 메이저리그의 전설적인 유격수 데릭 지터. 골든글로브상을 다섯 번이나 받았던 그는 다이빙캐치로 유명했습니다. 관중들은 그의 다이빙캐치에 열광했고, 중계방송을 하는 캐스터와 스카우터들도 지터를 대단히 훌륭한 유격수라고 평가했습니다.

그런데 '통계적'으로 분석해보니 결론은 달랐습니다. 물론 지터는 매우 뛰어난 선수이긴 했지만, 사실은 자신의 느린 점프 동작 때문에 자주 다이빙캐치를 했다는 것이 밝혀진 겁니다. 오지 스미스같은 진정 뛰어난 유격수라면 별 어려움 없이 잡아냈을 공도 지터는 몸을 던져 잡았습니다. 그래서 지터는 사람들에게 멋진 유격수라는 찬사를 받았지만, 정작 통계적으로 실력이 더 뛰어난 것이 입증된 스미스는 오히려 어렵지 않게 공을 잡아내는 바람에 상대적으로 지터보다 눈길을 덜 받았던 것이었지요.

 

이렇듯 데이터와 통계는 우리에게 보이는 것 너머에 있는 실제를 파악하는데 도움을 줍니다.

 

그런데 문제가 하나 더 있습니다. '빅 데이터 시대'가 되면서 데이터의 양이 기하급수적으로 증가하고 있습니다. 양이 절대적으로 많아진 것도 문제이고, 그 늘어난 데이터에 유용한 정보가 상대적으로 많지 않다는 것도 문제입니다. 저자는 이를 "소음에 대한 신호의 비율이 점점 작아지고 있다"고 표현했더군요.

 

"예측은 아주 중요하고, 그 때문에 더욱 어렵다. 소음에서 신호를 분리하려면 과학적 지식과 자기 인식을 동시에 갖추어야 한다. 즉, 객관적 실체와 주관적 실체를 교차시켜야 한다. 우리가 예측할 수 없는 것에 대한 겸손함과 예측할 수 있는 것을 예측할 수 있는 용기, 그리고 이 둘 사이의 차이를 아는 지혜가 필요하다."(656쪽)

 

빅데이터 시대입니다. 눈에 보이는 것 너머에 존재하는 본질을 파악할 수 있도록, 과학적인 통계와 확률에 대한 지식은 물론 자신의 독단과 선입견을 극복할 수 있는 지혜와 업에 대한 이해가 우리에게 필요합니다. 그것을 통해 넘치는 소음속에서 의미있는 신호를 분리해 인식해야 합니다.

 

 

 

 
 예병일의 경제노트 - 트위터 : @yehbyungil / 페이스북 : www.facebook.com/yehbyungil

[이 게시물은 관리자님에 의해 2021-12-23 16:04:10 OnlineNews에서 이동 됨]

FAMILY SITE ▼
RELATED COM ▼

사단법인 한국인지과학산업협회


대표자 : 권희춘 | 사업자등록번호 : 119-82-10924

NACSI  |  National Association of Cognitive Science Industries


ADD : 서울시 관악구 신림로 340 르네상스복합빌딩 7층
TEL : 070-4106-1005 | E-MAIL : nacsi.office@gmail.com
Copyrightⓒ NACSI All rights reserved. 로그인 ▲ TOP