집단지성(Collective Intelligence)

 

서커스는 집단지성의 커다란 작품이다

웹2.0  : 집단지성(위키피디아), 신경제(구글)

- Web 2.0 : 집단지성
- Web 3.0 : 시맨틱웹
- Web 4.0 : 유비쿼터스웹

집단지성을 활성화하는 것(Harnessing Collective Intelligence)이 웹2.0의 핵심이다

집단지성의 구조

웹2.0과 집단지성: 효과적인 집단지성 활성화 도구는 어떻게 디자인되어야 하는가?

웹2.0은 “플랫폼으로서의 웹(Web as platform)”이란 명제아래 RIA(RichInternet Application), SaaS(Software As A Service), 오픈API, 에이젝스(Ajax), 매쉬업(Mash-up), 롱테일(Long tail), 영구적 베타(Perpetual Beta), 분산화(decentralization), 네트워크 효과(network effect) 등 다양한 기술과 개념과 밈(Meme)의 포괄적 집합의 개념으로 이루어져 있다.
􀂾AJAX(AsynchronousJavascriptAnd XML)란자바스크립트와XML을이용해비동기방식으로쉽게작동되는홈페이지개발언어
􀂾RSS(ReallySimple Syndication, Rich Site Summary, RDF Site Summary)
  특정사이트에서새로운정보가있을때자동적으로받아볼수있는콘텐츠배급방식
􀂾태깅/폭스노미(folksonomy)
  자유롭게선택된키워드(일종의태그)를사용해구성원들이함께정보를체계화하는방식
􀂾Folksonomy는Folk(사람)+Taxonomy(분류)의합성어
  웹문서에대해서특정키워드로태깅(tagging)을함으로써정보에대한간단한표현을하는것으로해당정보를찾거나분류하기위한방법에이잭스
공개API(ApplicationProgramming Interface)와매쉬업(mashup)
􀂾응용프로그램에서사용할수있도록컴퓨터운영체제나프로그래밍언어가제공하는기능을제어할수있도록만든인터페이스
􀂾오늘날에는다양한기능을제공하는API를공개하고있다. 이를공개API라함
􀂾매쉬업(mashup)이란공개API를조합하여전혀다른서비스를개발하는것


집단지성(Collective Intelligence) : 글로벌 브레인(Global Brain), 코인텔리전스(Co-Intellince)
최소인원  :  2 ~ 10 ~ 150 ~
지성 :  ‘문제해결 능력’, ‘학습’, ‘인식’, ‘사고’, ‘의사결정’, ‘정보의수집’, ‘분별력’

흔히 집단지성을 잘 구현한 웹2.0 서비스 모델로 ‘위키피디어(Wikipedia)’와 ‘블로고스피어(Blogosphere)’ 그리고 ‘디그닷컴(digg.com)’ 같은 ‘소셜 뉴스’가 언급됩니다. 이들은 분산화(decentralization)된구조를 바탕으로 하며, 집단의 참여에 의해 개개인이 혼자서는 이룰 수 없었을 일을 달성할 수 있게 합니다.

마치 1911년 ‘집단지성’이란 개념에 단초를 제공했던 곤충학자 윌리엄 모튼 휠러(WilliamMorton Wheeler)가 흰개미 한마리는 4m 높이의 개미집을 만들 수 없어도, 흰개미 집단은 “초유기체(superorganism)”로한 몸처럼 작동하여 그것을 가능케 한다 라고 한 것처럼, 이들 서비스에서 사람들은 인터넷이란 도구를 활용하여 훌륭하게 방대한 지식을 모으고, 아이디어를 교환하고, 의견을 조정하며, 정보의 중요도를 결정해 냅니다. 권위적인 조정자의 중앙집중적 개입이 없이도 훌륭히 분업과 협업을 이루어 냅니다.

사용자의 선의에 의존
- 스팸과 오남용에 취약하다는 약점
- 사회적 태만(social loafing)에 쉽게 노출
- 필요한 최대한 많은 사람의 참여를 끌어내기 어렵다는 단점을 가지고 있습니다.

반면, 구글의 페이지랭크(PageRank)나 소셜 북마킹 서비스, 클라우드마크(Cloudmark)의 스팸 필터, Last.fm같은 ‘협업 필터링(collaborative filtering)’, reCAPTCHA 같은 프로젝트는 집단지성을 구현하는 데에 조금 다른 접근방식을 보여 줍니다. 이들은 마치 시장의 ‘보이지 않는 손’처럼 사용자들의 개인적이고 이기적인 목적의 행위에서 집단지성을 추출해 냅니다.

구글은 웹페이지에 걸린 링크를 한 페이지가 다른 페이지에 투표한 것으로 보아 많은 링크를 받았을수록, 또 권위있는 페이지에서 링크를 받았을수록 더 중요한 페이지로 판단하여 검색결과의 우선순위를 정합니다. 구글이 웹2.0기업인 이유는 그들의 엄청난 수익성이나 그들이 만들어내는다양한 서비스 때문이 아니라, 페이지랭크라는 구글 검색의 기반이 되는 알고리듬이 하이퍼링크라는 웹의본질과 그 구조에 숨어있는 의미를 파악하여 집단지성을 반영한 것이기 때문입니다.

소셜 북마킹 서비스는, 사용자가 자신이 나중에 다시 찾아볼 것 같은 웹페이지를 ‘개인적인이유’로 북마크하여 저장하고, 자신의 목적에 맞는 태그를 원하는 수만큼 붙여 분류해두면, 그 웹페이지를 얼마나 많은 다른 사용자가 북마크했는지 알려주어 웹페이지의중요도를 판단케 해줍니다. 또한, 동일 태그나 연관 태그가 붙은 다른 북마크를 찾아보거나, 유사한 태그를 사용한 다른 사용자의 북마크를 둘러보면, 자신이 미처 몰랐지만 관심있어 할 만한 정보를 담은 웹페이지를 쉽게 발견할 수 있습니다. 사람들은 개인적인 목적으로 소셜 북마크라는 도구를 사용하지만, 그것이결국 소수의 포털 편집인력이 하는 것 보다 더 나은 방법으로 웹페이지를 걸러주고, 분류하고, 중요도를 판별해 주어 ‘소셜 서치’가 가능하게 합니다. 또한, 페이지랭크에는 웹페이지를 만든 사람만의 집단지성이라는 한계가 존재하는 반면, 소셜 북마크는 그보다 더 중요한, 웹페이지를 보는 사람, 즉 정보사용자의 집단지성을 활용한다는 커다란 장점이 있습니다.

Last.fm은 개별 사용자가 어떤 곡이 마음에 들어서 계속 듣는지, 아니면 듣기 싫어 다음 곡으로 건너뛰는지의 데이터를 취합하여 비슷한 취향의 음악들을 분류하고, 유사한 성향의 사용자가 좋아할 만한 음악을 계속 찾아줍니다. 클라우드마크는 키워드를 사용해 스팸을 걸러내는 대신, 사람들이 스팸이라고 지워버린 메일데이터를 기반으로 스팸을 판별해줍니다. reCHAPTCHA 프로젝트는 사람들이 스팸방지어를 입력하느라 헛되이 사용하는 시간을, OCR이 인식하지 못했던 북스캔 데이터를 스팸방지어로 사용하고 사람들이 입력한 올바른 문자열로 도서관 전산화데이터를 교정함으로써 의미있게 활용하도록 도와줍니다.

이처럼 협업의 연장선상에서 해석되는 전통적인 의미의 ‘집단지성’과는 조금 다르게, 사람들의 이기적이고 개인적인 행위에서 특정한 메커니즘을통해 추출해 내는 ‘지성’을 “대중의 지혜(The Wisdom of Crowds)”라고 합니다. ‘광기’라는 말이 더 어울리는 ‘대중’에게 ‘지혜’가 있음을 간파해낸 사람이 뉴요커의 비즈니스 칼럼니스트이며 2004년 동명의 책을 발간한 제임스 서로위키(James Surowiecki)입니다.  “대중의 지혜”가 발현되기위해서는 다양성과 독립성을 가진 대중, 그리고 특정한 취합 메커니즘(aggregatingmechanism)이 필요합니다. 다양성과 독립성이 없는 대중은 지혜를 발현하기 보다 ‘광기’로 흐르기 쉽습니다. ‘집단사고(Group thinking)’나 ‘정보 캐스케이드(Information Cascade)’가 작동하여 올바른 ‘지성’을 발현할 수 없습니다. 마치 시장경제처럼 현상에 대해 ‘다양한’ 인식을 가진 사람들이 ‘독립적’으로 자신이 옳다고 생각하는 것을, 자신에게 이롭다고 생각하는 방향으로 취할 때 “대중의 지혜”가 발현됩니다. 이를 보장하기 위해 대중의 구성원은 서로를 모방하기 보다 스스로 생각하고 행동해야 합니다. 의견을 교환하고 조정하여 결론에 도달하기 보다 자신이 맞다고 생각하는 것을 행하기만 하면 됩니다. 이것이 계급구조와 모방을 기본 구조로 하는 글로벌 브레인이나, 힘을 합쳐 하나의 목적을 이루기 위해 의사소통과 직접적 의견조정을 해야하는 전통적인 의미의 집단지성과 대중의 지혜가 가장 큰 다른 점입니다.

그리고, 같은 맥락에서 ‘취합메커니즘(aggregating mechanism)’이란 ‘합의(consensus)’가 아닙니다. 집단의 모든 구성원이 동의하는 공통된 의견을 논의를 통해 만들어 내는 것이 아니라, 개개인이 옳다고 생각하는 바를 자신을 위해서 수행하면, 그 이기적인 행위의 집합에서 ‘지성’을 추출해내는 방법을 일컫는 것입니다. 또한 이 ‘취합 메커니즘’은 분산화되어 있어야 합니다. 이것이 크라우드 소싱(Crowd sourcing)을 집단지성으로 파악하기 어렵게 하는 점 입니다. 크라우드 소싱은 결국 밖에서 의견을 듣되 정답을 정하는 것은 소수의 내부인이 하게 되기 때문입니다. 이것은 우리가 잘아는 고객제안과 별로 다른 점이 없습니다. 더불어 이것이 네이버 지식in을 “대중의지혜” 내지는 웹2.0이란 맥락에서 ‘집단지성’을 구현한 것으로 보기 어렵게 되는 이유입니다. 지식in은 질문자가 정답을 선택하는 구조로 되어있어 답을 찾는 과정은 분산화되어 있으나 답을 결정하는 과정이 분산화되어 있지 않기 때문입니다. 집단이 답을 결정한 것이 아니기때문입니다.

이러한 이해를 바탕으로 ‘집단지성’을 활성화할 수 있는 효과적인 도구와 플랫폼을 개발하는 것이 웹2.0 시대의 인터넷 기업에게 새로운 기회와 도전으로 주어져 있습니다. 구글처럼 기존의 사이버스페이스의 구조에 숨어있는 집단지성의 의미를 읽어내어 활용하거나, 개인적인 목적과 용도로 사용하지만 그 안에서 집단지성을 구현해 낼 수 있는 ‘소셜 소프트웨어’를 만들어 내는 것 학계와 산업계에서 집중해야 할일이라 생각합니다. 결국 이를 통해 인류의 다음 번 진화단계로서의 집단지성으로 세상이 나아가는데 일조할수 있을 것입니다.