정보학의 아버지 클로드 섀넌이 규정한 '정보'란?

정보이론의 아버지로 불리는 클로드 섀넌은 정보를 '0'과 '1'의 2가지 값만으로 표현하는 방법을 개발했습니다. 이 방법에 의해 나타나는 '정보'의 의미를, 버밍엄대학에서 컴퓨터과학을 가르치는 아론 스로만 씨가 해설합니다.

Jane Austen 's concept of information
https://www.cs.bham.ac.uk/research/projects/cogaff/misc/austen-info.html

섀넌은 다양한 의미를 가진 정보를 '0'과 '1'이라는 2가지 값으로 나타내는 '통신의 수학적 이론'을 개발하여 '엔트로피(정보량)'라는 개념을 구축했습니다.

How Claude Shannon’s Information Theory Invented the Future | Quanta Magazine
https://www.quantamagazine.org/how-claude-shannons-information-theory-invented-the-future-20201222/

How Claude Shannon Invented the Future

스로만 씨에 따르면, 섀넌이 규정한 '정보량'은 사람들이 상상하는 '현상의 규모'와는 다르다고 합니다. 예를 들어, '애벌레가 풀을 먹다'와 '소행성이 섬을 파괴했다'라는 두 문장에서는 다른 규모의 현상이 이미지되지만, 둘 다 '명사'가 '명사'를 '동사'라는 같은 종류의 단어로 구성되어 있기 때문에 섀넌의 이론을 적용시키면 '단어의 종류에 관한 정보량은 동일하다'고 표현할 수 있습니다.

섀넌의 정보이론에서는 정보가 일정한 신호로 구성되고 신호의 수에 따라 정보량이 결정됩니다. 예를 들어 '.', '-'의 2종류의 신호로 나타내는 모스부호의 경우 '..--', '--.-' 등 4연속 모스부호로 표시되는 정보는 2^4제곱 = 16가지 존재합니다. 즉, 4연속 모스부호는 16가지 정보 중에서 15가지 정보의 가능성을 제거할 수 있습니다. 마찬가지로, 'aaabb' 'ababa' 등 2종류의 알파벳 다섯 글자로 표시되는 정보는 2의 5제곱 = 32가지 정보 중 31가지 정보의 가능성을 제거할 수 있습니다.

또한 4개의 연속된 두 신호는 2의 4제곱 = 16가지의 정보를 나타낼 수 있지만, 4연속 4종류의 신호는 4의 4제곱 = 256가지의 정보를 나타낼 수 있습니다. 이처럼 섀넌의 이론에서는 신호의 길이 · 종류가 늘어날수록 정보량이 커집니다. 이때 'zzxxjalp', 'azbycxxyrk'라는 알파벳의 나열을 섀넌의 이론에 적용하면 문자가 많은 'azbycxxyrk'이 정보량이 크다고 할 수 있습니다. 그러나 둘 다 의미를 가진 단어가 아닙니다.

'bird(새)', 'crow(까마귀)'라는 두 단어는 26개의 알파벳 중 4문자가 포함되어 있으며, 섀넌의 정보이론에서는 동일한 정보량을 가지고 있습니다. 따라서 'Tweety is a bird(트위티는 새이다)', 'Tweety is a crow(트위티는 까마귀이다)'라는 두 문장은 섀넌의 정보이론에서는 동일한 정보량을 갖지만, '새'라는 단어는 '조류 이외의 동물이다'라는 정보를 삭제하는 반면, '까마귀'라는 단어는 '까마귀 이외의 조류이다'라는 정보를 제거할 수 있기 때문에 직관적으로 '트위티는 까마귀이다'라는 문장이 더 정보량이 많다고 느껴진다고 스로만 씨는 지적합니다.

스로만 씨는 "섀넌의 정보이론에서는 정보량을 신호의 종수와 조합 가능한 수에 따라 규정합니다. 따라서 우리가 '의미', '내용'이라고 부르는 것과 섀넌의 정보는 관계가 없습니다"라고 말합니다.

또한 스로만 씨는 18세기부터 19세기에 걸쳐 활동한 소설가 제인 오스틴이 1813년에 발표한 '오만과 편견'에서 information(정보)이라는 단어가 많이 사용되고 있음을 예로 들며, 오스틴의 소설에 사용되고 있는 의미와 내용이라는 측면을 가진 '정보'와 섀넌의 정보이론에서의 '정보'를 혼동해서는 안 된다"고 말합니다.