Змістовний підхід до вимірювання інформації: все, що потрібно знати

Перед тим як приступити до вимірювання інформації, давайте введемо визначення і розберемося, з чим маємо справу.

Визначення

Інформація - це відомості, повідомлення, дані у всіх своїх проявах, формах незалежно від їх змісту. Навіть повна нісенітниця, написана на клаптику паперу може вважатися інформацією. Однак це визначення з російського федерального закону.

змістовний підхід до вимірювання інформації

З міжнародних стандартів можна виділити наступні значення:

• знання про предмети, факти, ідеях, значеннях, думках, якими обмінюються люди в конкретному контексте;
• знання про факти, події, значеннях, речах, поняттях, які в конкретному контексті мають певний сенс.

Дані - це матеріалізована форма подання інформації, хоча в деяких текстах ці два поняття можуть бути використані як синоніми.

Способи вимірювання

Поняття інформації визначається по-різному. Вимірюється вона теж по-різному. Можна виділити такі основні підходи до вимірювання інформації:

1. Алфавітний підхід.
2. Імовірнісний підхід.
3. Змістовний підхід до вимірювання інформації.

Всі вони відповідають різним визначень і мають різних авторів, думка яких щодо даних відрізнявся. Імовірнісний підхід був створений А.Н. Колмогоровим і не враховував суб'єкт передачі інформації, тобто він вимірює її кількість незалежно від того, наскільки вона важлива для передавального і приймаючої її суб'єкта. Змістовний підхід до вимірювання інформації, створений К. Шенноном, враховує більше змінних і є свого роду оцінкою важливості цих даних для приймаючої сторони. Але давайте розглянемо все по порядку.

підходи до вимірювання інформації

Імовірнісний підхід

Як було вже сказано, підходи до вимірювання кількості інформації дуже різняться. Цей підхід був розроблений Шенноном в 1948 році. Він полягає в тому, що кількість інформації залежить від кількості подій і їх ймовірності. Обчислити кількість отриманих відомостей при цьому підході можна за нижченаведеною формулою, в якій I - це шукана кількість, N - число подій і p_i - це ймовірність кожного конкретного події.

підходи до вимірювання кількості інформації

Алфавіт

Абсолютно самодостатній метод обчислення кількості інформації. Він не враховує, що саме написано в повідомленні, і не пов'язує кількість написаного зі змістом. Для обчислення кількості інформації нам необхідно знати потужність алфавіту і обсяг тексту. По суті, потужність алфавіту не обмежена. Однак в комп'ютерах використовується достатній алфавіт потужністю в 256 символів. Таким чином ми можемо порахувати, скільки інформації несе в собі один символ друкованого тексту на комп'ютері. Оскільки 256 = 2⁸ , то один символ становить 8 біт даних.

1 біт - це мінімальна, неподільне кількість інформації. За Шеннону, це така кількість даних, яке знижує невизначеність знань в два рази.

8біт = 1 байту.

1024 байти = 1 кілобайт.

1024 кілобайт = 1 мегабайт.

Думка

Як бачите, підходи до вимірювання інформації дуже різняться. Існує ще один спосіб виміряти її кількість. Він дозволяє оцінити не тільки кількість, але і якість. Змістовний підхід до вимірювання інформації дозволяє врахувати корисність даних. Також цей підхід означає, що кількість відомостей, укладених у повідомленні, визначено кількістю нових знань, які отримає чоловік.

підходи до вимірювання кількості інформації

Якщо висловлюватися математичними формулами, то кількість відомостей, рівне 1 біт, повинно зменшувати невизначеність знань людини в 2 рази. Таким чином, скористаємося наступною формулою для визначення кількості інформації:

Х = log₂Н, де Х - кількість одержуваних даних, а Н - кількість рівноймовірно результатів. Для прикладу вирішимо задачку.

Нехай у нас є тригранна пірамідка з чотирма сторонами. При підкиданні її вгору є шанс, що вона впаде на одну з чотирьох сторін. Таким чином, Н = 4 (кількість равновероятностних результатів). Як ви розумієте, шанс, що наш об'єкт впаде на одну з граней і так залишиться стояти, менше, ніж якщо підкидати монету і чекати, що вона постане руба.

Рішення. Х = log₂Н = log₂4 = 2.

Як бачите, результат 2. Але що це за цифра? Як було вже сказано, мінімальна неподільна одиниця виміру - біт. У підсумку, після падіння ми отримали 2 біти інформації.

основні підходи до вимірювання інформації

Підходи до вимірювання інформації використовують логарифми для обчислень. Для спрощення цих дій можете скористатися калькулятором або спеціальною таблицею логарифмів.

Практика

Де вам можуть стати в нагоді знання, отримані в цій статті, особливо дані про змістовний підхід до вимірювання інформації? Без сумніву, на іспиті з інформатики. Розглянутий питання дозволяє краще орієнтуватися в комп'ютерних технологіях, зокрема, в розмірах внутрішньої і зовнішньої пам'яті. На ділі ці знання практичної цінності не мають, хіба що в науці. Жоден роботодавець не змусить вас обчислювати кількість інформації в надрукованому документі або написаної програмі. Хіба що в програмуванні, де вам буде необхідно задати розмір пам'яті, виділеної під змінну.