bit

- najbardziej popularna jednostka ilości informacji, której nazwa pochodzi od ang. binary information theoretical unit = teoretyczna jednostka informacji binarnej lub binary digit = cyfra dwójkowa. B. to bezwymiarowa jednostka ilości informacji dla dwuelementowego zbioru zmiennych losowych, określona w oparciu o logarytmy dwójkowe. Ilość informacji, czyli entropii informacyjnej wyraża się "wzorem Shannona":

gdzie pi oznacza prawdopodobieństwo i-tej informacji, mamy więc

Nazwa entropii informacyjnej podkreśla zbieżność tego pojęcia z entropią fizyczną i na tej zbieżności opiera się wzór Shannona. B. odpowiada, w najprostszym przypadku, informacji elementarnej stanowiącej równoprawdopodobną odpowiedź "tak" albo "nie" na określone pytanie proste zaczynające się od "czy", co wyraża się wzorem:

Każde pytanie złożone można rozłożyć za pomocą kolejnych podziałów na pytania proste, na które odpowiedź może być tylko: "tak" albo "nie". Liczba tych podziałów stanowi jednocześnie liczbę b., czyli ilości informacji wyrażonej w tych jednostkach. Na przykład do wyboru jednego przedmiotu spośród 3 czy 4 potrzeba 2 b., spośród 5, 6, 7, 8 - 3 b., spośród zaś 9, 10, 16 przedmiotów już 4 b. itd. W arytmetycznych kodach binarnych jednej cyfrze dziesiątkowej odpowiadają 4 b., w kodach zaś alfanumerycznych jednemu znakowi odpowiada 6 do 8 b. Pojęcie b. jest stosowane jako jednostka miary długości słowa maszynowego czy pojemności pamięci. [M.Ke.]