Что означает энтропия простыми словами?

Энтропия во вселенной

Астрофизики в теории предположили, что одним вариантом изменением вселенной в будущем будет тепловая смерть.

Структура вселенной наполнена хаосом. В ней происходит рождение и угасание звёзд и галактик. Процесс формирования новых звёзд со временем будет уменьшаться, пока не будет, израсходован весь строительный материал. Однажды энтропия вселенной станет максимальной, и звёзды перестанут появляться, а старые — потухнут. Так наступит смерть звёзд.

Всё пронизано хаосом. Космос, природа, элементарные частицы и атомы находятся в постоянном движении, взаимодействуя друг с другом. Данный процесс можно сравнить с налаженным механизмом, а управляет всё этим законы.

Вселенная наделена высоким уровнем энтропии, но наличие хаоса не помешало зарождению жизни. Причина заключается в передачи такого процесса, как энтропия от большого объекта к меньшим телам. Например, в понижении энтропии на Земле участвует Солнце, которое снабжает планету солнечной радиацией. Земля не является закрытой системой, так как она может взаимодействовать с космическими и внутренними объектами. Из-за этого энтропия остаётся на умеренном уровне.

Свойства

Важно помнить, что энтропия является количеством, определённым в контексте вероятностной модели для источника данных. Например, кидание монеты имеет энтропию бита на одно кидание (при условии его независимости)

У источника, который генерирует строку, состоящую только из букв «А», энтропия равна нулю: . Так, к примеру, опытным путём можно установить, что энтропия английского текста равна 1,5 бит на символ, что конечно будет варьироваться для разных текстов. Степень энтропии источника данных означает среднее число битов на элемент данных, требуемых для её зашифровки без потери информации, при оптимальном кодировании.

  1. Некоторые биты данных могут не нести информации. Например, структуры данных часто хранят избыточную информацию, или имеют идентичные секции независимо от информации в структуре данных.
  2. Количество энтропии не всегда выражается целым числом бит.

Сколько битов можно хранить в библиотеке?

Давайте поразмыслим над тем, где же находится информация, когда идет речь о каком-либо объекте или событие. Например, вам сообщили, что планета Марс является частью Солнечной системы. Любой человек скорее всего, не усомнится, что он получил порцию информации. Но где же она находится? В чей-то голове? Она слишком абстрактна, чтобы иметь местоположение? Она рассредоточена по всей Вселенной для использования везде и всеми?

Одним из четких ответов можно считать: информация находится на странице книги в виде физических букв, которые, в свою очередь, состоят из молекул. А вдруг в ней находится ложная информация о местоположение. На самом же деле ни одна книга не содержит этой информации. Информация о том, что Марс – это планета Солнечной системы, находится в самой Солнечной системе.

Когда физики говорят об информации, они считают, что она состоит из материи и где-то находится. Предположим, что размерность книги 25x15x2.5 см, или примерно 940 см3. На одной строке вмещается 70 символов. На каждой странице 37 строк и всего 350 страниц. Выходит, почти миллион символов. Клавиатура, с помощью которой можно набрать текст для книги, содержит около 100 символов. Это означает, что число различных сообщений, которые могут находиться в этой книге равняется 1001000000 (сто в миллионной степени). Так как это число равняется 2 в степени 7 миллионов, то такая книга содержит 7 миллионов битов информации. Поделив их на объем книги, получаем примерно 7400 битов на кубический сантиметр.

Рассмотрим великую Александрийскую библиотеку. Сколько же она может содержать информации? Предположим, что каждый кубометр был заполнен книгами вроде той, о которой шла речь выше. Размеры самой библиотеки 60x30x12 метров, или около 22 тысяч кубических метров, или 22 миллиарда кубических сантиметров. При плотности 7400 битов на кубический сантиметр получается 1.6×1014 битов. Количество впечатляет.

Но зачем привязываться к книгам? Можно оцифровать все книги, что позволит хранить намного больше информации. Есть ли фундаментальный физический предел объема пространства, необходимого для хранения одного бита? Можно ли бесконечно делить пространство, наполняя его бесконечным количеством информации? Или существует предел?

Примеры

Из бытовой жизни:

  1. При написании sms-сообщений на мобильном телефоне мы часто пользуемся программой Т9. Чем меньше ошибок в печатаемом нами слове, тем процесс его распознания программой будет легче и она быстрее предложит нам его замену. Вывод: чем больше беспорядка, тем больше информационная неопределенность.
  2. Когда мы бросаем два кубика при игре в кости, существует только один способ выкинуть комбинацию 2 или 12 (1 и 1, 6 и 6). Самое максимальное число способов выкинуть число 7 (6 вероятных комбинаций). Непредсказуемость в данном случае будет максимальной.
  3. Информация о количестве учеников больше в течение урока, чем во время перемены. Поскольку на уроке каждый ученик сидит на своем месте, то энтропия ниже. За пределами класса для передвижения школьников характерна хаотичность, что ведет к увеличению значения энтропии.
  4. Если прибрать на рабочей парте, разложить предметы по своим местам, то можно больше получить информации о том или ином предмете, находящемся на ней. Упорядоченность вещей на парте снижает величину энтропии.

Важно! Все, что нас окружает, имеет стремление повысить энтропию. Человек намерен получить из окружающего мира максимальное количество информации

Все теоретические направления изучения энтропии (в физике, химии, экономике, математике, социологии) имеют целью установить баланс (равновесие) между намерениями и желаниями людей и естественными процессами, которые происходят в природе.

История возникновения

Впервые понятие энтропии было введено в эпоху развития термодинамики, когда возникла необходимость в изучении процессов, происходящих внутри термодинамических тел. В 1865 году ученый-физик из Германии Рудольф Клаузиус этим термином описал состояние системы, в котором теплота имеет способность преобразовываться в иные виды энергии (механическую, химическую, световую и т.д.).

Прирост энтропии вызван притоком тепловой энергии в систему и связан с температурой, при которой этот приток возникает. Необходимость этой величины была вызвана тем, что вся физика строится на идеализации абстрактных объектов (идеальный маятник, равномерное движение, масса и т.д.).

Пример: Шкаф – это определенная система. Если в нем все вещи лежат на своих местах, то энтропия меньше. Если же все вещи разбросаны и лежат не на своих полках, то соответственно она становится больше.

С этим термином тесно связана тепловая функция энтальпии – характеризует состояние термодинамической системы в состоянии равновесия при выборе ряда независимых переменных, таких как давление, энтропия и число частиц.

Величина, противоположная энтропии, называется экстропией.

Совместное программирование

Анализ кода

  • Научить вас лучшим способам решения проблем.
  • Помочь вам научить других тому, что вы знаете.
  • Улучшить взаимодействие в команде.
  • Старайтесь избегать комментариев, полных негатива. «Думаешь, это решение лучше?» — так сказать лучше, чем «Не делай так! Дурак! Вот единственный хороший ответ!».
  • Задавайте в комментариях вопросы, а не нагромождайте утверждения. Это покажет, что вы не всегда правы, что вы сомневаетесь, как и все остальные, и что ваше эго не раздуто до непомерной величины. «Думаешь, этот код получится расширить, если мы так сделаем?» вместо «Сделай так и так, потому что я босс и работаю уже 289 лет».

уважительно и конструктивно

Делитесь знаниями

  • Энтропия — это мера беспорядка в вашей системе. Избавиться от неё невозможно. А для удержания на стабильном уровне необходимо не только жаловаться, но и действовать.
  • Снижение качества кода — хороший индикатор увеличения энтропии.
  • Не только разработчики ответственны за высокую энтропию. Сложные и/или неясные фичи могут загнать уровень энтропии в небеса.
  • Заботиться о качестве кода нужно активно, указывая на технический долг, а лучше исправляя его.
  • Необходимо автоматическое тестирование, если вы хотите снизить энтропию в кодовой базе. На самом деле, фича должна считаться завершённой только после прохождения автоматизированных тестов.
  • Создайте такую атмосферу, которая позволит легко делиться знаниями друг с другом с помощью совместного программирования, анализа кода или просто выкладывания ссылок на интересные источники информации (статьи, книги).

Перемешивание газов

И ещё один пример, чтобы закрепить сказанное. Пусть у нас имеется контейнер, в котором находятся два газа, разделённых расположенной посередине контейнера перегородкой. Назовём молекулы одного газа синими, а другого — красными.

Если открыть перегородку, газы начнут перемешиваться, потому что число микросостояний, в которых газы перемешаны, намного больше, чем микросостояний, в которых они разделены, и все микросостояния, естественно, равновероятны. Когда мы открыли перегородку, для каждой молекулы мы потеряли информацию о том, с какой стороны перегородки она теперь находится. Если молекул было N, то утеряно N бит информации (биты и символы, в данном контексте, это, фактически, одно и тоже, и отличаются только неким постоянным множителем).

Entropy and Our Lives

The workings of our entire planet, including all the processes of life, ride on a wave of increasing entropy.

All life on Earth relies on the energy we get from the sun. Sunlight is made up of concentrated, low-entropy parcels of energy. Our planet chews up this useful energy, uses it for its inner workings, and spits out the remainder as heat — a more spread out (and therefore higher-entropy) form of energy.

The well from which we draw this low-entropy energy is the Sun. Like all stars, our Sun radiates away its concentrated energy, increasing its entropy, and slowly coming into equilibrium with the cold vacuum of space. One day our well will run out, as the Sun will run cold.

The Solution to Our Mystery

We’ve covered a lot of ground here, so it’s worth pausing to recap. We started by asking why so many things in our lives happen in one direction, but never in reverse. Ice melts, but a glass of water on a warm day never turns into a block of ice. Eggs crack, but never uncrack; wine-glasses shatter, but never unshatter.

The mystery is, at the level of atoms and molecules, each of these processes are reversible. But when we get to bigger collections of atoms, a kind of one-way street emerges — a macroscopic irreversibility arises from microscopically reversible parts. Things spontaneously happen in the direction of increasing entropy, never in the opposite direction.

Now we know why. There’s no microscopic law telling any particle which direction to go, just like there’s no shepherd telling the sheep where to go in our imaginary farm. It’s just that there are more ways to spread energy around, and fewer ways to keep energy confined. Increasing entropy is highly likely, decreasing it is basically impossible. It’s just stuff obeying the laws of chance.

Так что же такое энтропия?

Если в двух словах, то

Например, если вы спросите меня, где я живу, и я отвечу: в России, то моя энтропия для вас будет высока, всё-таки Россия большая страна. Если же я назову вам свой почтовый индекс: 603081, то моя энтропия для вас понизится, поскольку вы получите больше информации.

Почтовый индекс содержит шесть цифр, то есть я дал вам шесть символов информации. Энтропия вашего знания обо мне понизилась приблизительно на 6 символов. (На самом деле, не совсем, потому что некоторые индексы отвечают большему количеству адресов, а некоторые — меньшему, но мы этим пренебрежём).

Или рассмотрим другой пример. Пусть у меня есть десять игральных костей (шестигранных), и выбросив их, я вам сообщаю, что их сумма равна 30. Зная только это, вы не можете сказать, какие конкретно цифры на каждой из костей — вам не хватает информации. Эти конкретные цифры на костях в статистической физике называют микросостояниями, а общую сумму (30 в нашем случае) — макросостоянием. Существует 2 930 455 микросостояний, которые отвечают сумме равной 30. Так что энтропия этого макросостояния равна приблизительно 6,5 символам (половинка появляется из-за того, что при нумерации микросостояний по порядку в седьмом разряде вам доступны не все цифры, а только 0, 1 и 2).

А что если бы я вам сказал, что сумма равна 59? Для этого макросостояния существует всего 10 возможных микросостояний, так что его энтропия равна всего лишь одному символу. Как видите, разные макросостояния имеют разные энтропии.

Пусть теперь я вам скажу, что сумма первых пяти костей 13, а сумма остальных пяти — 17, так что общая сумма снова 30. У вас, однако, в этом случае имеется больше информации, поэтому энтропия системы для вас должна упасть. И, действительно, 13 на пяти костях можно получить 420-ю разными способами, а 17 — 780-ю, то есть полное число микросостояний составит всего лишь 420х780 = 327 600. Энтропия такой системы приблизительно на один символ меньше, чем в первом примере.

Мы измеряем энтропию как количество символов, необходимых для записи числа микросостояний. Математически это количество определяется как логарифм, поэтому обозначив энтропию символом S, а число микросостояний символом Ω, мы можем записать:

S = log Ω

Это есть ничто иное как формула Больцмана (с точностью до множителя k, который зависит от выбранных единиц измерения) для энтропии. Если макросостоянию отвечают одно микросостояние, его энтропия по этой формуле равна нулю. Если у вас есть две системы, то полная энтропия равна сумме энтропий каждой из этих систем, потому что log(AB) = log A + log B.

Людвиг Больцман

Из приведённого выше описания становится понятно, почему не следует думать об энтропии как о собственном свойстве системы. У системы есть определённые внутренняя энергия, импульс, заряд, но у неё нет определённой энтропии: энтропия десяти костей зависит от того, известна вам только их полная сумма, или также и частные суммы пятёрок костей.

Другими словами, энтропия — это то, как мы описываем систему. И это делает её сильно отличной от других величин, с которыми принято работать в физике.

Learn More

The model of a solid described in this post was first proposed by none other than Albert Einstein in 1907.

If you’re interested in learning about entropy at a more mathematical level, I recommend the excellent textbook Thermal Physics by Daniel Schroeder. This post is my take on the ideas in Chapter 2 of his book (and also summarized in this paper).

It’s a short step to go from understanding entropy to understanding temperature at a more fundamental level. I explored that link in my 2013 post, What the Dalai Lama can teach us about temperatures below absolute zero.

If you want to learn more about the arrow of time, pick up Sean Carroll’s 2010 book From Eternity To Here, or watch one of his many excellent talks on the subject. His latest book is The Big Picture.

Huge thanks to Yusra Naqvi, Upasana Roy, Jonathan Zong and Nicky Case for their helpful feedback.

В физике

Этот термин используется в таких разделах физики, как термодинамика и статистическая физика. Термодинамика изучает способы передачи и превращения энергии. Она имеет дело с процессами, в которых можно использовать понятие температуры. Именно в термодинамике впервые начали использовать это понятие. Ввел его немецкий ученый Рудольф Клаузиус. Статистическая механика изучает поведение систем из конечного количества частиц, используя для этого методы теории вероятности.

В разных разделах физики этот термин означает несколько разные вещи. В термодинамике это характеристика необратимого рассеяния энергии. В статистической физике эта величина показывает вероятность какого-то состояния.

В термодинамике

Энтропия — единственная величина, показывающая направление физических процессов. Что это значит?

  • В изолированной системе, то есть той, которая не обменивается ни веществом, ни энергией с окружающими предметами, процессы всегда идут так, что неупорядоченность увеличивается. Достигнув максимума, она остается постоянной. В этом суть второго начала термодинамики.
  • Обратимые процессы не меняют неупорядоченность.
  • Необратимые процессы всегда идут так, что беспорядок увеличивается. В открытой системе эта величина может возрастать или оставаться постоянной, возможны и такие процессы, при которых беспорядок уменьшается. То есть вмешательством извне мы можем уменьшить неупорядоченность.

Всякая система, находящаяся в неизменных внешних условиях, со временем приходит в состояние равновесия и не может самостоятельно из него выйти. При этом все ее части будут иметь одинаковую температуру. Это нулевое начало термодинамики.

В равновесии беспорядок больше всего. Например, есть сосуд, разделенный перегородкой. С одной стороны находится один газ, с другой — другой. Если убрать перегородку, постепенно газы смешаются и самостоятельно уже не разделятся снова. Такое состояние будет более беспорядочным, чем состояние, когда газы были разделены.

  • температуры,
  • давления,
  • объема,
  • внутренней энергии.

В статистической механике

В статистической механике это понятие связано с вероятностью получить определенное состояние. Например, для нескольких предметов или частиц она зависит от числа способов их расположить.

Есть несколько определений этой величины. Наиболее простое определение Больцамана. Она равна логарифму вероятности состояния, умноженному на постоянную Больцмана: S=k*ln(W).

Двудольная энтропия запутанности

Предположим, что квантовая система состоит из частиц. Двойное разделение системы — это раздел, который делит систему на две части и , содержащие и частицы соответственно с . Энтропия двудольной запутанности определяется относительно этой двудольности.
N {\ displaystyle N} А {\ displaystyle A} B {\ displaystyle B} k {\ displaystyle k} л {\ displaystyle l} k + л знак равно N {\ Displaystyle к + л = N}

Энтропия запутанности фон Неймана

Двудольная энтропия запутанности фон Неймана определяется как энтропия фон Неймана любого из ее приведенных состояний, так как они имеют одинаковое значение (может быть доказано из разложения Шмидта состояния по двудольности); результат не зависит от того, какой из них мы выберем. То есть для чистого состояния он определяется по формуле:
S {\ displaystyle S} ρ А B знак равно | Ψ ⟩ ⟨ Ψ | А B {\ Displaystyle \ rho _ {AB} = | \ Psi \ rangle \ langle \ Psi | _ {AB}}

S ( ρ А ) знак равно — Тр ⁡ ρ А журнал ⁡ ρ А знак равно — Тр ⁡ ρ B журнал ⁡ ρ B знак равно S ( ρ B ) {\ displaystyle {\ mathcal {S}} (\ rho _ {A}) = — \ operatorname {Tr} = — \ operatorname {Tr } = {\ mathcal {S}} (\ rho _ {B})}

где и — для каждого разбиения.
ρ А знак равно Тр B ⁡ ( ρ А B ) {\ Displaystyle \ rho _ {A} = \ operatorname {Tr} _ {B} (\ rho _ {AB})} ρ B знак равно Тр А ⁡ ( ρ А B ) {\ Displaystyle \ rho _ {B} = \ operatorname {Tr} _ {A} (\ rho _ {AB})}

Энтропия запутанности может быть выражена с использованием сингулярных значений разложения Шмидта состояния. Любое чистое состояние может быть записано как где и являются ортонормированными состояниями в подсистеме и подсистеме соответственно. Энтропия запутывания просто:
| Ψ ⟩ знак равно ∑ я знак равно 1 м α я | ты я ⟩ А ⊗ | v я ⟩ B {\ displaystyle | \ Psi \ rangle = \ sum _ {i = 1} ^ {m} \ alpha _ {i} | u_ {i} \ rangle _ {A} \ otimes | v_ {i} \ rangle _ {B }} | ты я ⟩ А {\ displaystyle | u_ {i} \ rangle _ {A}} | v я ⟩ B {\ displaystyle | v_ {i} \ rangle _ {B}} А {\ displaystyle A} B {\ displaystyle B}

— ∑ я | α я | 2 журнал ⁡ ( | α я | 2 ) {\ textstyle — \ sum _ {i} | \ alpha _ {i} | ^ {2} \ log (| \ alpha _ {i} | ^ {2})}

Эта форма записи энтропии ясно дает понять, что энтропия запутанности одинакова независимо от того, вычисляется ли частичный след по подсистеме или .
А {\ displaystyle A} B {\ displaystyle B}

Многие меры запутанности сводятся к энтропии запутанности при оценке на чистых состояниях. Среди них:

  • Перегонная запутанность
  • Стоимость запутывания
  • Запутанность формации
  • Сжатое запутывание

Некоторые меры запутанности, которые не сводятся к энтропии запутанности:

  • Негатив
  • Логарифмическая отрицательность
  • Устойчивость запутывания

Энтропия запутанности Реньи

Энтропии запутанности Реньи также определяются в терминах приведенных матриц плотности и индекса Реньи . Он определяется как энтропия Реньи приведенных матриц плотности:
S α {\ displaystyle {\ mathcal {S}} _ {\ alpha}} α ≥ {\ displaystyle \ alpha \ geq 0}

S α ( ρ А ) знак равно 1 1 — α журнал ⁡ tr ⁡ ( ρ А α ) знак равно S α ( ρ B ) {\ displaystyle {\ mathcal {S}} _ {\ alpha} (\ rho _ {A}) = {\ frac {1} {1- \ alpha}} \ operatorname {log} \ operatorname {tr} (\ rho _ {A} ^ {\ alpha}) = {\ mathcal {S}} _ {\ alpha} (\ rho _ {B})}

Обратите внимание, что в пределе энтропия запутанности Реньи приближается к энтропии запутанности Фон Неймана.
α → 1 {\ displaystyle \ alpha \ rightarrow 1}

Виды энтропии

Области применения:

  • физическая химия;
  • экономические науки;
  • статистическая физика или информационная теория;
  • социологическая наука.

Рассмотрим подробнее виды энтропии в каждой из областей ее применения.

В термодинамике

В термодинамике (физической химии) энтропия – это та степень, в которой реальный процесс отклоняется от идеального. Основной постулат термодинамики, сформулированный физиками на базе изучения энтропии: каждая система термодинамики, которая изолирована от внешнего мира, постепенно становится равновесной и впоследствии не имеет возможности выйти самостоятельно из состояния равновесия. Беспорядок – основная характеристика состояния любой системы. Из него она стремится к равновесию.

Возникает вопрос: с помощью чего определить степень беспорядка?

Основной метод: каждому возможному состоянию системы присваивается число вариантных комбинаций, которыми это состояние может быть реализовано.

Вывод: чем больше число вариантов, тем больше величина энтропии. Чем больше организованности в структуре вещества, тем меньше его неупорядоченность.

Абсолютная величина энтропии равна приращению имеющейся в системе тепловой энергии в условиях теплопередачи при заданной температуре.

Клазиус определял энтропию как совокупность приведенных тепловых энергий, как функцию состояния системы, которое остается неизменным в условиях замкнутости, а в условиях открытых необратимых процессов – оно всегда положительно изменяется. Ее значение отражает связь между макро- и микросостояниями. Это единственная функциональная величина, показывающая направленность процессов. Но она не показывает сам процесс перехода состояний из одного в другое, а находится лишь исходным и итоговым состоянием системы.

В экономике

Коэффициент энтропии дает возможность проанализировать уровень концентрации рынка и его изменение. Чем этот коэффициент ниже, тем меньше неопределенность внешней среды, что ведет к повышению вероятности возникновения монополий. Этот показатель выступает в качестве косвенного помощника в оценивании выигрыша, который получает предприятие в ходе ведения монополистической деятельности или в условиях изменения рыночной концентрации (влияет на число потенциальных конкурентов фирмы).

В информатике или статистической физике

Информационная энтропия – это степень непредсказуемости информационной системы. Этот показатель служит для определения степени хаотичности эксперимента, который проводится или произошедшего события. Значение хаотичности прямопропорционально числу состояний, нахождение системы в которых возможно. Все действия, направленные на упорядочивание системы, ведут к появлению информационных сведений о ней и снижают информационную неопределенность, которая выявляет пропускную способность информационного канала, обеспечивающую надежность и достоверность передачи информационных данных. Это позволяет прогнозировать частично возможный ход эксперимента, т.е. предсказывать вероятность того или иного события.

Пример: расшифровка закодированного текста. Для этого анализируется вероятность возникновения того или иного символа и высчитывается величина их энтропии.

В социологии

Энтропия – показатель, характеризующий отклонение общественной системы или ее составных частей от заданного (образцового) состояния. Проявления этого отклонения:

  • уменьшение эффективности общественного развития и жизнедеятельности общества как целостной системы;
  • снижение способности к самоорганизации.

Пример: персонал организации настолько загружен бумажной работой (составлением отчетов, ведением документации), что не может успевать выполнять свои должностные функции и обязанности (осуществление аудита). Мера неэффективного использования трудовых ресурсов собственником предприятия – это информационная неопределенность.

Эквивалентность формы определяющих выражений

Могила Больцмана в Zentralfriedhof , Вена, с бюстом и формулой энтропии.

Определяющее выражение для энтропии в теории статистической механики, установленное Людвигом Больцманом и Дж. Уиллардом Гиббсом в 1870-х годах, имеет вид:

Sзнак равно-kB∑япяпер⁡пя,{\ displaystyle S = -k _ {\ text {B}} \ sum _ {i} p_ {i} \ ln p_ {i},}

где — вероятность микросостояния i, взятого из равновесного ансамбля.
пя{\ displaystyle p_ {i}}

Определяющее выражение для энтропии в теории информации, установленной Клодом Э. Шенноном в 1948 году, имеет вид:

ЧАСзнак равно-∑япябревноб⁡пя,{\ displaystyle H = — \ sum _ {i} p_ {i} \ log _ {b} p_ {i},}

где — вероятность сообщения, взятого из пространства сообщений M , а bоснование используемого логарифма . Общие значения b — 2, число Эйлера e и 10, а единица энтропии — шеннон (или бит ) для b  = 2, nat для b  =  e и хартли для b  = 10.
пя{\ displaystyle p_ {i}}мя{\ displaystyle m_ {i}}

Математически H можно также рассматривать как среднюю информацию, взятую по пространству сообщений, потому что, когда определенное сообщение возникает с вероятностью p i , будет получено количество информации -log ( p i ) (называемое информационным содержанием или собственной информацией).

Если все микросостояния равновероятны ( микроканонический ансамбль ), статистическая термодинамическая энтропия сводится к форме, заданной Больцманом,

Sзнак равноkBпер⁡W,{\ Displaystyle S = к _ {\ текст {B}} \ ln W,}

где W — количество микросостояний, соответствующее макроскопическому термодинамическому состоянию. Следовательно, S зависит от температуры.

Если все сообщения равновероятны, информационная энтропия сводится к энтропии Хартли.

ЧАСзнак равнобревноб⁡|M| ,{\ Displaystyle H = \ журнал _ {b} | M | \,}

где это кардинальное из пространства сообщений M .
|M|{\ displaystyle | M |}

Логарифм в термодинамическом определении — это натуральный логарифм . Можно показать , что энтропия Гиббса формула, с натуральным логарифмом, воспроизводит все свойства макроскопических классической термодинамики на Рудольфа Клаузиуса . (См. Статью: Энтропия (статистические представления) ).

В случае информационной энтропии логарифм также может быть взят по натуральному основанию. Это эквивалентно выбору измерения информации в натсах, а не в обычных битах (или, более формально, в шаннонах). На практике информационная энтропия почти всегда вычисляется с использованием логарифмов по основанию 2, но это различие сводится к не чем иным, как к изменению единиц. Один нат составляет около 1,44 шаннона.

Для простой сжимаемой системы, которая может выполнять только объемную работу, первый закон термодинамики принимает следующий вид:

dEзнак равно-пdV+ТdS.{\ displaystyle dE = -pdV + TdS.}

Но с равным успехом можно записать это уравнение в терминах того, что физики и химики иногда называют « приведенной » или безразмерной энтропией, σ = S / k , так что

dEзнак равно-пdV+kBТdσ.{\ displaystyle dE = -pdV + k _ {\ text {B}} Td \ sigma.}

Так же, как S сопряжена с T , так и σ сопряжена с k B T (энергия, которая характерна для T в молекулярном масштабе).

Таким образом, определения энтропии в статистической механике ( ) и в классической термодинамике ( и фундаментальное термодинамическое соотношение ) эквивалентны для микроканонического ансамбля и статистических ансамблей, описывающих термодинамическую систему, находящуюся в равновесии с резервуаром, например канонический ансамбль , большой канонический ансамбль , изотермино-изобарический ансамбль . Эта эквивалентность обычно указывается в учебниках. Однако эквивалентность между термодинамическим определением энтропии и энтропии не является общим, а, вместо этого, исключительным свойством обобщенного распределения Больцмана .
Sзнак равно-kB∑япябревно⁡пя{\ displaystyle S = -k _ {\ mathrm {B}} \ sum _ {i} p_ {i} \ log p_ {i}}dSзнак равноδQrevТ{\ displaystyle dS = {\ frac {\ delta Q _ {\ text {rev}}} {T}}}

Что называют «энтропией» на простом языке?

«Entropia«, в переводе с греческого поворот, превращение. Это слово можно определить, как меру беспорядка, стремление к хаосу. Для точного определения энтропии используются математические расчеты. Лучше всего ее эффект показывают примеры термодинамики, в которых процесс перехода тепла в механическую работу не является абсолютным. Часть его будет преобразована в другие виды энергии.

Совсем простой пример энтропии

Представим подготовку квартиры или офиса к праздничному мероприятию. Все вымыто, аккуратно разложено, столы накрыты, стулья расставлены. Получилась маленькая энтропия. Праздник идет по полной программе. Танцы, хлопушки, фейерверки! Гости расходятся. В квартире полный хаос. Вы получаете систему с большим показателем энтропии. Надо приводить помещение в порядок. Вы тратите на уборку свои силы, энергию. Через время величина энтропии в системе снижается. Порядок восстановлен. И все в соответствии со вторым законом термодинамики. Была добавлена энергия извне. И система теперь не может считаться изолированной.

Рудольф Клаузиус и Людвиг Больцман об энтропии

Термин entropia, впервые введенный немецким ученым Рудольфом Клаузисом в 1865-ом г., применялся для объяснения невозможности передачи теплоты из холодного в более теплое тело. Смысл термина определял «уход в себя” или “вовнутрь”. Идея “ухода в себя” в свою очередь заинтересовала учёного из Австрии Людвига Больцмана. Он провел ряд исследовательских работ и дал следующее разъяснение процесса энтропии.

Возьмем за основу любую систему. Например, газ в сосуде. Он имеет ряд характеристик, которые показывают его макросостояние:

  • температура;
  • давление;
  • объем.
  • расположение частиц;
  • скорость движения частиц.

Состояние системы непрерывно меняется. Это стремление к неорганизованности, к увеличению энтропии. И, одновременно, происходит поиск системой своего самого возможного состояния — равновесия. Следовательно, когда мы говорим о росте энтропии, это означает, что эта система пытается прийти к равновесию.

Вне зависимости от того, насколько хаотично будет происходить движение частиц в сосуде, скорость их движения всегда будет приближена к средней величине. В этом случае, энтропия будет максимальной.

Таким образом, считает Больцман, значение энтропии определяет вероятность микросостояния тела.

Энтропия и «демон Максвелла”

Классический пример “демона” рассматривался неоднократно в различных научных работах и трудах. Есть простое и ясное описание его сути данное «отцом кибернетики” Нобертом Винером. Рассмотрим резервуар, наполненный газом. Температура внутри его будет одинаковая. Скорость движения некоторого числа молекул газа больше, чем остальных.

https://youtube.com/watch?v=hG2bhaRk98c

Добавим в конструкцию тепловой двигатель и две трубы. Соединим резервуар и тепловой двигатель трубой. Вторая труба соединит выходное отверстие двигателя и газовую камеру. Входы из резервуара в двигатель и из двигателя в камеру снабдим маленькими дверцами, возле которых будут сидеть маленькие «демоны”. Их задача открыть или закрыть дверцу в зависимости от того как будут двигаться молекулы.

Первый демон будет открывать дверь только молекулам, имеющим большую скорость. Второй пропустит только самые медленные частицы. Итог работы — температура в резервуаре возле первого демона повысится, возле второго — понизится. Получаем источник абсолютно полезной энергии из случайного движения.

Связь между энтропией и информацией

“Демоны” смогли понизить уровень энтропии. Хотя по законам физики, она должна возрастать. С этим парадоксом справился уже венгерский физик Л. Сциллард. Его работа завершила исследование Максвелла.
Во время своей работы демон использует дополнительные силы, которые он тратит на усилия открыть или закрыть дверь. Демон снижает энтропию, но рассчитывается за процесс информации — можно ли пропустить данную частицу, своей энергией.
Мы получаем доказательство, что информация и энтропия неразрывно связаны между собой. Соответственно информация имеет обратную зависимость от энтропии. С помощью информации мы определяем направление движения частиц, определяем их скорость, производим оценку их движения. Под это правило подойдет любая другая категория. Например: разный смысл букв или символов.

На основании этих выводов, К Шеннон стал создателем формулы энтропии, применяемой для учета информации, где первая является мерой хаоса, вторая же несет в себе упорядоченность.