Proponuję oprzeć się na najbardziej ogólnej definicji informacji - że jest to odwrotność entropii. No i samo znaczenie słowa "informacja": od łacińskiego informare - kształtować.

>Proponuję oprzeć się na najbardziej ogólnej definicji informacji - że jest to odwrotność entropii. No i samo znaczenie słowa "informacja": od łacińskiego informare - kształtować.
>
A czy według Ciebie informacja może istnieć bez obserwatora?

Przepraszam ,że się wcinam ale czy to co mam zapisane na hdd jest informacją?

>>Proponuję oprzeć się na najbardziej ogólnej definicji informacji - że jest to odwrotność entropii. No i samo znaczenie słowa "informacja": od łacińskiego informare - kształtować.
>>A czy według Ciebie informacja może istnieć bez obserwatora?
>

Oczywiście - informacja nie "staje się" przez istnienie obserwatora. Zresztą obserwator sam w sobie zawiera mnóstwo informacji - i choć totalnej większości tej informacji nie jest w stanie przeczytać (np. kod genetyczny) to ona istnieje. No może czasami informacja z wnętrza obserwatora dociera do niego sama (np. informacja o zepsutym zębie

----------------------------------------------------------
"ten nie popełnia błędów, kto nic nie robi"

>>Proponuję oprzeć się na najbardziej ogólnej definicji informacji - że jest to odwrotność entropii. No i samo znaczenie słowa "informacja": od łacińskiego informare - kształtować.
>>A czy według Ciebie informacja może istnieć bez obserwatora?
>
Myśle, że można tak przyjąć, bo ilekroć obserwator sprawdza układ pod względem zawartości informacji, zawze ją stwierdza. Wiem wprawdzie, że cybernetyczna definicja inforamcji jest inna, ale uważam ją za zbyt wąską.

>Mam taką uwagę, trochę może na marginesie. Wydaje mi się, że pojęcie "informacji" którego tutaj używasz, jest takie trochę metafizyczne. Piszesz o informacji trochę tak, jakby to było coś istniejącego niezależnie od odbiorcy, coś czego ilość można obiektywnie zmierzyć.

Bo ilość informacji można obiektywnie mierzyć. Entropia = ilość informacji. Dotyczy to nie tylko termodynamiki.
Wystarczy wziąć dany sygnał i wiedząc na jakim maksymalnym poziomie częstotliwości owy sygnał jest przetwarzany np. w mózgu (lub jaka jest częstotliwość składowej o najwyższej częstotliwość i wpływie na przetwarzenie większym od szumu) zastosować twierdzenie o próbkowaniu (Shannona).
Np. pobudzanie receptorów generuje taki sygnał. I informacja najpierw jest zawarta w jakimś obiekcie (w jakichś cechach, strukturze), potem następuje przepływ poprzez pośredniczące obiekty (powietrze, fale elktromagnetyczne itp.) i na końcu przekazanie jej lub skopiowanie do receptorów na postać sygnałową tej informacji.
Informacje termodynamiczne, strukturalne, binarne, sygnałowe i inne według definicji entropii dają się mierzyć tą samą miarą - ilością bitów.

> Różne zjawiska w środowisku pobudzają receptory, natomiast to jakie i ile informacji niesie to dla organizmu, to zależy od tego 1. Jakie ma ten organizm schematy poznawcze 2. Czy zróżnicowanie funkcjonowania organizmu w odpowiedzi na pobudzenia receptorów pełni jeszcze jakąś funkcję.

Z punktu widzenia tworzenia i weryfikowania hipotez oraz myślania czy budowania światopoglądu istotnymi informacjami są informacje które mogę świadomie zapamiętywać i przetwarzać.
Informacje, które nieświadome procesy zbierają i reagują na nie (np. szerokość źrenicy zmienia się w zależności od natężenia światła) nie należą do tej kategorii, gdyż sam świadomie nie potrafię ani regulować ani monitorować tych informacji.
Interpretacja informacji (czyli czy coś jest dla mnie dobre czy złe, czy dana informacja oznacza, że powinienem zmienić swój stan na "radość" itp. itd. czy też że oznacza niebezpieczeństwo) jest wynikiem własnej struktury psychiki, budowy mózgu, schematów poznawczych oraz obranych celów. Jest pewnym poziomem przetwarzania oraz pewnym schematem związanym z podejmowaniem decyzji, zawiera i generuje też pewne informacje, ale nie jest wyodrębnione od innych źródeł informacji - bo zależy od nich. Zazwyczaj nie powoduje większych zmian w informacjach docierających przez inne źródła lub nie ma powodów by zakładać istnienie takiego systemu zmian, który by tworzył całkowicie spójną iluzję czegoś. Np. są osoby, które specyficzne cyfry widzą jako posiadające jakiś specjalny kolor (i to na poziomie pozaświadomym) albo nie widzą ani nie czują (lub raczej skutecznie ignorują) lewej połowy świata. Jednak nawet w tych przypadkach wywołane przez umysł zmiany w informacjach oraz ich interpretacji nie są na tyle spójne by taki osobnik nie mógł się zorientować, że coś jest nie tak lub że inaczej postrzega świat niż inni oraz by nie mógł dowiedzieć się co jest nie tak i że pewne informacje nie są oryginalnie pochodzącymi z realnych obiektów (np. może zorientować się, że w rzeczywistości zapisane cyfry nie mają zawsze tych samych specyficznych kolorów)

"Iluzja" musiałaby dotyczyć wszystkich zmysłów tam, gdzie się na siebie nakładają pod względem przekazywanych informacji, pasować do siebie na wzajem. A to raczej mało prawdopodobne. Np. gdyby nawet wszyscy ludzie widzieli kolor fioletowy jako zielony i nie mogli rozróżnić tych 2 kolorów (nie wnikając czy i jak to fizycznie byłoby możliwe), to i tak ktoś w końcu by zbadał czym jest widzenie barw i doszedł do wniosku, że zielony odpowiada dwóm zakresom częstotliwości oraz zarówno "czystemu" zielonemy jak i mieszance czerwonego z niebieskim. W końcu udałoby się (jeśli byłoby to do czegoś potrzebne) znaleźć sposób rozróżnienia między tymi częstotliwościami przez np. detektory i dojście do prawdy o obiektach zielonych i fioletowych.
Do wiedzy o jakimś obiekcie nie można dojść tylko wtedy, gdy znajduje się on poza możliwością badania poprzez zmysły oraz obiekty pośrednie (jak np. lupa, mikroskop czy akcelerator). Ale wtedy wpływ takiego obiektu na nas jest znikomy lub żaden, bo gdyby był realny, to poprzez efekt wpływu można by było poznać obiekt (lub część z wpływem skorelowaną i wpływ "generującą").

> Co do punktu drugiego to jest to zresztą kwestia dla mnie nie do końca jasna. Na przykład jeśli pewne sygnały z otoczenia kiedyś niosły dla organizmu informację o zagrożeniu, a teraz już nie niosą (bo np. zmieniło się środowisko), choć organizm nadal na nie reaguje, to czy sygnały te powinniśmy traktować jako informację czy nie?

Te sygnały są nadal informacjami. Zmieniła się tylko interpretacja jaką organizm im przypisuje. Czyli np. tak jak w komputerze - plik pozostał ten sam, ale program, który go odczytuje i interpretuje się zmienił.

>Entropia = ilość informacji. Dotyczy to nie tylko termodynamiki.

Ciągle nie rozumiem, dlaczego tak uważasz. Mam wrażenie, że jest akurat odwrotnie. Wyższy poziom entropii oznacza mniejszy poziom uporzadkowania, czyli mniej informacji w układzie.
Chyba że teraz coś się zmieniło w terminologii, ale po co by to było?

pl.wikiped(*)tropia_(teoria_informacji)

Entropia jest miarą nieuporządkowania. Ale wzrost nieuporządkowania to nie spadek ilości informacji, ale ich wzrost. Do zapisania stanu nieuporządkowanego potrzeba większej ilości informacji niż do zakodowania stanu w którym występuje pewien porządek.

Jeśli nie wierzysz to proponuję eksperyment:
Stwóż dwa długie pliki o równej długości w którym w jednym umieścisz tekst, a w drugim ciąg losowych znaków z tablicy ASCII (lub losowych liter).

Zgadnij który można lepiej skompresować - po najmocniejszej kompresji dowolnym programem kompresującym zajmie mniej miejsca.

W telefonii komórkowej wykorzystuje się ten fakt dążąc do jak najlepszego wymieszania i przetworzenia sygnałów (a potem przywrócenia ich u celu) - tak by podczas przesyłania przypominały sygnał pseudolosowy o rozkładzie Gaussa - bo przenosi najwięcej informacji (jeśli dobrze kojarzę to w III generacji jest stosowane takie mocne mieszanie).

Dzięki, teraz rozumiem twoje stanowisko.

>pl.wikiped(*)tropia_(teoria_informacji)
>Entropia jest miarą nieuporządkowania. Ale wzrost nieuporządkowania to nie spadek ilości informacji, ale ich wzrost. Do zapisania stanu nieuporządkowanego potrzeba większej ilości informacji niż do zakodowania stanu w którym występuje pewien porządek.

W takim razie mam pytanie. Co ma większą entropię i co zawiara w sobie więcej informacji: buda dla psa, czy np. katedra Notre Dame ?

>W takim razie mam pytanie. Co ma większą entropię i co zawiara w sobie więcej informacji: buda dla psa, czy np. katedra Notre Dame ?

Katedra, ale nie ze względu na stopień uporządkowania struktury w skali makro (bo wygląda - potocznie - na bardziej uporządkowaną,), ale ze względu na:
1. Wielkość. Zauważ, że np. plik o wielkości 1 MB z tekstem i tak zawiera więcej informacji niż 10 KB ciąg losowych znaków (więcej informacji potrzeba do jego zapisania).
2. W skali mikro - termodynamicznie - nie jest dużo bardziej uporządkowana. Informacja zawarta w strukturze w skali makro to tylko ułamek informacji, jaka jest zawarta w ułożeniu atomów w skali mikro.

Miniaturka katedry Notre Dame o takiej samej jak buda psa entropii termodynamicznej w skali mikro (gdyby pominąć strukturę w skali makro) też zawierałaby więcej informacji niż buda psa.
A to dla tego, że choć ładnie wygląda, dużo w niej symetrii itp., a buda psa może mieć nierówności oraz nie prezentuje się tak ładnie, to buda psa ma mimo wszystko prostszą budowę - poziom skomplikowania tego, co w niej symetryczne - nieprzypadkowe, jest mniejszy (kilka desek i ich ustawienie łatwiej opisać niż złożone symetrie i szczegóły katedry).
Ilość "stopni swobody" struktury budy psa (ilość tego, co moglibyśmy zmienić tak, że buda pozostanie budą) jest mniejsza niż w przypadku katedry.

Wraz z wzrostem entropii rośnie nieuporządkowanie, ale rośnie także ilość informacji potrzebna do opisu oraz skomplikowanie.
Zauważ, że idealny kryształ łatwiej opisać i potrzeba do tego mniejszej ilości informacji (wystarczy opisać kawałek struktury krystalicznej oraz ogólny kształt) niż chaotyczny układ cząsteczek np. w powietrzu (gdzie trzeba opisać położenie i prędkość każdej cząstki).

>Miniaturka katedry Notre Dame o takiej samej jak buda psa entropii termodynamicznej w skali mikro (gdyby pominąć strukturę w skali makro) też zawierałaby więcej informacji niż buda psa.

Jak to pominąć sktrukturę w skali makro ? Właśnie ta struktura jest bardzo istotna. Sprawia ona, że układ cząstek tworzących katedrę, jest mniej prawdopodobny, niż prostszy układ cząstek budy dla psa. Zgodnie z definicją termodynamiczną, układ o mniejszej entropii, jest mniej prawdopodobny. Tak więc katedra powinna mieć mniejszą entropię, pomimo że zawiera więcej informacji. Jest to sprzeczne z tym co mówisz, że mniejsza entropia oznacza mniej informacji i vice versa.

>Ilość "stopni swobody" struktury budy psa (ilość tego, co moglibyśmy zmienić tak, że buda pozostanie budą) jest mniejsza niż w przypadku katedry.

Żeby określić, która sktruktura ma mniejszą ilość stopni swobody, należałoby je rozpatrywać w tym samym zamkniętym układzie cząstek. Załóżmy, że dysponujemy wszystkimi atomami wszechświata. Który twór, buda czy katedra, jest w tym układzie bardziej prawdopodobny ? Chociaż nie jestem w stanie tego policzyć, to wydaje mi się, że prawdopodobieństwo spontanicznego uformowania się budy jest większe niż katedry. A więc to buda ma większą ilość stopni swobody, czyli ilość mikrostanów tożsamych z makrostanem, zwanym budą dla psa.

>Wraz z wzrostem entropii rośnie nieuporządkowanie, ale rośnie także ilość informacji potrzebna do opisu oraz skomplikowanie.

Z tego by wynikało, że katedra ma większą entropię, czyli jest tworem bardziej nieuporządkowanym. Tymczasem ja twierdzę, że jest odwrotnie.

>Zauważ, że idealny kryształ łatwiej opisać i potrzeba do tego mniejszej ilości informacji (wystarczy opisać kawałek struktury krystalicznej oraz ogólny kształt) niż chaotyczny układ cząsteczek np. w powietrzu (gdzie trzeba opisać położenie i prędkość każdej cząstki).

W zamkniętym układzie cząstek, każdy mikrostan jest jednakowo prawdopodobny. Jeśli określoną ilość mikrostanów utożsamiasz z kryształem, a następnie wybierasz jeden konkretny mikrostan, który uważasz za chaotyczny, to nic dziwnego, że dochodzisz do takich wniosków. Otóż trzeba by zdefinować, co to znaczy "układ chaotyczny" i ile mikrostanów składa się na ten chaotyczny makrostan.

>Jak to pominąć sktrukturę w skali makro ?

Na chwilę - by wyrównać tą termodynamiczną, wyskalować - by w rozważaniach po skalowaniu pozostała entropia struktury w skali makro, a można było pominąć tą w skali mikro (Ta w skali makro jest zawarta w tej w skali mikro, więc trzeba najpierw usunąć składową związaną z strukturą, wyrównać entropie czysto termodynamiczne - związane z strukturą i buową materii z której tworzymy konstrukcje - a potem po zrównaniu przywrócić strukturę makro. To wszystko to tylko eksperyment myślowy - raczej nie do wykonania w rzeczywistości.)

> Właśnie ta struktura jest bardzo istotna.

Właśnie nie. O wiele więcej informacji jest zawartych w mikro-nierównościach, a jeszcze więcej w atomach i ich układzie. W końcu ani buda psa ani katedra nie są zbudowane z kryształu zamrożonego do temperatury bliskiej 0 K.

> Sprawia ona, że układ cząstek tworzących katedrę, jest mniej prawdopodobny, niż prostszy układ cząstek budy dla psa.

Struktura makro sama w sobie (bez szczegółów skali mikro) zawiera dużo dużo mniej informacji niż struktura mikro bez tej makro (po "sprasowaniu").
Strukturę makro możesz sfotografować i zapisać na dysku komputera. Spróbuj to zrobić z położeniami wszystkich atomów.

> Zgodnie z definicją termodynamiczną, układ o mniejszej entropii, jest mniej prawdopodobny.

Czym więcej informacji tym układ mniej prawdopodobny.

> Tak więc katedra powinna mieć mniejszą entropię, pomimo że zawiera więcej informacji. Jest to sprzeczne z tym co mówisz, że mniejsza entropia oznacza mniej informacji i vice versa.

Nie jest mniej prawdopodobny. Mniej prawdopodobne jest przejście ze stanu o pewnej entropii termodynamicznej do stanu o mniejszej entropii termodynamicznej w układzie zamkniętym. To znaczy, że informacja w układzie zamkniętym nie znika - co najmniej się nie zmienia, a być może wzrasta.

>Żeby określić, która sktruktura ma mniejszą ilość stopni swobody, należałoby je rozpatrywać w tym samym zamkniętym układzie cząstek. Załóżmy, że dysponujemy wszystkimi atomami wszechświata. Który twór, buda czy katedra, jest w tym układzie bardziej prawdopodobny ? Chociaż nie jestem w stanie tego policzyć, to wydaje mi się, że prawdopodobieństwo spontanicznego uformowania się budy jest większe niż katedry.

Tak. Prawdopodobieństwo spontanicznego uformowania budy jest większe.

> A więc to buda ma większą ilość stopni swobody, czyli ilość mikrostanów tożsamych z makrostanem, zwanym budą dla psa.

To znaczy, że nicość ma nieskończenie wiele stopni swobody??
Buda ma mniej stopni swobody niż Katedra - mniej możliwych stanów w jakich mogłaby się znaleźć nie zmeniając ilości informacji w niej zawartej.
Czym więcej coś ma stanów swobody tym mniejsze prawdopodobieństwo, że się spontanicznie pojawi. Stany swobody to dodatkowe "zmienne losowe" (np. przy spontanicznym pojawianiu się), więc coś, co ma określoną wartość takiej zmiennej ma mniejsze prawdopodobieństwo niż coś, co nie ma jej określonej lub wogóle ma mniej stopni swobody.

>>Wraz z wzrostem entropii rośnie nieuporządkowanie, ale rośnie także ilość informacji potrzebna do opisu oraz skomplikowanie.

>Z tego by wynikało, że katedra ma większą entropię, czyli jest tworem bardziej nieuporządkowanym. Tymczasem ja twierdzę, że jest odwrotnie.

A dlaczego tak twierdzisz?
Jest bardziej nieuporządkowanym bo zawiera więcej cząstek mających różne chaotyczne i losowe położenia.

>>Zauważ, że idealny kryształ łatwiej opisać i potrzeba do tego mniejszej ilości informacji (wystarczy opisać kawałek struktury krystalicznej oraz ogólny kształt) niż chaotyczny układ cząsteczek np. w powietrzu (gdzie trzeba opisać położenie i prędkość każdej cząstki).
>W zamkniętym układzie cząstek, każdy mikrostan jest jednakowo prawdopodobny. Jeśli określoną ilość mikrostanów utożsamiasz z kryształem, a następnie wybierasz jeden konkretny mikrostan, który uważasz za chaotyczny, to nic dziwnego, że dochodzisz do takich wniosków. Otóż trzeba by zdefinować, co to znaczy "układ chaotyczny" i ile mikrostanów składa się na ten chaotyczny makrostan.

Nie opisuję średniej entropi zbioru możliwych katedr i przeciwstawiam ją średniej entropii zbioru możliwych bud, ani nie myślę o idealnej katedrze z zamrożonego kryształu i takowej budzie (najlepiej pozbawionych skali porównawczej - żeby była symetria wobec przekształcenia skal).

Opisuję entropię realnej jednej budy i realnej jednej katedry.

Położenie każdego atomu w idealnym zamrożonym krysztale (powiedzmy o kształcie idealnego prostopadłościanu) da się wyprowadzić z informacji o strukturze siatki atomów (poprzez zapis względnych położeń kilku atomów - np. 10) + długości boków takiego prostopadłościanu. Prędkości atomów będą pomijalnie małe.

Położenie każdego atomu w kawałku cegły o takim samym kształcie w skali makro nie da się już tak wyprowadzić ani zapisać. Trzeba znać położenie i prędkości prawie każdego atomu (lub grup atomów tworzących jakieś stabilne i jednakowe struktury w skali mikro - jeśli takowe występują - nie znam się na budowie atomowej cegieł).

>>>Wraz z wzrostem entropii rośnie nieuporządkowanie, ale rośnie także ilość informacji potrzebna do opisu oraz skomplikowanie.
>>Z tego by wynikało, że katedra ma większą entropię, czyli jest tworem bardziej nieuporządkowanym. Tymczasem ja twierdzę, że jest odwrotnie.
>A dlaczego tak twierdzisz?
>Jest bardziej nieuporządkowanym bo zawiera więcej cząstek mających różne chaotyczne i losowe położenia.

Żeby uprościć rozważania, przyjmijmy, że zarówno buda, jak i katedra są zbudowane z tego samego materiału. Cząstki elementarne stanowią tutaj cegły. To, co dzieje się w cegłach, jest w tym momencie dla nas nieistote. Dysponując pewną ilością cegieł, podrzucamy je do góry. Prawdopodobieństwo, że cegły uformują się w budę jest z pewnością większe. Wobec tego stan "buda" ma większą entropię niż stan "katedra". Stan "katedra" jest stanem bardziej uporządkowanym, mniej chaotycznym, a co za tym idzie mniej prawdopodobnym, a więc jest stanem o mniejszej entropii. Równocześnie jednak do jego opisu potrzeba więcej informacji.

>Żeby uprościć rozważania, przyjmijmy, że zarówno buda, jak i katedra są zbudowane z tego samego materiału.

Ok.

> Cząstki elementarne stanowią tutaj cegły. To, co dzieje się w cegłach, jest w tym momencie dla nas nieistote.

Ok.

> Dysponując pewną ilością cegieł, podrzucamy je do góry. Prawdopodobieństwo, że cegły uformują się w budę jest z pewnością większe.

Zgadzam się.

> Wobec tego stan "buda" ma większą entropię niż stan "katedra".

Buda jest prostsza od katedry. Mniej skomplikowana. Mniej bitów potrzeba do opisania budy. Buda ma mniejszą entropię niż katedra.

Może różnia rozumiemy definicję entropii? Ja używam tej Boltzmanna, tej Shannona oraz zależności między nimi (S=B*k gdzie k to stała Boltzmanna).

> Stan "katedra" jest stanem bardziej uporządkowanym

Nie jest. Buda jest bardziej uporządkowana i prostsza - w katedrze porządek jest bardziej złożony i finezyjny. Wiecej symetrii, ale i dużo więcej szczegółów

> mniej chaotycznym

Trudno mówić o chaotyczności... Ja bym się nie zgodził (choć z rozpędu przed chwilą napisałem tak), ale dużo zależy co rozumiesz pod pojęciem mniej chaotyczny.

Może należałoby wymyśleć jakieś łatwiejsze do porównywania przykłady - bo całkiem możliwe, że nie do końca się rozumiemy z powodu różnego postrzegania budy i katedry.

Proponuję porównanie 3 przedmiotów:
1. gwiazdkę np. 10-ramienną (taką jaka mogłaby być orderem)
2. sześcian
3. kulkę z chropowatą powierzchnią

Albo 3 budowli z cegieł:
1. Katedra
2. Prosty "dom" czyli podłoga, 4 ściany i sufit - taki sześcian z cegieł pusty w środku
3. Sterta cegieł

> a co za tym idzie mniej prawdopodobnym

Tak.

> a więc jest stanem o mniejszej entropii.

Nie.

Zauważ, że nie startujemy od stwarzania cegieł z nicości w ustalanych miejscach, ale od losowej sterty cegieł, rzucamy ją do góry (nie zależnie od tego czy pojedyńczo czy wszystkie na raz) i patrzymy co się stanie. Stan "losowa sterta cegieł" (czy losowo rzucane cegły) ma większą entropię niż buda czy katedra. Dlatego tak mało prawdopodobny jest dalszy spadek entropii i ewentualne pojawienie się czegokolwiek sensownego (budy lub katedry na przykład).

Mając katedrę/budę i uderzając w nią - destabilizując - burząc - dostaniemy zazwyczaj stertę cegieł. Dlaczego nie coś sensownego? Bo sterta cegieł jest najbardziej prawdopodobna jako stan o wyższej entropii - wyższej niż katedra czy buda.

> Równocześnie jednak do jego opisu potrzeba więcej informacji.

Tak.

>Może różnia rozumiemy definicję entropii? Ja używam tej Boltzmanna, tej Shannona oraz zależności między nimi (S=B*k gdzie k to stała Boltzmanna).

A może po prostu rozmawiamy o dwóch różnych entropiach ?
Ja mówię o entropii zdefiniowanej następująco:

S = k*ln(W)

gdzie k - stała Boltzmanna, a W liczba mikrostanów odpowiadająca danemu stanowi (makrostanowi). Tak zdefiniowana entropia jest rosnącą funkcją prawdopodobieństwa znalezienia się układu cząstek w danym stanie. Bo im więcej mikrostanów W przypada na dany stan, tym większe prawdopodobieństwo wystąpienia tego stanu.

>> a więc jest stanem o mniejszej entropii.
>Nie.
>Zauważ, że nie startujemy od stwarzania cegieł z nicości w ustalanych miejscach, ale od losowej sterty cegieł, rzucamy ją do góry (nie zależnie od tego czy pojedyńczo czy wszystkie na raz) i patrzymy co się stanie. Stan "losowa sterta cegieł" (czy losowo rzucane cegły) ma większą entropię niż buda czy katedra. Dlatego tak mało prawdopodobny jest dalszy spadek entropii i ewentualne pojawienie się czegokolwiek sensownego (budy lub katedry na przykład).
>Mając katedrę/budę i uderzając w nią - destabilizując - burząc - dostaniemy zazwyczaj stertę cegieł. Dlaczego nie coś sensownego? Bo sterta cegieł jest najbardziej prawdopodobna jako stan o wyższej entropii - wyższej niż katedra czy buda.

No też właśnie. O tym samym cały czas mówię. Stany bardziej prawdopodobne mają większą entropię, a mniej prawdopodobne mniejszą. Skoro przejście ze stanu "sterta cegieł" do stanu "katedra" jest mniej prawdopodobne niż przejście do stanu "buda", to stan "katedra" ma mniejszą entropię niż "buda". Wynika to wprost z definicji entropii, którą podałem wcześniej.

Już rozumiem w czym tkwi mój błąd.

W większości procesów entropia wzrasta.
Mamy katedrę, potem ona się zawala i zostają ruiny, a potem i one się sypią i zostaje sterta gruzu. Większe prawdopodobieństwo przejścia z poziomu o niższej do poziomu o wyższej entropii.

W wyniku pojawienia się czegoś z niczego także wzrasta. Ale jeśli rozkład jest losowy to pojawianie się przypomina rzucanie losowych cegiełek do sterty. Startujemy od stanu o b. wysokiej entropii i liczymy szanse na to, że przejdzie do stanu o niższej entropii (budy/katedry).

Dla budy jest ono większe, a więc entropia budy musi być jednak wyższa niż entropia katedry.

Jednak jeśli się głębiej nad tym zastanowić to wynika to tylko z nieidealności budy - na poziomie atomów panuje chaos, a więc buda zawiera mniej symetrii niż katedra, a więc jest tworem bardziej skomplikowanym. Nie jest to sytuacja w której buda to jakaś idealna struktura w stylu ciągów "AAA...AABBBB...BBAAAA....AA" itp., ale wręcz przeciwnie - buda jest strukturą chaotyczną z niedużą ilością regularnych zależności - w przeciwieństwie do katedry gdzie symetrii jest większe.

Jeśli się zastanowić nad idealną budą i idealną katedrą - z idealnego kryształu i w temperaturze bliskiej 0 K to w takiej sytuacji entropia katedry będzie większa - bo więcej mikrostanów oraz mniej symetrii będzie w katedrze, a to, co powodowało zwiększenie ilości symetrii w katedrze (tak jak mając losowy ciąg wymienienie fragmentów na regularne kawałki daje zmniejszenie entropii), teraz powoduje zmniejszenie tej ilościi (wstawienie do idealnego ciągu krótszych regularnych fragmentów psuje prostotę i zwiększa entropię).

Idealną budę trudniej stworzyć z losowo rzucanych podstawowych cegiełek niż idealną katedrę.
Tak jak idealny kryształ trudniej niż kryształ z wieloma - nawet symetrycznymi - skazami.
Lub idealny ciąg znaków "AAAAA ... " trudniej wylosować niż taki sam z kilkoma symetrycznymi kilkoznakowymi wstawieniami.

Zwykłą budę łatwiej stworzyć z losowo rzucanych podstawowych cegiełek niż zwykłą katedrę.
Tak jak losowy ciąg znaków łatwiej wylosować niż taki sam z kilkoma symetrycznymi kilkuznakowymi wstawieniami.

Idealne trudniej stworzyć od tych zwykłych.

Entropię rozumiemy jak chodzi o definicję podobnie.
Różnimy się w rozumieniu znaczenia chaotyczności na poziomie atomowym oraz relacji między złożonością i symetriami w skali makro,a tymi w skali mikro.

>Entropię rozumiemy jak chodzi o definicję podobnie.
>Różnimy się w rozumieniu znaczenia chaotyczności na poziomie atomowym oraz relacji między złożonością i symetriami w skali makro,a tymi w skali mikro.

Moim zdaniem nieporozumienie bierze się stąd, że rozmawialiśmy o dwóch różnych rzeczach. O czym innym mówi nam tzw. entropia informacyjna, a o czym innym entropia w ujęciu termodynamicznym. Entropia informacyjna jest miarą naszej niewiedzy o jakimś układzie. I tutaj faktycznie zachodzi zależność: im więcej informacji potrzebnej do opisu układu, tym większa jest jego entropia informacyjna. Stąd też katedra ma większą entropię informacyjną niż buda. Natomiast entropia termodynamiczna S = k*ln(W) jest ściśle związana z prawdopodobieństwem wystąpienia określonej konfiguracji cząstek. W tym przypadku zależność miedzy ilością informacji zawartej w układzie, a jego entropią termodynamiczną, jest odwrotna.

>Moim zdaniem nieporozumienie bierze się stąd, że rozmawialiśmy o dwóch różnych rzeczach. O czym innym mówi nam tzw. entropia informacyjna, a o czym innym entropia w ujęciu termodynamicznym.

Problem w tym, że są proporcjonalne z współczynnikiem proporcjonalności równym stałej Boltzmanna / logarytm naturalny z 2.

> Entropia informacyjna jest miarą naszej niewiedzy o jakimś układzie. I tutaj faktycznie zachodzi zależność: im więcej informacji potrzebnej do opisu układu, tym większa jest jego entropia informacyjna.

To jest entropia względna - inaczej miara transinformacji. Istnieje też entropia bezwzględna - i to jest logarytm 2 stopnia z ilości stanów swobody S=log2(W).

> Stąd też katedra ma większą entropię informacyjną niż buda.

Doszedłem do wniosku, że dla normalnej katedry i budy zbudowanych z chaotycznie ustawionych cząstek i w normalnej temperaturze będzie odwrotnie. Buda ma większą entropię informacyjną niż katedra.
Wcześniej popełniłem błąd zwracając tylko uwagę na entropię w skali makro pomijając jej powiązanie z tą w skali mikro.

> Natomiast entropia termodynamiczna S = k*ln(W) jest ściśle związana z prawdopodobieństwem wystąpienia określonej konfiguracji cząstek.

Z termodynamiki St = k*ln(W)
Z teorii informacji Si = ln (W) / ln (2)

Prawdopodobieństwo konfiguracji losowo rozrzuconych cząstek dających prostą strukturę budy jest większe niż złożoną katedry.
Informacja w skali makro jest większa w katedrze, a mniejsza w budzie. Jednak biorąc pod uwagę także skalę mikro i chaos tam panujący to katedra z swoimi symetriami ma mniejszą entropię niż bardziej chaotyczna buda.

> W tym przypadku zależność miedzy ilością informacji zawartej w układzie, a jego entropią termodynamiczną, jest odwrotna.

Właśnie nie jest - jest to taka sama zależność.

Przemyślałem tą kwestię i wycofuję się ze swoich stwierdzeń. Mam natomiast propozycję co do rozróżnienia dwóch pojęć, które mogą odpowiadać słowu "informacja".

Pierwsze znaczenie tego słowa (oznaczam jako I1) było by takie, jakiego używasz, opierające się na entropii i możliwych stanach jakiegoś układu. Było by to pojęcie niezależne od tego, czy jest jakiś odbiorca informacji czy nie. Przekazywanie informacji oznaczało by "przekopiowanie" stanu/struktury układu na inny układ.

Drugie znaczenie (I2) odnosiło by się do jakiegoś odbiorcy, tzn. skupiało by się na tym, że coś jest jakąś informacją dla kogoś , a nie że jest informacją w ogóle. Ilość informacji mogła by oznaczać np. to, ile niezależnych reprezentacji/schematów poznawczych uruchamia dane zjawisko, a jej wartość - to na ile pozwala ona na zwiększenie efektywności realizacji jakichś celów (w tym sensie jej wartość mogła by być ujemna). I przy takim rozumieniu, jeśli ktoś do mnie mówi coś sensownego w znanym mi języku, to przekazuje mi więcej informacji niż ktoś kto wypowiada losowe strumienie głosek.

Wydaje mi się, że te dwa pojęcia informacji są niesprzeczne. Gdyby patrzeć z punktu widzenia znaczenia I2, to I1 było by maksymalną ilością informacji jaką może dla kogoś nieść dany stan układu. Czyli odbiorca jest tu taki wyidealizowany - ma reprezentację każdego możliwego stanu układu.

Z drugiej strony, gdyby patrzeć z punktu widzenia I1, to I2 było by przekazywaniem części informacji z otoczenia do jakiegoś organizmu. Przy tym to, jaka część jest przekazywana, zależy zarówno od budowy narządów zmysłów, tego jakie ma dany organizm reprezentacje/schematy poznawcze (w rozumieniu: mechanizmy rozpoznawania różnych struktur pobudzeń receptorów) oraz tego które z nich jak są w danym momencie dostępne (to może zależeć np. od kontekstu).

Ale muszę przyznać, że chyba nie najlepiej rozumiem jeszcze I1, więc może to co napisałem to jakaś bzdura. Jeśli tak, to będę wdzięczny za jakieś uwagi.

> Z punktu widzenia tworzenia i weryfikowania hipotez oraz myślania czy budowania światopoglądu istotnymi informacjami są informacje które mogę świadomie zapamiętywać i przetwarzać.

W nauce być może tak, ale myślę, że w życiu codziennym te nieświadome są równie istotne (o ile można to w ogóle porównywać).

> Interpretacja informacji (czyli czy coś jest dla mnie dobre czy złe, czy dana informacja oznacza, że powinienem zmienić swój stan na "radość" itp. itd. czy też że oznacza niebezpieczeństwo) jest wynikiem własnej struktury psychiki, budowy mózgu, schematów poznawczych oraz obranych celów.

Ok.

> Jest pewnym poziomem przetwarzania oraz pewnym schematem związanym z podejmowaniem decyzji, zawiera i generuje też pewne informacje, ale nie jest wyodrębnione od innych źródeł informacji - bo zależy od nich. Zazwyczaj nie powoduje większych zmian w informacjach docierających przez inne źródła lub nie ma powodów by zakładać istnienie takiego systemu zmian, który by tworzył całkowicie spójną iluzję czegoś.

Tak, choć z docierającej informacji w znaczeniu I1, organizm może odebrać pewnie nieskończenie wiele (w znaczeniu bardzo dużo) różnych konfiguracji, a odbiera zawsze tylko drobną ich część. Więc może nie ma dużych zmian w informacjach, ale bardzo selektywne przyjmowanie informacji (w znaczeniu I1).

> Np. są osoby, które specyficzne cyfry widzą jako posiadające jakiś specjalny kolor (i to na poziomie pozaświadomym) albo nie widzą ani nie czują (lub raczej skutecznie ignorują) lewej połowy świata. Jednak nawet w tych przypadkach wywołane przez umysł zmiany w informacjach oraz ich interpretacji nie są na tyle spójne by taki osobnik nie mógł się zorientować, że coś jest nie tak lub że inaczej postrzega świat niż inni oraz by nie mógł dowiedzieć się co jest nie tak i że pewne informacje nie są oryginalnie pochodzącymi z realnych obiektów (np. może zorientować się, że w rzeczywistości zapisane cyfry nie mają zawsze tych samych specyficznych kolorów)
> Np. gdyby nawet wszyscy ludzie widzieli kolor fioletowy jako zielony i nie mogli rozróżnić tych 2 kolorów (nie wnikając czy i jak to fizycznie byłoby możliwe), to i tak ktoś w końcu by zbadał czym jest widzenie barw i doszedł do wniosku, że zielony odpowiada dwóm zakresom częstotliwości oraz zarówno "czystemu" zielonemy jak i mieszance czerwonego z niebieskim.
> W końcu udałoby się (jeśli byłoby to do czegoś potrzebne) znaleźć sposób rozróżnienia między tymi częstotliwościami przez np. detektory i dojście do prawdy o obiektach zielonych i fioletowych.
> Do wiedzy o jakimś obiekcie nie można dojść tylko wtedy, gdy znajduje się on poza możliwością badania poprzez zmysły oraz obiekty pośrednie (jak np. lupa, mikroskop czy akcelerator). Ale wtedy wpływ takiego obiektu na nas jest znikomy lub żaden, bo gdyby był realny, to poprzez efekt wpływu można by było poznać obiekt (lub część z wpływem skorelowaną i wpływ "generującą").

Zgadzam się.

Pozdrawiam.

Jeśli dobrze rozumiem to I2 to byłaba informacja po przejściu przez wszystkie filtry odrzucające czasem informacje o pewnej charakterystyce lub takie, których nie można przetworzyć na potrzebne - przydatne informacje, a następnie po dodaniu "zwrotu" lub "znaku" informacji - która oznacza czy informacja dodała coś do informacji wewnętrznej używanej przez organizm czy też spowodowała "zdyskredytowanie" innej informacji - np. jakaś hipoteza została całkowicie odrzucona.

Byłaby to zmiana ilości informacji w zapamiętanych użytecznych schematach wywołana przez informację przychodzącą z zewnątrz po przefiltrowaniu, i przejściu przez system decyzyjny oraz poziom myślenia.

Byłaby różna dla różnych zmysłów i różnych "algorytmów" tworzenia schematów poznawczych oraz stanów pamięci. Chyba praktycznie nie do zmierzenia lub b.b.trudna do zmierzenia - można by było co najwyżej określać pewne tendencje, relacje (np. że przy falsyfikacji, próbie na podstawie informacji z zewnątrz którą dany schemat przejdzie poprawnie I2
>0).

Tylko trzeba by było się zastanowić do czego byłaby przydatna taka definicja - w jakiej teorii, dowodzie, lub w czego rozumieniu? I na ile jest realnie nadająca się do zastosowania?

>Jeśli dobrze rozumiem to I2 to byłaba informacja po przejściu przez wszystkie filtry odrzucające czasem informacje o pewnej charakterystyce lub takie, których nie można przetworzyć na potrzebne - przydatne informacje, a następnie po dodaniu "zwrotu" lub "znaku" informacji - która oznacza czy informacja dodała coś do informacji wewnętrznej używanej przez organizm czy też spowodowała "zdyskredytowanie" innej informacji - np. jakaś hipoteza została całkowicie odrzucona.
>Byłaby to zmiana ilości informacji w zapamiętanych użytecznych schematach wywołana przez informację przychodzącą z zewnątrz po przefiltrowaniu, i przejściu przez system decyzyjny oraz poziom myślenia.

No w zasadzie o coś takiego mi chodziło. Z tym, że moim zdaniem filtrowanie nie jest "odrzucaniem czasem", tylko przez te filtry w ogóle przechodzi drobna część I1.

>Byłaby różna dla różnych zmysłów i różnych "algorytmów" tworzenia schematów poznawczych oraz stanów pamięci. Chyba praktycznie nie do zmierzenia lub b.b.trudna do zmierzenia - można by było co najwyżej określać pewne tendencje, relacje (np. że przy falsyfikacji, próbie na podstawie informacji z zewnątrz którą dany schemat przejdzie poprawnie I2
>0).
>Tylko trzeba by było się zastanowić do czego byłaby przydatna taka definicja - w jakiej teorii, dowodzie, lub w czego rozumieniu? I na ile jest realnie nadająca się do zastosowania?

Wydaje mi się, że takie rozumienie informacji było by użyteczne w analizie tego, jak różne organizmy (w tym ludzie) postrzegają rzeczywistość i jak to postrzeganie wpływa na ich funkcjonowanie. Bo w tym przypadku najważniejsze są te informacje, które przejdą przez filtry (przynajmniej te początkowe).

Pozdrawiam

skasowana powtórka