Często rozważamy system jako graf po którym poruszają się obiekty, jak np. użytkownicy po stronach www, samochody między skrzyżowaniami, elektrony po sieci krystalicznej ... Te obiekty kierują się zwykle bardzo skomplikowanymi regułami, często na podstawie wielu informacji ukrytych dla zewnętrznego obserwatora. Dlatego żeby mógł on modelować zachowanie takiego systemu, konieczne jest użycie modeli stochastycznych - ewoluujących w sposób probabilistyczny - reprezentujących naszą informację, którą zwykle dalej tracimy aż do pewnego dynamicznego stanu równowagi naszej maksymalnej niewiedzy.



Najprostszy model to że jeśli wiemy że obiekt jest w danym węźle, w następnym kroku będzie w którymś z najbliższych sąsiadów tego węzła z pewnym rozkładem prawdopodobieństwa - pytanie jak wybrać ten rozkład prawdopodobieństwa?
Innymi słowy: jak dobierać prawdopodobieństwa na krawędziach zadanego grafu? - gdy obiekt jest w wierzchołku a, jakie jest prawdopodobieństwo że przeskoczy do wierzchołka b?
Pytanie wydaje się proste, jednak takie nie jest.
Standardowym wyborem jest tzw. pijany marynarz - obiekt rozgląda się dookoła, liczy możliwe wybory i losowo wybiera jeden z nich z jednorodnym prawdopodobieństwem - nazwijmy taki dobór prawdopodobieństw dla danego grafu jako Generic Random Walk (GRW). Jeśli jako graf wybierzemy sieć kwadratową, w ciągłej granicy prowadzi on do ruchów Browna.

Co jednak jeśli obiekt nie używa dokładnie tego algorytmu?
Jeśli po prostu jakoś (nawet deterministycznie) wybiera jakąś trajektorię, a tylko my nie wiemy jaką?
W takich sytuacjach w termodynamice zakłada się zasadę maksymalnej niewiedzy - że spośród wszystkich modeli probabilistycznych jakie możemy wybrać, powinniśmy wybrać ten który maksymalizuje entropię. W przestrzeni wszystkich możliwych przypadków, te generowane przez ten optymalny model, asymptotycznie zdominują te generowane przez posiadające dowolny inny zestaw parametrów.
Na przykład ilość ciągów zerojedynkowych z dokładnie połową jedynek, rośnie (exp(entropia*długość)) istotnie szybciej niż dla innych proporcji symboli - asymptotycznie zupełnie je dominując - długi zupełnie losowy ciąg zerojedynkowy prawie na pewno ma praktycznie połowę jedynek.
Wracając do błądzenie na grafie, możemy dla niego zdefiniować średnią produkcję entropii na krok:
-sum_a* Pr(obiekt jest w a) * sum_b Pr(a->b) log(Pr(a->b)
Okazuje się że standardowy wybór (GRW) nie zawsze maksymalizuje tą formułę - nazwijmy błądzenie które to robi jako MERW (Maximal Entropy Random Walk).
Warunek które ten wybór prawdopodobieństw przejść powinien spełniać, to że dla każdych 2 wierzchołków, każda ścieżka między nimi o tej samej długości (dowolnej), jest tak samo prawdopodobna.
Innymi słowy - gdy nie wiemy jaką trajektorię wybierze obiekt, zakładamy jednorodny rozkład pomiędzy jego możliwymi wyborami (ścieżkami).
Jak GRW wyróżnia pewną charakterystyczną odległość do najbliższego sąsiada, MERW można otrzymać jako jego bezskalową granicę.

Okazuje się że możemy jednoznacznie dobrać prawdopodobieństwa żeby spełniać ten warunek, jednak zależą one od całej sytuacji (grafu). Ten model jest więc nielokalny - drobne zmiany mogą zmienić odległą sytuację, jednak należy pamiętać że jest to model termodynamiczny - tylko reprezentuje naszą informację - obiekt nie używa go bezpośrednio do podejmowanie decyzji(!). Nie mając bezpośredniego dostępu do ukrytych dla nas stopni swobody (jak to o czym myśli kierowca), dzięki termodynamice dostajemy do nich pośredni dostęp w modelu który jest od nich niezależny.
Ale żeby robić to optymalnie, musimy znać całą przestrzeń możliwości.

Ciekawe jest że jak standardowe błądzenie przypadkowe i ruchy Browna prowadzą do praktycznie jednorodnego stacjonarnego rozkładu prawdopodobieństwa, to podejście prowadzi do rozkład stacjonarnego będącego kwadratami współrzędnych dominującego wektora własnego macierzy przystawania tego grafu. Ta macierz odpowiada minus Hamiltonianowi, czyli dostajemy termalizację do gęstości prawdopodobieństwa kwantowego stanu podstawowego - co też termodynamicznie oczekujemy od mechaniki kwantowej. W przeciwieństwie do standardowych ruchów Browna które powstały z przybliżonej maksymalizacji niewiedzy, te poprawione termodynamiczne modele stochastyczne są w końcu zgodne z termodynamicznymi przewidywaniami mechaniki kwantowej (czego chyba powinniśmy oczekiwać?).
Różnica ze standardowym podejściem może być olbrzymia - zamiast prawie jednorodnego rozkładu stacjonarnego dla ruchów Browna, tu i w mechanice kwantowej dostajemy bardzo silne własności lokalizacyjne - np. stacjonarnej gęstości elektronów w zdefektowanej sieci półprzewodnika: physicsworld.com/cws/article/news/41659
Używając grafu jako sieci, w granicy dostajemy Schrodingerowski hamiltonian - czyli że kwantowy stan podstawowy np. elektronu w potencjale protonu jest też uniwersalny z perspektywy termodynamiki.

Tu jest praca o lokalizacji: prl.aps.org/abstract/PRL/v102/i16/e160602
Tu symulator przewodnictwa
Tutaj np. są porównane entropie różnych błądzeń: pre.aps.org/abstract/PRE/v83/i3/e030103
Tu jest świeża duża zbiorcza i rozszerzająca praca: arxiv.org/abs/1111.2253

Ta ostatnia to wstępna wersja mojego obecnego doktoratu - bardzo chętnie bym podyskutował na ten temat.
Na przykład:
Kiedy powinniśmy używać GRW, a kiedy raczej MERW? A może lepiej jeszcze inny wybór?
MERW w przeciwieństwie do GRW ma silne własności lokalizacyjne - może komuś się kojarzy jakiś taki "z życia" przykład statystycznej lokalizacji??
Czy zgodność takich "poprawionych" ruchów Browna z termodynamicznymi oczekiwaniami mechaniki kwantowej to tylko zbieg okoliczności? Czy mechanika kwantowa jest teorią fundamentalną, czy może raczej reprezentuje naszą informację?

>... pierwszy doktorat mam z teorii informacji ale tutaj chciałem używać bardziej obrazowego, przekazującego intuicję dla różnych osób.

Doktorat z teorii informacji, to naprawdę imponujące! Nie żartuję, ja sam pracuję nad teorią informacji, więc bardzo mnie to zainteresowało. Czy mógłbyś, odbiegając na chwilę od ruchów cząstek, powiedzieć mi, czym, według najnowszej wiedzy, jest w istocie informacja? Prawdę mówiąc, aktualnie interesuje mnie to dużo bardziej niż mechanika kwantowa i ruchy Browna...
-

>>Trzeba więc odwrócić pytanie.
>>Jeśli metoda maksymalizowania entropii działa, to czy wskazuje ona na to, w jaki sposób wybierana jest trajektoria?W szczególności, czy znaczy to, że nie ma "ustalonej metody wyboru trajektorii"?
>GRW rzeczywiście zakłada że obiekt używa danego algorytmu probabilistycznego, natomiast MERW nijak ma się do tego co obiekt będzie chciał wykonać.
Potrafisz dowieść tego, że MERW ma się nijak do tego, jak badany obiekt wybiera trajektorię? To również byłby dobry wynik!

>To jest tylko nasze oczekiwanie na jego średnie zachowanie, na podstawie sytuacji w całym systemie - której obiekt zupełnie nie musi znać. Wręcz nie może, bo ta informacja musiałaby się poruszać do niego szybciej niż światło, a nawet wracać się w czasie.
Każda statystyka jest "naszym oczekiwaniem na średnie zachowanie obiektu". Przy wyborze statystyki siedzą pewne założenia i skoro wybierasz konkretną (MERW) to ona też ma swoje założenia, którym warto by poświęcić chwilkę.
(Masz na przykład w fizyce statystykę Fermiego-Diracka i statystykę Bosego-Einsteina - wybierasz odpowiednią ponieważ wiesz, jakie własności ma badana cząstka. I teraz, jeśli przy badaniu dowolnej cząstki wyjdzie Ci, że zachowuje się ona według statystyki F-D, to masz informację, że ta cząstka posiada określoną własność. Skoro wybierasz MERW, to czy coś z tego wynika dla badanego obiektu?)

Pozdrawiam

---

Grądy, łęgi, olsy, bory i buczyny.

W teorii informacji zajmowałem się bardzo konkretnymi problemami - w magisterce z fizyki ( arxiv.org/abs/0710.3861 ) optymalnym kodowaniem na sieci w której zabronione są pewne wzorce (jak w kodowaniu Fibonacciego, tylko że bardzo ogólnie). Powstało tam m.in. nowe podejście dokładnego kodowania entropii (prostsza alternatywa kodowania arytmetycznego) które rozwinąłem do doktoratu z infy (tu jest prezentacja z obrony) oraz formuły MERW co rozwinąłem do obecnego doktoratu.

W jakim kontekście pytasz się czym jest informacja?
Z perspektywy teorii informacji wszystko można wyprowadzić z tego że do wyboru jednej z 2^n możliwości, potrzeba n bitów informacji.
Ale na przykład w społecznym kontekście wszystko się niesamowicie komplikuje ...

>>GRW rzeczywiście zakłada że obiekt używa danego algorytmu probabilistycznego, natomiast MERW nijak ma się do tego co obiekt będzie chciał wykonać.
>Potrafisz dowieść tego, że MERW ma się nijak do tego, jak badany obiekt wybiera trajektorię? To również byłby dobry wynik!
Jasne można by używać MERW gdyby walker bezpośrednio używał losowań z prawdopodobieństwami z MERW, jednak nie o to tutaj chodzi.
Modele termodynamiczne służą do przewidywania (przez obserwatora) najbardziej prawdopodobnej ewolucji. Parametry maksymalizujące entropię to takie które statystycznie dominują każdy inny wybór parametrów.
>Każda statystyka jest "naszym oczekiwaniem na średnie zachowanie obiektu". Przy wyborze statystyki siedzą pewne założenia i skoro wybierasz konkretną (MERW) to ona też ma swoje założenia, którym warto by poświęcić chwilkę.
Założeniem jest tylko to że nie ma innych założeń (probabilistycznych dla tych przejść).
Jak w losowaniu ciągów zerojedynkowych. Ilość takich ciągów długości n to 2^n. Natomiast ograniczając się do ciągów o konkretnej proporcji symboli - że p z nich to 1, po takiej restrykcji ich ilość rośnie z konkretnym wykładnikiem:



Czyli ograniczając się do ciągów p=1/2, ich ilość rośnie tak jak bez restrykcji (2^n). Natomiast dla innych p, ilość takich ciągów asymptotycznie będzie zdominowana przez p=1/2 - w granicy nieskończonej długości z czystej kombinatoryki wynika że wystarczy się ograniczyć do p=1/2 ... o ile nie ma podstaw do innych założeń.
Maksymalizacja entropii to maksymalizacja wykładnika w ilości możliwości/konfiguracji/ścieżek - bez dodatkowych założeń, należy się skupić na modelu maksymalizującym entropię - termodynamicznym.

Wybór probabilistycznych parametrów modelu dzieli przestrzeń możliwości na rozłączne podzbiory, ale te podzbiory rosną z różnymi wykładnikami (entropia), więc asymptotycznie zwykle tylko jeden z nich staje się istotny - wystarczy się do niego ograniczyć.
Czyli losując długi np. ciąg zerojedynkowy (bez dodatkowych założeń!), prawie na pewno będzie to ciąg z p=1/2.

Przepraszam, jeśli poniższe zabrzmi zbyt ostro.
Czyżbyś napisał mi, że MERW nie daje żadnych nowych informacji, jeśli chodzi o dociekania podstawowe (czyli jak wybierana jest trajektoria, jakie własności ma badana cząstka wpływające na rozkład statystyczny)?

Z tego co zrozumiałem, napisałeś, że ponieważ przewidywania termodynamiczne bywają bardzo trudne obliczeniowo można sobie je uprościć wybierając dominującą ścieżkę dzięki maksymalizowaniu entropii. (Przy założeniu, że mamy do czynienia z modelem typu: pl.wikipedia.org/wiki/Rozkład_zero-jedynkowy lub podobnymi)

Brakuje mi ujecia, jak silna jest pozycja dominująca dla MERW. Pytam w tym momencie o prawdopodobieństwo tego, że MERW zajdzie. Zdaje się, że można je wyliczyć z rozkładu dwumianowego (Bernoulliego) dla naszego przypadku z {0,1}: pl.wikipedia.org/wiki/Rozkład_dwumianowy
Ciekawe, jak by to wyglądało dla N -> nieskończoności.

Poza tym ciekawe. Przemyśle jeszcze dokładniej.

Pozdrawiam

---

Grądy, łęgi, olsy, bory i buczyny.

>Czyżbyś napisał mi, że MERW nie daje żadnych nowych informacji, jeśli chodzi o dociekania podstawowe (czyli jak wybierana jest trajektoria, jakie własności ma badana cząstka wpływające na rozkład statystyczny)?
Nie napisałem że nie daje, tylko że nie zakłada czegokolwiek o probabilistycznych konsekwencjach jakiejś faktycznej dynamiki tego co tam się mikroskopowo dzieje.
Podobnie jak w ruchach Browna otrzymane trajektorie z powodu uproszczeń nie są zbyt fizyczne, jednak sugeruje m.in. że np. w takich sytuacja uniwersalny jest dynamiczny stan równowagi o gęstości prawdopodobieństwa kwantowego stanu podstawowego.
Mówi "tylko" że nie ma rozbieżności między ruchami Browna a termodynamicznymi przewidywaniami mechaniki kwantowej, tylko trzeba je zrobić porządnie - jako nie przybliżony, tylko w pełni termodynamiczny model.
Dalej oczywiście trzeba szukać tej faktycznej dynamiki ...
>Z tego co zrozumiałem, napisałeś, że ponieważ przewidywania termodynamiczne bywają bardzo trudne obliczeniowo można sobie je uprościć wybierając dominującą ścieżkę dzięki maksymalizowaniu entropii.
Obliczania korzystają dokładnie z równań mechaniki kwantowej, więc obliczeniowo są podobnie złożone.
Nie chodzi o upraszczanie wyboru pojedynczej ścieżki, tylko o poprawny wybór prawdopodobieństw - zgodnie z zasadami termodynamiki.
>Brakuje mi ujecia, jak silna jest pozycja dominująca dla MERW. Pytam w tym momencie o prawdopodobieństwo tego, że MERW zajdzie. Zdaje się, że można je wyliczyć z rozkładu dwumianowego (Bernoulliego) dla naszego przypadku z {0,1}: pl.wikipedia.org/wiki/Rozkład_dwumianowy
>Ciekawe, jak by to wyglądało dla N -> nieskończoności.
Nie ma problemu - jest prosty wzór na entropię błądzenia przypadkowego, jest ona wykładnikiem w ilości przypadków które on generuje (2^(N * entropia)). W granicy wybory nie maksymalizujące entropii zostają całkowicie zdominowane.
>Poza tym ciekawe. Przemyśle jeszcze dokładniej.
Przede wszystkim zrozum dobrze przypadek ciągów zerojedynkowych w którym ograniczamy się do ciągów o zadanym p - wtedy reszta jest w miarę oczywista.

>(tu jest prezentacja z obrony)

Wszystko to robi duże wrażenie, zaawansowana matematyka, efektowne ilustracje, wykresy. Śledzenie takich wywodów jest oczywiście poza moim zasięgiem.

>W jakim kontekście pytasz się czym jest informacja?

Ja chciałem tylko zapytać po prostu, czym jest to, czego teorią się zajmujesz, albo zajmowałeś. Bo jeżeli ktoś robi doktorat z, powiedzmy, teorii obróbki skrawaniem, no to raczej dokładnie wie, czym owa obróbka skrawaniem jest. A jak jest w Twoim przypadku? Fizyk wiedzieć nie musi (a może i niekiedy nie może) czym jest jakaś egzotyczna cząstka, którą teoretyzuje, ale informacja to nie energia ani materia, jak powiedział (chyba) Shannon, i pewnie fala też nie. Od czasów pierwszych teoretyków minęło już chyba z pół wieku, pisze się doktoraty, mianuje profesorów od teorii informacji, ale czy wiadomo już na pewno czym ona jest?

>Z perspektywy teorii informacji wszystko można wyprowadzić z tego że do wyboru jednej z 2^n możliwości, potrzeba n bitów informacji.

A czy można również wyprowadzić czym owa informacja jest? - czy też przyjmuje się aksjomat: "istnieje coś takiego jak informacja, nie wiemy co to jest", ale tworzymy dla niej teorię?

Oczywiście zażartowałem z tym wyprowadzeniem, bo używając do stworzenia definicji pojęcia 'bitu informacji' wpadlibyśmy w koło definicyjne.
-

Jeśli jakiś "obiekt" może być w jednym z 2^n "stanów" (/podzbiorów stanów), a my wiemy w którym rzeczywiście aktualnie on jest, to znaczy że posiadamy na ten temat n bitów informacji.
Przy czym "obiekt" jest tutaj czymś bardzo ogólnym. Może być np. plikiem tekstowym zawierającym jakąś książką - w przestrzeni wszystkich możliwych ciągów znaków ("obiekt"), te bity zapisane na dysku (.txt) wybierają ciąg znaków będący tekstem danej książki.
Może być np. informacją o spinie fotonu - w górę lub w dół, więc osoba wykonująca pomiar otrzymuje jeden bit informacji o jego stanie. Oczywiście nie opisuje on w pełni obiektywnego stanu fotonu, a tylko jest pewną (częściową) informacją posiadaną przez subiektywnego obserwatora (nie będącego wszechwiedzącym) - w której z rozłącznych podprzestrzeni możliwych stanów on jest.

Czyli ogólnie informacja jest dla mnie po prostu abstraktem który reprezentuje subiektywną wiedzę - o tym w której z możliwych podprzestrzeni stanów jest dany obiekt.

>Jeśli chcesz powiedzieć że problem jest zbyt egzotyczny...

Lepiej bym tego nie ujął. Mimo Twoich najszczerszych chęci, by to uprościć, wciąż niewiele rozumiem. Szkoda Twojego wysiłku- to nie dla mnie.
Pozdrawiam.

---

Fakty to mają do siebie, że racja jest zawsze po ich stronie. Wuch

>>Poza tym ciekawe. Przemyśle jeszcze dokładniej.
>Przede wszystkim zrozum dobrze przypadek ciągów zerojedynkowych w którym ograniczamy się do ciągów o zadanym p - wtedy reszta jest w miarę oczywista.
Właśnie nad tym myślę i wcale nie wychodzi mi tak, jak piszesz.
Tłumaczę: mam ciąg N elementowy (gdzie N jest parzyste dla ułatwienia), w którym każdy element może być zerem lub jedynką. Szansa na wylosowanie 0 jako elementu jest taka sama, jak na wylosowanie 1 i równa się p=1/2.
Dominantą entropii jest sytuacja, gdzie mamy taką samą ilość zer i jedynek. Szansę na taką sytuację wyliczam z rozkładu dwumianowego: (N po N/2) * (1/2)^N. Widze, że taka sytuacja ma szansę mniejszą od 100%. Nie widzę natomiast, że asymptotycznie dla N->nieskończoności. Raczej obstawiałbym, że dąży do wartości mniejszej niż 1/2.

W tym mój kłopot. Oczywiście pracuję nad tym, by wyznaczyć górną granicę (N po N/2) * (1/2)^N

Pozdrawiam

---

Grądy, łęgi, olsy, bory i buczyny.

Weź ogólne p zamiast 1/2, użyj wzoru Stirlinga i asymptotycznie dostajesz to o czym mówię:

Czyli dzieląc przestrzeń ciągów na rozłączne podzbiory o zadanym p, w nieskończoności wystarczy rozważać tylko te maksymalizujące entropię: o p=1/2, zawierając 1 bit na symbol.

>Czyli ogólnie informacja jest dla mnie po prostu abstraktem który reprezentuje subiektywną wiedzę - o tym w której z możliwych podprzestrzeni stanów jest dany obiekt.

OK, wydobyłem to z Ciebie.

Czyli, według Ciebie, w istocie nasza subiektywna wiedza byłaby - albo odpowiadający jej abstrakt - byłaby informacją. Jeżeli chodzi o abstrakt rzucania kostką, to ok, ma sześć stanów i wiemy który bok jest na wierzchu.

Ale jeżeli chodzi stan, w jakim znajduje się książka zapisana binarnie? Brak (albo podmiana) bitu numer 00101110101010 jest jakąś rzeczywistą informacją o niej (jeżeli o nim wiemy!) i spowoduje on, że jedna z liter nie będzie miała jednego piksela. OK, jest to informacja w przestrzeni rodzajowej 'bity w pliku książki', ok, to też ma jakieś znaczenie.

Ale co z informacją, jaką książka ta niesie, z jej treścią? Nie zaistnieje, dopóki tej książki nie przeczytamy? Albo: jeżeli podmieni się nie jeden bit, lecz połowę bitów/liter, w tym tytuł, to będzie już chyba inny obiekt, inna książka, a nie ten sam obiekt w innym stanie? (zresztą podmiana pojedynczego bitu też tworzy już inny obiekt, zatem 'stan binarny' w ogóle nie może się zmienić!)

W sumie nie zgadzam się na to, że definicja taka jak ta: informacja jest "abstraktem który reprezentuje subiektywną wiedzę" może być więcej niż lokalna, ale skoro użyłeś 'dla mnie' to jest ok, dziękuję za wyjaśnienie.

Nie kontynuujmy jednak wyjaśnień, bo jesteśmy poza tematem wątku, na terenie filozofii zresztą.
-

>- mechanika kwantowa jest zarówno teorią fundamentalną jak i reprezentacją naszej wiedzy (tzn modelem zjawisk) - czyli nie 'może raczej' - ale nie jest z pewnością fundamentalną teorią całej rzeczywistości fizycznej.

Co takiego jest fundamentalne w kwantowej?

Kwantowa nie jest fundamentalna, bo wówczas nie byłoby możliwe wygenerowanie rozkładów QM za pomocą klasycznych metod statystycznych.

W szczególności nie mógłbym zrobić symulacji komputerowej tego standardowego przypadku z dwoma polaryzatorami.

No, ale algorytm tego układu to zaledwie kilka linii kodu:
1. generujemy przypadkowy spin (za pomocą generatora z rozkładem jednostajnym)
2. robimy kopię i obracamy żeby otrzymać przeciwny
3. kierujemy każdy na swój polaryzator (możemy tu sobie wysyłać dane nawet na dwa odległe komputery), gdzie są mierzone całkowicie niezależnie od siebie, a wyniki zapisywane (same dane są tu nieistotne - mogę wysyłać dowolne serie bitów).

Po serii strzałów zbieramy dane i rysujemy wykresy.
Zaraz mogę tu zaprezentować wyniki i wtedy zobaczymy co takiego fundamentalnego siedzi w QM... a czego nie ma w domowych pecetach.

>Zaraz mogę tu zaprezentować wyniki i wtedy zobaczymy co takiego fundamentalnego siedzi w QM... a czego nie ma w domowych pecetach.

A ja mogę zaprezentować to, co jest w moim pececie a nie ma w QM!

Ale poważnie: użyłem określenia fundamentalna, bo dotyczy fundamentów, trochę tylko wystających z niewiedzy, rzeczywistości fizycznej. Taka metafora budowlana.
-

Korzystam z rozkładu dwumianowego, który określa mi szansę uzyskania tej samej ilości 0 co 1. Jest tam wyrażenie (p^k)* [(1-p)^(N-k)]. U Ciebie tego nie ma!

Jest za to limN->nieskończ z lg(N po pN)/N. Skąd to wziąłeś. Mi chodzi o prawdopodobieństwo wystąpienia sytuacji, gdy entropia będzie największa. A Tobie?

Pozdrawiam

---

Grądy, łęgi, olsy, bory i buczyny.