Często rozważamy system jako graf po którym poruszają się obiekty, jak np. użytkownicy po stronach www, samochody między skrzyżowaniami, elektrony po sieci krystalicznej ... Te obiekty kierują się zwykle bardzo skomplikowanymi regułami, często na podstawie wielu informacji ukrytych dla zewnętrznego obserwatora. Dlatego żeby mógł on modelować zachowanie takiego systemu, konieczne jest użycie modeli stochastycznych - ewoluujących w sposób probabilistyczny - reprezentujących naszą informację, którą zwykle dalej tracimy aż do pewnego dynamicznego stanu równowagi naszej maksymalnej niewiedzy.



Najprostszy model to że jeśli wiemy że obiekt jest w danym węźle, w następnym kroku będzie w którymś z najbliższych sąsiadów tego węzła z pewnym rozkładem prawdopodobieństwa - pytanie jak wybrać ten rozkład prawdopodobieństwa?
Innymi słowy: jak dobierać prawdopodobieństwa na krawędziach zadanego grafu? - gdy obiekt jest w wierzchołku a, jakie jest prawdopodobieństwo że przeskoczy do wierzchołka b?
Pytanie wydaje się proste, jednak takie nie jest.
Standardowym wyborem jest tzw. pijany marynarz - obiekt rozgląda się dookoła, liczy możliwe wybory i losowo wybiera jeden z nich z jednorodnym prawdopodobieństwem - nazwijmy taki dobór prawdopodobieństw dla danego grafu jako Generic Random Walk (GRW). Jeśli jako graf wybierzemy sieć kwadratową, w ciągłej granicy prowadzi on do ruchów Browna.

Co jednak jeśli obiekt nie używa dokładnie tego algorytmu?
Jeśli po prostu jakoś (nawet deterministycznie) wybiera jakąś trajektorię, a tylko my nie wiemy jaką?
W takich sytuacjach w termodynamice zakłada się zasadę maksymalnej niewiedzy - że spośród wszystkich modeli probabilistycznych jakie możemy wybrać, powinniśmy wybrać ten który maksymalizuje entropię. W przestrzeni wszystkich możliwych przypadków, te generowane przez ten optymalny model, asymptotycznie zdominują te generowane przez posiadające dowolny inny zestaw parametrów.
Na przykład ilość ciągów zerojedynkowych z dokładnie połową jedynek, rośnie (exp(entropia*długość)) istotnie szybciej niż dla innych proporcji symboli - asymptotycznie zupełnie je dominując - długi zupełnie losowy ciąg zerojedynkowy prawie na pewno ma praktycznie połowę jedynek.
Wracając do błądzenie na grafie, możemy dla niego zdefiniować średnią produkcję entropii na krok:
-sum_a* Pr(obiekt jest w a) * sum_b Pr(a->b) log(Pr(a->b)
Okazuje się że standardowy wybór (GRW) nie zawsze maksymalizuje tą formułę - nazwijmy błądzenie które to robi jako MERW (Maximal Entropy Random Walk).
Warunek które ten wybór prawdopodobieństw przejść powinien spełniać, to że dla każdych 2 wierzchołków, każda ścieżka między nimi o tej samej długości (dowolnej), jest tak samo prawdopodobna.
Innymi słowy - gdy nie wiemy jaką trajektorię wybierze obiekt, zakładamy jednorodny rozkład pomiędzy jego możliwymi wyborami (ścieżkami).
Jak GRW wyróżnia pewną charakterystyczną odległość do najbliższego sąsiada, MERW można otrzymać jako jego bezskalową granicę.

Okazuje się że możemy jednoznacznie dobrać prawdopodobieństwa żeby spełniać ten warunek, jednak zależą one od całej sytuacji (grafu). Ten model jest więc nielokalny - drobne zmiany mogą zmienić odległą sytuację, jednak należy pamiętać że jest to model termodynamiczny - tylko reprezentuje naszą informację - obiekt nie używa go bezpośrednio do podejmowanie decyzji(!). Nie mając bezpośredniego dostępu do ukrytych dla nas stopni swobody (jak to o czym myśli kierowca), dzięki termodynamice dostajemy do nich pośredni dostęp w modelu który jest od nich niezależny.
Ale żeby robić to optymalnie, musimy znać całą przestrzeń możliwości.

Ciekawe jest że jak standardowe błądzenie przypadkowe i ruchy Browna prowadzą do praktycznie jednorodnego stacjonarnego rozkładu prawdopodobieństwa, to podejście prowadzi do rozkład stacjonarnego będącego kwadratami współrzędnych dominującego wektora własnego macierzy przystawania tego grafu. Ta macierz odpowiada minus Hamiltonianowi, czyli dostajemy termalizację do gęstości prawdopodobieństwa kwantowego stanu podstawowego - co też termodynamicznie oczekujemy od mechaniki kwantowej. W przeciwieństwie do standardowych ruchów Browna które powstały z przybliżonej maksymalizacji niewiedzy, te poprawione termodynamiczne modele stochastyczne są w końcu zgodne z termodynamicznymi przewidywaniami mechaniki kwantowej (czego chyba powinniśmy oczekiwać?).
Różnica ze standardowym podejściem może być olbrzymia - zamiast prawie jednorodnego rozkładu stacjonarnego dla ruchów Browna, tu i w mechanice kwantowej dostajemy bardzo silne własności lokalizacyjne - np. stacjonarnej gęstości elektronów w zdefektowanej sieci półprzewodnika: physicsworld.com/cws/article/news/41659
Używając grafu jako sieci, w granicy dostajemy Schrodingerowski hamiltonian - czyli że kwantowy stan podstawowy np. elektronu w potencjale protonu jest też uniwersalny z perspektywy termodynamiki.

Tu jest praca o lokalizacji: prl.aps.org/abstract/PRL/v102/i16/e160602
Tu symulator przewodnictwa
Tutaj np. są porównane entropie różnych błądzeń: pre.aps.org/abstract/PRE/v83/i3/e030103
Tu jest świeża duża zbiorcza i rozszerzająca praca: arxiv.org/abs/1111.2253

Ta ostatnia to wstępna wersja mojego obecnego doktoratu - bardzo chętnie bym podyskutował na ten temat.
Na przykład:
Kiedy powinniśmy używać GRW, a kiedy raczej MERW? A może lepiej jeszcze inny wybór?
MERW w przeciwieństwie do GRW ma silne własności lokalizacyjne - może komuś się kojarzy jakiś taki "z życia" przykład statystycznej lokalizacji??
Czy zgodność takich "poprawionych" ruchów Browna z termodynamicznymi oczekiwaniami mechaniki kwantowej to tylko zbieg okoliczności? Czy mechanika kwantowa jest teorią fundamentalną, czy może raczej reprezentuje naszą informację?

Zakładanie rozkładu prawdopodobieństwa jest już czymś względnie wyrafinowanym ... mówię o czymś dużo prostszym - przestrzeń wszystkich możliwych ciągów, dzielimy na podzbiory o zadanej proporcji zer i jedynek (p).
Dominacja jest już na poziomie czystej kombinatoryki.

Nie rozumiem skąd się bierze to, co robisz. Sama dominacja, o której piszesz, oznacza tylko najczęstsze występowanie w obrębie możliwych ciągów - nie przekłada się (o ile mogę stwierdzić) na "pochłoniecie" przestrzeni możliwych stanów dla N-> nieskończoności. Łatwo to zobaczyć na trójkącie Pascala pl.wikiped(*)sno.C5.9Bci_tr.C3.B3jk.C4.85ta
gdzie środkowy element dla parzystych potęg stanowi coraz mniejszą część całości (sumy wszystkich liczb) mimo, że cały czas dominuje.

Pozdrawiam

---

Grądy, łęgi, olsy, bory i buczyny.

Ne chodzi o sam centralny wyraz - to trochę bardziej skomplikowane - dokładnie o tym mówi tzw. Asymptotic Equipartition Property.
Bardziej precyzyjnie:
jeśli zawęzimy się do ciągów w których
"ilość jedynek przez ilość symboli" należy do [1/2-epsilon,1/2+epsilon]
to dla dowolnie małego epsilon, gdy długość rośnie do nieskończoności ten podzbiór zupełnie zdominuje przestrzeń wszystkich ciągów.
Czyli rozważając nieskończone możemy się ograniczyć do epsilon=0, ale jest to pewien skrót myślowy - nie chciałem już komplikować.

Innymi słowy, wzór z 2^(n*entropia) powinniśmy raczej używać w całce - licząc ilość sekwencji od jednego p do drugiego.
To jest coś jak zwężanie Gaussianu do delty Diraca w centralnym twierdzeniu granicznym (z rozkładu dwumianowego - który jest tu rezultatem a nie przyczyną).

>Co takiego jest fundamentalne w kwantowej?
Fundamentalna i niestatystyczna jest tam falowa natura cząstek - z czystych poprawionych ruchów Browna nie dostaniemy interferencji na 2 szczelinach.

O ile rozumiem rzeczy pod linkiem, to stoją one w sprzeczności z MERW. W szczególności wynika to z definicji H(X): en.wikipedia.org/wiki/Entropy_rate , które uwzględnia wszystkie możliwe stany - MERW wybiera tylko niektóre.
(Patrz także: Although there are individual outcomes which have a higher probability than any outcome in this set, the vast number of outcomes in the set almost guarantees that the outcome will come from the set. - co kłóci się z bieganiem za szczególnym stanem, czyli z takimi samymi ilościami 0 i 1.)

Pozdrawiam

---

Grądy, łęgi, olsy, bory i buczyny.

To rzeczywiście osobny temat, owszem informację posiada jeden subiektywny byt o przestrzeni stanów drugiego bytu.
Może tylko skomentuję to uszkodzenie pixela ...
W przypadku np. książek mamy wiele redundancji - nadmiarowej informacji umożliwiającej mimo uszkodzeń odtworzenie zamierzonej treści - np. fonetyczna (niektóre ciągi liter są zabronione), słownikowa (używamy głównie znanych słów), gramatyczna (zgodnie z regułami), logiczna (błąd logiczny może oznaczać że coś źle przeczytaliśmy) ... dalej wydrukowanie jej graficzne dodatkowo pompuje ilość redundancji - potrzeba by zmienić wiele pixeli żeby istotnie zmienić literę...
Kompresja danych służy do pozbycia się tej redundancji - zawężenia przestrzeni możliwości do tych bardziej dla nas prawdopodobnych, żeby można było identyfikować wśród nich - używając mniejszej ilości informacji. Na przykład zawężając przestrzeń ciągów symboli ASCII do przestrzeni tekstów w danym języku.

>(Patrz także: Although there are individual outcomes which have a higher probability than any outcome in this set, the vast number of outcomes in the set almost guarantees that the outcome will come from the set. - co kłóci się z bieganiem za szczególnym stanem, czyli z takimi samymi ilościami 0 i 1.)
To zdanie mówi że owszem mogą zdarzać się duże indywidualne wartości (np. w trójkącie Pascala), jednak jak zsumujemy ilości wystąpień w tym zbiorze dookoła wartości oczekiwanej (jak p=1/2), okazuje się że zawiera on zdecydowaną większość zdarzeń - czyli to co mówiłem.

W MERW skupiamy się właśnie na takim wyborze prawdopodobieństw które maksymalizuje entropię - dookoła którego skupiają się praktycznie wszystkie scenariusze.

>W MERW skupiamy się właśnie na takim wyborze prawdopodobieństw które maksymalizuje entropię - dookoła którego skupiają się praktycznie wszystkie scenariusze.
Nie widze skąd się bierze maksymalizowanie entropii w odniesieniu do linka, który podałeś.
Poza tym, to twoja metoda. Jeśli działa, to ok.

Pozdrawiam

---

Grądy, łęgi, olsy, bory i buczyny.

Nie do końca "moja" ... może zamiast się czepiać każdego słowa, zaglądnij czasem do prac które podaję - one są bardziej formalne niż posty na forum dla niekoniecznie fizyków.
Podstawowe wzory wyboru prawdopodobieństw żeby maksymalizować entropię błądzenia już kilka razy pojawiały się w historii, ale zwykle w dość abstrakcyjnych zastosowaniach jak dynamika symboliczna, teoria kodowania czy obliczenia Monte Carlo.
Ale rozważania jako po prostu błądzenie przypadkowe chyba zaczęły się od naszej pracy, a m.in. wykonanie granicy infintezymalnej żeby dostać ciągły przypadek to widziałem tylko u siebie. Że poprawione ruch Browna "zaskakująco" przestają być niezgodne z mechaniką kwantową - nie jest to jakieś strasznie skomplikowane wyprowadzenie.

> Tutaj to gęstość zaludnienia powoduje rozrost sieci dróg, a dokładnie to zwiększone użycie danej drogi przyczynia się do nowych inwestycji.

Tym bym się najmniej przejmował. W podstawowych teoriach przyczyny i skutki są pojęciami umownymi.

> MERW można by użyć dla kierowców którzy wybierają całą trasę w praktycznie losowy sposób - nie losując na każdym skrzyżowaniu co jest charakterystyczne dla GRW, tylko używających jakiejś bardziej skomplikowanych metod wyboru, nie sugerujących jakichś lokalnych prawdopodobieństw ... co jest mało naturalne - dla człowieka i większości zwierząt raczej bym szukał modeli typu GRW.

Myślę, że tu masz rację. Trzeba by rozróżniać drogi krótkie i długie, wąskie i szerokie, np. wprowadzić akcję ~ prędkość dozwoloną x długość drogi. Prawdopodobieństwo wyboru danej drogi byłoby odwrotnie proporcjonalne do wymaganej akcji. Nie jestem jednak pewien, czy byłoby to jeszcze MERW czy już coś innego.

Dzieki za dyskusje - ja powiedziałem to, co miałem do powiedzenia. Nie załapałem przy tym, dlaczego MERW miała by być taka dobra. Ale w końcu nie muszę , wystarczy, że uda Ci się ją dociągnąc do takiego momentu, że będzie działać (pomoże albo ułatwi obliczanie określonych zagadnień).

Pozdrawiam

---

Grądy, łęgi, olsy, bory i buczyny.

>... owszem informację posiada jeden subiektywny byt o przestrzeni stanów drugiego bytu.

Chyba jednak nie tak to jest, bo wiedza raczej nie = informacja.

>Kompresja danych służy do pozbycia się tej redundancji - zawężenia przestrzeni możliwości do tych bardziej dla nas prawdopodobnych, żeby można było identyfikować wśród nich - używając mniejszej ilości informacji. Na przykład zawężając przestrzeń ciągów symboli ASCII do przestrzeni tekstów w danym języku.

Wybór znaków języka to nie jest kompresja danych.
-

>Tym bym się najmniej przejmował. W podstawowych teoriach przyczyny i skutki są pojęciami umownymi.

Bardzo interesujące. Czy mógłbym prosić o rozwinięcie tej myśli? Czy chodzi o teorie fizyczne, czy matematyczne?
-

>Tym bym się najmniej przejmował. W podstawowych teoriach przyczyny i skutki są pojęciami umownymi.
Ogólnie zgadzam się z tym zdaniem, świetnym przykładem jest np. mechanika kwantowa - niby wiadomo że niekompletna, a jednak panuje przeświadczenie że jej zgadnięte aksjomaty są fundamentalne - przyczyną a nie skutkiem.
Przyczyny mieszają się ze skutkami także w sferze komunikacyjno-urbanistycznej: z jednej strony buduje się drogi między miastami, z drugiej dookoła tras komunikacyjnych dobrze rozwijają się miasta.
>Myślę, że tu masz rację. Trzeba by rozróżniać drogi krótkie i długie, wąskie i szerokie, np. wprowadzić akcję ~ prędkość dozwoloną x długość drogi. Prawdopodobieństwo wyboru danej drogi byłoby odwrotnie proporcjonalne do wymaganej akcji. Nie jestem jednak pewien, czy byłoby to jeszcze MERW czy już coś innego.
Używanie różnych wag krawędzi to jeszcze coś innego. Jedna interpretacja takiej wagi to ilość krawędzi między danymi wierzchołkami w grafach typu multi-edge. Inna interpretacja to że waga to exp(-beta*V) gdzie V to energia związana z danym przejściem.
MERW w pierwszej interpretacji to jednorodny rozkład między "możliwymi sposobami przejścia ścieżki" (ja to nazywam pathways dla odróżnienia od paths), w drugiej to założenie rozkładu Boltzmanna pomiędzy możliwymi ścieżkami.
Tyle że dla takiego multi-edge/Boltzmannowskiego grafu możemy równie dobrze konstruować GRW - też wybierać np. Boltzmannowski rozkład, ale tylko pomiędzy najbliższymi sąsiadami - dostając stacjonarną gęstość prawdopodobieństwa exp(-beta*V).
To była jakby szerokość drogi. Z długością jest większy problem (bardziej odnośnie drugiego prawa Kirhoffa) - dla uwzględnienia różnego czasu przebycia, dobrze byłoby je podzielić na krótsze odcinki, a najlepiej chyba zrobić granicę infinitezymalną.

Dalej pozostaje bardzo subtelny problem które podejście jest bardziej adekwatne w danym przypadku - GRW czy MERW?
Niby termodynamika nakazuje używać raczej MERW ... ale tylko w przypadku gdy nie ma istotnych powodów żeby zakładać jakieś konkretne prawdopodobieństwa.
I bardzo często są takie powody - na przykład człowiek widzi konkretną przestrzeń dyskretnych możliwości i na tej podstawie mniej lub bardziej losowo wybiera jedną z nich - zachowanie typu GRW z "charakterystyczną dyskretną odległością" do kolejnego wyboru.
Natomiast elektron w sieci krystalicznej, zakładając że fizyka nie jest nielokalna, nie widzi bezpośrednio dyskretnej struktury tej sieci, a tylko lokalne pole będące jej rezultatem - bardzo trudno nam z tego wywnioskować jakieś reguły probabilistyczne, czyli powinno się przyjąć maksymalną niewiedzę - MERW które jest bezskalową granicą GRW (i "przypadkiem" zgadza się z termodynamicznym przewidywaniami mechaniki kwantowej).

Jak miałbym szukać MERW wśród organizmów żywych, to raczej bakterii z chemotaksją ("kwantowa" lokalizacja bakterii ;D ), ale dla nich też dochodzą skomplikowane dodatkowe interakcje, które mogą sugerować dodatkowe lokalne reguły probabilistyczne ... ?

>Fundamentalna i niestatystyczna jest tam falowa natura cząstek - z czystych poprawionych ruchów Browna nie dostaniemy interferencji na 2 szczelinach.

To jest tylko interpretacja i bardzo naiwna.

Tam są zwyczajne równania falowe, którymi wyliczamy zachowanie systemu, ale tylko statystyczne zachowanie, czyli średnie dla wielu prób.

Indywidualnych przypadków, czyli właśnie zachowań pojedynczych cząstek, tam w ogóle się nie rozpatruje, co jest zresztą tam niemożliwe z założenia - nieokreśloność stanów kwantowych.

A klasycznie można rozpatrywać, i trzeba, również te indywidualne przypadki, czyli np. z tymi polaryzatorami: mając informację o ustawieniu drugiego polaryzatora od razu wiem na 100%, czy ten drugi foton przejdzie, czy nie, a nie tylko prawdopodobieństwo: p = cos(a-b)^2, jak jest w kwantowej!

W QM wprowadzono kilka jakby protez wiedzy, bo inaczej taki model byłby bezużyteczny, np. splątania kwantowe pozwalają wyliczać zwyczajne prawdopodobieństwa warunkowe zmiennych skorelowanych.

Z kolei połówkowe spiny i momenty spinowe pozwalają (z grubsza) wyliczać podwójne linie widmowe - hyperfine splitting.

No, ale to już kompletna prowizorka. Tam się nie zgadzają intensywność poszczególnych linii, np. w wodorze H-alpha, przejście 3 do 2, i tu mamy intensywności 1 : 1.5, zamiast równe 1:1; w sodzie jest jeszcze lepiej: 1:2.

Zjawisko rozdwajania linii widmowych, czy niekiedy powielania, wynika z czegoś zupełnie innego... to jest chyba zupełnie poza zasięgiem obowiązujących obecnie teorii/modeli.