Racjonalista - Strona głównaDo treści
Turing nie zdał testu

Ten wątek jest przedawniony

Działy Forum » Nauka
NapisanoAutorTytuł
02-10-2011 13:38coreless (16088 punktów)Turing nie zdał testu
Ocena 4 na 4
Wyniki badań przytaczanych w Nowinach naukowych wskazują na to, że z kryterium Testu Turinga jest coś nie tak. Postawiłbym tezę, że Turing najzwyczajniej oblał test z psychologii.
Okazuje się bowiem, że ludzie, którzy sami są spragnieni kontaktu i nastawieni bardziej prospołecznie, są również bardziej skłonni do uczłowieczania wypowiedzi komputera.
W sumie nie ma w tym niczego zaskakującego. Zdarzają się przecież ludzie, którzy twierdzą, że w obrazach i ikonach, które nie gadały ni razu, czają się jakieś ludzkie, a nawet ponadludzkie siły... A nawet toczą z nimi dysputy.
Czy w związku z tym kryterium Testu Turinga nie wymaga jakiejś poprawki? Czy w ogóle się nadaje do czegokolwiek?
Autor wątku ma uprawnienia do usuwania wypowiedzi, jeżeli łamią regulamin Forum lub znacznie odbiegają od tematu.

kadykianus (557 punktów)
Masz całkowitą rację. Ten wynik zależy od człowieka. Sam rozmawiałem z tym komputerem i musiałbym się mocno w głowę uderzyć aby stwierdzić, że rozmawiam z człowiekiem. No, może nie do końca. Ten komputer rozmawia na poziomie 15-letniego kibola. Młodego debila bez mózgu, który jak nie wie co powiedzieć, to mówi Chuck Norris.

Test Turinga powinien być zmodyfikowany tak, aby uwzględniał jak często ludzie rozmawiający z ludźmi myślą, że rozmawiali z komputerem.

Poniżej wklejam swoją rozmowę z nim i moje komentarze do niej.

Ja: What kind of people do you like?
[normalne pytanie, szansa na błyskotliwą odpowiedź]

Cleverbot: People like you
[sprytnie ale to unik]

Ja: I like men who have a future and women who have a past.
[zachęcam go do jakiejś głebszej mysli, to chyba oczywiste]

Cleverbot: Hey I am strong, I have long hair, and I am tall...
[nie załapał i bezmyślnie opisuje swój wygląd]

Ja: Interesting. [konsternacja]

Cleverbot: Have you ever talked to a human?
[zmiana tematu]

Ja: I hope so
[sarkazm]

Cleverbot: Me too
[świetna odpowiedź, ale idźmy dalej]

Ja: Not bad!
[komplement za powyższą odpowiedź]

Cleverbot: What is the answer to life, the universe, and everything? [zmiana tematu]

Ja: I think it's a love, Ferrari and chocolate ice cream
[odpowiedź sztampowa, dla ułatwienia o tej miłości ale też prowokujaca z tymi lodami i samochodem]

Cleverbot: Why?
[standardowa odpowiedź, o niczym nie swiadczy, spodziewałam się czegoś więcej]

Ja: Is there something better than sex with my boyfriend in the car with ice cream?
[nie trzeba komentować, błyskotliwa odpowiedź, prowokująca, zachęcająca do błyskotliwej odpowiedzi z jego strony]

Cleverbot: Yes, chuck norris
[ bez komentarza ]

Podejrzewam, że tej odpowiedzi używa bardzo często.
02-10-2011 20:11 
 Ocena 1 na 1
coreless (16088 punktów)

Warto zwrócić uwagę, że Cleverbot stara się podszywać pod istotę ludzką za pomocą chwytów dobrego rozmówcy wymienionych w artykule: zadaje sporo pytań, używa zaimka "ja" (I, me, my) w odniesieniu do własnej "osoby", używa wyrazów odnoszących się do emocji i relacji społecznych (like) a nawet można by pomyśleć, że ma pojęcie o tzw. głębi niektórych pojęć filozoficznych (What is the answer to life, the universe, and everything?).

Co do kryterium Testu Turinga, to sądzę, że zostało ono strywializowane. Turing, jak większość idealistycznie nastawionych marzycieli o sztucznej inteligencji z dawnych lat, zakładał, że za aktywnością słowną będzie się kryła jakaś umysłowość, do której będzie można za pośrednictwem słowa dotrzeć w najprostszy sposób. Natomiast programy konwersacyjne to tylko sprytne algorytmy, ale ciągle bez tego co w poszukiwaniu AI jest najbardziej pociągające - marzenia o stworzeniu czegoś analogicznego do ludzkiego umysłu.

Wracając do Testu Turinga: kryterium nie powinno być tylko ilościowe, ale również jakościowe. Na razie brakuje mi np. w Cleverbocie "tego czegoś" - tego co składa się na jedność stylu reagowania osoby w różnorodności sytuacji życiowych, czyli osobowości. Ale niektórzy psychologowie twierdzą, że deficyt osobowości to powszechna bolączka naszych czasów. Nic dziwnego, że tak wiele osób świetnie się z Cleverbotem dogaduje. Gadanie do szkła też czasami daje wiele satysfakcji.

Transluminacja czaszki często daje wyniki fałszywie ujemne.
Przemek J. (3008 punktów)
Chciałem tylko zwrócić uwagę na jeden fakt, który zdaje się przeoczyłeś. Claverbot, z którym można dyskutować w Internecie, nie jest tym samym, który brał udział w teście Turinga.

Oprogramowanie udostępnione w Internecie, ze względu na spore zainteresowanie, ma pewne ograniczenia. Są to właśnie ograniczenia, które odkryłeś. Program pamięta tylko kilka (kilkanaście) swoich odpowiedzi w jednej dyskusji i ma skrócony czas przeszukiwania bazy danych. Przynajmniej takie informacje pojawiły się na różnych portalach, gdzie toczyła się dyskusja na ten temat i wydaje mi się to całkiem prawdopodobne.
03-10-2011 12:25 
 Ocena 1 na 1
coreless (16088 punktów)

>Chciałem tylko zwrócić uwagę na jeden fakt, który zdaje się przeoczyłeś. Claverbot, z którym można dyskutować w Internecie, nie jest tym samym, który brał udział w teście Turinga.

Cleverbot funkcjonuje tu tylko jako przykład, a przytaczany artykuł w ogóle odnosi się do całej klasy maszyn, biorących udział w konkursie o Nagrodę Loebnera.

Problem nie dotyczy jednak maszyny, ale po pierwsze tego, co to w zasadzie oznacza "gadać po ludzku", a po drugie tego, że "gadanie po ludzku" nie świadczy jeszcze o istnieniu sztucznej inteligencji w tym sensie, jaki miał zapewne na myśli Turing.

Turingowi chodziło o sztuczną inteligencję, z którą można pogadać po ludzku, a nie maszynę gadającą po ludzku, ale pozbawioną inteligencji.

Transluminacja czaszki często daje wyniki fałszywie ujemne.
Przemek J. (3008 punktów)
Oczywiście w tym kontekście masz rację, ja się skupiłem tylko na tym konkretnym programie i jakoś tak ciężko było mi się przebić przez ten schemat myślowy.

Jednak wracając do podstaw, test Turinga z założenia miał pozwolić sędziemu ocenić, czy dany rozmówca opanował ludzką zdolność posługiwania się językiem naturalnym. Sam autor nie uważał natomiast, że zdanie takiego testu przez maszynę jest jednoznaczne z uznaniem jej za inteligentną. Z tego co pamiętam ze studiów, to raczej dążył on do wykazania, że można stworzyć algorytm, który będzie symulował ludzką zdolność komunikacji językiem naturalnym bez powstania sztucznej inteligencji. (Czego dowodzi zabawa z botami). Natomiast upowszechniło się pojęcie, że zdanie tego test będzie sprawdzianem dla sztucznej inteligencji (jednym w kilku może być, ale na pewno nie wystarczającym).

Nigdzie nie doszukałem się źródeł, tego co napisałem powyżej, za to w wikipedii jest ciekawy fragment (szkoda, że nie ma informacji kto toczył te spory):

Cytat:
1. "Maszyna, która przejdzie test Turinga, może być w stanie symulować ludzkie zachowanie konwersacyjne, lecz może to być znacznie mniej niż prawdziwa inteligencja. Maszyna może zwyczajnie używać sprytnie wymyślonych reguł. Częstą ripostą w społeczności zajmującej się badaniami nad sztuczną inteligencją jest zadanie pytania "A skąd wiemy, czy ludzie sami po prostu nie posługują się jakimiś sprytnie wymyślonymi regułami?".
2. Maszyna może być inteligentna nie posiadając ludzkiej umiejętności prowadzenia rozmowy.
3. Wielu ludzi mogłoby nie być w stanie zaliczyć takiego testu. Z drugiej strony, inteligencję innych ludzi oceniamy zazwyczaj wyłącznie na podstawie tego co i jak mówią.


Jak dla mnie to test Turinga powinien być jednym z kilku. Kiedyś wydawało mi się, że proste zadanie logiczne, które powinno pojawić się w trakcie rozmowy, powinno rozwiązać ten problem, ale obecnie już jestem pewien, że to nie zadziała. "Sprytny" algorytm jest w stanie porównać schemat problemu do już "przepracowanych" i odpowiedzieć, na bazie swoich doświadczeń, na dowolne takie zadanie, nie gorzej niż osoba z średnią inteligencją.

W "Łowcy androidów" test Turinga był uzupełniony o badanie reakcji psychosomatycznych cyborga, ale można sobie poradzić z tym analogicznie jak z logiką ludzkich wypowiedzi. Największym problemem dla takich testów, jest to, że jako gatunek, jesteśmy tak różnorodni.

>Turingowi chodziło o sztuczną inteligencję, z którą można pogadać po ludzku, a nie maszynę gadającą po ludzku, ale pozbawioną inteligencji.

Już napisałem o tym wyżej, że Turing zakładał również, że łatwiej będzie osiągnąć to drugie i tu się nie pomylił.
Ja bym jednak wykorzystał test Turinga do badania inteligencji z wykorzystaniem metody ślepej debaty. Weźmy grupę dysputantów, którzy się nie znają. Dajmy im możliwość prowadzenia dyskusji, tak żeby siebie nawzajem nie widzieli, po której każdy z dyskutantów będzie miał wytypować który z rozmówców był człowiekiem, a który maszyną. Trzeba pomysł trochę przemyśleć, poszperać w teorii negocjacji i być może da się coś z pierwotnego pomysłu uratować.
coreless (16088 punktów)
>"A skąd wiemy, czy ludzie sami po prostu nie posługują się jakimiś sprytnie wymyślonymi regułami?".

Doskonale wiemy, że się takimi regułami posługują, ale nie zastępują nimi treści umysłowych i treści wypowiedzi, ale stosują reguły, by dać wyraz tym treściom.

Wypowiedź zgodna z regułami, ale pusta treściowo to tzw. werbalizm.


Transluminacja czaszki często daje wyniki fałszywie ujemne.
Przemek J. (3008 punktów)
>Doskonale wiemy, że się takimi regułami posługują,

Oczywiście, zagalopowałem się i trochę bez namysłu napisałem.

>ale nie zastępują nimi treści umysłowych i treści wypowiedzi, ale stosują reguły, by dać wyraz tym treściom.

Właśnie co do tego mam pewne wątpliwości. Spotykam zbyt wiele osób, które osiągnęły mistrzowski poziom pustosłowia.

Właśnie przed chwilą dostałem do zatwierdzenia dokumentację, która chyba mogłaby być akademickim przykładem werbalizmu. Na połowie strony A4, tekstu, znalazłem tylko jedno zdanie zawierające jakąś treść. I pomyśleć, że to ma być dokumentacja techniczna.
sceptymucha (moderator, 11470 punktów)
Właśnie jestem po konwersacji z Cleverbotem. Człowiekiem nie jest, ale niedużo mu brakuje.
Niektóre gambity konwersacji ma opanowane. Z drugiej strony dość często sobie przeczy. Jak się do niego pisze, to nie ma pewności, że odpowie z sensem czy wręcz przeciwnie.

Najsłabszą częścią Cleverbota i być może usprawnieniem testu Turinga byłoby ustalenie czasu rozmowy. Im dłużej się rozmawia, tym wyraźniej widać, że Cleverbot nie ma jasno sprecyzowanej osobowości, nie pamięta, co mówił wcześniej, a wszystko nie zbiega mu się w sensowną całość.

Pozdrawiam

Rzeczywistość to coś, co nie znika, kiedy przestaje się w to wierzyć.
P.K.Dick
KarolG (2892 punktów)
Byłem bardzo rozczarowany rozmową z Cleverbot'em, bywało, że odpowiadał od rzeczy. Raz sam przejął inicjatywę w rozmowie. Niestety tylko na chwilę, potem wszystko wróciło do normy.
Niestety nie zapisałem tej rozmowy, a szczerze mówiąc, nie chce mi się z nim gadać jeszcze raz.

Myślę, że masz rację. Test Turinga okazuje się niewystarczający. Być może był w porządku w czasach, gdy ludzie nie byli przyzwyczajeni do krótkich wiadomości tekstowych. Myślę, że dla Turinga rozmowa tekstowa miała być odpowiednikiem rozmowy telefonicznej, ale chodziło o to żeby uniemożliwić rozpoznanie robota "po głosie"

Thank God, I'm an atheist
coreless (16088 punktów)

> (...) Myślę, że dla Turinga rozmowa tekstowa miała być odpowiednikiem rozmowy telefonicznej, ale chodziło o to żeby uniemożliwić rozpoznanie robota "po głosie"



Biorąc pod uwagę, ze zmarł na początku lat 50-tych ubiegłego wieku, jest to bardzo możliwe. W zasadzie nie zmarł, tylko popełnił samobójstwo, zaszczuty z powodu homoseksualizmu...



To może jednak wypada zostawić mu ten test, tak na pocieszenie?



Transluminacja czaszki często daje wyniki fałszywie ujemne.
KarolG (2892 punktów)
>To może jednak wypada zostawić mu ten test, tak na pocieszenie?
>
Jeżeli uważasz, że mu to zrobi różnicę

Thank God, I'm an atheist
03-10-2011 12:31 
 Ocena 1 na 1
coreless (16088 punktów)

>Jeżeli uważasz, że mu to zrobi różnicę

Niech ma! Niech!

Transluminacja czaszki często daje wyniki fałszywie ujemne.

Wróć do listy wątków działu Nauka
Aby pisać w tym wątku, musisz się zalogować

  

Zaloguj przez OpenID..
Jeżeli nie jesteś zarejestrowany/a - załóż konto..

Szukaj na Forum  Przewodnik  Regulamin i instrukcja obsługi Forum  Kolegium Moderatorów

 


[ Regulamin publikacji ] [ Bannery ] [ Mapa portalu ] [ Reklama ] [ Sklep ] [ Zarejestruj się ] [ Kontakt ]
Racjonalista © Copyright 2000-2018 (e-mail: redakcja | administrator)
Fundacja Wolnej Myśli, konto bankowe 101140 2017 0000 4002 1048 6365