Samouczace sie gry...

Z gry dzieki za odp..
Aha pisze to w pascalu... chociaz to i tak zadna roznica...

Pozdrawiam

No i moje pytanie: gdzie moge znalezc podobne rozwiazania tego typu
problemow.. bo nie bardzo wiem jak sie za to zabrac i mam wiele
watpliwosci ( a w programowaniu jestem poczatkujacy... )

Mam taki problem:

takcie gry z czlowiekiem...
Czyli na poczatku zaczynamy od stanu gdzie program nie wie nic..
Algorytm ma polegac na tym ze sprawdzamy mozliwosci ruchow przy kazdym
podejsciu komputera...
Po wygenerowaniu tych ruchow komputer losuje sobie ruch no i go
wykonuje...
Tak robi az do czasu gdy jest ostatni ruch..
Po ost ruchu jesli przegra ma ze zbioru tak jakby wygenerowanych
ruchow usunac ten ruch ktory doprowadzil go do przegranej...

usuniecie wszystkich takich ruchów z puli potencjalnych ruchów nie ma sensu,
bo po kilku partiach program przegrawszy kilka partii nie móglby nawet
zaczac gry - wszystkie ruchy poczatkowe usunalby jeden za drugim w kolejnych
przegrywanych partiach.

usuniecie tylko jednego tez nie ma sensu, bo jesli to byl jedyny mozliwy
ruch w danej sytuacji, to w kolejnej identycznej partii program w ogóle
odmówilby wykonania jakiegokolwiek ruchu.

sadze, ze w grach z duza liczba mozliwych pozycji takie podejscie ma
niewielki sens jeszcze z innego powodu: dla 10^40 mozliwych pozycji
warcabowych, zapamietanie nawet kilkudziesieciu tysiecy "zlych" ruchów
niewiele pomoze biorac pod uwage liczbe wszystkich mozliwosci, z drugiej
strony wymaga rozegrania tych kilkudziesieciu tysiecy partii.

"samouczenie sie" rozwiazalbym troche inaczej: uzywajac standardowego
min-max (czy alpha-beta) po kilku partiach próbuje losowo modyfikowac
parametry funkcji oceniajacej. jesli ta modyfikacja jest "pozytywna", tzn.
program czesciej wygrywa, to ja akceptuje, jesli nie - odrzucam. takie
podejscie nadawaloby sie do przeksztalcenia w algorytm genetyczny i
"hodowania" coraz lepiej grajacych osobników.

Wiktor Zychla

usuniecie wszystkich takich ruchów z puli potencjalnych ruchów nie ma sensu,
bo po kilku partiach program przegrawszy kilka partii nie móglby nawet
zaczac gry - wszystkie ruchy poczatkowe usunalby jeden za drugim w kolejnych
przegrywanych partiach.

usuniecie tylko jednego tez nie ma sensu, bo jesli to byl jedyny mozliwy
ruch w danej sytuacji, to w kolejnej identycznej partii program w ogóle
odmówilby wykonania jakiegokolwiek ruchu.

Komp. bierze teraz 2 i przegrywa wiec jesli kiedys zajdzie taka
sytuacja ze zostana 2 kulki to ma nie wziac dwoch tylko 1 aby nie
przegrac...
No wiec teraz wykasowuje ruch gdzie bierze 2 kulki
Jesli wiec przejdziemy cale drzewo w takich samych ruchach to komputer
nie przegra...
No i wlasnie tu moment gdzie nie jestem piewien, bo wychodzi na to ze
trzeba tak jakby zapisywac cala sciezke a do warcab to troche trudne
rozwiazanie bynajmniej duzo mozliwosc.. no wiec nie wiem za bardzo...

"samouczenie sie" rozwiazalbym troche inaczej: uzywajac standardowego
min-max (czy alpha-beta) po kilku partiach próbuje losowo modyfikowac

W kazdym razie dziekuje za odzew aha i jeszcze gdyby ktos mial jakies
linki do mini-maxa ktore doglebnie to wyjasniaja bylbym wdzieczny..
szukalem ich i mam wiele ale moze ktos zna cos ciekawego...

Z gory dzieki...

sadze, ze w grach z duza liczba mozliwych pozycji takie podejscie ma
niewielki sens jeszcze z innego powodu: dla 10^40 mozliwych pozycji
warcabowych, zapamietanie nawet kilkudziesieciu tysiecy "zlych" ruchów
niewiele pomoze biorac pod uwage liczbe wszystkich mozliwosci, z drugiej
strony wymaga rozegrania tych kilkudziesieciu tysiecy partii.

Oczywiscie algorytmy uczenia ze wzmocnieniem sa dalece bardziej
skomplikowane.
Jednak duza ilosc stanow nie jest tu przeszkoda, TD-gammon przechowywal
funkcje
jakosci w aproksymatorze (konkretnie sieci neuronowej).

pozdrawiam,
greg

To co opisal poprzednik to bardzo naiwna proba wykonania uczenia ze
wzmocnieniem.

Z gory dzieki za wszeka pomoc...
Pozdrawiam

| To co opisal poprzednik to bardzo naiwna proba wykonania uczenia ze
| wzmocnieniem.

No wlasnie wg mnie to ma byc cos takiego tylko moglbys mnie
naprowadzic gdzie tego szukac, jak to mniej wiecej wyglada w
implementacji, chce po prostu to dobrze zrozumiec bo bez tego nie ma
szans na zadne ruszenie problemu...

pozdrawiam,
greg

TD-gammon przechowywal funkcje jakosci w aproksymatorze
(konkretnie sieci neuronowej).

[...]

| TD-gammon przechowywal funkcje jakosci w aproksymatorze
| (konkretnie sieci neuronowej).

...dzięki czemu do tej pory nikt nie wie, w jaki sposób ten program
wszystkich ogrywa ;)

greg

| [...]

| TD-gammon przechowywal funkcje jakosci w aproksymatorze
| (konkretnie sieci neuronowej).

| ...dzięki czemu do tej pory nikt nie wie, w jaki sposób ten program
| wszystkich ogrywa ;)

racja - jesli chodzi o to jak wyglada f-kcja jakosci - jest zaszyta
w wagach neuronow
nieprawda natomiast jesli chodzi o metode uzyskania tej fukcji -
tu jest wszystko jasne,

Nie sadze, aby to bylo tematem twojego zaliczenia.
Jesli jednak kiedys chcialbys zajac sie tematem doglebnie, to
bedzie dobre miejsce, aby zaczac.

Pozdrawiam..

takcie gry z czlowiekiem...