Über den Bot
Auf der Stufe „Neuronal“ spielt ein neuronales Netz mit 0,84 Millionen Gewichten, ein Karten-Transformer. Niemand hat ihm gezeigt, wie man gut spielt. Es kannte nur die Regeln und hat 33 Millionen Spiele gegen sich selbst gespielt.
- 33 Mio.
- Spiele gegen sich selbst im Training
- 3,6 Std.
- Training auf einer Grafikkarte (RTX 4090)
- ≈ 20 ms
- Rechenzeit je Zug, im Browser
- 56,3 %
- der Spiele gewonnen gegen „Stark“
Drei Bots mit Regeln, einer ohne
Die Stufen Leicht und Mittel spielen nach Faustregeln: billig ausspielen, Paare zusammenhalten, hohe Karten nur für lohnende Stiche opfern. Stark ergänzt das um eine Suche. Für jeden Zug würfelt sie hunderte mögliche Verteilungen der unbekannten Karten aus, spielt jede zu Ende und nimmt den Zug mit dem besten Durchschnitt. Sobald nicht mehr gezogen wird, rechnet sie exakt.
Neuronal sucht nicht. Das Netz sieht die Stellung einmal an und gibt für jeden erlaubten Zug eine Wahrscheinlichkeit aus. Das Gespür dafür stammt aus dem Training, nicht aus Regeln, die ein Mensch aufgeschrieben hat.
Was das Netz sieht
Ein echtes Beispiel aus dem Selbstspiel. Trumpf ist Karo, die Hand hält Ass, Zehn, König und Dame im Trumpf, dazu Kreuz-Zehn und Pik-König. Offen liegt die Trumpf-Neun, zwei Stiche sind schon gewonnen. Das Netz bekommt keine Bilder, sondern Zahlen: für jede der 24 Karten, ob sie in der eigenen Hand ist, schon gespielt wurde, offen liegt oder noch unbekannt ist.
Deine Hand
Offene Trumpfkarte
Talon: 8 Karten
Augen 10 : 0, Stiche 2 : 0
Die Karten-Eingaben: sechs Zeilen zu je 24 Feldern
Jedes Feld ist eine Karte. Gefüllt heißt 1, leer heißt 0. Trumpf steht immer links.
| ♦︎ | ♣︎ | ♠︎ | ♥︎ | |||||||||||||||||||||
|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|
| A | 10 | K | D | B | 9 | A | 10 | K | D | B | 9 | A | 10 | K | D | B | 9 | A | 10 | K | D | B | 9 | |
| Eigene Hand | ||||||||||||||||||||||||
| Schon gespielt | ||||||||||||||||||||||||
| Gegner hat gezeigt | ||||||||||||||||||||||||
| Offene Trumpfkarte | ||||||||||||||||||||||||
| Ausgespielte Karte | ||||||||||||||||||||||||
| Noch unbekannt | ||||||||||||||||||||||||
Dazu kommen vier weitere Kartenzeilen (was der Gegner noch haben kann, was er gespielt hat, der letzte Stich), 47 Zahlen für Talongröße, Punktestand, Stiche, Zudrehen, Ansagepflicht und Paare auf der Hand, und die ganze Stichfolge: welche Karte in welchem Stich fiel, wer ausspielte und wer gewann.
Die Antwort des Netzes
Wahrscheinlichkeit für jeden erlaubten Zug. Wert der Stellung: +3,0 Spielpunkte.
Zwei Kniffe machen das Lernen leichter. Die Karten werden so gedreht, dass Trumpf immer die erste Farbe ist: Ob Herz oder Pik Trumpf ist, ändert am Spiel nichts, also muss das Netz jede Lage nur einmal lernen statt viermal. Und das Netz erfährt nicht, welche der drei anderen Farben welche ist, nur Rang und ob Trumpf. Jede Lage ist damit für alle drei Farben dieselbe.
Aufbau
Das Netz ist ein kleiner Transformer, gebaut um die Karten herum. Jede der 24 Karten bekommt ein eigenes Feld mit 31 Merkmalen: wo sie liegt, ob der Gegner sie noch haben kann, und ihre Geschichte, also in welchem Stich sie fiel, wer sie spielte und wer den Stich bekam. Ein 25. Feld hält den Spielstand: Talon, Augen, Stiche, Zudrehen.
In 4 Blöcken schauen die Felder aufeinander (Aufmerksamkeit). Dabei weiß jede Karte, welche Karten dieselbe Farbe haben und mit welcher Karte sie im selben Stich lag, und lernt selbst, wie viel das zählt. Am Ende bewertet jede Karte ihren eigenen Zug, König und Dame zusammen die Ansage, und das Spielstand-Feld entscheidet über Tauschen und Zudrehen und schätzt die Spielpunkte, die am Ende herauskommen. Diese Zahl zeigt die Bewertungsgrafik im Spiel.
Im Browser läuft das Netz in reinem JavaScript, ohne Bibliothek und ohne Server. Die Gewichte stecken als 8-Bit-Zahlen in der Spieldatei (1,2 MB). Die gerundeten Gewichte wählen in 99,0 % der Stellungen denselben Zug wie das Original.
Wie viel Genauigkeit kostet das Runden?
| Bits je Gewicht | gleicher Zug wie das Original |
|---|---|
| 8 | 99,0 % |
| 6 | 97,1 % |
| 5 | 93,5 % |
| 4 | 87,5 % |
24.361 Stellungen aus dem Selbstspiel.
Training durch Selbstspiel
Trainiert wurde mit PPO (Proximal Policy Optimization), einem Standardverfahren des bestärkenden Lernens. In jeder der 4.000 Runden spielt die Grafikkarte 8.192 Spiele gleichzeitig. Die Hälfte davon gegen die aktuelle Fassung des Netzes, die andere Hälfte gegen bis zu 12 ältere Fassungen, damit es keine Schwäche entwickelt, die nur es selbst nicht ausnutzt.
Die einzige Rückmeldung ist das Ergebnis: gewonnene oder verlorene Spielpunkte, 1 bis 3 pro Spiel. Welche Züge dazu geführt haben, muss das Netz selbst herausfinden. Die Lernrate sinkt dabei von 0,0003 auf 0,00001, damit das Netz am Ende fein abstimmt, statt zu springen.
Siegquote gegen die drei Regel-Bots während des Trainings
Gemessen alle 200 Runden: 250 Spiele gegen Leicht und Mittel, 1.000 gegen Stark.
Werte als Tabelle
| Runde | gegen Leicht | gegen Mittel | gegen Stark |
|---|---|---|---|
| 200 | 77,6 % | 59,0 % | 50,0 % |
| 400 | 78,1 % | 62,9 % | 53,4 % |
| 600 | 75,8 % | 65,1 % | 55,0 % |
| 800 | 74,9 % | 64,1 % | 54,6 % |
| 1.000 | 74,4 % | 64,4 % | 55,5 % |
| 1.200 | 78,0 % | 64,3 % | 55,6 % |
| 1.400 | 75,5 % | 63,3 % | 53,7 % |
| 1.600 | 76,8 % | 64,1 % | 53,1 % |
| 1.800 | 75,6 % | 64,3 % | 55,1 % |
| 2.000 | 76,4 % | 66,5 % | 55,9 % |
| 2.200 | 77,8 % | 62,6 % | 54,6 % |
| 2.400 | 76,0 % | 63,5 % | 54,8 % |
| 2.600 | 75,7 % | 63,9 % | 55,1 % |
| 2.800 | 78,4 % | 65,3 % | 56,2 % |
| 3.000 | 76,6 % | 65,8 % | 55,3 % |
| 3.200 | 76,6 % | 63,3 % | 55,7 % |
| 3.400 | 75,8 % | 61,3 % | 55,3 % |
| 3.600 | 80,5 % | 63,4 % | 56,0 % |
| 3.800 | 76,2 % | 64,8 % | 56,0 % |
| 4.000 | 75,8 % | 64,2 % | 56,2 % |
Was das Netz sich angewöhnt: Aktionen je Spiel im Selbstspiel
Durchschnitt über beide Seiten, alle 10 Runden gemessen.
Wie stark ist er?
Jeder gegen jeden, je 1.000 Spiele. Jede Kartenverteilung wird zweimal gespielt, mit getauschten Plätzen, damit Glück beim Geben sich ausgleicht. Lies eine Zeile: So oft gewinnt dieser Bot gegen den Gegner in der Spalte.
| Zeile gegen Spalte, Siege in % | Zufall | Leicht | Mittel | Stark | Netz nach 400 | Netz nach 1.600 | Netz final (Neuronal) |
|---|---|---|---|---|---|---|---|
| Zufall | 19 | 8 | 7 | 7 | 5 | 6 | |
| Leicht | 81 | 30 | 21 | 22 | 24 | 23 | |
| Mittel | 92 | 70 | 36 | 35 | 35 | 38 | |
| Stark | 92 | 78 | 64 | 46 | 45 | 44 | |
| Netz nach 400 | 93 | 78 | 65 | 53 | 47 | 47 | |
| Netz nach 1.600 | 95 | 76 | 64 | 54 | 53 | 51 | |
| Netz final (Neuronal) | 94 | 77 | 62 | 55 | 52 | 49 |
Spielt er anders als der Suchbot?
Beide gewinnen etwa gleich oft gegen die schwachen Stufen, aber nicht auf dieselbe Weise. Gemessen über 13.000 Spiele je Bot:
Der Bot als Trainer
Das Netz hilft auch dir. Der Knopf Tipp zeigt seinen besten Zug, wie sicher es sich ist und was die zweitbeste Wahl wäre. Stimmt eine Faustregel mit dem Netz überein, steht ihre Begründung dabei.
Die Bewertungsgrafik ist von Anfang an eingeschaltet (abschalten lässt sie sich in den Einstellungen unter Trainingshilfen). Sie zeigt wie beim Schach nach jedem deiner Züge, wie das Netz die Stellung einschätzt, und ordnet deinen Zug ein: bester Zug, gut, ungenau oder Fehler. Dafür spielt das Netz jeden erlaubten Zug in mehreren möglichen Kartenverteilungen durch und misst, wie viele Spielpunkte deine Wahl gegenüber dem besten Zug kostet. Fährst du über die Grafik, siehst du, was du gespielt hast und was besser gewesen wäre. Am Ende des Spiels zeigt ein Spielbericht jeden Stich mit Karten, Augen, der Veränderung der Stellung und dem Verlust deines Zugs.