Bij reinforcement learning crasht een bug zelden. Het model wordt gewoon iets minder goed, of de metingen liegen. Dit waren de bugs die het meest tijd kostten.
MCTS · stil
Elke gewonnen stelling telde als remise
get_reward() riep check_winner() aan zonder last_move. Die snelle check kijkt alleen rond de laatst gezette steen en geeft zonder die steen altijd 0 terug. MCTS zag elke gewonnen of verloren eindstelling dus als gelijkspel en leerde niets van winnen.
Volledige scan van het bord in get_reward, en in de zoektocht de snelle check met de bekende laatste zet.
vers netwerk: directe winst nemen 0/10 → 10/10 · blokkeren 3/10 → 10/10
MCTS · teken
Virtual loss met het verkeerde teken
Virtual loss verlaagde value_sum van het kind. Maar de ouder kijkt naar q = −child.value, dus het pad werd juist aantrekkelijker. Alle 32 simulaties in een batch liepen daardoor over hetzelfde pad.
- node.value_sum -= v_loss # pad wordt aantrekkelijker
+ node.value_sum += v_loss # pad wordt minder aantrekkelijk
vóór de fix: 1 uniek blad per batch van 32 simulaties
Evaluatie · liegende metriek
De evaluatie speelde voor de verkeerde kant
play_game() maakte een eigen Connect4-object, maar de MCTS-speler las current_player van een ánder object. Als tweede speler zocht het model dus zetten voor de tegenstander. De training zelf had er geen last van, alleen de meting.
De speler leidt nu zelf af wie er aan zet is uit het bord.
dezelfde modellen: ~75% → ~86% tegen een sterkere solver (zie grafiek)
Evaluatie · ruis
Een „record” van 82% dat ruis bleek
De solver-score sprong van 63% naar 82% en terug. Met 100 willekeurige partijen is één partij 1 procentpunt, dus „nieuw beste model” was meestal toeval, en het opgeslagen beste model ook.
Een vaste set van alle 49 openingen van 2 zetten × 2 kleuren. Die wordt vergeleken met de theoretische uitkomst en aangevuld met 1.000 vaste kritieke stellingen. Een nieuw beste model telt alleen bij ≥ 0,5 pp verbetering op een gecombineerde maat.
Solver · randgeval
Een solver die geen zet teruggaf
De alpha-beta-solver scoorde „mat in n” relatief ten opzichte van max_depth. Adaptieve verdieping kon dieper gaan, waardoor scores voorbij ±INF schoten. Als elke zet verloor, was er geen zet beter dan −INF en kwam er None terug.
Mat-scores relatief aan de werkelijke zoekdiepte vanaf de wortel.
Systeem · geheugen
Laptop bevroren door 8 CUDA-contexten
Elke self-play-worker laadt PyTorch met een eigen CUDA-context, en die kost ~0,9 GB RAM. Met 8 workers, een browser en VS Code liep 15 GB RAM vol. Met maar 1 GB swap bevroor de hele machine.
Persistente workers die nieuwe gewichten via /dev/shm krijgen, een tijdslimiet met nette checkpoints en een harde geheugenlimiet via systemd-run -p MemoryMax=10G. Gaat het toch mis, dan sneuvelt alleen de training.