Markus Rehnström stod för Kristbergs avgörande mål efter 62 minuter.
Gästande Vikingstad började bäst och gjorde 0-1 redan i matchupptakten. Efter bara tre minuter slog Axel Carlheim till.
Vikingstad ökade ledningen till 0-2 tidigt i matchen, genom Milos Antic, i nionde minuten.
I 26:e minuten slog Sebastian Egnell till, och reducerade åt Kristberg.
Kristberg kvitterade till 2-2 efter en dryg halvtimmes spel, genom Chris Jaakkola.
Kristberg tog ledningen bara sju minuter senare genom Markus Rehnström. Med en halvtimme kvar att spela nätade Linus Siverholm och kvitterade för Vikingstad.
Med en knapp halvtimme kvar att spela fick Markus Rehnström träff på nytt och avgjorde matchen. 4-3-målet blev matchens sista.
Vikingstad har startat svagt och har bara två poäng efter fem spelade matcher. Kristberg har sju poäng.
I nästa match möter Kristberg Borensberg borta på onsdag 1 september 18.00.