Eingabe in Tokens zerlegen mit der Klasse Scanner

Wie kann ein String in seine Tokens zerlegt werden?

Mit Java 5.0 wurde die Klasse java.util.Scanner eingeführt. Diese erlaubt das Zerlegen einer Eingabe in Strings und primitive Typen.

Man verwendet die Methode next() der Klasse Scanner, die eine Eingabe in ihre Tokens zerlegt.

    Scanner scanner = new Scanner(System.in);
    while (true) {
        String token = scanner.next();
        System.out.println("Gelesen: " + token);
    }