Ho due domande sulla gestione degli errori nell'API DataSet di Flink:
Perché il meccanismo di checkpoint menzionato nella documentazione dell'API DataSet non è presente?
In che modo vengono gestiti gli errori nell'API DataSet, ad es. Per
reduceoreduceGrouptrasformazione?
risposte:
2 per risposta № 1Flink gestisce gli errori in modo diverso per i programmi di streaming e batch.
Per i programmi di streaming, lo stream di input ènon associato in modo tale che in generale non sia possibile o impossibile riprodurre l'input completo in caso di errore. Invece Flink controlla costantemente lo stato degli operatori e le funzioni dell'utente e ripristina lo stato in caso di guasto.
Per i programmi batch, Flink esegue il ricalcolo intermediorisultati, che sono stati persi a causa di guasti, leggendo i dati di input necessari e valutando nuovamente le trasformazioni rilevanti. Questo è vero per tutte le trasformazioni, incluso reduce e reduceGroup.