J'exécute actuellement Apache Flink 1.2.0 dans mon environnement actuel et j'utilisais BucketingSink pour écrire des données dans le système de fichiers Hadoop. Je suis capable d'écrire des données en utilisant file:/// et hdfs:/// protocole de système de fichiers sans aucun problème. Testé dans le bac à sable Hortonworks. Mais quand je commute pour écrire avec maprfs:/// protocole dans MapR Sandbox, il est dit
No FileSystem for scheme: maprfs
Caused by: java.io.IOException: No FileSystem for scheme: maprfs
at org.apache.hadoop.fs.FileSystem.getFileSystemClass(FileSystem.java:2644)
at org.apache.hadoop.fs.FileSystem.createFileSystem(FileSystem.java:2651)
at org.apache.hadoop.fs.FileSystem.access$200(FileSystem.java:92)
at org.apache.hadoop.fs.FileSystem$Cache.getInternal(FileSystem.java:2687)
at org.apache.hadoop.fs.FileSystem$Cache.get(FileSystem.java:2669)
at org.apache.hadoop.fs.FileSystem.get(FileSystem.java:371)
at org.apache.hadoop.fs.Path.getFileSystem(Path.java:295)
J'ai besoin de comprendre quelle configuration je doisajouter dans mon application Flink afin de me permettre d'écrire dans maprfs. Dans mon cluster MapR, les fichiers core-site.xml et hdfs-site.xml sont vides. Par conséquent, je ne les ai pas copiés. $FLINK_CONF_DIR.
Réponses:
0 pour la réponse № 1Vous avez besoin de mapr "s hadoop.jar d'abord dans votre chemin de classe. C'est généralement assis quelque part dans /opt/mapr/...
0 pour la réponse № 2
Il y a maintenant un Page de documentation sur la configuration de Flink pour Mapr