Dove HDFS memorizza i file localmente per impostazione predefinita? - hadoop, hdfs

Sto eseguendo hadoop con la configurazione di default con cluster a nodo singolo, e vorrei trovare dove HDFS memorizza i file localmente.

Qualche idea?

Grazie.

risposte:

Devi cercare nel tuo hdfs-default.xml file di configurazione per dfs.data.dir ambientazione. L'impostazione predefinita è: $ {} Hadoop.tmp.dir / dfs / dati e nota che $ {hadoop.tmp.dir} è in realtà in core-default.xml descritto Qui.

Le opzioni di configurazione sono descritte Qui. La descrizione per questa impostazione è:

Determina dove sul locale filesystem un DFSil nodo dati dovrebbe immagazzina i suoi blocchi. Se questo è un elenco delimitato da virgole di directory, quindi i dati saranno memorizzati in tutti i nomi directory, in genere su diversi dispositivi. Directory che non esistono sono ignorati

Come "risposta più recente" e per chiarire i numeri di versione di hadoop:

Se usi Hadoop 1.2.1 (o qualcosa di simile), la risposta di @Binary Nerd è ancora vera.

Ma se usi Hadoop 2.1.0-beta (o qualcosa di simile), dovresti leggere la documentazione di configurazione Qui e l'opzione che desideri impostare è: dfs.datanode.data.dir

Sembra che per la versione corrente (2.7.1) la dir sia

/tmp/hadoop-${user.name}/dfs/data

Basato su dfs.datanode.data.dir, hadoop.tmp.dir impostazione da: http://hadoop.apache.org/docs/r2.7.1/hadoop-project-dist/hadoop-hdfs/hdfs-default.xml http://hadoop.apache.org/docs/r2.7.1/hadoop-project-dist/hadoop-common/core-default.xml

Per hadoop 3.0.0, il percorso root di hdfs è come indicato dalla proprietà "dfs.datanode.data.dir"

Esegui questo nel cmd prompt, e otterrai la posizione HDFS:

bin/hadoop fs -ls /