A Cloudera aposta que apache Spark se tornará o novo padrão de processamento de dados para Hadoop! Começando com Hive que sofreu diversas melhorias.
O Apache Hive é uma interface SQL popular para processamento em lote e ETL usando Apache Hadoop. Até recentemente, o MapReduce foi o único mecanismo de execução no ecossistema Hadoop e Hive consultas só poderia ser executado em MapReduce. Mas hoje, os motores de execução tem alternativas para MapReduce disponíveis – tais como Apache Spark e Apache Tez
Saiba mais no post publicado no Blog da Cloudera : http://blog.cloudera.com/blog/2014/07/apache-hive-on-apache-spark-motivations-and-design-principles/
Apache Spark: http://spark.apache.org/
Apache Tez: http://incubator.apache.org/projects/tez.html