Yahoo è da tempo uno dei maggiori sponsor del progetto Apache insieme a Google. Ovviamente, Yahoo non si è mai fermata alla sponsorship del solo Web server open source, ma anche collaborato allo sviluppo di altri progetti della Apache Foundation. Oltre a questo Yahoo utilizza all´interno della propria rete lo stesso Apache, e in particolare la versione estesa con Hadoop, ovvero quella per i sistemi cluster.
In questi giorni Yahoo ha rilasciato una propria versione custom di Hadoop, rinominata per l´occasione Yahoo Hadoop. È stato rilasciato tutto il codice sorgente sotto licenza Apache, e le stesse differenze nei sorgenti rispetto al progetto ufficiale sono state sottoposte alla Apache Foundation per l´inclusione negli alberi ufficiali.
Yahoo ha anche reso noto i risultati dei test effettuati sul proprio sistema, un cluster di 500 nodi. Questo per rendere nota alla comunità la "bontà" del software rilasciato in termini di prestazioni e di affidabilità. Test che vanno ad aggiungersi alla dimostrazione effettuata già il mese scorso, l´11 maggio, che ha provato come usando Yahoo Hadoop sia possibile ordinare 1 terabyte di dati in appena 62 secondi e 1 petabyte di dati in poco più di 16 ore.
Apache Hadoop è un prodotto pensato per il clustering e completamente basato su Apache. Esso comprende uno stack completo di applicativi che coprono tutte le esigenze di amministrazione, e tutti i diversi aspetti di un sistema di calcolo parallelo per il Web. Si parla dei componenti Hadoop Core, Hadoop Distributed Filesystem (HDFS), Chukwa (data collection system), HBase (distributed database), Hive (data warehouse infrastructure), Pig (linguaggio per il parallel computation), ZooKeeper (reliable coordination system). Un "agglomerato" di software pensato per l´indicizzazione distribuita dei contenuti.
Il contributo di Yahoo al progetto Hadoop si rivela certamente importante, in quanto serve a consolidare la valenza commerciale del prodotto, nonché a pubblicizzarlo per tutte quelle realtà che hanno bisogno di strumenti simili.