Вице-президент компании Yahoo по разработке Apache Hadoop EricBaldeschwieler обнародовал историю использования этого продукта в Yahoo. Еще в 2006 году Yahoo была нужна среда, для того чтобы хранить и обрабатывать большие объемы данных. На то время конкуренты компании уже успешно реализовали map-reduce и кластерные хранилища. Ввиду этого вместо того, чтобы разрабатывать собственное проприетарное решение, в Yahooпостановили начать работу над открытым Apache Hadoop.
На сегодняшний день в работе над проектом Apache Hadoop задействовано около ста сотрудников из компании. Также они параллельно работают над подпроектами, связанными с вышеназванным проектом: ZooKeeper, Pig, Howl, Hive, HBase и Oozie.
Сегодня в дата центрах Hadoop уже запущен на около 40000 узлов (а это более 300 тысяч процессорных ядер). Hadoop можно использовать для поиска, рекламы, поиска спама и других действий.
Выполняется отправка...