Apache Hadoop в Yahoo

История применения Apache Hadoop в Yahoo

Вице-президент компании Yahoo по разработке Apache Hadoop EricBaldeschwieler обнародовал историю использования этого продукта в Yahoo. Еще в 2006 году Yahoo была нужна среда, для того чтобы хранить и обрабатывать большие объемы данных. На то время конкуренты компании уже успешно реализовали map-reduce и кластерные хранилища. Ввиду этого вместо того, чтобы разрабатывать собственное проприетарное решение, в Yahooпостановили начать работу над открытым Apache Hadoop.

На сегодняшний день в работе над проектом Apache Hadoop задействовано около ста сотрудников из компании. Также они параллельно работают над подпроектами, связанными с вышеназванным проектом: ZooKeeper, Pig, Howl, Hive, HBase и Oozie.

Сегодня в дата центрах Hadoop уже запущен на около 40000 узлов (а это более 300 тысяч процессорных ядер). Hadoop можно использовать для поиска, рекламы, поиска спама и других действий.


В этом разделе

Добавить комментарий

Сколько будет 2+2*2 ? (прописью)