Платформа Apache Hadoop

В настоящее время многим IT-компаниям, начиная от стартапов и заканчивая поисковыми гигантами, приходится иметь дело с большим количеством информации: размеры логов социальной активности пользователей или кликов в приложениях давно перевалил за десятки и сотни терабайт.

Как эффективно хранить и обрабатывать такое количество информации? Как вычислять необходимые метрики из слабоструктурированных данных? В докладе рассматриваются ключевые компоненты платформы Apache Hadoop — свободно распространяемого фреймворка для разработки и выполнения распределённых программ, работающих на кластерах из сотен и тысяч узлов, а также практические примеры работы с Azure HDInsight.