3‎ > ‎3‎ > ‎

c

LinkedIn в "ответ" к большим проблемам данных: Пино

Резюме: Уже в настоящее время развернута для внутренних управленческих команд продукт, LinkedIn также планирует в конечном итоге с открытым исходным кодом Пино для общественности.

Рэйчел Кинг

По Рэйчел Кинг для Между строк | 29 сентября 2014 - 18:00 GMT (11:00 PDT)

Следуйтеrachelking Поделиться: Подписаться на: больших тем данных: Big Data, Apps, управления данными, социального предпринимательства, веб-разработки 1

По Рэйчел Кинг для Между строк | 29 сентября 2014 - 18:00 GMT (11:00 PDT)

zdnet-linkedin-pinot

Большой данных представляет огромные возможности в технического сообщества и регулярно, как преподносится как много. Но не так много стремятся признать ловушек и проблем в освоении этой власти.

Подробнее о LinkedIn

  • LinkedIn запускает новый универсальный магазин для малого и среднего бизнеса
  • Последнее цифровой публикации игра LinkedIn в краны в всей пользовательской базы
  • LinkedIn запускает автономную мобильную пополнения приложение
  • LinkedIn рекламирует больше потенциал данных для 'Кто смотрел профилем'
  • LinkedIn Есекс преуменьшить Интро споры безопасности
  • Обновления в LinkedIn приблизить ее к Facebook, Google+
  • LinkedIn охотится за таланты в Бразилии
  • Facebook, LinkedIn обновить мобильных опытом для разработчиков, конечных пользователей
  • Последнее реконструкция корпорацией LinkedIn направлена ​​на работодателей через рекрутер инструмента
  • LinkedIn представила китайский сайт, чтобы придерживаться местных законов

LinkedIn открывает о своих собственных больших проблем данных через открытие своего нового аналитики двигателя.

Дублированный Пино, веб-шкала в режиме реального времени аналитика двигатель был разработан для мониторинга, управления и использования огромного количества больших данных, генерируемых нескольких продуктов по всей начинающего империи LinkedIn в профессиональных продуктов социальных и цифровых издательских.

Корни для Пино начал прорастать примерно два года назад, как LinkedIn оказалась нарваться на стены из блокпостов, управляемых данными. После того, как работа над Пино начал, он взял строителей платформы примерно восемь месяцев, прежде чем он может на самом деле быть потребляется для внутреннего использования продукта.

Перед культивирования Pinot в доме, инженерная команда LinkedIn сказал, что это было с помощью коктейль из различных систем общего хранения от подобных Oracle и распределенной системы хранения ключ-значение проекта Волдеморта.

Инженер LinkedIn Прэвин Neppalli Naga объяснил в своем блоге, что они не были переговоров стремительно растущий поток больших данных производится с помощью социальной сети более 300 миллионов членов по всему миру и подсчета голосов.

Нага заявил, "Пино родился как ответ на наши проблемы."

Данные LinkedIn имеет много глубины и каждое измерение требует специального лечения. Мы должны создавать собственные технологии сжатия на любой размер, чтобы получить оптимальную скорость сканирования компромисс против потребляемой памяти. Например, каждый из наших членов может иметь сотни навыков и представляя их в случае трудно. Аналогично, группы, что члены принадлежат и компании они следуют некоторые из размеров сложных представлять в случае. Мы построили Pinot с этим трудно индексных данных в памяти, но сохранит детали методов сжатия для будущих должностей.

Пино теперь выступает в качестве инфраструктуры данных флагманского для продуктов, таких как: «Кто, кто смотрели профилем" и других, что требует частых и мгновенные сложные запросы.

В настоящее время доступны для внутренних управленческих команд продукт для хруст аналитику на объявления отчетности и платных продуктов премиум-класса, таких как профиль компании следует, LinkedIn также планирует в конечном итоге с открытым исходным кодом Пино для общественности.

Советы и заметки из открытых источников можно найти уже в Пино. Нага подчеркнул Пино держит трубопровод Hadoop для начальной загрузки и примирения, а также индексацию данных в реальном времени от Кафки и Hadoop.

Изображение через LinkedIn

Темы: Big Data, приложения, управления данными, Социальное предприятие, веб-разработки

Удар свой день с ежедневной рассылку электронной почты ZDNet автора. Это свежие новости технологий и мнение, подается горячим. Получить его.

#auto

Subpages (1): 7
Comments