j‎ > ‎

u

Big Data Гость Сообщение

Без обработки потока, нет большой данных и нет Интернет вещей

Без обработки потока, нет большой данных и нет Интернет вещейБез обработки потока, нет большой данных и нет Интернет вещей Изображение Фото: Фердинандо Quaranta / Flickr 19 марта 2014 3:00 утра
Дана Санду, SQLstream 0 0 Спасибо
Политика конфиденциальности Как можно большие инструменты данных и Smart Analytics зажечь рост для вашей компании? Узнайте на DataBeat, 19-20 мая в Сан-Франциско, от ведущих ученых данных, аналитики, инвесторы и предприниматели. Зарегистрируйтесь сейчас и сэкономить $ 200!

Интернет вещей был у всех на устах (и пера) в последнее время, как самый большой новый источник денег, инновационный продукт клиент, инвестиционные возможности и мечты-достойные истории (как у всех, кто входит в Киборг фонда - действительно , посмотреть его).

Правда в том, значение Интернета вещей приходит только от поразительной массы данных он обязан производить и не будет никаких денег не сделал, пока рынок обработки данных готова взять на себя задачу. Многие считают, что, так же, как управление базами данных необходимо Oracle и большие данные, необходимые Hadoop, Интернет вещей (или действительно больших данных) необходим обработку потока.

Потоковая обработка это технология, которая позволяет осуществлять сбор, интеграции, анализа, визуализации и системы интеграции данных, все в реальном времени, так как данные, которые производятся, и, не нарушая деятельность существующих источников, хранения и корпоративных систем.

Мы сами говорили о стоимости потоковой обработке для больших данных на некоторое время теперь. Другие компании, работающие в потоковой обработке являются Cloudera, которая работает с открытым исходным кодом Apache Свеча проекта; Hortonworks, который поддерживает с открытым исходным кодом проекта Apache шторм; и облако поставщик Amazon Web Services, с его обслуживанием Kinesis. Мы отдаем себе отчет о нескольких других инициатив, но они еще не кристаллизуется в полной, продуктивной, непрерывных проектов.

Независимо от того, который выбирают поставщиков компании, тем не менее, Интернет вещей не держит прогнозы роста, чтобы сделать закружилась голова каждого: Gartner, например, предсказывает, что Интернет вещей и персональных компьютеров будет раскопать более $ 1,9 трлн доходов до 2020 года; Cisco считает, что будет свыше 50 млрд подключенных устройств на ту же дату; Оценки IDC технологии и услуги выручка будет расти во всем мире до $ 7,3 трлн к 2017 (по сравнению с $ 4,8 трлн в 2012 году). Это звучит фантастически для всех потребителей, производства и государственных отраслях - но то, что все это значит, и почему мы не можем сделать это раньше?

Ответ довольно прост: рынок обработки данных пока не существует. Чтобы было ясно, что все эти подключенных устройств будет генерировать немыслимые объемы данных, и все эти данные должны будут в конечном итоге, проходящая через обработки данных лиц. Любой Интернет вещей инициативе потребует на заказ стратегии обработки данных, который уравновешивает современным требованиям, непрерывный рост и будущие приложения - и что может быть сделано только через очень мощными процессорами, которые позволяют сотрудничество между устройствами, приборами, аналитика платформ, клиентов и реального -мировых систем. Иными словами, пусть все говорят, чтобы все на том же языке, и обобщить и проанализировать все разговоры в режиме реального времени.

Давайте поговорим примеры. С одной, домашней автоматизации. На уровне отдельного дома, это не является большой проблемой данных; это о юзабилити приложений для конечных пользователей. (? Ли ваш холодильник действительно заказать молоко для вас, в ответ на свой рацион приложение) Но как только многие миллионы домов подключены к той же службы, существует реальная возможность для монетизации - поведение потребителей, поведение устройства, real-time/customized размещение рекламы, и так далее - и проблема масштабирования для лица обработки данных.

Кроме того, смарт-города: парковка и трафика приложений уже существуют сегодня; не особо большой большой проблемой данных. Но подключении автобус, поезд, дорожное информацию, которая это точно в режиме реального времени; добавление видео и данные о погоде; подключения данные от вчера, на прошлой неделе, в прошлом месяце; перекрестных ссылок в режиме реального времени демографии и предлагая эту информацию по различным каналам доступных для бизнеса и потребителей (те самые, которые держат умные дома) - что приближает нас к самой сложности Интернет вещей / большой проблемой данных.

Если на вершине всего мы добавляем уровень безопасности данных это, мы сейчас говорим действительно большие данные. Системы контроля Сегодняшние не создан для более широкого доступа, SCADA имеет ограничения, а также беспроводной доступ требуется сим-карт. Но чем больше интеллекта, более сложные атаки. Сигналы требуют использования и анализ образца для всех данных, в различных системах, в реальном времени.

Только потоковой обработки может обрабатывать эту работу, и вот почему:

  • Системы систем требуют постоянного сбора, фильтрации и агрегации данных. Это означает, что все данные попадает и "переведены", как это производится; данные не ждет у двери своей очереди, чтобы войти в систему. Ничто не теряется под надзором или устарели, потому что разнообразие данных не является проблемой.
  • Аналитика происходит через дополнительных вычислений (довольно прохладный). Это означает, что система запоминает запрос, и каждый раз при изменении данных, изменения ответов, основываясь на дельте (а не общий объем данных, что экономит драгоценные секунды). Это позволяет ошеломляющие объемов данных, обрабатываемых в очень сжатые сроки - в самом деле, миллионы событий в секунду на каждое ядро ​​сервера.
  • Результаты анализа переводятся и подается обратно в локальных систем в реальном времени, что означает расстояние между данными, поступающими в и данные, поступающие из него, могут быть как несколько миллисекунд.

Как и в любом технологии, обработка потока тоже когда-нибудь необходимость переосмысления и обновления. До тех пор, однако, развитие Интернета вещей, и его способность зарабатывать деньги, не останется плотно связана с темпами принятия потока обработки технологий.

Дана Санду является рынок Евангелиста в SQLstream.


Вы делаете или теряете деньги с автоматизации маркетинга? В.Б. работает с специалист по маркетингу Ян Клири расследовать Автоматизация маркетинга ROI. Помогите нам, ответив на несколько вопросов, и мы поможем вам с данным.

#auto

Subpages (5): 7 f h i u
Comments