пятница, 29 апреля 2016 г.

Компания Think Big, входящая в корпорацию Teradata, расширяет возможности построения «озер данных» с помощью технологии Apache Spark


Среда Spark представляет собой кластерную вычислительную платформу с открытым исходным кодом, которая применяется для разработки рекомендаций по использованию продукта, прогнозной аналитики, анализа данных, поступающих от датчиков, анализа графов и т .д.
 Сегодня потребители могут использовать «озеро данных» с помощью технологии Apache Spark в облаке, в общих «стандартных» средах Hadoop, или в ПАК Teradata's Hadoop Appliance, наиболее мощной, готовой к работе корпоративной платформе, предварительно сконфигурированной и оптимизированной для работы с потоками корпоративных больших данных.
 В то время как интерес к среде Spark продолжает расти, многие компании стремятся не отставать от быстрого темпа изменений и появления новых версий платформ с открытым исходным кодом. Компания Think Big успешно использовала среду Spark для построения корпоративных «озер данных» и написания аналитических приложений.
 Компания Think Big создает тиражируемые пакеты услуг для развертывания среды Spark, в качестве механизма выполнения для своих «озер данных» и управляемых услуг. При участии своего отдела обучения — Академии компании Think Big — консалтинговая компания также организовала серию новых обучающих тренингов для корпоративных клиентов о среде Spark . Эти тренинги проводятся опытными инструкторами, они помогают руководителям, разработчикам и администраторам освоить работу в среде Spark и с ее разнообразными модулями, например, машинное обучение, графы, потоки данных и запросы.
 Кроме этого, отдел обработки и анализа данных компании Think Big предоставляет бесплатные подпрограммы для распределенного группирования K-Modes на основе интерфейса программирования приложений (ИПП) Python среды Spark. Данные программы улучшают объединение в группы качественных данных для сегментации клиентов и анализа оттока клиентов. Этот код будет доступен вместе с другими бесплатными приложениями компании Think Big на странице GitHub.

РЕТРОСПЕКТИВА

Тема наблюдения за объектами на XII Всероссийской научно-технической конференции «Современное телевидение» (продолжение).  Система противопожарной безопасности региона на основе телевизионного пассивного несканирующего всеазимутального пеленгатора (ФГУП МКБ «Электрон», ТЦМПЧС МЧС МО, ЦИЭКС). Пеленгатор состоит из телевизионной камеры и оптической системы, в состав которой входит коническое зеркало, обеспечивающее круговой обзор местности с углом места от –10 до+5 град. от горизонтальной плоскости. Прибор работает в видимом и ближнем инфракрасном диапазоне длин волн (550-960 нм). Видеосигнал с ТВ-камеры подаётся на видеокарту ПК, где осуществляется его обработка и производится автоматическое определение азимутов источников возгорания в режиме реального времени.
Определение азимутов объектов осуществляется программой в полярной системе координат, центр которой соответствует вершине конического зеркала; при определении азимутов оцениваются изображения объектов, попадающих на окружность, соответствующую фокальной плоскости прибора. Центр координат и радиус окружности, соответствующей фокальной плоскости (радиус фокусировки), определяются конструкцией и являются специфическими параметрами для каждого прибора, в силу чего для определения азимутов важным является возможно более точное определение этих величин. В программе определение центра координат и радиуса фокусировки производится автоматически по растровому изображению калибровочных источников излучения. Для повышения точности определения центра координат и радиуса фокусировки, а также уменьшения влияния шумов используется суммирование изображений нескольких кадров (до 20), при этом точность автоматического определения центра координат и радиуса фокусировки составляет порядка нескольких пикселей (0,5% от ширины кадра).
На основе описываемого пеленгатора создан макет системы противопожарной безопасности отдельного региона. Система включает в себя несколько персональных компьютеров с подключенными к ним пеленгаторами, расположенными в пунктах наблюдения и объединёнными в компьютерную сеть региона. Определённые азимуты ярких объектов с заданным периодом времени с каждого локального компьютера передаются на сервер, где на основе информации о координатах каждого пеленгатора и соответствующих полученных азимутах ярких объектов производится определение координат источника возгорания и нанесение этих координат на карту региона. 
Системы электронного зрения имеют хорошие перспективы в лесопромышленном комплексе (ЛПК) Российской Федерации – как показала выставка «Лесдревмаш-2004». Здесь надо учесть, что в структуре промышленности России доля ЛПК в производстве продукции составляет 3,4%, а по объёму экспорта – 3,9% (экспорт лесобумажной продукции составил в 2003 г. 5,2 млрд. долл и есть тенденция к увеличению этого показателя). Но одна из основных угроз для благополучия ЛПК – лесные пожары и поэтому естественен рост внимания лесопромышленников к высоким технологиям, способным противостоять этой угрозе.
Созданный в Интернете сервер «Авиалесоохраны» обеспечивает оперативный доступ соответствующих служб к картографической и спутниковой информации о лесопожарной и метеообстановке, снимкам облачности, районов действия крупных лесных пожаров и т. д . (см. снимок лесного пожара из космоса). С 1995 г. проводятся работы по созданию геоинформационной системы мониторинга лесных пожаров, оперирующей комплексом данных, получаемых как от наземных и авиационных, так и от космических источников информации. Но, хотя в последнее время быстро развивается метод дистанционного обнаружения пожаров с помощью искусственных спутников Земли, полностью заменить авиацию он пока не может.
Во время полёта лётчик-наблюдатель ведёт постоянное наблюдение за охраняемой территорией, осматривает дымовые точки и одновременно осуществляет контроль лесопатологического состояния зелёных массивов; в случае обнаружения пожара он определяет его точное местоположение и вычисляет его параметры. Способ, конечно, хороший, но слишком дорогостоящий для того, чтобы быть достаточно эффективным на наших огромных территориях. Поэтому рассматриваются более современные методы воздушного видеонаблюдения посредством беспилотной авиации. Всерьёз темой лесных пожаров занимаются и ученые-электронщики. Так, на XII Всероссийской научно-технической конференции «Современное телевидение» был заслушан доклад «Система противопожарной безопасности региона на основе телевизионного пассивного несканирующего всеазимутального пеленгатора». Подобные доклады полезно было бы заслушивать и на проходившем в рамках выставки Международном форуме «Лес и человек».
Экономические успехи ЛПК нашли отражение и в том, что в отрасли стали применяться современные системы контроля и учета – такие, как представленные на выставке переносные терминалы сбора данных, промышленные лазерные сканеры, а также сканеры на CCD-датчиках, которые могут использоваться для приложений, основанных на распознавании образа. Это уже взгляд в завтрашний день ЛПК, всё шире использующем роботизированные механизмы для обработки лесной продукции, которым уже понадобятся системы машинного зрения для сортировки древесины и т. п. А. Барсуков, журнал "ТКТ", № 11, 2004 г. 

Комментариев нет:

Отправить комментарий

Примечание. Отправлять комментарии могут только участники этого блога.