Архитектура Maemo и обработка мультимедиа на мобильных устройствах



Скачать 90.91 Kb.
Pdf просмотр
Дата11.12.2016
Размер90.91 Kb.
Просмотров319
Скачиваний0

Архитектура Maemo и обработка мультимедиа на мобильных устройствах
Александр Боковой
Maemo Devices, Nokia
25 марта 2010 г.
(Maemo Devices, Nokia)
Обработка мультимедиа
25 марта 2010 г.
1 / 26

Outline
1
Архитектура Maemo 5 2
Обработка мультимедиа
(Maemo Devices, Nokia)
Обработка мультимедиа
25 марта 2010 г.
2 / 26

Что такое архитектура?
Средство обмена информацией между заинтересованными лицами
Способ записи принятых проектных решений какие задачи были поставлены?
каким образом их решение влияет на всю систему?
Метод поддержки стабильности компонент системы с точки зрения долгосрочного планирования
Описание:
структуры компонент программных интерфейсов взаимодействия компонент причин, почему это все решает поставленную задачу
(Maemo Devices, Nokia)
Обработка мультимедиа
25 марта 2010 г.
3 / 26

Что такое архитектура?
Средство обмена информацией между заинтересованными лицами
Способ записи принятых проектных решений какие задачи были поставлены?
каким образом их решение влияет на всю систему?
Метод поддержки стабильности компонент системы с точки зрения долгосрочного планирования
Описание:
структуры компонент программных интерфейсов взаимодействия компонент причин, почему это все решает поставленную задачу
(Maemo Devices, Nokia)
Обработка мультимедиа
25 марта 2010 г.
3 / 26

Что такое архитектура?
Средство обмена информацией между заинтересованными лицами
Способ записи принятых проектных решений какие задачи были поставлены?
каким образом их решение влияет на всю систему?
Метод поддержки стабильности компонент системы с точки зрения долгосрочного планирования
Описание:
структуры компонент программных интерфейсов взаимодействия компонент причин, почему это все решает поставленную задачу
(Maemo Devices, Nokia)
Обработка мультимедиа
25 марта 2010 г.
3 / 26

Что такое архитектура?
Средство обмена информацией между заинтересованными лицами
Способ записи принятых проектных решений какие задачи были поставлены?
каким образом их решение влияет на всю систему?
Метод поддержки стабильности компонент системы с точки зрения долгосрочного планирования
Описание:
структуры компонент программных интерфейсов взаимодействия компонент причин, почему это все решает поставленную задачу
(Maemo Devices, Nokia)
Обработка мультимедиа
25 марта 2010 г.
3 / 26

Стратегия и тактика
Цели архитектуры Maemo:
определенность поддержка нового оборудования максимальное использование свободного ПО
гибкий механизм настроек для конкретного решения непрерывность обновления хорошая производительность эффективный процесс разработки "В пути кормить не обещали"
Не надо путать цель и текущее состояние достижение целей — компромисс между реальностью и желанием архитектурные цели призваны улучшать реальность
(Maemo Devices, Nokia)
Обработка мультимедиа
25 марта 2010 г.
4 / 26

Стратегия и тактика
Цели архитектуры Maemo:
определенность поддержка нового оборудования максимальное использование свободного ПО
гибкий механизм настроек для конкретного решения непрерывность обновления хорошая производительность эффективный процесс разработки "В пути кормить не обещали"
Не надо путать цель и текущее состояние достижение целей — компромисс между реальностью и желанием архитектурные цели призваны улучшать реальность
(Maemo Devices, Nokia)
Обработка мультимедиа
25 марта 2010 г.
4 / 26

Архитектура в картинках: Android
Android
(Maemo Devices, Nokia)
Обработка мультимедиа
25 марта 2010 г.
5 / 26

Архитектура в картинках: Moblin
Moblin
(Maemo Devices, Nokia)
Обработка мультимедиа
25 марта 2010 г.
6 / 26

Архитектура в картинках: Maemo 5
Maemo 5
(Maemo Devices, Nokia)
Обработка мультимедиа
25 марта 2010 г.
7 / 26

Архитектурный скелет
Программный продукт образует систему из программного обеспечения управления конфигурациями среды разработки внешних интерфейсов
(Maemo Devices, Nokia)
Обработка мультимедиа
25 марта 2010 г.
8 / 26

Архитектурный скелет: слои и домены
Программное обеспечение группируется в слои, для независимой разработки многими поставщиками домены для определения зон ответственности разработки
Требования Maemo к слою Base:
http://wiki.forum.nokia.com/index.php/Maemo_Base_Port
(Maemo Devices, Nokia)
Обработка мультимедиа
25 марта 2010 г.
9 / 26

Архитектурный скелет: домены и подсистемы
Домены содержат подсистемы и описывают логически связанные компоненты.
Исходные пакеты:
единицы распространения исходного кода источник бинарных пакетов
Бинарные пакеты единицы распространения бинарного кода содержат интерфейсы подсистемы
(Maemo Devices, Nokia)
Обработка мультимедиа
25 марта 2010 г.
10 / 26

Архитектура в картинках: Maemo 5
Maemo 5
(Maemo Devices, Nokia)
Обработка мультимедиа
25 марта 2010 г.
11 / 26

Outline
1
Архитектура Maemo 5 2
Обработка мультимедиа
(Maemo Devices, Nokia)
Обработка мультимедиа
25 марта 2010 г.
12 / 26

Эволюция мультимедиа: от потребления к производству
Самый популярный звуковоспроизводящий инструмент в мире?
Самый популярный звукозаписывающий инструмент в мире?
Самый массовый фотоаппарат в мире?
Самая массовая видеокамера в мире?
(Maemo Devices, Nokia)
Обработка мультимедиа
25 марта 2010 г.
13 / 26

Эволюция мультимедиа: от потребления к производству
Самый популярный звуковоспроизводящий инструмент в мире?
Самый популярный звукозаписывающий инструмент в мире?
Самый массовый фотоаппарат в мире?
Самая массовая видеокамера в мире?
(Maemo Devices, Nokia)
Обработка мультимедиа
25 марта 2010 г.
13 / 26

Эволюция мультимедиа: от потребления к производству
Самый популярный звуковоспроизводящий инструмент в мире?
Самый популярный звукозаписывающий инструмент в мире?
Самый массовый фотоаппарат в мире?
Самая массовая видеокамера в мире?
(Maemo Devices, Nokia)
Обработка мультимедиа
25 марта 2010 г.
13 / 26

Эволюция мультимедиа: от потребления к производству
Самый популярный звуковоспроизводящий инструмент в мире?
Самый популярный звукозаписывающий инструмент в мире?
Самый массовый фотоаппарат в мире?
Самая массовая видеокамера в мире?
(Maemo Devices, Nokia)
Обработка мультимедиа
25 марта 2010 г.
13 / 26

Эволюция мультимедиа: от потребления к производству
Мобильный телефон
Современный телефон = графическая рабочая станция 1990-95
(Maemo Devices, Nokia)
Обработка мультимедиа
25 марта 2010 г.
14 / 26

Эволюция мультимедиа: от потребления к производству
Мобильный телефон
Современный телефон = графическая рабочая станция 1990-95
(Maemo Devices, Nokia)
Обработка мультимедиа
25 марта 2010 г.
14 / 26

Функциональное развитие: от 770 до N900
Аудио
Воспроизведение: громкоговорители, наушники, bluetooth A2DP,
FM-передатчик
Запись звука: встроенный микрофон, гарнитура, bluetooth A2DP,
FM-приемник
Видео
Воспроизведение: два WVGA видео-слоя и возможность аппаратного декодирования видео-форматов
Запись: стандартная веб-камера (640х480), Carl
Zeiss-сертифицированная 5Мп-камера
Фото
Запись: стандартная веб-камера (640х480), Carl
Zeiss-сертифицированная 5Мп-камера
(Maemo Devices, Nokia)
Обработка мультимедиа
25 марта 2010 г.
15 / 26

Особенности медиа-данных
Современные видео-потоки и изображения в 4-15 раз превышают размеры экрана мобильного устройства на порядки превышают объемы типичных медиатек 1990-95
имеют иную модель использования, чем даже 5-10 лет назад имеют иную модель обработки, чем 10 лет назад, с упором на аппаратное ускорение
Большинство библиотек обработки изображений не изменили модель представления изображений в памяти модель взаимодействия отдельных элементов алгоритмов обработки ожидания по мощности вычислительных устройств
(Maemo Devices, Nokia)
Обработка мультимедиа
25 марта 2010 г.
16 / 26

Особенности медиа-данных
Современные видео-потоки и изображения в 4-15 раз превышают размеры экрана мобильного устройства на порядки превышают объемы типичных медиатек 1990-95
имеют иную модель использования, чем даже 5-10 лет назад имеют иную модель обработки, чем 10 лет назад, с упором на аппаратное ускорение
Большинство библиотек обработки изображений не изменили модель представления изображений в памяти модель взаимодействия отдельных элементов алгоритмов обработки ожидания по мощности вычислительных устройств
(Maemo Devices, Nokia)
Обработка мультимедиа
25 марта 2010 г.
16 / 26

Особенности национального характера
Кто виноват?
Что делать?
Где искать правду?
(Maemo Devices, Nokia)
Обработка мультимедиа
25 марта 2010 г.
17 / 26

Особенности национального характера
Кто виноват?
Что делать?
Где искать правду?
(Maemo Devices, Nokia)
Обработка мультимедиа
25 марта 2010 г.
17 / 26

Особенности национального характера
Кто виноват?
Что делать?
Где искать правду?
(Maemo Devices, Nokia)
Обработка мультимедиа
25 марта 2010 г.
17 / 26

Обработка мультимедиа в GNU/Linux
Запись и воспроизведение аудио потоков
Video4Linux
ALSA
PulseAudio
Запись и воспроизведение видео-потоков
Video4Linux
Обработка изображений
GEGL, Qt, OpenCV, ImageMagick, ...
Визуализация изображений
GTK+, GDKPixBuf, Qt, Xlib и многое другое
Высокоуровневое управление мультимедиа-ресурсами и процессами
GStreamer
(Maemo Devices, Nokia)
Обработка мультимедиа
25 марта 2010 г.
18 / 26

Архитектурное развитие: от 770 до N900
Мультимедийные приложения на Nokia 770
(Maemo Devices, Nokia)
Обработка мультимедиа
25 марта 2010 г.
19 / 26

Архитектурное развитие: от 770 до N900
Мультимедийные приложения на Nokia N800
(Maemo Devices, Nokia)
Обработка мультимедиа
25 марта 2010 г.
20 / 26

Архитектурное развитие: от 770 до N900
Мультимедийные приложения на Nokia N900
(Maemo Devices, Nokia)
Обработка мультимедиа
25 марта 2010 г.
21 / 26

Телефон как фотоаппарат и видео-камера
Простая арифметика:
5Мп фото = 13х WVGA (800x480, 0.3Мп) в пикселях, 19х в байтах
720p видео = 2.4x WVGA в пикселях и байтах
WVGA = 3x кэш L2 Cortex-A8 в байтах
Простые выводы:
обработка фотографий и показ видео означает для других приложений работу напрямую с ОЗУ без кэширования данных рост аппаратной мощности (ЦПУ, скорость пропускной способности шин) компенсируется ростом объемов обрабатываемых данных необходимы более "умные"алгоритмы для обработки изображений по частям необходим иной подход к проектированию контракта между приложением и библиотеками
(Maemo Devices, Nokia)
Обработка мультимедиа
25 марта 2010 г.
22 / 26

Телефон как фотоаппарат и видео-камера
Простая арифметика:
5Мп фото = 13х WVGA (800x480, 0.3Мп) в пикселях, 19х в байтах
720p видео = 2.4x WVGA в пикселях и байтах
WVGA = 3x кэш L2 Cortex-A8 в байтах
Простые выводы:
обработка фотографий и показ видео означает для других приложений работу напрямую с ОЗУ без кэширования данных рост аппаратной мощности (ЦПУ, скорость пропускной способности шин) компенсируется ростом объемов обрабатываемых данных необходимы более "умные"алгоритмы для обработки изображений по частям необходим иной подход к проектированию контракта между приложением и библиотеками
(Maemo Devices, Nokia)
Обработка мультимедиа
25 марта 2010 г.
22 / 26

Телефон как фотоаппарат и видео-камера
Video4Linux низкоуровневый интерфейс к драйверам видео-устройств
GStreamer высокоуровневый интерфейс обработки медиа-потоков не поддерживает типичные режимы фотоаппарата требует написания собственных специализированных модулей
Решение:
реализация “фотоинтерфейса” GstPhotography обеспечивает типичные высокоуровневые операции настройка режимов (видоискатель, съемка изображения, съемка видео)
настройка автофокуса, баланса белого, экспозиции, ...
стандартная настройка GStreamer трех основных режимов для камеры (видоискатель, режими съемки) в рамках GDigicam
(Maemo Devices, Nokia)
Обработка мультимедиа
25 марта 2010 г.
23 / 26

Телефон как фотоаппарат и видео-камера
Video4Linux низкоуровневый интерфейс к драйверам видео-устройств
GStreamer высокоуровневый интерфейс обработки медиа-потоков не поддерживает типичные режимы фотоаппарата требует написания собственных специализированных модулей
Решение:
реализация “фотоинтерфейса” GstPhotography обеспечивает типичные высокоуровневые операции настройка режимов (видоискатель, съемка изображения, съемка видео)
настройка автофокуса, баланса белого, экспозиции, ...
стандартная настройка GStreamer трех основных режимов для камеры (видоискатель, режими съемки) в рамках GDigicam
(Maemo Devices, Nokia)
Обработка мультимедиа
25 марта 2010 г.
23 / 26

Телефон как фотоаппарат и видео-камера: галерея
Галерея фотографий, три основных варианта использования изображения:
"бесконечное"полотно с иконками-отпечатками полноэкранный просмотр одной фотографии изучение деталей с углублением в реальное изображение
Простые выводы:
оригинальное 5Мп изображение нужно только в одном из основных режимов работы программы главный режим – просмотр полотна, нужны только иконки-отпечатки (124x124)
полноэкранный просмотр – отпечаток размером WVGA (800x480)
необходим общесистемный механизм создания отпечатков разных размеров
Решение: hildon-thumbnailer (Maemo 5), tumbler (Harmattan)
(Maemo Devices, Nokia)
Обработка мультимедиа
25 марта 2010 г.
24 / 26

Телефон как фотоаппарат и видео-камера: галерея
Галерея фотографий, три основных варианта использования изображения:
"бесконечное"полотно с иконками-отпечатками полноэкранный просмотр одной фотографии изучение деталей с углублением в реальное изображение
Простые выводы:
оригинальное 5Мп изображение нужно только в одном из основных режимов работы программы главный режим – просмотр полотна, нужны только иконки-отпечатки (124x124)
полноэкранный просмотр – отпечаток размером WVGA (800x480)
необходим общесистемный механизм создания отпечатков разных размеров
Решение: hildon-thumbnailer (Maemo 5), tumbler (Harmattan)
(Maemo Devices, Nokia)
Обработка мультимедиа
25 марта 2010 г.
24 / 26

Телефон как видео-камера и медиа-проигрыватель
Медиа-проигрыватель, работа с разными источниками медиа-данных локальный диск, DLNA, социальные сервисы (Youtube, Flickr, ...)
коллекции, списки воспроизведения, разные режимы представления
Простые выводы:
необходимо отделить воспроизведение от источника данных необходимо отделить локальное представление данных от источника необходимо обрабатывать мета-информацию об источниках для ведения списков и коллекций по различным критериям необходим общесистемный механизм адресации и структурирования медиа-данных и других объектов
Решение: Media Application Framework (MAFW), Tracker
MAFW добавляет управление источниками и списками воспроизведения, расширяя возможности GStreamer
Tracker индексирует мета-информацию о всех доступных ресурсах в системе и обеспечивает семантический поиск
(Maemo Devices, Nokia)
Обработка мультимедиа
25 марта 2010 г.
25 / 26

Телефон как видео-камера и медиа-проигрыватель
Медиа-проигрыватель, работа с разными источниками медиа-данных локальный диск, DLNA, социальные сервисы (Youtube, Flickr, ...)
коллекции, списки воспроизведения, разные режимы представления
Простые выводы:
необходимо отделить воспроизведение от источника данных необходимо отделить локальное представление данных от источника необходимо обрабатывать мета-информацию об источниках для ведения списков и коллекций по различным критериям необходим общесистемный механизм адресации и структурирования медиа-данных и других объектов
Решение: Media Application Framework (MAFW), Tracker
MAFW добавляет управление источниками и списками воспроизведения, расширяя возможности GStreamer
Tracker индексирует мета-информацию о всех доступных ресурсах в системе и обеспечивает семантический поиск
(Maemo Devices, Nokia)
Обработка мультимедиа
25 марта 2010 г.
25 / 26

Вопросы?
Спасибо!
alexander.bokovoy@nokia.com
(Maemo Devices, Nokia)
Обработка мультимедиа
25 марта 2010 г.
26 / 26

Document Outline

  • Архитектура Maemo 5
  • Обработка мультимедиа



Поделитесь с Вашими друзьями:


База данных защищена авторским правом ©nethash.ru 2019
обратиться к администрации

войти | регистрация
    Главная страница


загрузить материал