Если у вас возникли сложности с курсовой, контрольной, дипломной, рефератом, отчетом по практике, научно-исследовательской и любой другой работой - мы готовы помочь.
Предоплата всего
Подписываем
Введение
Понятие Multy media.
Multy – множественный, состоящий из многих частей.
Media – среда, средства.
Дословно – многие средства.
В компьютерной среде мультимедиа связано с сайтостроением, гипертекстовыми системами, компьютерной графикой.
В СМИ – журналистика, интернет журналистика, речевые и социальные коммуникации и т.д.
В искусстве – сетевое искусство, компьютерный видео монтаж, режиссура звука и видео и т.д.
Назначение мультимедиа меняется в зависимости от того где и для кого предполагается использовать это средство и в каких целях.
Первые монографии были переведены в 1996 году (автор Вернер).
А в 1970 году в инцоклапедиях появились первые упоминания о мультимедиа, и термин мультимедиа обозначал совокупность средств для обработки и представления видео, аудио и печатной информации.
Под мультимедиа понимают – мультимедийная программная оболочка и продукт, сделанный на основе мультимедийных технологий компьютерного оснащения (видео, плата, большой объем информации, колонки, микрофон).
Мультимедиа – особый вид компьютерной технологии, который объединяет в себе традиционные компьютерные технологии (текст, графика) и динамическую речь, музыку, видеофрагменты.
Мультимедийные продукты отличаются от не мультимедийных тем, что данные хранятся и обрабатываются в числовой форме с применением компьютера. Они могут содержать различные виды информации (текстовую, графическую, звуковую, видео и т.д.).
Существенной особенностью является интерактивно-активное взаимодействие ресурса, программы и человека (они включают гипертекст).
Классификации средств создания мультимедийных приложений.
Преобразование представления информации. Автоматизация ввода.
Задача преобразования чаще всего строится так: есть некоторый поток данных полученных в результате оцифровки, требуется выделить из него исходный текс и выдать его в другой форме.
Одно из наиболее часто решаемых задач такого типа является задача распознавания текста: требуется на растровом изображении (матрице окрашенных точек) распознать текс и сформировать соответствующий документ. Решение задача сильно осложнено существованием большого количества различных шрифтов, неточностями сканирования и повреждение оригинала (например наличием зачеркнутого текста), сложными приемами разметки(таблицами, информационными врезками, внедрением в текст рисунков). Особенно сложным является распознавание рукописного текста.
Программные средства распознавания текста обеспечивают:
точность распознавания в современных системах такого рода 97-99% для повышения качества распознавания такие системы позволяют проводить обучение, т.е. модифицировать базу средств распознавания.
Последние году ведущую позицию на российском рынке удерживает программа
Abbyy Fine Reader, разработанная компанией Abbyy Software House. С помощью программы могут выполнены все операции необходимые в ходе преобразования бумажного документа в электронную форму. Это программа способна выполнять сканирование и распознавание текстов на разных языках в том числе и смешанных двуязычных текстов. (достоинства) с ее помощью можно выполнять пакетную обработку многостраничных документов, а так же настраивать режим распознавания, для улучшения соответствия электронного документа бумажному оригиналу. При плохом качества последнего или использование в нем шрифтов далеких от стандартных.
Основные операции обработки бумажного документа в программе выполняются с помощью панели инструментов Scan&Read. Процесс обработки документов состоит из следующих этапов:
2.1.сегментация документа
2.2.распознавание документа
Сканирование документа. На данном этапе производится получение изображения при помощи сканера и сохранение их в виде удобном для последующей обработки. Для начала сканирования; включите сканер, загрузите программу FR. Расположите сканируемый документ лицевой стороной вниз на стеклянную поверхность сканера, закройте крышку и нажмите кнопку «Сканировать» предварительно должны быть установлены параметры сканирования. Процесс сканирования осуществляется автоматически и требует от пользователя только вспомогательных операций, таких как смена сканируемой страницы возможность вмешательства в работу программы заблокирована, по завершению сканирования значки все обработанных страниц отображаются в окне пакет, а в основной рабочей области появляется окно изображения, содержащее изображение текущей страницы. Добавлять страницы в пакет можно не только путем сканирования, но и путем открытия файлов с изображениями, имеющимися на компьютере.
Параметры сканирования.
Основные параметры сканирования это:
Тип изображения.
Тип изображения подразумевает три режима. Оптимальный режим – сканирование в сером, в этом случае осуществляется автоматический подбор яркости (256 градаций).
Второй режим это черно-белый тип изображения. Он обеспечивает более высокую скорость сканирования, но при этом теряется часть информации о буквах, а это может привести к ухудшению качества распознавания на документах среднего и низкого качества печати.
Третий режим - цветной тип изображения. Рекомендуется приметь при наличии цветного принтера.
Разрешение.
Для обычных текстов размер шрифта 10 и более пунктов используете разрешение 300 dpi, а если размер шрифта 9 и менее пунктов то 400 – 600dpi.
Яркость. Обычно среднее значение 50%.
Распознавание документа.
Данный этап можно разделить на две части (операции), выполняемые поочередно.
Сегментация т.е. разбиение страницы на блоки текста. Обычная книжная страница представляет собой единый блок текста который распознается в естественном порядке (по строкам сверху вниз идущим от левого края до правого).
Если страница содержит, колонки, иллюстрации, врезки, подрисуночные подписи или таблицы, то содержимое страницы разбивается на блоки. Внутри каждого блока сохраняется естественный порядок распознавания. FR способна выполнять сегментацию автоматически даже для сложных страниц, при этом учитываются поля документа, просветы между колонками и рамки.
Если структура страницы очень сложна или содержит явные дефекты. Которые не удалось избежать при сканировании используйте ручную сегментацию. блоки нумеруются исходя из порядка включения их в документ и отображаются в виде цветных прямоугольников с номером в левом верхнем углу. Новый блок создают протягиваем мыши по диагонали прямоугольника. Текущий блок помечается выделенной линии, а его углы прямоугольными маркерами, с помощью которых можно изменить размер или положение блока.
Разные типы блоков обрабатываются FR по-разному. Для изменения типа блока вызовите контекстное меню в его приделах и назначьте новый тип. FR поддерживает следующие типы блоков:
Вторая операция – процесс распознавания текста. Задача распознавания состоит в том чтобы преобразовать отсканированное изображение в текст сохранив при этом оформление страницы. И в начале нужно обратить внимание на язык распознавания. FR поддерживает более сотни языков. Процесс распознавания текста полностью автоматизирован.
А также провести проверку орфографии кнопка проверить. Информация о возможных ошибках отображается в окне проверка.
Сохранение документа. После окончания проверки правописания следует определить в каком формате сохранить полученные результаты. Например: щелчку на кнопке сохранить запускается мастер сохранения результатов, который позволяет сохранить распознанный текст или передать его в другую программы для последующей обработки.
Звуковое программное обеспечение.
Звук – слышимые звуковые колебания с непрерывно меняющейся амплитудой и частотой.
Два вида звуковых сигналов.
Последовательность электрических импульсов, в которую был превращен непрерывный звуковой сигнал при кодировании.
(Бит райд) – скорость передачи данных задаваемая при кодировании может изменять от 320 - 8 килобит в секунду. Чем больше бит информации записано в секунду тем с меньшими потерями будет воспроизведен исходный материал и тем больше места занимает в памяти компьютера занимает MP3 файл.
Все слышамые звуки – результат воздействия звуковых волн. На магнитной ленте, виниловой пластинке звук сохраняется в виде не прирывного электрического сигнала, определяющего изменения звуковых волн. Звук создаваемый электрическими волнами называют аналаговым.
Звук может храниться на цифровых носителях, т.е. быть представленным в виде набора цифр. Для переноса звука на цифровой носитель необходимо осуществить его аналогово-цифровое преобразования, которое состоит из трех этапов:
На практике такое преобразование выполняется электронными устройствами :
1.АЦП
1.ЦАП
Современные звуковые карты могут обеспечить кодирование 65536 различных уровней сигнала или состояний. Для определения количества бит, необходимых для кодирования, решим показательное уравнение 65536 = 2 в степени I, то I=16 бит.
Таким образом, современные звуковые карты обеспечивают 16 –битное кодирование звука . при каждой выборке значению амплитуды звукового сигнала присваивают 16-битный код.
При частоте 8 Кгц качество дискретизированного звукового сигнала соответствует качеству радиотрансляции, а при частоте 48Кгц – качеству звучания аудио-CD. Следует учитывать, что возможны как моно- так и стерео- режимы.
Можно оценить информационный объем моноаудиофайла длительностью звучания 1 секунду при среднем качестве звука (16 бит, 24 Кгц).
Устройство для работы со звуком
Основное устройство – звуковая карта, подключается к слоту материнской карты и выполняет вычислительные операции связанные с обработкой звука, речи и музыка.
Основной параметр звуковой карты - разрядность, определяющая количество бит, используемых при преобразовании сигнала из аналоговой в цифровую форму и наоборот. Минимальная 16-разрядная, 32 и 64-разряда.
Звук воспроизводится через звуковые колонки, подключаемые к выходу звуковой карты. Микрофон позволяет записать речь или музыку.
Основные операции со звуком:
Программы для обработки звуковой информации.
Работа со звуком на компьютере невозможна без специальных программ.
Простейшие программы для работы со звуком включены в состав всех версий Windows. С их помощью можно настроить громкость различных источников звука, установить чувствительность микрофона и линейного входа, кроме того вы можете записать небольшой звуковой фрагмент, выполнить с ним простые преобразования и записать результат в файл. Так же Windows включены средства проигрывания компакт дисков и мультимедийных файлов. Вы можете записывать музыку на цифровые плееры и прослушивать из интернета.
Возможности секвенсоров – редактирование аудио, запись на CD, совмещение midi дорожек с цифровыми сигналами и многое другое. Logic Audio, Cu base, Cake walk, Final.
В наборе программ пользователя занимающегося обработкой звука имеется множество разных инструментов, но не смотря на все разнообразие ПО в программах часто используются схожие механизмы для обработки звука: процессоры эффектов. При разботке аудио ПО производители поняли, что удобней сделать в соих программах возможность подключения внешних устройств, чем каждый раз заново создавать инструменты для каждой отдельной программы. Поэтому многие программы относящиеся к той или иной группе ПО позволяют подключать внешние модули, расширяющие возможности обработки звука (Плагины). Это стало возможным из-за появления нескольких стандартов на интерфейс между программой и подключаемым модулем. Есть два основных стандарта на интерфейс: DX, VST, что поволяет подключать один и тот же плагин к совершенно разным программам не заботясь о возникновении конфликтов и неполадок. Плагины – огромное семейство программ. Обычно один плагин является механизмом реализующим какой-то конкретно эффект (низкочастотный фильтр)
Плагины: IZotope Vinyl – позволяет придать звучанию эффект виниловой пластинки, Antares Auto Tune – позволяет корректировать звучание вокала, Orage Vocoder – механизм для приданию звучанию схожести с человеческим голосом.
Spectralab, Spectragram, Analyzer 2000.
Wave Corrector, Audio Cleaning Lab.
Screen Tracker, Fast Tracker, Impuls Tracker.
1 и 2-ой пункты чаще всего работают в единой связке. Например все популярные грабберы Audio grabber, CDex, Win Dac имеют в комплекте поставки и МР3 кодер, что позволяет кодировать с CD в МР3 напрямую.
Обработка и синтез звука
Среди современных программ обработки звука различают программы двух основных направления:
Примеры программных средств синтеза звука.
Cakewalk Sonar, Rose garden, guitar Pro.
Форматы звуковых файлов
Звук в компьютере хранится в файлах имеющих различный способ представления информации.
Три основные платформы имеют собственные форматы звуковых файлов:
Перечислим основные форматы звуковой информации:
Сжатие данных. Стандарты сжатия звуковых файлов.
Общей проблемой при обработке различных потоковых данных является их объем. Практически всегда качество воспроизведения оцифровонго потока зависит от частоты дискретизации, а чем больше частота, тем больше объем. Для решения этой проблемы при хранении и распространении цифровых, в особенности аудио и видео, применяют различные методы сжатия.
Под сжатием понимается применяя алгоритмом преобразования фрагментов данных позволяющих при прямом преобразовании (сжатии, упаковке) уменьшить размер данных, а при обратном преобразовании, восставить исходные данные в годном для использования виде.
Различают две основные группы методов сжатия:
Методы предназначенные для сжатия потоковых данных уадио
Существенной особенностьтю этих данных является очень большой объем и постепенное изменение. Сжатый видео и\ аудио поток чаще всего характеризуются общим показателем – битрейтом – количеством битов на одну секунду использования, которые получаются после упаковки.
Лутшеми алгоритмами связанные со сжатием аудио являются стандарты MPEG
(Motion Picture Expert Group - ) точнее они являются преимущественно стандартами видео, но посколько многое видео сопровождается звуком они так же включают сжатие аудио. Аудио MPEG было настолько удачным, что часто используется исключительно для сжатия звука особенно музыки. В 1992 году был разработан и принят стандарт MPEG1, включавший в себя способ сжатия видео в поток до 1,5 Мбит., аудио в поток 64,128 или 192 Кбит/сек на канал, а так же алгоритмы синхронизации. Это позволило в дальнейшем разработать множество реализаций алгоритмов кодирования и декодирования. Стандарт MPEG1 для создания видео и CD. Популярность завоевала реализация MPEG1 для упаковки звука (МР3). При сжатии этим метолом используется сжатие с потерей информации.
В 1995 году был разработан и принят стандарт MPEG2, предусматривающий работу с более качественным видео потоком скорость которго могла изменятся от 3 – 10 Мбит/сек. Это группа методов применяется при создании DVD дисков, а так же в цифровом и спутниковом телевидении.
В 2000-х годах разработан MPEG4 для передачи информации по компьютерным сетям и широко используемый в цифровых видеокамерах и для домашнего хранения видео.
FLAC – это популярный формат для сжатия аудио без потерь. В отличии от форматов МР3 и WMA при кодировании аудио из аудио потока не удаляет ни какой информации. Поэтому файлы FLAC подходят для качественного прослушивания музыки на портативных плеерах и на высококачественно звуковоспроизводящей аппаратуре.
В основе всех выше перечисленных алгоритмов лежит общий подход к кодированию/декодирования, оно выполняется набором программ – кодеков. Технически кодеки – отдельные программы, вызываемые проигрывателями для декодирования а средствами сохранения для его сжатия. Кодек отмечается в начале файла или сетевого потока и его наличие – важное условие работы с мультимедиа данными. Многие кодеки не поставляются с ОС, а устанавливаются дополнительно. Для удобства их часто собирают в пакеты Codec-pack.
При хранении и обмене синтезирумая мелодия описывается стандартизируемым набором команд, получившим название MIDI/ стандаты включает в себя протоколы взаимодейсвия аппратных средств и описания формата хранения файлов.
Суть MIDI технологии: кмпьютер не просто проигрывает нужную вам мелодию, а синтезирует ее с помощью звуковой карты. MIDI – это системы команд, управляющей звуковой картой, коды нот которые она должна «изобразить» с указанием инструментов, длительности и некоторых других параметров каждой ноты. Технология идеальна для компьютерных композиторов, т.к. легко позволяет изменять любые параметры созданной на компьютере мелодии: заменять инструменты, добавлять или удалять их, изменять тем и стиль композиции. Файлы с миди музыкой – крохотные, всего в несколько десятков Кбайт.
Недостатки MIDI.
Голос в MIDI файла не запишешь.
Музыке звучит только при очень качественной звуковой карте.
MIDI легко можно перевести в формат «оцифрованного» звука - обратное преобразование невозможно. Для ввода мелодий стандарта миди в компьютер применяются спец. Средства – миди клавиатура, похожа на клавиатуру пианино, но предназначена для передачи соответствующих нот звуковой карте, для последующего синтеза звука заданным инструментам. Программа синтеза мелодий отображают набранные ноты в соответствии музыкальной нотацией и позволяют из редактировать.
Эффекты, влияющие на качество звука.
Существует полный диапазон средств коррекции: от средств выполняющих минимальное приукрашивание записи для компенсации низкой производительности и условий записи, до средств радикально изменяющих звук или создающих новые звуки на основе оригинала.
Аналогично множеством способов можно использовать и другие эффекты:
Существуют звуковые эффекты, называемые креативными, они появились в 1960 годах в альбомах группы Beatles (эффекты флансевания, фазировки, хорового исполнения, кольцевой модуляции, реверсии и доплеровского сдвига), а теперь их можно воспроизводить цифровыми средствами и к ним добавился такой эффект как роботизация.
Ввод и распознавание речи. Управление голосом.
Задача голосового ввода. Создание промышленных систем автоматического распознавания речи позволило бы значительно ускорить ввод большого количества данных. Но пока такие системы не обеспечивают высокой степени распознавания.
Как и системы распознавания текста такие системы практически всегда обучаемы. Перед началом работы каждому новому оператору нужно потратить довольно много времени для предоставления системе своих голосовых данных, для этого приходится наговаривать специально подобранные тексты.
Сейчас ПО голосового ввода позволяет использовать голосовые команды для управления компьютером. Такой интерфейс увеличивает доступность вичислетельной техники, когда ручное управление затруднено, например для людей с ограниченными возможностями.
Задача синтеза речи.
Часто бывает трудно или неудобно использовать экран для чтения текста, или хотелось бы получить информацию по голосовому каналу связи в это случает применяют программы синтеза речи. Технически они проще, чем программы распознавания, но начитанный такими программами текст часто оказывается не естественным и плохо воспринимается человеком. Трудности возникают при расстановке ударений, интонировании предложений и фраз, чтении не известных системе слов. Тем немее такие системе активно применяются во всевозможных авто информаторах когда набор используемых слов и фраз не велик. ОС Windows в своем составе имеют общий интерфейс такого вида MS Speech, позволяющие программы использующие синтез речи.
Один из новых стандартов языков для разработки ВЕБ сайтов, предусматривает голосовое взаимодействие, чтение страниц и распознавания команд перехода по ссылкам.
Задача такого рода (В особенности распознавания образов) традиционно считаются с областью искусственного интеллекта. Разработка общих методов распознавания визуальных образов, речи человека – задача, которую пытаются решить с самого момента появления ЭВМ. Появление общего решения позволило бы увеличить возможности компьютеров, построить принципиально новую среду работу пользователя, решить огромное количество производственных задач. В настоящий момент решения такого рода не существует.
Dragon Naturally Speaking.
Corel Trace.
Ввод видео данных. Каналы передачи видео информации.
Под термином видео понимают – широкий спектр технологий записи, обработки, передачи, хранения и воспроизведения визуального и аудиовизуального материала на мониторах.
Видео от латинского слова (смотрю, вижу).
Когда в быту говарят видео имеют в виду видеоматериал, телесигнал записанный на физическом носителе. Количество (частота кадров в секунду) – это число неподвижных изображения сменяющих друг друг при показе одной секунды видеоматериала и создающих эффект движения объектов на экране. Чем больше частота кадров в секунду, тем более плавным и естественным будет казаться движение. Минимальный показатель при котором движение будут восприниматься однородным примерно 10 кадров секунду. (Это значение индивидуально для каждого человека). Компьютерные оцифрованные видеоматериалы хорошего качества, как правило используют частоту 30 кадров в секунду.
Оборудование для обработки видео на компьютере.
Для записи видеоинформации необходимо:
Видеокарта (видеоадаптер)
Совместно с монитором видеокарта образует видеоподсистему ПК. Физически видеоадаптер выполнен в виде дочерней платы, который вставляется в один из слотов материнской карты и называется видеокартой. Выполняет функции видеоконтреллера, видеопроцессор, видеопамяти.
Стандарты:
MDA- монохромный
CGA- четыре цвета.
EGA – 16 цветов.
VGA – 256 цветов.
SVGA – до 16.7 млн. цветов с возможностью произвольного выбора разрешения экрана из стандартного ряда значения.
Плата оцифровки видео. Можно воспользоваться простейшей аналоговой картой видео захвата или ТВ тюнером, при этом существуют следующие особенности такой платы она должна:
Существует два способа генерации движущихся изображения в цифровой форме для мультимедийной продукции.
Во первых с помощью видеокамеры можно записать последовательность кадров реального движения в реальном мире. Во вторых можно создать все кадры по отдельности либо с помощью компьютера, либо записывая по одному не подвижные изображения.
В первым случае используют слово видео, во втором анимация. Так как и то и другое – разновидность движущихся изображений, они имеют некоторые общие свойства, но отличаются с технической точки зрения. Видео существо ограничивает возможности обработки, хранения и передачи данных компьютерных систем. Его лутще всего использовать в мультимедийной продукции, предназначенной для маломощных платформ.
Потребность в высоких скоростях передачи данных возникла из за того что мы имеем дело с движущимися изображениями и кадры должны сменять друг друга достаточно быстро, чтобы воспринимались как не прерывное движение. Большой объем каждого кадра объясняется требования к записи растровых изображений. Требования можно снизить с помощью сжатия изображений. При передачи данных по сети интернет или при воспроизведении непосредственно с компакт диска для уменьшения объема данных нужно значительное сжатие, а так же использование других методов, например ограничение размера кадра. При воспроизведении видео в реальном времени данные сжатия нужно выполнять так быстро как требует специализированное аппаратное обеспечение.
Цифровое видео может записываться либо непосредственно с помощью камеры, либо с помощью видеомагнитофона, либо с широковещательного теле сигнала. Существующие технологии позволяют осуществлять оцифровку и сжатие:
Если оцифровка и сжатие выполняются с использованием схем встроенных в камеру, чисто цифровой сигнал (поток данных) предается компьютеру с помощью высокоскоростного интерфейса. В настоящее время широко используется комбинация аппаратного обеспечения для записи видео, сосотоящая из цифровой видеокамеры или видеомагнитофона, использующего одну из разновидностей DV формата (MINI DV,DV) соединеннго с компьютером постредством интерфейса Fire Wire. Термин DV – Digital Video (цифровое видео), но это выражение так же употребляется как название процесса хранения и обработки видеоданных в цифровой форме.
Три разновидности DV используют различные форматы ленты и предлагают различные степени коррекции ошибок и совместимости с аналоговым студийным оборудованием, но все они посылают цифровое видео на компьютер, как поток данных в одном формате, так что от ПО не требуется различать три типа оборудования. Mini DV это посути пользовательский формат, хотя он применяется и для полупрофессионального производства видео. Все оборудование DV потдерживает средствоуправления усройством: возможность остановки, запуска и перемотки ленты в задонное место с помощью сигнала послоннаго компьютером посредством ПО. Хотя качесво цифрового видео в фомате DV очень высоко – это сжатый формат, а сжатие пораждает артифакты и препятствует последующие обработке и восстановлению сжатого изображения.
Если оцифровка выполняется на компьютере аналоговый видеосигнал, согласующийся с некоторым стандартом широковещательного видео, подается на вход платы оцифровки видеоизображений, подключенной к компьютеру. В этой плате сигнал преобразуется в цифровую форму. Обычно получающиеся цифровые данные сжимаются в карте до передачи на диск для хранения или передачи по сети, но иногда удается выполнить сжатие с использоваем ПО запущенном на центральном процессоре компьютера. Эту схему можно изменить – подать аналоговый сигнал на ВУ переводящий сигнал в цифровой, которой в свое очередь пересылается на компьютер посредством Fire Wire, это подходит в том случае если не требуется максимальное качество, посколько этот вариант позволяет ПО трактовать выход любого источника видео как поток цифрового видео. Оцифровка в камере обладает одним существенным отличием перед оцифровкой в компьютере. Когда аналоговый сигнал передается по кабелю даже на небольшое расстояние он неизбежно искажается из за шума. Шум так же накапливается когда аналоговые данные записываюся на магнитную ленту. Если оцифровка выполняется внутри камеры, то передаются по кабелям и передаются на ленту только цифровые сигналы. Сжатие применяется к чистому сигналу возле его источника, поэтому оно может оказаться гараздо больше эффективным.