Если у вас возникли сложности с курсовой, контрольной, дипломной, рефератом, отчетом по практике, научно-исследовательской и любой другой работой - мы готовы помочь.
Предоплата всего
Подписываем
25.Понятие data mining
Data Mining (рус. добыча данных, интеллектуальный анализ данных, глубинный анализ данных) — собирательное название, используемое для обозначения совокупности методов обнаружения в данных ранее неизвестных, нетривиальных, практически полезных и доступных интерпретации знаний, необходимых для принятия решений в различных сферах человеческой деятельности. Термин введён Григорием Пятецким-Шапиро в 1989 году[1][2][3].
Английское словосочетание «Data Mining» пока не имеет устоявшегося перевода на русский язык. При передаче на русском языке используются следующие словосочетания[4]: просев информации, добыча данных, извлечение данных, а, также,интеллектуальный анализ данных[5][6][7]. Более полным и точным является словосочетание «обнаружение знаний в базах данных» (англ. knowledge discovering in databases, KDD).
Основу методов Data Mining составляют всевозможные методы классификации, моделирования и прогнозирования, основанные на применении деревьев решений, искусственных нейронных сетей, генетических алгоритмов, эволюционного программирования, ассоциативной памяти, нечёткой логики. К методам Data Mining нередко относят статистические методы(дескриптивный анализ, корреляционный и регрессионный анализ, факторный анализ, дисперсионный анализ, компонентный анализ, дискриминантный анализ, анализ временных рядов, анализ выживаемости, анализ связей). Такие методы, однако, предполагают некоторые априорные представления об анализируемых данных, что несколько расходится с целями Data Mining(обнаружение ранее неизвестных нетривиальных и практически полезных знаний).
Одно из важнейших назначений методов Data Mining состоит в наглядном представлении результатов вычислений (визуализация), что позволяет использовать инструментарий Data Mining людьми, не имеющими специальной математической подготовки. В то же время, применение статистических методов анализа данных требует хорошего владения теорией вероятностей и математической статистикой.
26. Области применения data mining
Постановка задачи[править | править исходный текст]
Первоначально задача ставится следующим образом:
Необходимо разработать методы обнаружения знаний, скрытых в больших объёмах исходных «сырых» данных. В текущих условия глобальной конкуренции именно найденные закономерности (знания) могут быть источником дополнительного конкурентного преимущества.
Что означает «скрытые знания»? Это должны быть обязательно знания:
Эти требования во многом определяют суть методов Data mining и то, в каком виде и в каком соотношении в технологии Data mining используются системы управления базами данных, статистические методы анализа и методы искусственного интеллекта.
Data mining и базы данных[править | править исходный текст]
Методы Data mining имеет смысл применять только для достаточно больших баз данных. В каждой конкретной области исследований существует свой критерий «великости» базы данных.
Развитие технологий баз данных сначала привело к созданию специализированного языка — языка запросов к базам данных. Для реляционных баз данных — это язык SQL, который предоставил широкие возможности для создания, изменения и извлечения хранимых данных. Затем возникла необходимость в получении аналитической информации (например, информации о деятельности предприятия за определённый период), и тут оказалось, что традиционные реляционные базы данных, хорошо приспособленные, например, для ведения оперативного учёта на предприятии, плохо приспособлены для проведения анализа. Это привело, в свою очередь, к созданию т. н. «хранилищ данных», сама структура которых наилучшим способом соответствует проведению всестороннего математического анализа.
Data mining и искусственный интеллект[править | править исходный текст]
Знания, добываемые методами Data mining, принято представлять в виде закономерностей (паттернов). В качестве таких выступают:
Алгоритмы поиска таких закономерностей находятся на пересечении областей: Искусственный интеллект, Математическая статистика, Математическое программирование, Визуализация, OLAP.
Задачи[править | править исходный текст]
Задачи, решаемые методами Data Mining, принято разделять на описательные (англ. descriptive) и предсказательные (англ. predictive).
В описательных задачах самое главное — это дать наглядное описание имеющихся скрытых закономерностей, в то время как в предсказательных задачах на первом плане стоит вопрос о предсказании для тех случаев, для которых данных ещё нет.
К описательным задачам относятся:
К предсказательным задачам относятся:
Алгоритмы обучения[править | править исходный текст]
Для задач классификации характерно «обучение с учителем», при котором построение (обучение) модели производится по выборке, содержащей входные и выходные векторы.
Для задач кластеризации и ассоциации применяется «обучение без учителя», при котором построение модели производится по выборке, в которой нет выходного параметра. Значение выходного параметра («относится к кластеру …», «похож на вектор …») подбирается автоматически в процессе обучения.
Для задач сокращения описания характерно отсутствие разделения на входные и выходные векторы. Начиная с классических работ К. Пирсона по методу главных компонент, основное внимание уделяется аппроксимации данных.
Этапы обучения[править | править исходный текст]
Выделяется[где?] типичный ряд этапов решения задач методами Data Mining:
Подготовка данных[править | править исходный текст]
Перед использованием алгоритмов Data Mining необходимо произвести подготовку набора анализируемых данных. Так как ИАД может обнаружить только присутствующие в данных закономерности, исходные данные с одной стороны должны иметь достаточный объем, чтобы эти закономерности в них присутствовали, а с другой — быть достаточно компактными, чтобы анализ занял приемлемое время. Чаще всего в качестве исходных данных выступают хранилища или витрины данных. Подготовка необходима для анализа многомерных данных до кластеризации или интеллектуального анализа данных.
Далее данные очищаются. Очистка удаляет выборки с шумами и пропущенными данными.
Очищенные данные сводятся к наборам признаков (или векторам, если алгоритм может работать только с векторами фиксированной размерности), один набор признаков на наблюдение. Набор признаков формируется в соответствии с гипотезами о том, какие признаки сырых данных имеют высокую прогнозную силу в расчете на требуемую вычислительную мощность для обработки. Например, черно-белое изображение лица размером 100×100 пикселей содержит 10 тыс. бит сырых данных. Они могут быть преобразованы в вектор признаков путем обнаружения в изображении глаз и рта. В итоге происходит уменьшение объема данных с 10 тыс. бит до списка кодов положения, значительно уменьшая объем анализируемых данных, а значит и время анализа.
Ряд алгоритмов умеют обрабатывать пропущенные данные, имеющие прогностическую силу (например, отсутствие у клиента покупок определенного вида). Скажем, при использовании метода ассоциативных правил (англ.)русск. обрабатываются не векторы признаков, а наборы переменной размерности.
Выбор целевой функции будет зависеть от того, что является целью анализа; выбор «правильной» функции имеет основополагающее значение для успешного интеллектуального анализа данных.
Наблюдения делятся на две категории — обучающий набор и тестовый набор. Обучающий набор используется для «обучения» алгоритма Data Mining, а тестовый набор — для проверки найденных закономерностей.
27. Неспециализированные программные пакеты экономического анализа
К неспециализированному программному обеспечению относят текстовые редакторы и электронные таблицы, как в рамках офисных пакетов, так и отдельных, самостоятельных программ. К первым относятся Microsoft Office, а так же офисные пакеты от Sun Microsystems – Star Office, офисный пакет от канадской фирмы Corel Corp. - WordPerfect Office, пакет офисных программ OpenOffice.org (распространяется на бесплатной основе), созданный в рамках проекта Open Source Projects и другие.
Ко второй группе универсального программного обеспечения относят независимые текстовые редакторы и электронные таблицы. Наиболее популярными программными продуктами среди текстовых редакторов являются PolyEdit, AbiWord, PatriotXP, CryptEdit. Для подготовки финансовой части бизнес-плана можно использовать – Formula One, Tabad, SuperCalc и др.
Необходимо отметить, что если бизнес-план создается в офисном пакете, то нет необходимости в какой-либо дополнительной программе. Текстовая часть создается в текстовом редакторе пакета, а расчетно-аналитическая – в электронных таблицах того же офисного пакета. При этом данные из электронных таблиц могут быть свободно импортированы в текстовый редактор. В случае использования независимых программных продуктов необходимо либо обеспечить или совместимость между приложениями, либо расчетно-аналитическую часть бизнес-плана создавать отдельно (без импортирования расчетно-аналитических данных в текстовый редактор).
Как показала практика, в большинстве случаев разработка бизнес-плана с использованием универсального программного обеспечения ведется в офисном пакете Microsoft Office. Этот обстоятельство говорит о том, что пользователи считают его наиболее удобным как для подготовки текстовой, так и расчетно-аналитической составляющих бизнес-плана. В некоторых случаях в нем же разрабатываются и презентации (для привлечения и первичного ознакомления инвесторов и партнеров).
Для подготовки расчетно-аналитической части бизнес-плана могут быть использованы и специальное программное обеспечение для статистических вычислений и анализа, такое как SPSS, StatSoft Statistica, Statit Professional и др.. Статистические программы обладают мощным аппаратом статистических процедур, благодаря которому, можно быстро обработать исходные данные и получить информацию, необходимую при бизнес-планировании, принятии решений и подготовки финансовой части бизнес-плана
28.Специализированные программные пакеты экономического анализа
Работа со специализированными программными продуктами, как правило, осуществляется в четыре этапа. На первом этапе производится анализ условий разработки и осуществления проекта, формирование и ввод необходимых исходных данных для проведения расчетов, анализа и если позволяет программное обеспечение, то и текстовой составляющей бизнес-плана. На втором этапе с помощью инструментария программного обеспечения осуществляется автоматический расчет финансово-экономических показателей, формируются инвестиционно-финансовая отчетность проекта. Затем проводится финансово-экономический анализ привлекательности инвестиционного проекта, анализ его чувствительности к колебаниям конъюнктуры рынка и изменениям макроэкономических условий деятельности. На заключительном этапе программное обеспечение позволяет автоматически подготовить или финансовую часть бизнес-плана, или ТЭО, или бизнес-план целиком в зависимости от возможностей программы.
На данный момент на российском рынке специализированного программного обеспечения для расчета и анализа финансово-инвестиционной части бизнес-плана и бизнес-плана целиком существует более десятка как отечественных, так и зарубежных программных продуктов.
Среди отечественных можно выделить следующие:
- Project Expert консалтинговой фирмы «Про-Инвест Консалтинг»;
- Инэк-Аналитик консалтинговой фирмы «Инэк»;
- ТЭО-Инвест Института проблем управления РАН;
- Альт-Инвест исследовательско-консультационной фирмы «Альт»;
- Business Plan PL консалтинговой фирмы ЗАО «Общество финансового и экономического развития предприятий РОФЭР»;
- «Мастерская бизнес-планирования» фирмы ООО «Корпоративный Менеджмент»;
- «Мастер проектов» консалтинговой фирмы «Консультационная группа "Воронов и Максимов"»;
и другие.
Среди наиболее известных зарубежных программ можно выделить:
- COMFAR (Computer Model for Feasibility Analysis and Reporting), разработчиком которой является Комитет по промышленному развитию при ООН (UNIDO).
Представленные программные продукты позволяют:
- детально описать и провести финансово-экономический анализ проекта;
- разрабатывать различные варианты, схемы финансирования и привлечения инвестиций и выбрать наиболее оптимальный вариант;
- проводить анализ коммерческой эффективности инвестиционного проекта в целом;
- смоделировать различные сценарии развития инвестиционного проекта, варьируя значения параметров, влияющих на его финансовые результаты;
- сформировать бюджет инвестиционного проекта с учетом изменений внешний среды организации (инфляции, налогового окружения, ставки рефинансирования ЦБ РФ);
- произвести анализ чувствительности к изменению различных исходных параметров на эффективность проекта;
- в зависимости от возможности конкретной программы подготовить к печати документацию - инвестиционно-финансовую часть бизнес-плана, ТЭО или бизнес план целиком.
Кроме указанных характеристик, у представленных программных продуктов имеются и другие специальные возможности.
Рассмотрим общие достоинства, недостатки и возможности универсального, специального и специализированного программного обеспечения для разработки бизнес-плана.
29.Целевые аналитические программные пакеты
Компьютерное моделирование наряду с естественным экспериментом прочно заняло свои позиции как метод изучения сложных или опасных объектов, процессов и явлений в природе, технике и естественных науках. Бурное создание и развитие в последней четверти XX века систем компьютерной математики (СКМ) – Maple, Mathcad, Mathematica, MATLAB и другие, которые явились новым типом программного обеспечения, дало возможность проводить моделирование объектов, изучаемых в математике – понятий, теорем, методов решения задач.
В ВЗФЭИ ведется планомерная работа по повышению качества подготовки выпускников с высшим образованием по экономическим специальностям на основе применения информационно-коммуникационных технологий (ИКТ) и аналитических (экономико-математических, статистических, эконометрических и др.) методов. Для компьютерной поддержки экономического анализа используется ряд специализированных информационных систем. Это, например, информационные системы бухгалтерского учета, анализа и аудита (1С:Бухгалтерия, Парус, БЭСТ и др.), целевые аналитические программные пакеты, реализующие конкретные методики анализа (ОЛИМП:ФинЭксперт, ОЛИМП:СтатЭксперт, Audit Expert, Project Expert и др.), встроенные в интегрированные экономические информационные системы аналитические модули (Финансовый анализ, Управление финансами и др.).
А в целом одной из главных становится задача выработки осознанных умений и навыков по рациональному применению вычислительной мощи компьютеров. При этом достигаются как дидактические, так и воспитательные цели, повышается уровень математической подготовки, ознакомления с современными ИКТ и увеличивается профессиональная направленность математического и информатического обучения будущих экономистов.
30. Информационные системы имеющие встроенные аналитические подсистемы
Внедрение информационно-аналитических систем (ИАС) обеспечивает решение ключевой для руководителя задачи – осуществления эффективного управления в масштабах предприятий, холдингов, отраслей на основе стратегически целостного анализа бизнеса. В рамках управления система обеспечивает решение задач динамического финансового планирования, прогнозирования, бюджетирования и получения консолидированной отчетности. ИАС позволяет осуществлять среднесрочный и стратегический анализ деятельности предприятий на основе определения ключевых индикаторов эффективности бизнеса (KPI/KeyPerformanceIndicator) и сбалансированной системы показателей (BSC/BalancedScorecard). Внедрение ИАС вносит реальный вклад в процесс возврата инвестиций (ROI/ReturnofInvestments). Использование в работе современных технологий поддержки принятия решений позволяет снизить риски, связанные с принятием необоснованных решений, корректировать тактику и стратегию поведения на рынке в условиях быстро меняющейся ситуации.
Информационно-аналитические системы призваны на основе данных, получаемых в режиме реального времени, помогать в принятии стратегических решений. Комплекс информационно-аналитических систем затрагивает всю управленческую вертикаль: корпоративную отчетность, финансово-экономическое планирование и стратегическое планирование.
Информационно-аналитические системы являются надстройкой над уже функционирующими на предприятии информационными приложениями и не требуют их замены; эти системы аккумулируют данные по всем видам деятельности компании - от состояния складов до финансовой и бухгалтерской отчетности.
Информационно аналитические системы верхнего уровня служат для принятия стратегических решений. Они позволяют руководителю решать следующие задачи:
Информационно-аналитические системы подразделений предполагают большую детализацию и более сложную аналитическую обработку. Эти системы помогают подготовить информацию для принятия решений в области сбыта, продуктового предложения, финансового планирования.