Организация системы компьютерного контроля знаний

/

/

Введение

На современном этапе непрерывное обучение как приобретение и совершенствование знаний, умений, навыков является обязательным условием успешной деятельности, что обусловлено быстрым развитием технологий и изменением уровней жизнедеятельности человека. Обучение, повышение квалификации и переподготовка специалистов в настоящее время невозможны без применения информационных технологий обучения (ИТО), которые представляют собой совокупность средств (программного и технического обучения, теоретических заданий, методических приемов) и способов их применения для эффективной учебной деятельности обучаемых и преподавателей.

Основная цель применения ИТО состоит в повышении эффективности обучения и контроля знаний за счет использования компьютерных средств решения дидактических и организационных задач. Контроль и оценка знаний является неотъемлемым элементом учебной деятельности, средством индивидуализации обучения, мотивации учащихся, анализа результатов успешности решения педагогических задач и оптимизации учебного процесса в целом.

1. Методы компьютеризированного контроля знаний

1.1 Структура контрольно-оценочной деятельности

Контрольно-оценочный этап (КОЭ) является обязательным компонентом учебной деятельности [1, 2, 3]. С этим этапом связана реализация так называемой 'обратной связи' при обучении, т. е. получение информации о ходе усвоения, выявление трудностей, ошибок, пробелов в знаниях. Часто на данный этап возлагается устранение ошибок (доучивание) или определение и корректировка последующих обучающих воздействий. Таким образом, с точки зрения педагогики КОЭ может выполнять ориентирующую, диагностическую, обучающую, воспитательную, развивающую, контролирующую и управляющую функции.

Оценка может рассматриваться как ориентирующая, воздействующая на умственную работу, и стимулирующая, воздействующая на аффективно-волевую сферу. В учебном процессе оценка обычно фигурирует в форме отметки - некоторого числового эквивалента качества и количества знаний. Для того чтобы оценка выполняла свою ориентирующую функцию, она должна отражать результаты диагностического контроля знаний, т.е. содержать результаты анализа знаний, умений и навыков обучаемого в изучаемой предметной области (ПО) в соответствии с некоторой моделью обучаемого или моделью усвоения знаний. Положительная мотивация посредством оценивания достигается за счет выбора подходящего критерия, шкалы оценок и психологически приемлемой формы сообщения результатов.

С точки зрения места контроля знаний в учебной деятельности различают предварительный, текущий и итоговый контроль. Цель первого - получение информации о текущем состоянии знаний обучаемого для принятия решения о содержании и формах последующих обучающих воздействий. Отсутствие определенных знаний может служить препятствием для дальнейшего обучения, кроме того, в соответствии с учением о зоне ближайшего развития, в изучаемой ПО могут быть выделены элементы, находящиеся 'на стыке' уже изученных и новых для обучаемого, образующие зону, в которой обучение понятиям, навыкам и действиям наиболее эффективно.

Задача текущего контроля заключается в проверке хода усвоения нового материала, определении числа заданий, необходимых для выработки конкретных навыков, закреплении изученного. Текущий контроль связан с проверкой отдельных порций - понятий, алгоритмов, действий, знаний простой структуры. Разнообразие моделей организации текущего контроля определяется различными исходными предположениями о составе и характеристиках заданий и влиянии контроля на процесс обучения.

Например, в [15] задача определения оптимальной частоты и глубины контроля рассматривалась как оптимизационная, причем функция выигрыша содержала требования к получению достоверной информации о состоянии знаний при минимальных временных затратах и по крайней мере не ухудшении других характеристик познавательного процесса. Исследования зависимости между формами, частотой контроля и успеваемостью показали, что форма контроля должна соответствовать этапу усвоения, а частота контроля по мере усвоения может уменьшаться.

Итоговый контроль связан с проверкой усвоения определенного раздела учебной дисциплины, выявлении понимания обучаемым сущности, структуры, взаимосвязей с другими разделами. На этом этапе происходит обобщение и обсуждение.

В качестве видов контроля в психологии выделяют контроль по конечному результату, пошаговый контроль и опосредованный контроль по известным условиям или параметрам действий [17].

В программированном обучении и при автоматизированном контроле знаний классификация часто проводится в зависимости «от вида ответа обучаемого: свободный (конструируемый), выбор из меню, оценочный (требующий подтверждения или отрицания) и др. [13, 18, 19, 20]. При составлении заданий для автоматизированного контроля знаний необходимо руководствоваться методикой проведения диагностики содержательной стороны развития интеллекта [21], основанной на деятельностном подходе к обучению. Согласно ей, задания должны варьироваться по форме выполнения действия, по предметному содержанию и условиям применения действия. При невозможности применить действие в целом необходимо диагностировать отдельные операции в порядке, обратном формированию (т.е. в обратном тому, который был использован при обучении действию). Это позволяет избежать обучающего эффекта при контроле знаний. По этой же причине обратный порядок должен быть соблюден и при варьировании заданий по форме выполнения действия, по предметному содержанию задания должны следовать от менее привычных к знакомым. При желании достичь обучающего эффекта в процессе контроля знаний, нужно варьировать задания по форме выполнения, предметному содержанию и условиям выполнения действия в той же последовательности, которая была выбрана при обучении.

Понятия контроля и оценки знаний часто используются авторами как синонимы, обычно этим понятием обозначается процесс, который начинается с выдачи обучаемому одного или нескольких заданий и завершается оценкой результата или выставлением отметки. Попытка разделения указанных понятий предпринята в [22], где контрольно-оценочная деятельность (КОД) определяется как совокупность актов контроля и оценки. При этом контроль понимается как процесс сравнения контролируемого объекта с эталоном, а оценивание - независимый процесс, который производится по результатам контроля в соответствии с некоторым критерием.

Выделение двух составляющих КОД представляется обоснованным, поскольку сопоставление объекта с эталоном производится в рамках изучаемой ПО, и результат контроля выражается в терминах этой ПО и педагогических понятий, используемых в теории формирования знаний. Оценивание целесообразно рассматривать как перевод полученных на этапе контроля результатов в некоторую универсальную форму, чаще всего - в числовую, в виде отметок или баллов, а в более общем случае представление результата элементом частично упорядоченного множества.

Этап контроля состоит из определения цели контроля, выбора объекта контроля, выбора заданий для контроля, определения эталонных результатов выполнения заданий, определения метода сопоставления результатов, полученных обучаемым, с эталонными, сопоставления результатов в соответствии с выбранной моделью, представления результатов контроля в требуемой форме.

Содержание КОД определяется целью контроля, которая может описываться через требуемые качества (характеристики) знаний, уровни усвоения или владения знанием, либо через характеристики деятельности. Знания могут быть охарактеризованы с точки зрения их полноты, глубины, оперативности, конкретности, обобщенности, систематичности, системности, развернутости, гибкости, осознанности и прочности [12]. Для контроля наличия каждого из качеств необходимо специфическое построение системы заданий. Например, глубина знаний может быть оценена через число известных обучаемому существенных признаков понятия, гибкость - по числу различных вариантов решения, предложенных обучаемым и т. п. Результат контроля может быть выражен в виде значений параметров указанных характеристик, которые могут быть как числовыми, так и нечисловыми (элементами некоторого множества). Составление заданий, по результатам выполнения которых можно установить (однозначно, либо с определенной вероятностью или уверенностью) значения параметров, представляет собой творческую задачу и выполняется преподавателем. Оценка качества заданий с точки зрения их способности охарактеризовать состояние знаний проводится путем сопоставления результатов их выполнения с результатами выполнения эталонных заданий, качество которых уже удостоверено, или путем сравнения результатов выполнения заданий с экспертными оценками качества или уровня знаний некоторой группы обучаемых.

Основная задача оценивания - отобразить результаты контроля, выраженные в форме эмпирической системы с соотношениями в числовую систему с соотношениями и обеспечить интерпретацию оценок в соответствии с целями контроля. Иногда к КОЭ относят коррекцию знаний обучаемого при неудовлетворительных результатах контроля. По-видимому, в рамках КОЭ следует рассматривать лишь те средства коррекции, которые не прерывают КОД, т.е. информацию об ошибке, правильный ответ и способ его получения, ссылку на соответствующий раздел знаний. Для отображения результатов контроля необходимо:

- сформулировать критерий отображения или требования к нему;

- выбрать числовую систему, которая будет служить образом эмпирической;

- задать гомоморфное отображение между двумя системами;

- определить математически корректные операции над оценками (суперпозиция, сравнение и т.п.).

Решениями подобных задач занимается теория измерений [23]. Под шкалой понимается упорядоченная тройка < A, R, f >, где А - эмпирическая система, R - числовая система, f - гомоморфное или изоморфное отображение А в R. Психологические основания шкалирования основаны на отношениях близости и предпочтения. Используемые в педагогике и психологии типы шкал различаются свойствами отображающей функции. Выделяют номинативные (инвариантные относительно любого однозначного преобразования), порядковые (инвариантные относительно монотонного преобразования), интервальные (инвариантные относительно линейного преобразования) шкалы. Частный случай последней - шкала разностей, инвариантная относительно сдвига - обычно используется при контроле знаний.

Обобщая психолого-педагогические требования к организации КОЭ и формам контроля, выделим основные положения, которые должны быть учтены при создании и использовании средств автоматизированного контроля знаний.

Текущий контроль должен быть всеобъемлющий и всеохватывающий, что может быть достигнуто за счет организации базы заданий по предмету и разработки адаптивных алгоритмов выбора заданий, учитывающих тематический состав последних. При проведении текущего контроля обратная связь с обучаемым должна способствовать обучению методам самоконтроля, созданию положительной мотивации, ориентации на предметное содержание деятельности и устранению аффективного влияния психологической ситуации опроса. При использовании автономных средств контроля знаний - контролирующих программ, компьютерных тестов, проведении автоматизированного зачета или экзамена [27, т. 1] глубина и вид контроля должны соответствовать этапу усвоения, а частота проведения контроля - этапу усвоения и уровню подготовки. Аналогичные требования должны быть учтены при создании интеллектуальных и экспертно-обучающих систем [27], в которых средства контроля выступают как неотъемлемая часть системы. Текущий контроль должен быть диагностическим, и его результаты должны быть представлены в форме, удобной для планирования дальнейшего учебного процесса, анализа причин ошибок и выбора педагогической стратегии. Результаты предварительного и итогового контроля должны допускать построение обобщенной оценки знаний обучаемого в некоторой шкале.

1.2 Компьютерные средства оценки уровня знаний

Методы определения уровня знаний обучаемого по дискретной или непрерывной шкале обычно называются методами тестирования, а средства, используемые для такого рода измерений, тестами. Применение тестов в образовании имеет достаточно длительную историю, ему посвящен обширный список работ, содержащих обоснование методов измерений, описание алгоритмов математической обработки результатов, а также сопоставление различных методов измерений и методики формирования тестовых заданий [28].

В фундаментальном труде А. Анастази [28, т.1] тестирование определяется как 'объективное и стандартизованное измерение выборки поведения'. Классификация тестов отражает классификацию методов контроля знаний. По назначению тесты можно разделить на организационные, групповые и индивидуальные. Первые используются как средство оценки, усовершенствования и постановки задач обучения, вторые служат для сравнительной оценки достижений в группе и последние - для оценки индивидуальных успехов обучаемого. По оцениваемому параметру выделяют тесты интеллекта, способностей, достижений, личностных характеристик, а также проективные. С точки зрения временной направленности результата тесты можно разделить на диагностические, предназначенные для фиксации текущего состояния знаний, навыков, способностей и свойств личности, и прогностические, для предсказания поведения или успехов личности при том или ином виде деятельности. Тесты могут применяться на любом этапе контроля. Начальные или предварительные тесты используются для выбора содержания, уровня изложения и методики обучения, промежуточные - для управления обучением и заключительные - для определения уровня усвоения или диагностики.

С точки зрения эталона, используемого для сопоставления и градации результатов тестирования, выделяют норма - ориентированные, критериально - ориентированные и индивидуально-ориентированные тесты. Различия между норма - ориентированными и критериально - ориентированными тестами заключается в том, что первые предназначены для ранжирования, упорядочивания , или определения 'расстояния' результатов индивидуума от результатов некоторой типичной группы, послужившей основой для разработки норм. Вторые же сопоставляют результаты с принятыми классами или эталонами. Если первые используются для получения фиксированной выборки (N лучших, независимо от их реального уровня), то вторые определяют деление группы испытуемых на классы, обеспечивая, таким образом, выборку с заданными характеристиками. Индивидуально-ориентированные тесты предназначены для измерения успехов индивидуума с точки зрения его предыдущих результатов.

Основными характеристиками тестов независимо от их вида и содержания являются надежность и валидность. Надежность определяется согласованностью показателей, получаемых по аналогичным тестам. Различные типы оценок надежности отличаются факторами, которые приняты в качестве источника ошибки: временные изменения, различия в серии параллельных заданий, их несогласованность и т. п. Валидность определяет связь теста с измеряемой характеристикой. Вычисление обеих характеристик чаще всего основано на сопоставлении полученных результатов с результатами выполнения других тестов, надежность и валидность которых уже установлена.

Использование компьютеров в образовании позволило не только усовершенствовать организационную сторону тестирования, но и использовать новые психологические теории и математический аппарат для создания и обработки результатов тестов. К преимуществам компьютерного тестирования относятся: стандартизация представления заданий и проведения тестирования, зашита информации, вариабельность средств визуализации, сокращение времени на подготовку тестов и обработку результатов, возможность централизованного хранения и распространения тестов, а также статистической обработки результатов.

тестовый контроль программный знание

2. Требования к системам компьютерного контроля знаний

Можно разграничить на общие требования к программному обеспечению, ориентированному на взаимодействие с пользователем, и требования, обусловленные методическими особенностями компьютерного контроля знаний.

К общим требованиям относят требования к дизайну пользовательского интерфейса, удобству человеко - компьютерного взаимодействия и функциональной обоснованности структуры команд и операций. Более подробную информацию можно получить из следующих источников.

- Пользовательский интерфейс. Справочная система разработчика от Microsoft (User Interface)

- Разработка пользовательского интерфейса и тестирование удобства использования

- Пользовательский интерфейс и удобство использования

Рассмотрим требования к системе тестового контроля знаний.

2.1 Ограничение времени

Контроль знаний в форме тестирования имеет жесткие ограничение во времени. Это обусловлено сильной взаимосвязью между длительностью тестирования и достоверностью результатов. Общепринятого подхода к определению времени тестирования нет, часто разработчики разнообразных тестов оставляют этот вопрос на усмотрение преподавателя. Авторам кажется наиболее предпочтителен метод определения длительности тестирования, когда времени отводиться ровно столько, чтобы 5% всех обучаемых ответили на все вопросы теста. Если времени существенно больше, то многими обучаемыми может быть дан правильный ответ с использованием ассоциативных знаний, что отрицательно сказывается на достоверности результатов. Если времени существенно меньше, то некоторые задания не будут предъявлены обучаемым вообще, что снижает дискриминативность (дифференцирующую способность) теста в целом.

2.2 Поддержка различных типов тестовых вопросов

С педагогической точки зрения наиболее предпочтителен открытый тип вопроса, когда на заданный вопрос обучаемым дается краткий или развернутый ответ в произвольной форме. Механизмы компьютерной обработки этого типа вопроса лежат в области машинного анализа естественного языка и являются в настоящее время областью активного научного поиска. Простых, практически применимых алгоритмов машинного анализа естественного языка в настоящее время не создано. Поэтому используют алгоритмы анализа ответа на открытый вопрос, налагающие существенные ограничениями на формулировку вопроса и формат ответа. Перечислим основные способы обработки ответов на открытый вопрос.

1. Ответ обучаемого сравнивается посимвольно с образцовым ответом, при абсолютном совпадении ответ считается верным, иначе - нет.

2. Ответ обучаемого также посимвольно сравнивается с образцовым, только происходит некоторая предварительная обработка спецсимволов (повторяющиеся пробелы, 'висячие' пробелы, знаки препинания и др.) и регистра символов (преобразование к одному регистру в случае проверки без учета регистра).

3. Образцовый ответ представляет собой набор слов, присутствие которых в ответе пользователя обязательно и тех, присутствие которых недопустимо (метод ключевых слов).

4. Образцовый ответ представляет собой множество ответов, заданных неявно в виде шаблона определенной структуры. Во время проверки ответ пользователя подставляется в структуру шаблона и проверяется на соответствие ей либо из шаблона продуцируются все варианты ответа и посимвольно (возможно с предварительной обработкой) сравниваются с ответом пользователя.

Значительно большей популярностью пользуются различные виды закрытого вопроса. Это обусловлено особенностью вопроса закрытого типа, в котором количество вариантов ответов обычно небольшое, но всегда ограниченное количество. Алгоритмы, устанавливающие принадлежность ответа пользователя к классу правильных ответов достаточно просты. Существует множество разновидностей вопроса закрытого типа, в частности в спецификации IMS QTI (http://www.imsproject.org/question/) выделено 14 видов закрытого вопроса, разбитых на 3 класса плюс множество комбинированных видов вопроса. В мировой практике в целом и в отечественной в частности наиболее широко используют следующие виды закрытого вопроса.

1. Выбор единственного варианта ответа (альтернативный выбор). В этом случае обучаемому предъявляется вопрос и несколько вариантов ответов на него, из которых требуется выбрать единственный правильный ответ. Следует с осторожностью использовать количество ответов меньшее четырех, т.к. при этом высока вероятность угадывания правильного ответа. Максимальное количество вариантов ответов обычно не ограничивается, однако большое количество альтернатив увеличивает время на ответ сложность разработки вопроса, поскольку в ряде случаев непросто правильно подобрать большое количество дистракторов (умышленно неправильных вариантов ответа). Разновидностью альтернативного вопроса является выбор наиболее правильного ответа из нескольких. При оценке выполнения задания сопоставляется номер указанного обучаемым ответа с номером правильного.

2. Выбор нескольких вариантов ответов (множественный выбор). Этот вид вопроса отличается от предыдущего возможностью выбора нескольких правильных ответов. Допускается, хотя и не рекомендуется, ситуация, когда правильны все варианты ответа, либо правильных ответов нет вовсе. При оценивании номера ответов обучаемого сравниваются с номерами правильных ответов. Возможны два метода оценки ответа на вопрос этого вида. Во-первых, в случае полного совпадения набора номеров ответов указанных обучаемым с правильным набором ответов, задание считается выполненным, иначе не выполненным. Во-вторых вычисляется количество совпадения ответов обучаемого с правильными и результатом является степень правильности ответа. В последним случае возможно использование веса для каждого варианта ответа.

3. Установление соответствия. Обучаемому предъявляется формулировка вопроса и два столбца с некоторым количеством элементов в каждом. Количество элементов в столбцах может быть не равным. От обучаемого требуется каждому элементу одного столбца поставить в соответствие один или несколько элементов из другого столбца. Оценивание выполняется путем проверки набора соответствий, указанных обучаемым правильному набору. Как и для предыдущего вида вопроса возможен строгий или частичный метод оценки.

4. Восстановление правильной последовательности. Обучаемому требуется некоторое множество элементов расставить по порядку в соответствии с определенным признаком. Этот вопрос является разновидностью предыдущего, в случае, когда один столбец содержит элементы, характеризующие последовательность элементов другого столбца (Например, 1, 2, 3, … либо «первый», «второй», «третий» и т.д.)

5. Разбиение по группам. Имеется набор элементов, каждый из которых требуется отнести к определенной группе. Это также разновидность вопроса на соответствие, когда один столбец представляет собой набор исходных элементов, а второй наименование групп.

6. Указание области. Требуется указать одну или несколько областей определенной формы на рисунке. Форма области может быть - точечная (указывается точка), круглая (овальная), квадратная (прямоугольная), многоугольная, произвольная.

7. Разновидностью этого вопроса является вопрос на указание момента (диапазона) при воспроизведении аудио- (видео-) фрагмента. Оценивается совпадение указанной обучаемым областей с заданными с определенной точностью.

2.3 Особенности интерфейса

Программа взаимодействует с разными категориями пользователей, выдвигающими различные требования к пользовательскому интерфейсу. Разработчикам требуется больше функциональных возможностей, обучаемым важно иметь интуитивно понятный интерфейс. При прохождении тестирования обучаемым в каждый момент времени желательно предоставить как можно больше информации о процессе тестирования в целом. Однако, форма представления этой информации должна быть такой, чтоб не отвлекать внимание и не способствовать утомляемости или повышению нервного напряжения обучаемого.

Возможность внедрения мультимедиа информации в вопрос является существенным плюсом программы тестового контроля знаний. Обычно внедренная графическая и видеоинформация отображается в специальной области при предъявлении вопроса обучаемому, а аудиоинформация воспроизводится в фоновом режиме. Более сложной в реализации, но открывающей широкие возможности представляется обеспечение возможности внедрения мультимедиа информации как в контент формулировки вопроса, так и в контент вариантов ответа. Причем графическая информация отображается непосредственно, для воспроизведения каждого видеофрагмента отводится область необходимого размера, снабженная элементами управления воспроизведением, места внедрения аудио фрагментов содержат элементы управления воспроизведением этих фрагментов.

Положительным качеством программы является поддержка декоративного оформления текста вопроса и вариантов ответа. Это дает возможность разнообразить внешний вид вопросов или выделить отдельные элементы вопроса (расставить акценты), что способствует меньшей утомляемости обучаемого во время проведения тестирования, и более быстрому пониманию сути вопроса.

2.4 Возможности формирования и представления набора заданий

Тест в классическом понимании - инструмент для измерения уровня знаний обучаемого, практически апробированный и математически обоснованный. Отличительная особенность теста - высокая достоверность получаемых результатов - способствует его популярности как формы контроля знаний. При этом разработка такого инструмента требует усилий специалистов разного профиля (педагоги, психологи, эксперты и др.) и является не простой задачей. Тем более, что применение теста на одном контингенте обучаемых более одного раза отрицательно сказывается на достоверности результатов. В случаях, когда очень важно располагать объективной информацией об уровне знаний обучаемых (вступительные экзамены, выпускные экзамены, квалификационные экзамены и др.) затраты на разработку тестов можно считать оправданными. В случае проведения промежуточного (рубежного) контроля, дисциплинарных экзаменов, когда важно с высокой степенью достоверности контролировать уровень знаний обучаемых, но затраты на разработку полноценных тестов неоправданно велики, применяют ряд методов, позволяющих повторно использовать разработанные варианты тестов с незначительным уменьшением достоверности и некоторых других характеристик теста (надежность, валидность).

Некоторые методы позволяют применять однажды разработанный тест на различных группах одного потока, некоторые даже для повторного тестирования одной группы обучаемых.

1. Управление порядком предъявления. В классической теории тестирования рекомендуется задания теста сортировать в соответствии с возрастанием трудности, т.к. это облегчает последующий анализ результатов. Но так как в настоящее время широко известны алгоритмы анализа результатов на задания, не упорядоченные по трудности, то придерживаться этой рекомендации нет строгой необходимости. Применение автоматически генерируемой случайной последовательности предъявления тестовых заданий позволяет повторно использовать тест на разных группах обучаемых одного потока или одной специальности. Возможен смешанный метод формирования порядка предъявления заданий, когда порядок задания внутри определенной группы (группы могут быть сформированы по разному признаку, например, тип вопроса, тема, проверяемый уровень усвоения и др.) перемешивается, а сами группы вопросов предъявляются последовательно. Для закрытого типа вопроса с выбором ответов вполне обоснована возможность изменения порядка вариантов ответов случайным образом.

2. Генерации случайного набора заданий. Для каждого обучаемого генерируется индивидуальный набор заданий в соответствии с заданным критериями. Этот метод предполагает наличие обширной базы тестовых вопросов. Особое внимание следует уделить обеспечению одинаковой трудности полученных наборов тестовых заданий. Критериями может являться информация о количестве вопросов определенного типа, трудности, относящихся к определенной теме и др., и их порядке предъявления.

3. Автоматическая генерация тестовых заданий. Это тестовое задание представляет собой набор неизменных элементов и параметров. Параметры содержат правила генерирования значения. Это может быть информация о диапазоне и точности, либо порождающая формула для параметра числового типа или для параметра произвольного типа набор значений, из которых конкретное значение выбирается случайным образом или по определенному правилу. Этот метод с лёгкостью допускает использование тех же вариантов тестовых заданий повторно на одной группе обучаемых.

Особо следует выделить метод адаптивного тестирования. Достоинством этого метода является то, что он определяет уровень знаний обучаемого при минимальном количестве заданных вопросов (а значит за минимальное время), с требуемым уровнем достоверности. Ограничением применения адаптивного теста является сложность разработки вариантов тестовых заданий для него. Тестовые задания должны выть распределены по классам сложности и в каждом классе заданий должно быть несколько. Чем больше классов сложности, тем больше чувствительность теста и тем труднее подобрать задания одинаковой сложности.

2.5 Использование централизованной базы данных

Рассмотрим преимущества использования программой тестового контроля знаний централизованной базы данных в нескольких аспектах:

1. База тестов. Размещение тестов в базе дает возможность другим пользователям использовать их в своей работе. Это могут быть преподаватели той же или смежной дисциплины, использующие эти тесты для проведения проверок или обучаемые, использующие тесты для самоконтроля.

2. База тестовых вопросов. Требуется для работы алгоритмов динамической генерации вариантов тестов из множества тестовых заданий. Для проведения адаптивного тестирования также необходима база вопросов, поддерживающая разделение по классам трудности. Наличие обширной базы тестовых вопросов может упростить подбор вопросов для разработки «классического» теста.

3. База результатов тестирования. Позволяет в полной мере использовать алгоритмы статистического анализа. Анализ результатов может быть проведет в разрезе групп обучаемых (по каждому обучаемому) для определения рейтинга обучаемого (группы), изменения уровня знаний со временем и др. или в разрезе тестовых заданий (отдельно по каждому заданию) для определения для определения статистических характеристик задания (дискримитативность, релевантность).

2.6 Средства анализа и выдачи результатов тестирования

Наиболее простой метод оценки предлагает правильный ответ на задание теста оценивать одним балом, неправильный - нулем балов, для формирования оценки за выполнение теста подсчитываем количество набранных обучаемым баллов из максимально возможного количества. Большую гибкость оценке могут предать следующие дополнительные возможности.

1. Вес вопроса. С введением этого критерия появляется возможность управлять степенью значимости ответа на задание на оценку за тест в целом. Повывшая или понижая вес вопроса, мы, соответственно, увеличиваем или уменьшаем степень влияния этого задания на результат выполнения теста. Этот критерий должен отражать сложность (трудность, важность) данного тестового задания.

2. Степень полноты ответа на вопрос. Для открытого типа некоторых видов закрытого типа ответа имеется возможность учитывать частичное выполнение. Специальными алгоритмами возможно провести определение степени «правильности» для неполного ответа на вопрос и соответственно изменить оценку за задание.

3. Настраиваемая шкала оценки. В зависимости от ситуации возникает необходимость использовать разные шкалы оценки. Правила перевода из одной шкалы в другую тоже зависят от контекста применения и не могут быть однозначно предопределены. Следовательно, стоит реализовать возможность динамического (при разработке теста) задания размерности, правил преобразования и качественных характеристик используемой шкалы оценки.

Собранные результаты тестирования подлежат статистической обработке для определения некоторых показателей, таких как рейтинг; число обучаемых (в количественном или процентном выражении), получивших оценку из заданного интервала; количество баллов, выше которых есть результат только у заданного числа обучаемых (требуется, в частности, для определения проходного балла в ВУЗ), и др. Эти показатели отражают анализ в разрезе обучаемых, анализ в разрезе тестовых заданий дает важные статистические характеристики для каждого задания, использованного в тесте. Значение некоторых таких характеристик (надежность, дискримитативность) в ряде случаев позволяет сделать вывод о необходимости не учитывать ответы на некоторые задания, вследствие присутствия в этих заданиях не очевидных ошибок, искажающих результат.

Статистическая обработка обычно проводится вручную, но так как алгоритмы анализа легко формализуются, то возможна эффективная программная реализация этой обработки. В настоящее время автоматизация статистической обработки результатов слабо реализована в программных продуктах.

Очевидно, что результаты выполнения тестов должны содержать всю возможную информацию о прохождении процесса тестирования. Эта информация потребуется для различных методов анализа результатов. Однако, степень информации, предоставляемой обучаемому следует регулировать в зависимости от ситуации. В режиме самообучения следует выдавать максимально полный отчет для использования обучающей стороны контроля знаний. При тестировании без последующей обработки обучаемому можно предоставить информацию о количестве набранных баллов и некоторую информацию о прохождении теста. В случае прохождения тестирования с последующей обработкой результатов количество набранных баллов может быть изменено (при удалении из рассмотрения некоторых заданий) и шкала оценки также будет сформирована позже, поэтому обучаемому не может быть выдана какая-либо информация о результатах.

2.7 Дополнительные возможности в режиме самоконтроля

Тестирование в режиме самоконтроля направлено не столько на измерение уровня знаний, сколько на выявление пробелов и предоставление возможностей по их заполнению. С этой целью в систему может быть добавлена возможность использовать ссылки на материал, связанный с вопросом или различные пояснения по теме вопроса. Указанные возможности могут быть доступны для каждого вопроса во время тестирования или предъявляться по завершению для тех вопросов, на которые дан не полный или неверный ответ.

Отчет в режиме самоконтроля рекомендуется делать наиболее полным, с детальной информацией по каждому тестовому заданию вплоть до цитирования формулировки вопроса и указанием ответов обучаемого и правильных ответов.

Процесс тестирования в режиме самоконтроля должен как можно меньше отличаться от непосредственно тестирования. Интерфейс программы должен быть тот же и проходить тестирование при самоконтроле также должно с ограничением времени. Это помогает пользователю привыкнуть к среде тестирования и снижает психологическую нагрузку при прохождении контрольного тестирования.

2.8 Требования к программно-аппаратной платформе

Существует несколько наиболее популярных платформ компьютеров. В общем случае программа может функционировать только на той платформе, для которой она разработана (IBM PC, Apple Macintosh и др.), но существуют средства создания кросс - платформенных программ (например, программы на Java). Наряду с очевидным достоинством кросс-платформенных программ - возможность работать на разных аппаратных (программных) платформах, они имеют существенный недостаток - меньшее быстродействие, высокие требования к вычислительным ресурсам. Программа может предъявлять требования к определенным компонентам аппаратной платформы (частота процессора, размер жёсткого диска, объем оперативной памяти, наличие графического ускорителя и др.).

Программных платформ существенно больше, они, в основном, характеризуются семейством (классом) операционных систем (для аппаратной платформы IBM PC программные платформы: Win 9x, Win NT, Unix, Linux, FreeBSD, Solaris и др.).

Программы, имеющие распределенную архитектуру, могут содержать модули, функционирующие на разных программных и, даже аппаратных, платформах. К примеру, сервер тестирования работает в среде серверной операционной системы (Unix, Linux, FreeBSD и др.), программа педагога для создания тестов функционирует в среде Win NT, а для обучаемого требуется лишь Интернет-обозреватель, которые созданы для самых разных платформ.

Программная платформа включает в себя программное окружение - дополнительное программное обеспечение (драйверы сетевых протоколов, СУБД и др.). Если программа тестирования функционирует в составе комплекса программ (например, модуль тестирования в составе систем обеспечения дистанционного образования), и не может полностью функционировать отдельно, то наличие этого комплекса программ также является требованием программы тестирования к программному окружению.

2.9 Поддержка сетевого тестирования

Тестирование, как форма контроля знаний, подразумевает, в общем случае, единовременный контроль группы обучаемых. Существенным достоинством программы тестового контроля знаний является возможность работы в сетевом варианте, когда программа централизованно управляет процессом тестирования нескольких пользователей. Сетевое тестирование (через Интернет) наиболее предпочтительный вариант контроля знаний в системах дистанционного обучения.

2.10 Поддерживаемые форматы и стандарты представления данных

Существует большое количество отечественных и зарубежных программ тестового контроля, но все они имеют (в большей или меньшей степени) существенный недостаток - непереносимость (несовместимость) данных. Задания, разработанные для применения в одной системе не применимы для использования в другой. Для обеспечения переносимости данных (тестовых заданий, отчетов о результатах) необходима стандартизация. В нашей стране подобных стандартов нет. За рубежом некоторыми компаниями ведутся работы в этом направлении. В частности результатом попыток формализовать описание структур данных тестовых систем стало издание Консорциумом IMS спецификации IMS QTI.

Данная спецификация содержит рекомендации к структуре и описанию различных видов вопросов и отчетов о результатах. В соответствии с этой спецификацией данные (тест, задание, отчет) представляются в XML-формате и отделены от информации об их представлении. То, как эти данные будут выглядеть на компьютере пользователя, зависит от программной системы, интерпретирующей их.

3. Описание программного комплекса

Программный комплекс Test Environment (Те) выполнен c использованием технологии HTML и JavaScript. Применение этих Интернет - технологий позволило создать программу, функционирующую в сети Интернет или локальной сети и исполняемую браузером пользователя. При размещении программы в Интернет, пользователю для полноценной работы с ней требуется только Интернет - обозреватель (Internet Explorer версии 4.0, 5.0, 5.5, 6.0 и выше).

При разработке использовались инструменты Macromedia Dreamwever MX 2004 и Microsoft Script Editor 10.0.

3.1 Описание структуры программы

Программный комплекс Те (рис. 1) включает в себя две подсистемы

Рис. 1. Структура программного комплекса Те

- Среда разработки тестов;

- Модуль тестирования.

Среда разработки тестов (редактор теста) позволяет создавать и изменять файлы тестов. Файл теста содержит блок вопросов, блок форм и блок алгоритмов. Редактор теста предоставляет соответствующие интерфейсы для работы с блоками теста. Редактор вопросов и редактор алгоритма оценки является интерфейсами преподавателя для взаимодействия с программным комплексом. Редактор вопросов позволяет изменять параметры вопроса (вес, количество вариантов ответа, правильные варианты ответа) и поля вопроса (Инструкция, Вопрос, Варианты ответа), а также сопоставить каждому вопросу определенную форму представления. Редактор алгоритма оценки позволяет задать правило перевода внутренней 100-бальной шкалы оценки в шкалу оценки низшей размерности (задать размерность, указать границы преобразования, задать качественную характеристику каждому интервалу).

Интерфейс редактора форм позволяет модифицировать формы представления вопросов. Формой представления является текст в формате HTML, сформированный в соответствии с определенными правилами. Поскольку изменение форм представления требует ручного редактирования html- текста и знания основ дизайна, следовательно, для этой работы требуется привлечение Web-дизайнера. Каждый вновь создаваемый тест содержит формы, заданные по умолчанию.

Помимо интерфейсов для редактирования вопросов и алгоритмов Среда разработки тестов предоставляет преподавателю ряд дополнительных возможностей:

- установка параметров теста (режим тестирования, длительность, параметры регистрации и др.);

- предварительный просмотр выбранного вопроса или формы;

- запуск редактируемого теста на исполнение.

Полученный тест может быть сохранен на локальный компьютер в виде файла (если в вопросах теста имеются графические изображения, они сохраняются в виде отдельных файлов в каталоге с файлом теста) или может быть загружен на сервер в виде записи базы данных.

Модуль тестирования представляет интерфейс обучаемого и включает в себя подсистему представления, отвечающую за диалог с обучаемым и подсистему оценивания. При запуске Модуль тестирования загружает указанный файл теста, и подсистема представления, руководствуясь информацией этого файла, осуществляет процесс тестирования. По завершении тестирования подсистема оценивания анализирует ответы обучаемого и формирует отчет о результатах, который может быть сохранен на диске, распечатан или загружен на сервер.

Передача Модулю тестирования файла теста возможна двумя вариантами. Во-первых, гиперссылка запуска Модуля тестирования содержит в качестве параметра адрес файла тестирования.

Во-вторых, если запуск происходит без параметров отображается диалог «Открытие файла».

Сервер тестирования является важным компонентом среды тестирования, позволяющим существенно расширить функциональность данного программного комплекса. Добавиться возможность использования централизованной базы данных (подробнее п. 2.5) и возможность реализации механизмов статистической обработки данных. Также наличие компоненты сервер тестирования позволит интегрировать разработанный программный комплекс практически в любую систему дистанционного обучения (обучение через Интернет). Разработка Сервера тестирования, качественно и полно реализующего эти возможности является по сложности задачей, сопоставимой с проделанной работой и в силу ограниченных ресурсов не реализована в рамках данной дипломной работы.

Программный комплекс (без компоненты Сервер тестирования) может с успехом использоваться для проведения тестирования, как на локальном компьютере, так и в локальной сети. Для тестирования через Интернет требуется компонент Сервер тестирования как минимум для сбора отчетов о результатах.

Программный комплекс Те направлен на взаимодействие с тремя группами пользователей (Преподаватели, Обучаемые, Дизайнеры). Очевидно, что преподавателю следует предоставить полный доступ ко всем возможностям программы. Дизайнер, в общем случае, - лицо, не участвующее в учебном процессе и, хотя, ему не требуется доступ к блоку вопросов, алгоритмов и параметрам теста, необходимость ограничения такого доступа отсутствует. Обучаемый - пользователь программы, имеющий ограниченные права: только прохождение теста в режиме заданном преподавателем. Следовательно, необходимым является использование разграничения доступа пользователей, в частности группы Обучаемые от других групп (Преподаватели и Дизайнеры). В данном программном комплексе это разграничение реализовано вынесением интерфейса обучаемого в отдельный компонент - Модуль тестирования. Обучаемый взаимодействует только с этим компонентом, не имея доступа к интерфейсу преподавателя или дизайнера, реализуемого компонентом Среда разработки тестов.

3.2.Интерфейс программы редактора тестов

Компонент Среда разработки тестов программного комплекса Те предназначен для разработки тестов. Он позволяет добавлять (создавать, изменять) тестовые вопросы, управлять формой их предъявления и настраивать параметры проведения тестирования.

3.2.1 Тест

Понятие теста

Ключевым понятием Те является понятие Тест. Тест включает.

- Вопросы. Каждый вопрос содержит набор полей вопроса.

- Формы. Формируют блоки, в которых отображаются элементы вопроса или параметры теста.

- Алгоритмы.

- Параметры.

Тест может включать произвольное количество вопросов, которые при тестировании будут предъявлены обучаемому. В параметрах теста указывается будут ли вопросы предъявляться в заданной, либо произвольной последовательности. Каждый вопрос содержит ссылку на форму, используемую для его отображения.

Формы представляют собой шаблоны для предъявления вопросов обучаемому. Различают формы теста и формы вопросов. Форма теста - шаблон для оформления окна тестирования - содержит информационные и управляющие области. Форма вопроса - шаблон для вывода полей вопроса. Тест должен содержать не менее одной формы теста и одной формы вопроса. Т.к. форм теста может быть более одной, то в параметрах теста указывается название формы, используемой при предъявлении теста.

Алгоритмы теста служат для расширения возможностей системы. Реализован алгоритм перевода 100-бальной внутрисистемной шкалы оценки в шкалу оценки меньшей размерности с качественными характеристиками. Теста может содержать не менее одного алгоритма оценки, при этом алгоритм, используемый при проведении тестирования, указывается в параметрах теста.

Параметры теста служат для изменения различных характеристик теста, таких как информация о тесте, режим проведения и др.

Создание теста

В программную систему Те для редактирования тест может быть загружен при создании нового теста [] или открытии существующего [] (рис. 2).

Рис. 2. Открытие файла теста

При создании в систему загружается тест, с параметрами, заданными по-умолчанию.

Загруженный тест отображается в окне Структура теста (рис. 3).

Рис. 3. Окно Структура теста

Верхний узел отображает название теста, а при наведении на него указателя отображается автор теста. Верхний узел содержит три группы элементов: Вопросы, Формы, Алгоритмы. Группы содержат соответствующие элементы.

Группа Вопросы, при щелчке на неё указателем разворачивается и отображает список вопросов теста. Группа Формы содержит список форм теста, группа Алгоритмы - список алгоритмов.

Для добавления нового вопроса используется кнопка панели инструментов []. Для добавления формы теста - [], формы вопроса - [] и [] для добавления алгоритма.

При выделении щелчком указателя в окне Структура теста конкретного элемента (вопроса, формы или алгоритма) происходит запуск редактора элемента (соответственно вопроса, формы или алгоритма) в окне редактора.

Для вопроса и формы доступна возможность предварительного просмотра []. При запуске этой операции открывается новое окно, в которое загружается содержимое выделенного элемента в окружении элементов по-умолчанию (если выделенный элемент - форма вопроса, то в окно просмотра будет загружена форма теста, указанная форма вопроса, а в нее произвольный вопрос, т.к. форма вопроса не содержит информации о вопросах использующих её).

Порядок следования элементов внутри каждой группы задается путем перемещения этих элементов указателем. Порядок следования имеет существенное значение только для элементов группы вопросы, при отключенной опции «вопросы в произвольной последовательности» в диалоге Параметры теста. В этом случае порядок следования вопросов определяет порядок их предъявления обучаемому.

Для элементов теста доступны операции Вырезать [], Копировать [], Вставить [] и Удалить [].

Изменение параметров теста возможно посредством диалога Параметры теста [].

Если тест содержит более одного вопроса возможен его запуск в режиме отладки [] с целью поиска ошибок и неточностей при формировании вопросов и выбора подходящих параметров теста.

Для сохранения теста в файл используется кнопка на панели инструментов []. При первом сохранении открывается диалог выбора имени теста (рис. 4). Система предлагает какое-либо имя по-умолчанию и путь по умолчанию - подкаталог Projects установочного каталога программной системы Те. Для сохранения файла теста программе требуется получить разрешение на доступ к файловой системе. В случае получения этого доступа тест сохраняется, при отказе в доступе пользователю предлагается самостоятельно сохранить тест. Для этого открывается окно, содержащее текст теста, который следует скопировать в буфер обмена, вставить в текстовый редактор (например, Блокнот) и сохранить как текст.

Рис. 4. Диалог Сохранение файла теста

3.2.2 Редактор вопроса

Создание вопроса

Редактор вопроса (рис. 5) позволяет изменять индивидуальные параметры вопроса и формировать содержимое полей вопроса.

Параметрами вопроса являются:

- Форма представления. Позволяет указать какая из существующих в тесте форм вопроса, используется для предъявления этого вопроса.

- Вес вопроса. Вес вопроса относительно других вопросов теста. Может принимать значение от 1 до 100. Значение вводится в соответствующее поле и устанавливается при нажатии на кнопку «OK». Желательно наличие связи между значением этого параметра и относительной сложностью вопроса.

- Количество вариантов ответов. Имеет смысл использование от 3 до 6 вариантов ответов, тем не менее число возможных вариантов ответов в Те не ограничено.

- Правильный вариант. Устанавливает варианты ответов, определяемые системой как правильные. Дополнительная опция «Единственный / Произвольный» указывает будет ли вопрос иметь лишь один правильный вариант ответа, либо их будет любое количество (не более количества вопросов). В Те возможно указание правильными как всех вариантов ответа, так и не одного, хотя это не рекомендуется.

Полями вопроса являются.

- Инструкция. Содержит краткие рекомендации по выполнению вопроса. Заполнение этого поля рекомендуется, но не является обязательным.

- Собственно вопрос. Содержит формулировку вопроса.

- Варианты ответа. Содержат варианты возможных ответов на вопрос.

Рис. 5. Редактор вопроса

Значением полей вопроса является текст в формате HTML, следовательно для его оформления возможно использование всех возможностей формата HTML (за исключением внедренных объектов). На панели Форматирование расположены команды, которыми выполняется оформление содержимого полей вопроса.

Особенности включения в текст графических изображений

Для добавления графических изображений в тест используется кнопка «Вставить картинку» [] панели инструментов Форматирование. Нажатием на эту кнопку вызывается диалог Вставка картинки (рис. 6).

Рис. 6. Диалог Вставка картинки

Графические изображения (картинки) не хранятся непосредственно в файле теста, файл теста содержит лишь ссылки на картинки, которые хранятся отдельно. Поэтому следует уделить внимание расположению картинок и их доступности в последствии.

При добавлении картинки в ранее сохраненный тест доступна и задействована по-умолчанию опция «копировать в папку теста» и активна опция «копировать в библиотеку». Если тест не сохранен, то копирование в папку теста не возможно (папка теста не определена) . Библиотекой является подкаталог libImg установочного каталога программной системы Те. При первом сохранении теста, содержащиеся в нем картинки будут скопированы в каталог теста. Если в тесте содержатся картинки, расположенные в библиотеке, то будет выдан запрос на копирование их в папку теста.

3.2.3 Редактор формы

Панели редактора формы

Редактор формы содержит панели: Свойства, Режим и Форма (рис. 7).

Рис. 7. Редактор формы

Панель Свойства позволяет изменять идентификатор (внутреннее имя) формы для форм, добавленных пользователем; название формы и показывает тип формы (форма элемента или форма теста). Панель Режим позволяет переключаться между режимом Просмотр формы и режимом Редактирование формы. При включении режима редактирование в панели Форма отображается и доступен для изменения HTML-код формы.

Код формы представляет собой особым образом размеченный фрагмент HTML-страницы.

Требования к разметке формы простого вопроса

1. Блок, содержимым которого во время исполнения будет являться значение поля Инструкция должен иметь идентификатор id = “runIntInstr”. Содержимое блока во время редактирования несущественно.

2. Блок, содержимым которого во время исполнения будет являться значение поля Вопрос должен иметь идентификатор id = “ runIntQuest”. Содержимое блока во время редактирования несущественно.

3. Блок, представляющий собой контейнер для вариантов ответов должен иметь идентификатор id = “ runIntAnswBox”. Его содержимым во время редактирования является только один блок представления варианта ответа.

4. Форматирование блока варианта ответа следующее:

- Для указания порядкового номера варианта ответа используется ключевое слово $NUM. Во время исполнения это слово будет заменено на порядковый номер вопроса (1, 2, и т.д.).

- Один из внутренних блоков должен иметь идентификатор id = “runIntAnsw$NUM”. Содержимое блока во время редактирования несущественно, во время исполнения содержимым блока будет являться значение поля соответствующего варианта ответа.

Требования к разметке формы теста

1. Блок, содержимым которого во время исполнения будет являться форма вопроса должен иметь идентификатор id = “runExtQuestBlock”. Содержимое блока во время редактирования несущественно.

2. Требования к разметке управляющих элементов (Наличие блоков обязательно, их содержимое во время редактирования несущественно).

- Блок, во время исполнения предстявляющий кнопку «Следующий / Завершить» должен иметь идентификатор id = “runBtNext”.

- Блок, во время исполнения предстявляющий кнопку «Пропустить / Как не отвеченный» должен иметь идентификатор id = “runBtPass”.

- Блок, во время исполнения предстявляющий кнопку «Предыдущий / Отменить тестирование» должен иметь идентификатор id = “ runBtBack ”.

- Блок, во время исполнения предстявляющий кнопку «Список вопросов» должен иметь идентификатор id = “runBtList”.

3. Требования к разметке информационных параметров (Наличие параметров не обязательно).

- Параметр «Дисциплина теста», вместо которого во время исполнения будет отображено название дисциплины теста, выглядит так: $KURS.

- Параметр «Тема теста» - $TEMA.

- Параметр «Автор теста» - $AUTHOR.

- Параметр «Статус вопроса» - $STAT. Этот параметр при первом предъявлении вопроса не отображается, а при повторном показывает был ли на вопрос дан ответ или вопрос был пропущен.

- Параметр «Вопросов всего» - $Qall показывает общее количество вопросов.

- Параметр «Текущий вопрос» - $Qcurrent показывает номер текущего вопроса.

- Параметр «Вопросов отвечено» - $Qis показывает количество вопросов, на которые были даны ответы (число предъявленных вопросов за вычетом числа пропущенных).

- Параметр «Пропущено вопросов» - $Qbreak.

- Параметр «Вопросов осталось» - $Qleft.

- Параметр «Времени всего» - $Tall - общее количество времени на прохождение теста.

- Параметр «Времени прошло» - $Tpass. Рекомендуется размещать внутри динамического блока.

- Параметр «Времени осталось» - $Tleft. Рекомендуется размещать внутри динамического блока.

- Параметр «Время текущее» - $Tcur.

4. Требования к разметке динамических блоков (Наличие динамических блоков не обязательно, их содержимое существенно). Отличительной чертой динамического блока является то, что его содержимое обновляется 1 раз в секунду, тогда как содержимое других блоков обновляется только при переходе между вопросами.

- Количество динамических блоков не более 10.

- Каждый блок имеет уникальный идентификатор id = “ runDin+цифра” (Например: runDin0, runDin1, …, runDin9).

- Содержимым блока может являться параметр количества прошедшего времени тестирования [$Tpass] или параметр количества оставшегося для тестирования времени [$Tleft].

3.2.4 Редактор алгоритма

При оценки результатов обучаемого система автоматически формирует оценку по 100 бальной шкале, исходя из веса каждого вопроса и процента его выполнения. Для представления полученной оценки в шкале низшей размерности (5-ти бальной, 10-ти бальной) или установления для оценки качественной характеристики (“Хорошо”, “Отлично” и др.) используется Алгоритм оценки.

Редактор Алгоритма оценки (рис. 8) содержит две панели: Размерность качественной оценки и Перевод количественной оценки. Панель Размерность качественной оценки позволяет задать количество поименованных интервалов, на которые будет делиться 100 бальная внутренняя оценка. Панель Перевод количественной оценки позволяет указать границы этих интервалов и поставить им в соответствие качественную характеристику.

Рис. 8. Редактор алгоритма

3.2.5 Параметры теста

Вызов диалога Параметры теста (рис. 9) производится нажатием на кнопку [] панели инструментов Главная.

Диалог Параметры теста включает следующие поля.

1. Название теста. Отображается только в окне Структура теста как название корневого (верхнего) узла.

2. Автор теста. Отображается во всплывающей подсказке при наведении курсора мыши на корневой узел в окне Структура теста.

3. Дисциплина теста. Отображается во время тестирования вместо параметра «Дисциплина теста»

4. Тема теста. Во время тестирования замещает параметр «Тема теста».

Рис. 9. Диалог Параметры теста

5. Режим. Позволяет выбрать используемый режим прохождения теста. Содержит следующие варианты.

- Свободный (по-умолчанию). Обучаемому доступны: переход на следующий вопрос, пропуск вопроса, возврат на предыдущий вопрос, переход к любому вопросу через список вопросов, завершение тестирования в любой момент.

- Обычный. Доступен переход на следующий вопрос, возврат на предыдущий вопрос.

- Классический. Доступен только переход на следующий вопрос.

6. Регистрация. Это параметр управляет появлением диалога регистрация перед началом тестирования. Принимает следующие значения.

- Предложить (по-умолчанию). Диалог регистрации появляется, но доступна кнопка «Без регистрации».

- Обязательна. Диалог регистрации появляется, кнопка «Без регистрации» отсутствует.

- Отсутствует. Диалог регистрации не появляется.

7. Форма теста. Позволяет выбрать из имеющихся форму теста с помощью которой будет осуществляться предъявление теста обучаемому.

8. Оценка. Задает алгоритм, используемый для формирования качественной оценки.

9. Ограничить время тестирования (по-умолчанию - активна). При включении этой опции есть возможность задать общее время тестирования, по прошествии которого тестирование будет автоматически завершено.

10. Вопросы в произвольной последовательности (по-умолчанию - активна). При включении этой опции порядок вопросов в тесте перед началом тестирования будет изменен произвольным образом, иначе обучаемому вопросы будут предъявлены в последовательности, заданной при проектировании (при проектировании порядок задается перемещением вопросов указателем в окне Структура теста).

11. Доступен полный отчет о результатах (по-умолчанию - активна). Эта опция управляет видимостью кнопки Отчет при показе диалога Результаты тестирования (рис. 10). Следует иметь ввиду, что диалог Результаты тестирования содержит информацию только о количестве набранных баллов, в то время как Отчет о результатах полную информацию по прохождению теста, включая показ правильных ответов по неверно или неполно отвеченным вопросам.

Рис. 10. Диалог Результаты тестирования

3.2.6 Интерфейс

Внешний вид системы Те

На рисунке 11 представлен внешний вид программной системы Те.

Рис. 11. Внешний вид программной системы Те

Можно выделить следующие элементы интерфейса.

1. Строка меню.

2. Панель инструментов.

3. Окно Структура теста. Отображает содержимое загруженного теста в виде древовидной структуры.

4. Окно Редактор элемента. Область, в которой отображается редактор для выделенного в окне Структура теста элемента (вопроса, формы, алгоритма).

Команды меню

Структура главного меню программы.

1. Файл. Содержит пункты меню для управления файлом теста.

- Создать. Загрузка в программную систему Те теста с установками по умолчанию, не содержащего ни одного вопроса.

- Открыть. Выбор и загрузка ранее созданного и сохраненного теста.

- Сохранить. Сохранение теста в файл. Для нового теста вызывается команда Сохранить как, для ранее сохраненного производится повторное сохранение в файл теста.

- Сохранить как. Открытие диалога выбора имени файла и сохранения теста в выбранный файл.

- Закрыть. Выгрузка теста из Те. При наличии изменений в открытом тесте выдается запрос на сохранение.

- Выход. При наличии открытого теста вызывается команда Закрыть, потом выдается запрос на закрытие окна программы.

2. Тест. Содержит пункты меню для формирования теста.

- Вопросы. Содержит пункты меню для добавления и удаления вопросов

i. Добавить альтернативный. Добавление вопроса с единственным правильным ответом.

ii. Добавить полиальтернативный. Добавление вопроса с произвольным количеством правильных ответов.

iii. Удалить все вопросы.

- Формы. Содержит пункты меню для добавления и удаления форм.

i. Добавить форму теста.

ii. Добавить форму простого вопроса. Альтернативный и полиальтернативный - разновидности простого вопроса.

iii. По-умолчанию. Удаление форм пользователя и восстановления форм по умолчанию

- Алгоритмы.

i. Качественная оценка. Добавление алгоритма качественной оценки к тесту.

- Просмотр. Предварительный просмотр выделенного элемента.

- Запуск теста. Запуск редактируемого теста в режиме проведения тестирования.

- Параметры теста. Вызов диалога Параметры теста.

3. Помощь.

- Справка. Открытие окна с руководством по использованию Те.

- О программе. Информация о разработчиках и версии программы.

Команды панели инструментов

Панели инструментов расположены в две строки. Первая строка - панель инструментов Главная, вторая - Форматирование.

Панель инструментов Главная используется для управления разработкой теста и содержит следующие команды (рис. 12).

Рис. 12. Панель инструментов Главная

- Создание нового теста.

- Открытие существующего файла теста.

- Сохранение теста в файл.

- Предварительный просмотр выделенного элемента теста.

- Запуск теста в режиме проведения тестирования.

, , , - Соответственно Вырезать, Копировать, Вставить и Удалить. Команды работают и по отношению к выделенному элементу окна Структура теста и по отношению к выделенному фрагменту в полях редактора вопроса.

, - Отменить и Вернуть. Команды работают по отношению к изменениям в полях редактора вопроса.

- Добавляет к тесту новый вопрос (полиальтернативный).

- Добавляет новую схему теста.

- Добавляет новую схему вопроса.

- Добавляет новый алгоритм оценки.

- Вызывает диалог Параметры теста.

Панель инструментов Форматирование содержит следующие команды для оформления полей вопроса (рис. 13).

Рис. 13. Панель инструментов Форматирование

- Вызов диалога Вставка картинки.

- Вызов диалога Вставка таблицы.

- Вставка символа конца абзаца.

- Вставка горизонтальной линии.

, , , - Полужирный, Курсив, Подчеркнутый, Перечеркнутый. Команды стиля шрифта. Если имеется выделенный фрагмент текста в поле редактора вопроса, то нажатием на одну из этих кнопок ему будет установлен соответствующий стиль, если фрагмент уже имеет этот стиль, то он будет снят.Если курсор находиться в одном их полей редактора вопроса, но выделенного фрагмента нет, то текст, вводимый в дальнейшем будет иметь соответствующий стиль.

, , , - Выравнивание соответственно По левому краю, По центру, По правому краю, По ширине. Устанавливает выравнивание выделенных абзацев.

- Выделение цветом. Открывает окно для выбора цвета фона выделенного фрагмента текста (рис. 14).

- Цвет шрифта. Открывает окно для выбора цвета шрифта выделенного фрагмента текста (рис. 14).

Рис. 14. Окно выбора цвета

- Представляет выделенный фрагмент в виде неупорядоченного (маркированного) списка.

- Представляет выделенный фрагмент в виде упорядоченного (нумерованного) списка.

, - Уменьшение и увеличение отступа выделенного текста от начала строки.

, - Верхний индекс и Нижний индекс соответственно. Выделенный фрагмент текста принимает вид верхнего (нижнего) индекса.

- Очистить форматирование. Удаляет всю информацию о форматировании текста.

3.3 Интерфейс модуля исполнения тестов

Модуль тестирования (модуль исполнения тестов) при запуске получает адрес файла теста и загружает его содержимое во внутреннюю структуру данных. Адрес файла теста передается в качестве параметра при запуске модуля тестирования. Если параметр пуст, то отображается диалог Открытие файла теста (рис. 15).

Рис. 15. Диалог Открытие файла

Пользователь может ввести адрес файла теста в Интернете или воспользоваться кнопкой «Обзор» для указания файла на компьютере или в локальной сети.

Если в параметрах теста при разработке не установлено значение «без регистрации» появляется окно Регистрация (рис. 16). При этом, если задано значение «предложить» регистрацию, доступна кнопка «Без регистрации», позволяющая отказаться от регистрации и не вводить данные, иначе, если установлено, что регистрация «обязательна», эта кнопка не доступна.

Рис. 16. Диалог Регистрации пользователя

При регистрации обучаемый вводит свою фамилию и инициалы и указывает обращение к себе (рис. 17). Доступны несколько вариантов.

1. Отсутствует. Обращение происходит только по фамилии.

2. Студент, Студентка. Позволяет в дополнительное поле ввести номер группы.

3. Ученик, Ученица. Позволяет в дополнительное поле ввести номер класса.

4. Абитуриент. Обращение происходит по фамилии с предшествующим словом «Абитуриент».

5. Другое. В дополнительное поле вводится произвольное обращение.

Рис. 17. Выбор обращения

Если задан режим тестирования «Свободный» в параметрах теста при редактировании, то появляется диалоговое окно «Тест» (рис. 18а). Этот диалог содержит информацию о теме и дисциплине теста и предоставляет следующие возможности.

а).

б).

Рис. 18. Диалог Тест

При выборе опции «С первого вопроса», можно снять отметку с пункта «Разрешить пропуск вопроса» - это соответствует режиму тестирования «Обычный». Обучаемый начинает отвечать на вопросы с начала, имеет возможность вернуться на ранее отвеченные вопросы, но не имеет возможности пропустить вопрос (кнопка «Пропустить» отсутствует) и обратиться к списку вопросов (кнопка «Список вопросов» отсутствует). Снятие отметки с пункта «Разрешить возврат на предыдущий вопрос» аналогично переходу в режим тестирования «Классический» (отметка с пункта «Разрешить пропуск вопроса» снимается автоматически, т.к. нелогично разрешать пропуск вопроса, если нет возможности вернуться для ответа на него). В этом случае при тестировании обучаемому доступна только кнопка «Следующий».

При выборе опции «С указанного вопроса», отображается список вопросов теста (рис. 18б) и имеется возможность выбрать вопрос, с которого начнется тестирование, например, начать с последнего вопроса и двигаясь назад, завершить первым.

После этого диалога начинается непосредственно процесс тестирования.

Внешний вид программы при проведении тестирования целиком определяется формами представления, включенными в файл теста. Использовании стандартных форм дает внешний вид, показанный на рисунке 19.

Рис. 19. Вопрос, оформленный стандартными формами предъявления

В левом верхнем углу экрана отображается название темы, для которой разработан тест, в верхнем правом - название дисциплины.

Ниже расположена информационная строка. Справа в этой строке отображается информация о количестве вопросов, на которые был дан ответ. При подведении указателя к этой области во всплывающей подсказке указано количество оставшихся (ещё не предъявленных или пропущенных) вопросов. В центре информационной строки отображается количество вопросов и номер текущего вопроса. Справа идет обратный отсчет времени остающегося до конца тестирования. При подведении указателя во всплывающей подсказке показывается общее количество времени, отведенного на прохождение теста. Если ограничения времени нет, то отображается слово «Неограниченно».

В нижней части экрана располагается навигационная панель. Видимость некоторых кнопок зависит от предустановленного режима тестирования. В режиме тестирования «Свободный» отображаются все кнопки и доступны все возможные функции. Рассмотрим работу каждой кнопки в отдельности.

1. «Предыдущий». Предназначена для перехода к вопросу, имеющему порядковый номер на единицу меньше чем текущий вопрос, независимо от состояния этого вопроса (не предъявлялся, пропущен, отвечен). Если текущий вопрос имеет порядковый номер один, то надпись на кнопке изменяется на «Отменить тестирования» и при нажатии на неё произойдет завершение теста без подсчёта количества баллов. Эта управляющая кнопка отображается, если режим тестирования «Свободный» или «Обычный» и не отображается при «Классическом» режиме тестирования.

2. «Список вопросов». Нажатием на эту кнопку вызывается диалог «Список вопросов» (рис. 20).

Рис. 20. Список вопросов

В верхней части этого диалогового окна расположено информационное поле, которой показывает общее количество вопросов теста, количество вопросов, на которые дан ответ и количество пропущенных вопросов. Ниже расположена область выбора очередного вопроса. Здесь в виде строк таблицы представлены вопросы теста. Для каждого вопроса показывается порядковый номер, тип и состояние (отвечен, не отвечен, пропущен). Щелчком указателя на строку какого-либо вопроса происходит переход к этому вопросу. Диалог «Список вопросов» имеет две кнопки: «Назад» - возврат к вопросу, с которого был вызван диалог и «Завершение тестирования» - позволяет завершить тестирование в любой момент времени. Эта управляющая кнопка отображается только в «Свободном» режиме тестирования.

3. «Пропустить». Помечает текущий вопрос как пропущенный и осуществляет переход к следующему. Если текущий вопрос помечен как отвеченный, то название кнопки изменяется на «Как не отвеченный». Эта управляющая кнопка отображается только в «Свободном» режиме тестирования.

4. «Следующий». Помечает текущий вопрос как отвеченный и осуществляет переход к следующему вопросу по нижеприведенному алгоритму.

- Просматриваются вопросы, следующие за текущим до последнего вопроса.

- Если очередной вопрос помечен как не отвеченный (не был предъявлен), то осуществляется переход к нему.

- Если такой вопрос не найден, то просматриваются вопросы от начального до текущего.

- Если очередной вопрос помечен как не отвеченный (не был предъявлен), то осуществляется переход к нему.

- Если такой вопрос не найден, то просматриваются вопросы, следующие за текущим до последнего вопроса.

- Если очередной вопрос помечен как пропущенный, то осуществляется переход к нему.

- Если такой вопрос не найден, то просматриваются вопросы от начального до текущего.

- Если очередной вопрос помечен как пропущенный, то осуществляется переход к нему.

- Если такой вопрос не найден, то возвращается информация, что следующий вопрос не определен.

Перед отображением очередного вопроса вызывается вышеуказанный алгоритм определения следующего. Если следующий вопрос определен, то кнопке «Следующий» ставиться в соответствие действие по переходу на него. Если следующий вопрос не определен (на все вопросы даны ответы), то название этой кнопки изменяется на «Завершение тестирования». И при нажатии на кнопку в этом случае произойдет завершение процесса тестирования и переход к диалогу «Результаты».

Завершение тестирования воз можно следующими путями:

- по истечении времени тестирования, если ограничение времени было установлено;

- нажатием кнопки «Завершение тестирования» в диалоге «Список вопросов» в любой момент времени, если тестирование проходит в «Свободном» режиме;

- нажатием кнопки «Завершения тестирования», которая появляется после выбора ответов на все вопросы.

По завершении тестирования отображается диалог Результаты ТЕСТА (рис. 21).

Рис. 21. Диалог Результаты тестирования

Этот диалог содержит информационное поле с названием дисциплины и темы теста. Ниже выводятся сведения об обучаемом, указанные при регистрации и результат прохождения теста. Результат выводится в виде качественной оценки в соответствии с алгоритмом оценки, сопоставленным данному тесту и в виде процента выполнения теста.

В нижней части диалогового окна расположен ряд функциональных кнопок.

- «Отчет». Выводит в отдельном окне подробный отчет о прохождении и результатах теста. Эта кнопка может отсутствовать, если в параметра теста при редактировании снята отметка с опции «Выводить подробный отчет о результатах».

- «Печать». Выводит в отдельном окне информацию этого диалогового окна и время тестирования в подходящем для печати виде.

- «Завершить». Осуществляет переход к странице, с которой был запущен Модуль тестирования. Если её нет, то отображает диалоговое окно открытия файла теста.

Рассмотрим подробнее отчет, формируемый программой (рис. 22).

Рис. 22. Отчет о прохождении теста

Отчёт о прохождении ТЕСТА содержит информацию, сгруппированную в несколько блоков.

- Заголовок отчета.

- Суммарная статистика.

- Статистика по вопросам.

- Разбор неправильных ответов.

Заголовок отчета с левой стороны отображает информацию о дисциплине теста, теме теста и данные, введенные обучаемым при регистрации, а с правой стороны дату тестирования и время начала и конца тестирования.

Блок суммарной статистики содержит поля:

- Всего вопросов в тесте;

- Дано ответов;

- Правильных ответов;

- Не полных ответов;

- Набрано баллов;

- Затрачено времени.

Блок статистики по вопросам представлен в виде таблицы, где для каждого вопроса теста (тестового задания) отображены следующие характеристики.

- Порядковый номер тестового задания.

- Результат выполнения данного тестового задания. Возможные варианты: «Правильно», если ответ полностью совпадает с эталонным; «Не полный», если указаны не все правильные варианты ответа или /и указаны неправильные; «Неправильный», если ответ обучаемого полностью не совпадает с эталонным; «Пропущен», если это тестовое задание было помечено как пропущенное и на него не был дан ответ; «Не отвечен», если данный вопрос не был предъявлен обучаемому (в данном и предыдущем случае тестирование завершено через диалог «Список вопросов» или по окончании времени).

- Вес вопроса. Отражает значение одноименного параметра, устанавливаемого при редактировании теста в редакторе вопроса, и задает максимальное значение оценки за данное задание.

- Выполнено. При результате выполнения «Правильно» равен 100%, при результате выполнения «Неправильный», «Пропущен» или «Не отвечен» равен 0%, при результате «Не полный» содержит значение на отрезке от 1 до 99%. Для подсчета процента выполнения при не полном ответе используется такой алгоритм (пропорциональный). Сначала подсчитывается количество совпадений S ответа обучаемого с эталонным ответом. Потом вычисляется количество вариантов ответа, отмеченных обучаемым, не совпавших с эталонным N и количество эталонных вариантов ответа, не найденных в ответе, данном обучаемым M. В результате, процент выполнения ответа P расчитывается по следующей формуле.

- Набрано. Содержит значение, полученное процентным произведением значения из поля Вес вопроса на значение поля Выполнено, и оказывает непосредственное влияние на формирование оценки за тест (в 100 бальной системе). Оценкой за тест является отношение суммы значений колонки «Набрано» к сумме значений колонки «Вес вопроса».

- Времени затрачено. Показывает суммарную длительность времени, когда обучаемому отображался на экране данный вопрос с учетом возвратов.

Блок разбора неправильных ответов для каждого тестового задания, на которые не был дан правильный ответ, выводит следующую информацию.

1. Порядковый номер.

2. Формулировка вопроса.

3. Варианты ответа.

4. Отметка ответов, данных обучаемым.

5. Отметка эталонных ответов.

3.4 Практическая апробация примеры и рекомендации

Апробация программного комплекса проводилась в КГТУ им. А.Н. Туполева (КАИ) студентами 4-го курса специальности № 2204 (инженер-программист) и студентами 5-го курса специальности № 0102 (инженер-математик) при изучении дисциплины «Системы искусственного интеллекта».

С помощью данных инструментальных средств проектирования было создано около 60 тестов по темам: «Экспертные системы» и «Онтологии».

На рисунках 23-33 представлены некоторые тестовые задания тестов, созданные во время апробации.

Рис. 23

Рис. 24

Рис. 25

Рис. 26

Рис. 27

Рис. 28

Рис. 29

Рис. 30

Рис. 31

Рис. 32

Рис. 33

При апробации системы в качестве достоинств отмечены следующие возможности системы:

- формирование полного отчета по результатам с разбором неправильных ответов;

- показ результата за тест в виде качественной характеристики, задаваемой в алгоритме оценки;

- возможности навигации по вопросам во время прохождения теста (пропуск, возврат, переход к любому вопросу);

- большое количество настроек;

- ясный и понятный интерфейс.

Апробация оказалась полезной с точки зрения выработанных рекомендаций:

- увеличить количество поддерживаемых типов вопроса;

- уделить дополнительное внимание процедуре сохранения файла, её корректной работе на компьютерах с различными версиями Windows и версиями Internet Explorer;

- в отчете присутствует только разбор неправильных ответов, в некоторых случаях стоит видеть в отчете и правильных ответы;

- добавить возможность изменения типа и размера шрифта;

- добавить возможность использования специальных символов (греческий алфавит, знаков множеств и т.п.);

- кодировать файл теста, чтоб не было возможности узнать правильные варианты ответа, просмотрев содержимое файла в текстовом редакторе;

- разработать специальный интерфейс для редактирования форм для пользователей не знакомых с языком HTML;

- обеспечить корректное сохранение рисунков, при вставке их из буфера обмена командой из контекстного меню или комбинацией клавиш Ctrl+V.

4. Технико-экономическое обоснование дипломной работы

Целью данной работы является разработка и внедрение набора инструментальных средств поддержки тестового контроля знаний.

В данном разделе рассчитывается стоимость его разработки. Экономическая оценка работы заключается в раскрытии следующих пунктов.

- Расчет себестоимости программной системы.

- Расчет затрат на разработку программной системы с использованием постархитектурной модели COCOMO II.

Расчет проводится в рамках научно-исследовательской работы.

4.1 Расчет себестоимости программной системы

4.1.1 Материалы необходимые для разработки дипломного проекта.

Материалы необходимые для разработки дипломного проекта приведены в таблице 1.

Таблица 1. Затраты на материалы

С учетом транспортно-заготовительных затрат (5%):

Зм = 319 + 319 * 0,05 = 334,95 руб.

4.1.2 Расчет заработной платы исполнителей

Затраты по этому пункту можно сосчитать, определив расход времени по стадиям работы.

Определив затраты для типа задач «Создание программного продукта» производится в соответствии с «Типовыми нормами времени на программирование задач для ЭВМ».

Нормы времени указаны с учетом следующих допущений:

1. Число рабочих дней в месяце - 21;

2. Продолжительность рабочего дня - 8 часов.

Таблица 2. Заработная плата исполнителей

Рассчитаем Единый социальный налог (ЕСН).

ЕСН = 15500 * 35,6% / 100% = 5518 руб.

4.1.3 Затраты на использование машинного времени и доступа в Интернет

Затраты на использование машинного времени:

Змв = Тм * Сч

Где Змв - затраты на машинное время, руб.;

Тм - время работы машины, час.;

Сч - стоимость одного часа работы ЭВМ.

Тм = Ди * Мч,

где Ди - количество дней использования ЭВМ: 172 дня (результаты получены экспериментальным путем);

Мч - количество используемых машинных часов в день (учитываются санитарные нормы): 4 часа.

Затраты на машинное время:

Змв = 22 * 172 * 4 = 15136 руб.

Затраты на использование доступа к сети Интернет:

Время работы в сети Интернет примерно 30% от времени работы на машине и равно

ВремяИнтернет = 172 дня * 4 часа * 30% = 206 часа.

Т.к. час работы в Интернет стоит около 15 руб., то

Затраты на доступ к сети Интернет:

ЗатратыИнтернет = 206* 15 = 3090 руб

4.1.4 Накладные расходы

Учитываются расходы на управление и прочее. Величина накладных расходов определяется в процентах от основной и дополнительной заработной платы и составляет в условиях КГТУ 110%. Накладные расходы можно сосчитать по формуле:

Знк = (ЗП+ЕСН) * 1,1 = (15500+5518) * 1,1 = 23120 руб.

4.1.5 Результаты расчетов цены программного продукта

Таблица 3. Сводная смета затрат

Итоговое число представляет собой себестоимость программного продукта.

4.2 Расчет затрат на разработку программной системы с использованием постархитектурной модели COCOMO II

Оценка размера проекта по созданию программного обеспечения является важным моментом в цикле производства программного продукта. Неправильная оценка размеров проекта приводит к снижению качества продукта или к нарушению сроков его создания. Исследования в области оценки размеров программ ведутся довольно давно, однако реальных успехов в практическом применении моделей и методов оценки пока немного. Наиболее распространенной моделью оценки является модель COCOMO II.

4.2.2 Краткое описание модели COCOMO II

Наиболее известной моделью данного рода является конструктивная модель стоимости (Constructive Cost Model - COCOMO), разработанная в конце 70х годов Барри Боэмом (Barry Boehm). Построенная на основе анализа ряда проектов, выполненных в основном в интересах Министерства Обороны США, она устанавливает соответствие между размером системы в тысячах условных строк кода и «классом» проекта, с одной стороны, и трудоемкостью разработки системы, с другой стороны.

Базовый тип модели COCOMO учитывает только класс проекта - естественный, полуинтегрированный, «встроенных систем». Естественные проекты - относительно маленькие и разрабатываются командами, знакомыми с прикладной областью. Полуинтегрированные проекты - системы среднего размера и сложности, разрабатываемые группами разработчиков с различным опытом. Проекты «встроенных систем» выполняются при значительных аппаратных, программных и организационных ограничениях. Промежуточный тип модели вводит 15 поправочных факторов, принадлежащих к одной из четырех категорий: атрибуты продукта, такие, как его сложность и требования к его надежности; атрибуты системы, такие, как ограничения на оперативную память и время выполнения; атрибуты команды, такие, как опыт в прикладной области; и атрибуты проекта, такие, как используемые средства разработки. Продвинутый тип модели дополнительно вводит разбиение по стадиям жизненного цикла.

Со временем модель СОСОМО оказалась устаревшей в значительной своей части. Поэтому на ее основе была разработана модель СОСОМО II, опубликованная в 1999 году. Она усовершенствует оригинальную модель в следующих основных направлениях:

- использование входных данных, доступных на ранних этапах жизненного цикла системы для оценки ее сложности (в частности, использование функциональных точек);

- новые - циклические и обобщенные - модели процессов разработки;

- подходы, основанные на повторном использовании, включая интеграцию коммерческих продуктов, реинжиниринг, генерацию приложений;

- объектно-ориентированные подходы, поддерживаемые распределенным ПО промежуточного слоя;

- влияние зрелости процессов разработки.

4.2.2 Оценка программного комплекса с использованием модели COCOMO II

Для описания моделей COCOMO II требуется информация о размере программного продукта. Для этого будем использовать LOC-оценку (Lines Of Code). LOC-оценка - это количество строк в программном продукте.

В нашем случае LOC 5060, т.е. KLOC (тысячи строк кода) 5.

Основное уравнение постархитектурной модели имеет следующий вид:

[чел.-мес],

Где масштабный коэффициент ;

коэффициент оценки влияния изменчивости требований,

где - процент кода, модифицированного из-за изменения требований. В нашем случае изменения требований не происходило, т.е. , значит .

показатель, отражающий нелинейную зависимость затрат от размера проекта. Значение изменяется в диапазоне 1,01 … 1,26, зависит от пяти масштабных факторов и определяется по формуле

Расчет масштабных факторов

Итак .

слагаемое, используемое, если некоторый процент программного кода генерируется автоматически. В нашем случае , т.к код автоматически не генерировался.

размер программной системы, выраженный а тысячах LOC (KLOC). Для разработанной программной системы KLOC.

множитель поправки, зависит от 17 факторов , характеризующих продукт, аппаратуру, персонал и проект.

Оценка пост-архитектурных факторов затрат

Итак,

[чел.-мес],

5. Безопасность и экологичность дипломного проекта

Данная работа заключается в разработке информационно-управляющей системы (программное обеспечение для станции оператора). Помещение, в котором производилась разработка программного обеспечения, относится к лаборатории. Помещение лаборатории характеризуется наличием следующих условий:

1. Относительной влажностью менее 75%;

2. Отсутствием токопроводящей пыли;

3. Изолирующими деревянными полами;

4. Нормальной температурой воздуха.

В соответствии с ПУЭ это помещение лаборатории относится к I классу без повышенной опасности.

Категория тяжести работ, выполняемых на ЭВМ относится к (I), группа трудовой деятельности - А (считывание информации с экрана, но не более 20000 знаков).

При 8 часовой рабочей смене и работе на ЭВМ, регламентированные перерывы следует устанавливать через каждые 2 часа продолжительностью 15 минут каждый.

При работе с ПЭВМ обслуживающий персонал может столкнуться с такими вредными факторами как:

1. электромагнитное излучение;

2. удар электрическим током;

3. поражение молнией.

5.1 Техника безопасности при работе с ПЭВМ

Работа с ПЭВМ связана с опасностью поражения электрическим током. Электрический ток, проходя через тело человека, парализует мышцы его тела.

При поражении электрическим током необходимо:

1. обесточить электрооборудование;

2. освободить пострадавшего от соприкосновения с токоведущими частями оборудования;

3. вызвать скорую медицинскую помощь;

4. если у пострадавшего замедлилось или совсем прекратилась сердечная деятельность, то вместе с искусственным дыханием нужно делать массаж сердца.

К работе с ПЭВМ допускаются лица, предварительно прошедшие инструктаж по технике безопасности и расписавшиеся в журнале регистрации инструктажа по технике безопасности.

В случае обнаружения неисправностей электропроводки, нарушения изоляции проводов, пробоя на корпусе и других отклонения от правил безопасной эксплуатации следует обязательно довести до сведения ответственных лиц.

5.2 Требование к персоналу, обслуживающему ЭВМ и указание мер безопасности при работе

1. К работе допускаются лица, изучившие инструктаж по ТБ на рабочем месте и имеющие квалификационную группу по ТБ не ниже I - для эксплуатации, не ниже III - для технического обслуживания и ремонта электрооборудования.

2. При работе за невыполнение правил ТБ несут ответственность как руководитель работ, так и обслуживающий персонал.

3. Руководитель лаборатории несет ответственность за:

- проведение мероприятий по созданию безопасных условий учебного процесса,

- инструктаж и организацию обучения персонала технике безопасности при выполнении работ;

- контроль за выполнением “Правил и инструкций по ТБ”;

- обеспечение персонала инструкциями, правилами, нормами.

4. Корпус ЭВМ перед эксплуатацией должен быть заземлен.

5. Не допускается эксплуатировать ЭВМ при отсутствии или неисправности заземления, при открытой крышке корпуса, а также при неисправности сетевой вилки и шнура питания.

6. Включение в сеть и отключение от сети стенда производить при отключенном сетевом выключателе, запрещается выключение выдергиванием вилки из розетки за шнур.

7. Не допускается установка и эксплуатация ЭВМ в помещениях с повышенной опасностью и особо опасных без принятия мер, исключающих возможность прикосновения людей к корпусу. В случае установки в непосредственной близости к отопительным приборам, последние должны быть ограждены деревянными декоративными щитами.

5.3 Метеорологические условия и вентиляция

Помещение, в котором производилась разработка программного обеспечения, относится к лаборатории. В соответствии с ПУЭ помещение лаборатории относится к I классу без повышенной опасности (сухие, беспыльные помещения с нормальной температурой воздуха и изолирующими деревянными полами). Метеоусловия в рабочей зоне помещения регламентируются по ГОСТу 12.1.005-88.

Это помещение с незначительными избытками явного тепла (не превышает 23 Дж/м2). Категория работ Iа. Допустимая температура воздуха от 190С до 250С; допустимая относительная влажность - 75%; скорость движения воздуха - 0,2 м/c.

В рассматриваемом помещении естественная вентиляция имеет организованный и неорганизованный характер, в соответствии со СНиП 2.04.05 - 91.

Свободный объем помещения равен 98 м3; на каждого человека приходится порядка 33м3.

Воздух подается и удаляется из помещения через неплотности окон и дверей, а также через форточки, окна, открываемые без всякой системы.

5.4 Нормирование шума и вибрации

Допустимые уровни шума и вибрации в помещении на рабочих местах соответствует СН 2.2.4/2.1.8-562-96.

Для уменьшения шума в лабораторном помещении используется специальная шумопоглощающая отделка. Для этого используют пористые материалы в виде плиток, которые эффективно поглощают звук. Уровень звукового давления не превышает допустимого значения 50 дБ. Источники вибрации отсутствуют.

5.5 Электробезопасность

Средства защиты обслуживающего персонала:

- защитное заземление;

Расчет заземления

Удельное сопротивление суглинистого грунта с песком S = 100 Омм3.

Коэффициент удельного сопротивления грунта от влажности = 1,2. Расчетное удельное сопротивление грунта = 100 = 120 Омм3. Сопротивление заземления определяем по формуле:

l = 3 - длина заземлителя [м],

d = 0,014 - диаметр заземлителя,

tt = 0,5l + t0 - расчетная глубина заземлителя,

t00 м.

Вычисляем необходимое количество заземлителей для снижения сопротивления до норм ПУЭ (Rн4 Ом).

n = R0/(Rн э) = 53,84/(4 0,8) = 17

где э = 0,8 - коэффициент экранирования заземлителей.

Найдем сопротивление соединителей стальной полосы

Где L = 50 м - длина полосы,

b0.12 м - ширина полосы,

t00,5 м - глубина заложения полосы.

Находим сопротивление всего заземляющего устройства

где п - коэффициент взаимного экранирования заземлителей с полосой.

Согласно ПУЭ сопротивление заземляющего устройства должно быть не более 4 Ом.

5.6 Расчет освещения в лабораторном помещении

Согласно СНиП 23.05-95 данное помещение по характеру зрительных работ относится к 4-му разряду, подразряду а:

- средняя точность;

- размер объектов различения, 0.5-1 мм.

Для освещения помещения используется как естественный, так и искусственный свет.

Расчет естественного освещения:

Расчет производится согласно СНиП 23.05-95 “Естественное и искусственное освещение”. Помещение имеет размеры:

- длина - 7,0 м;

- ширина - 4,0 м;

- высота - 3,5 м.

Освещение боковое, одностороннее, выделение пыли и других аэрозолей с концентрацией не более 5 мг/м3, остекление вертикальное, рамы деревянные двойные.

Определим необходимую площадь световых проемов.

Площадь пола помещения S = 28 м2.

Нормальный коэффициент естественного освещения:

lн = e m c = 1.0 1 1 = 1,0 [KEO]

e = 1,0 - значение KEO в % при рассеянном свете от небосвода, определяемое с учетом точности работ, вида освещения и географического расположения,

m = 1 - коэффициент светового климата,

c = 1 - коэффициент солнечного климата,

- световая характеристика окна

=16 (L=7; B=7; h=2,5)

Kзд = 1,0 - коэффициент, учитывающий уменьшение KEO от затемнения противостоящим зданием;

t0 - общий коэффициент светопропускания

t0 = t1 t2 t3 t4 = 0,8 0,6 0,7 0,8 = 0,27,

t1 = 0,8 - учитывает потери света в материале,

t2 = 0,6 - учитывает потери света в несущих конструкциях,

t3 = 0,7 - учитывает потери света при боковом освещении,

t4 = 0,8 - учитывает потери света в солнцезащитных устройствах,

r1 = 3- коэффициент, учитывающий повышение KEO при боковом освещении благодаря свету, отраженному от внутренних поверхностей,

S0 - площадь световых проемов

Sп - площадь пола.

Для естественного освещения помещения необходимо два окна размером 1,62,4 м. В этом случае площадь световых проемов составит 7,68 м2.

Расчет искусственного освещения

Лаборатория освещена искусственным светом. Он создается светильником ПВЛМ - подвесной пылеводозащищенный светильник с люминесцентными лампами ЛБ - 40 (в светильнике 2 лампы). Помещение по задачам зрительной работы относится к 1 группе, подразряд А.

Индекс помещения

i = Sп / h (A+B) = 28 / 3,5 (7,0+4,0) = 0,727.

Sп - площадь пола в помещении [м2],

h - высота помещения [м],

A, B - длина и ширина [м],

Принимаем:

- Е = 300 лк - нормированная освещенность,

- к = 1,2 - коэффициент запаса,

- светильники типа УВЛН-2x40-1,

- лампы типа ЛБ-40,

- F = 3120 лм - световой поток лампы.

Для рассчитанного индекса помещения находим по таблице коэффициент использования светового потока n = 0,6.

Коэффициент отражения потолка - 70%.

Коэффициент отражения стен - 50%.

Отношение средней освещенности к минимальной:

Z = Eср / Emin = 1,1.

Требуемое количество ламп:

Количество светильников 3 штуки по 2 лампы в каждом.

5.7 Молниезащита

Для защиты зданий и сооружений применяют молниеотводы по РД 34.21.122-87. Ожидаемое количество N поражений молнией в год:

N = ((S + 6 h) (L + 6 h) - 7,7 h2) n 10-6,

S = 40 м - ширина здания,

L = 60 м - длина здания,

h = 15 м - наибольшая высота здания,

n = 2 - удельная плотность ударов молний в землю (для г.Казани n=2);

N = ((40 + 6 15) (60 + 6 15) - 7,7 152) 2 10-6 = 0,035.

Помещение принадлежит к категории III, зона защиты Б (помещение согласно ПУЭ относится к зонам классов П-IIа; (для района расположения г. Казани 20-40гроз/ч)).

Защита осуществляется одиночным стержневым молниеотводом. Зона его защиты имеет габариты hx =13 м - высота защищаемого здания.

Радиус зоны защиты на высоте защищаемого здания,

rx =

h = hx /0.92+ rx /1.5= 28,13 м.

r0 - радиус зоны защиты на уровне земли, r0 = 1,5 h = 42,19 м

h0 - высота вершины конуса защиты, h0 = 0,92 h = 25,88 м.

Для защиты здания необходим один стержневой молниеотвод.

5.8 Пожарная безопасность

По пожарной безопасности помещение лаборатории относится, согласно НПБ-105-03, к категории Д. Согласно СНиП 21.01-97 степень огнестойкости II.

Согласно ППБ 01-03 к первичным средствам пожаротушения, немеханизированному инструменту и инвентарю относятся:

1. огнетушители (воздушно-пенные (ОВП), порошковые (ОП), углекислотные (ОУ));

2. ведро;

3. асбестовое полотно, грубошерстная ткань или войлок;

4. лопата штыковая;

5. лопата совковая.

5.9 Электромагнитное излучение

Согласно ГОСТ 12.1.006-84 “Электромагнитные поля радиочастот”, напряженность электромагнитного поля по электрической составляющей на расстоянии 50см от поверхности монитора не превышает допустимого значения 10В/м.

Напряженность электромагнитного поля для взрослого пользователя не превышает 20кВ/м.

5.10. Мероприятия по охране окружающей среды

Прямого вредного воздействия от работы ЭВМ на окружающую среду нет.

Заключение

Программный продукт предназначен для проведения тестирования как на локальном компьютере, так и через Интернет.

Экономический эффект от внедрения рассчитать не представляется возможным. Тем не менее ввиду нехватки на российском рынке качественного программного обеспечения подобного рода можно утверждать, что данный программный продукт будет востребован.

В текущем разделе произведены расчеты себестоимости программного обеспечения. Величина произведенных затрат подтверждена результатами расчетов затрат на разработку программной системы с использованием постархитектурной модели COCOMO II

Список литературы

1. Ананьев Б.Г. Избранные психологические труды. В 2-х т. - М.: Педагогика, 1980. - 287с.

2. Беспалько В.П. Основы теории педагогических систем. - М.: Просвещение, 1986. - 213с.

3. Талызина Н.Ф. Управление процессом усвоения знаний. - М.: Изд-во МГУ, 1984. - 344с.

4. Бобков Н.Е. Контроль качества усвоения учебного материала // Новые исслед. в пед. науках. - 1986. - №2. - С. 34-40.

5. Бочаров Е.П. Система автоматизированного тестирования компетентности специалистов / Е.П. Бочаров, С.А. Данилов // Приборы и схемы управления, - 1988. - №11. - С. 41-42.

6. Гуревич Ю.Г. Психологические особенности учебной деятельности./ Ю.Г. Гуревич, С.В.Кошелева. - Иркутск: Изд-во Иркут. ун-та, 1988. - 71с.

7. Дружинин В.Н. Диагностика способностей и личностных черт учащихся в учебной деятельности / В.Н. Дружинин, Е.А. Миронов, А.В. Карпов - Саратов: Изд-во Сарат. ун-та, 1989. - 218с.

8. Добрынина Г.Н. Статистическая характеристика «абсолютная дифференцирующая сила» «системность» контрольного задания / Г.Н. Добрынина, И.К. Фрайнт // Проблемы педагогических измерений: Межвуз. Сб. науч. Трудов. - М.: МГПИ им. Ленина, 1984. - С. 34-42.

9. Дружинин В.Н. Вероятностная модель теста и измерение личностных свойств // Диагностика познавательных способностей. - Ярославль: ЯГПИ, 1986. - С.39-48.

10. Левин А.В. О возможности автоматизации массового контроля знаний учащихся / А.В. Левин, Г.А. Саратов // Проблемы педагогических измерений: Межвуз. сб. науч. трудов. - М.: МГПИ им. Ленина, 1984. - С. 4-11.

11. Павлов Ю.В. Оценка качества уровня понятий младшими школьниками Гносеологическое обоснование методов начального обучения. Межвуз. сб. науч тр. - М., 1984. - С. 111-114

12. Полонский В.М. Оценка знаний школьников. - М.: Знание, 1981.- 96с.

13. Психологические основы программирования обучения / Под ред. Н.Ф. Талызиной. - М.: Изд-во Моск. ун-та, 1984. - 418с.

14. Саратов Г.А. Многомерное шкалирование скрытых факторов, влияющих на решение контрольных заданий // Проблемы педагогических измерений: Межвуз. сб. науч. трудов. - М.: МГПИ им. Ленина, 1984. - С. 43-68.

15. Гинецинский В.И. Знание как категория педагогики. Опыт педагогической когнитогогии. - Л: Изд-во ЛГУ, 1989. - 144 с.

16. Психологические исследования интеллектуальной деятельности / Под ред. О.К. Тихомирова. -М.: Изд-во МГУ, 1979. - 232 с.

17. Фридман Л.М. Обучение математике в школе. - М.: Просвещение, 1983. 187 с.

18. Терехина А.Ю. Представление структуры знаний методами многомерного шкалирования. - М.: ВНИИ системных исследований, 1988 - 53 с.

19. Фрайнт И.К. Применение теории графов для анализа логической структуры учебного материала // Проблемы педагогических измерений, Межвуз. сб. научн. Трудов. - М.: МГПИ им Ленина, 1994. - С.20-23.

20. Пеннер Д.И. Программированные знания для установления уровня усвоения («уровня знания») / Д.И. Пеннер, Э.Д. Корж, Б.И. Дегтярев // Проблемы программированного обучения. - Владимир, 1983. -С. 60-66.

21. Талызина Н.Ф. Педагогическая психология. Психодиагностика интеллекта: Учебно-методическое пособие / Н.Ф. Талызина, Ю.В. Карпов -М.: Изд-во МГУ, 1987. - 63с.

22. Фридман Л.М. Педагогический опыт глазами психолога. - М.: Просвещение, 1987. - 224с.

23. Пфанцагль И. Теория измерений / Пер. с англ. В.Б. Кузьмина, Под ред. С.В. Овчинникова. - М.: Мир, 1976. - 248 с.

24. Кельниш В.В. Принципы разработки автоматизированной диагностической системы оценки готовности персонала энерго предприятий к профессиональной деятельности / В.В. Кельниш, Е.В. Романенко, В.Д. Самойлов // Электрон. моделирование. - 1990. - 12, 4. - С. 74-80.

25. Оконь В. Введение в общую дидактику. - М.: Высш.школа, 1990. - 382 с.

26. Петухов В.В. Психология мышления. - М.: Изд-во МГУ, 1987. - 96с.

27. Компьютерная технология обучения: Словарь-справочник / Под ред. В.И. Гриценко, А.М. Довгялло, А.Я. Савельева. - Киев: Наукова думка, 1992. 650с.

28. Анастази А. Психологическое тестирование. В 2-х т. - М.: Педагогика, 1982.

29. ГОСТ 12.1.005-88 ССБТ. Общие санитарно-гигиенические требования к воздуху рабочей зоны.

30. Правила устройства электроустановок (ПУЭ-85). - М.: Минэнергоатомиздат, 1987. - 648 с.

31. СНиП 23-05-95. Естественное и искусственное освещение. - М.: Минстрой России, 1995. - 35 с.

32. РД 34.21.122-87. Инструкция по устройству молниезащиты зданий и сооружений. - М.: Стройиздат, 1988. - 27 с.

33. НПБ 105-03. Определение категорий помещений и зданий по взрывопожарной и пожарной опасности.