Презентация на тему OS

Организация параллельной работы устройств ввода-вывода и процессора
4.2.2. Согласование

скоростей обмена и кэширование данных
4.2.3. Разделение устройств и данных между процессами 4.2.4. Обеспечение логического интерфейса между устройствами и остальной частью системы 4.2.5. Поддержка широкого спектра драйверов
4.2.6. Динамическая выгрузка и загрузка драйверов
4.2.7. Поддержка нескольких файловых систем
4.2.8. Поддержка синхронных и асинхронных операций ввода-вывода

4.3. Многослойная модель подсистемы ввода-вывода

задачи файловой системы
4.4.2. Архитектура файловой системы
4.4.3. Организация файлов и

доступ к ним
4.4.4. Каталоговые системы
4.4.5. Физическая организация файловой системы

Литература

Базовый учебник с. 178 - 229
Л1 с. 253 – 308;
Л2 с. 545 – 568;
Л4 с. 304 – 363, 477 – 496.

Работающие с пользователем. Используются для связи с пользователем компьютера

(принтеры, дисплеи, клавиатура, манипуляторы (мышь, джойстик и т. п.).
2. Работающие с компьютером. Используются для связи с электронным оборудованием (диски, магнитные ленты, датчики, контроллеры, преобразователи и т. п.).
3. Коммуникации. Используются для связи с удаленными устройствами (модемы, адаптеры цифровых линий и др.).

Типы устройств по принципам функционирования:
Блочные, хранящие информацию в виде адресуемых блоков фиксированного размера и позволяющие работать с каждым блоком независимо от других блоков ( дисковые устройства).
Символьные, принимающие или предоставляющие поток символов без какой-либо структуры (принтеры, модемы, сетевые карты).

(на несколько порядков).
Применение. Один и тот же тип устройства

может требовать различного ПО и стратегии операционной системы (диск для хранения файлов приложений и файла подкачки, терминал пользователя и администратора).
Сложность управления (для принтера относительно простой интерфейс управления, для диска – намного сложнее).
Единицы передачи данных. Данные могут передаваться блоками или потоком байтов или символов.
Представление данных. Различные устройства используют разные схемы кодирования данных, включая различную кодировку символов и контроль четности.
Условия ошибок. Природа ошибок, способ сообщения о них, возможные ответы резко отличаются от одного устройства к другому.

в секунду

устройств ввода-вывода и процессора.
2. Согласование скоростей обмена и кэширование

данных.
3. Разделение устройств и данных между процессами.
4. Обеспечение удобного логического интерфейса между устройствами и остальной частью системы.
5. Поддержка широкого спектра драйверов с возможностью простого включения в систему нового драйвера.
6. Динамическая загрузка и выгрузка драйверов.
7. Поддержка нескольких файловых систем.
8. Поддержка синхронных и асинхронных операций ввода-вывода.

Основные компоненты: драйверы, файловая система, система прерываний

процессора
Эволюция ввода – вывода
1. Процессор непосредственно управляет периферийным

устройством.
2. Устройство управляется контроллером. Процессор использует программируемый ввод - вывод без прерываний (переход к абстракции интерфейса ввода - вывода).
3. Использование контроллера прерываний. Ввод-вывод, управляемый прерываниями.
4. Использование модуля (канала) прямого доступа к памяти. Перемещение данных в память (из нее) без использования процессора.
5. Использование отдельного специализированного процессора ввода-вывода, управляемого центральным процессором.
6. Использование отдельного компьютера для управления устройствами ввода-вывода при минимальном вмешательстве центрального процессора.

операции ввода-вывода
Запрос состояния контроллера ввода-вывода
Проверка состояния
Не готов
Готов
Получить слово от

контроллера ввода-вывода

Записать слово в память

Все выполнено ?

Вызов драйвера

Текущая команда программы

Нет

Да

Следующая команда

Программируемый ввод-вывод без прерываний
Процессор посылает необходимые команды контроллеру ввода-вывода и переводит процесс в состояние ожидания завершения операции ввода-вывода.

операции ввода-вывода
Запрос состояния контроллера ввода-вывода
Проверка состояния
Не готов
Готов
Получить слово от

контроллера ввода-вывода

Записать слово в память

Все выполнено ?

Вызов драйвера. Передача команды контроллеру.

Текущая команда программы

Нет

Да

Следующая команда

2. Ввод-вывод, управляемый прерываниями. Процессор посылает необходимые команды контроллеру ввода-вывода и продолжает выполнять процесс, если нет необходимости в ожидании выполнения операции. В противном случае процесс приостанавливается до получения прерывания, а процессор переключается на выполнение другого процесса.

Выполнение других
действий

ПРЕРЫВАНИЕ

контроллер и переходит в состояние ожидания

2
Контроллер запускает устройство

3
Контроллер завершил

операцию

3

4

Возбуждение сигнала прерывания

5

5

Обработка прерывания, перемещение данных в область программы, передача управления программе

Перенос данных в буфер. Сигнал в DMA.
Запрос от DMA

на перенос данных. Запись слова в память контроллером. Сигнал в DMA.

Все выполнено ?

Системный вызов для выполнения операции ввода-вывода. Вызов драйвера. Программирование DMA

Нет

Да

Прерывание

Выполнение других действий

3. Прямой доступ к памяти. Модуль прямого доступа к памяти управляет обменом данных между основной памятью и контроллером ввода-вывода. Процессор посылает запрос на передачу блока данных модулю прямого доступа к памяти, а прерывание происходит только после передачи всего блока данных.

DMA увеличивает адрес памяти и уменьшает счетчик байтов

DMA

1

3
DMA запрашивает перенос данных


5
4

5
Подтверждение

Буфер

Диск

DMA
2



2
4
4
Перенос данных
Оперативная память
Контроллер
Шина
Работа DMA-контроллера
2
3
3

2
Программирование контроллера
3

к о м а н д

ы

Выборка команды

Декодиро-вание команды

Выборка операнда

Выполнение команды

Сохранение результата

Прерывание процесса

Точка прерывания

Точки прерывания DMA

Цикл процессора

Цикл процессора

Цикл процессора

процесс
Пользовательский процесс
Пользовательский процесс
Пользовательский процесс
Операционная система
Ввод
Ввод
Ввод
Ввод
Устройства ввода
Без буферизации
Одинарная буферизация
Двойная

буферизация

Циклическая буферизация

Перемещение

Перемещение

Перемещение

T

C

M

T + C

Одинарная буферизация max {T, C} + M
в большинстве случаев T + C > max {T, C}
Двойная буферизация max {T, C}
если C <= T, то блочно-ориентированное устройство может работать с максимальной скоростью;
если C > T, то процесс избавляется от необходимости ожидания завершения ввода-вывода.
Циклическая буферизация используется при высокой частоте ввода-вывода.
Буферизация данных позволяет сократить количество реальных операций ввода за счет кэширования данных.

Обеспечение логического интерфейса между устройствами и остальной частью системы
4.2.5.

Поддержка широкого спектра драйверов

Операционная система

Драйвер

Контроллер

Внешнее устройство

Интерфейс драйвер – устройство (Driver Device Interface, DDI)

Интерфейс драйвер – ядро (Driver Kernel Interface, DKI)

Аппаратный низкоуровневый интерфейс контроллер - устройство

управления устройствами. Постановка запросов в очередь
Проверка входных параметров запросов

и обработка ошибок
Инициализация устройства и проверка статуса устройства
Управление энергопотреблением устройства.
Регистрация событий в устройстве
Выдача команд устройству и ожидание их выполнения возможно в блокированном состоянии до поступления прерывания от устройства
Проверка правильности завершения операции
Передача запрошенных данных и статуса завершенной операции
Обработка нового запроса при незавершенном предыдущем запросе (для реентерабельных драйверов)

нескольких файловых систем
4.2.8. Поддержка синхронных и асинхронных операций ввода-вывода





P3
Контроллер




Операция

ввода-вывода

ПроцессорP2

P1

P2

P3

P2

P1

Завершение операции ввода-вывода

Контроллер

Операция ввода-вывода

Процессор

P1

P2

P3

P2

P1

Синхронизация (событие, Мьютекс)

P1

P1

P2

P3

P3

P1

P1

вызовы

Диспетчер прерываний, функции доступа к аппаратуре

Байт-ориентированный интерфейс

VFS

Блок-ориентированный интерфейс

UFS

NTFS

FAT

Дисковый кэш

Драйвер HD

Драйвер FD

Контроллеры
устройств ввода-вывода

Диски

Графические устройства

Дисковые устройства

Сетевые устройства

Низкоуровневые графические драйверы

Диспетчер окон

Высокоуровневые графические драйверы

HTTP

FTP

SMB

TCP/UDP

SPX

IP

IPX

NetBEUI

Ethernet

FR

ATM

Межмодульный обмен, связывание, буферизация, синхронизация, к другим подсистемам

задачи файловой системы
Причины создания файловых систем:
Необходимость длительного (иногда вечного)

и надежного хранения больших объемов информации.
Обеспечение возможности совместного использования информации различными приложениями. Эффективное разделение, защита и восстановление данных.
Решение этих проблем заключается в хранении информации в файлах. Файл – это поименованная совокупность данных, хранящаяся на каком-либо носителе информации.
При рассмотрении файлов используются следующие понятия:
Поле (field) – основной элемент данных.
Запись (record) – набор связанных полей, которые могут обрабатываться как единое целое.
Файл (file) – совокупность однородных записей.
База данных (database) – набор связанных данных, представленных совокупностью файлов

включающая:
совокупность всех файлов на различных носителях информации (магнитные диски,

магнитные ленты, CD-ROM и т. п.);
наборы структур данных, используемых для управления файлами (каталоги и дескрипторы файлов, таблицы распределения свободного и занятого пространства носителей информации);
комплекс системных программных средств, реализующих различные операции над файлами (создание, чтение, запись, уничтожение, изменение свойств и др.).

и требованиям со стороны пользователей, включающим возможности хранения данных

и выполнения операций с ними;
гарантирование корректности данных, содержащихся в файле;
оптимизация производительности, как с точки зрения системы (пропускная способность), так и с точки зрения пользователя (время отклика);
поддержка ввода-вывода для различных типов устройств хранения информации;
минимизация или полное исключение возможных потерь или повреждений данных;
защита файлов от несанкционированного доступа;
обеспечение поддержки совместного использования файлов несколькими пользователями (в том числе средства блокировки файла и его частей, исключение тупиков, согласование копий и т. п.);
обеспечение стандартного набора подпрограмм интерфейса ввода-вывода.

диалоговой системы общего назначения
1. Создание, удаление, чтение и

изменения файлов.
2. Контролируемый доступ к файлам других пользователей.
3. Управление доступом к своим файлам.
4. Реструктурирование файлов в соответствии с решаемой задачей.
5. Перемещение данных между файлами.
6. Резервирование и восстановление файлов в случае повреждения.
7. Доступ к файлам по символическим именам.

ный
Индексиро-ванный
Прямого доступа
Пользовательская программа

Логический ввод -

вывод

Диспетчер (супервизор) базового ввода - вывода

Базовая файловая система (уровень физического ввода-вывода)

Д Р А Й В Е Р Ы

Методы доступа

Доступ к записям

Выбор устройства, пла-нирование распределе-ния внешней памяти

Буферизация, обмен блоками

Инициализация, выпол-нение и завершение опе-рации

Типы, именование и атрибуты файлов
Обычные файлы – содержат информацию,

занесенную пользователем, системной или прикладной программой.
Каталоги – системные файлы, поддерживающие структуру файловой системы.
Специальные файлы – фиктивные файлы, ассоциированные с устройствами ввода-вывода и используемые для унификации доступа к последовательным устройствам ввода-вывода.
Именованные конвейеры (каналы) – циклические буферы, позволяющие выходной файл одной программы соединить со входным файлом другой программы.
Отображаемые файлы – обычные файлы, отображаемые на адресное пространство процесса по указанному виртуальному адресу.

Правила именования файлов зависят от операционной системы, например в MS DOS - правило 8. 3

Обычный, каталог, специальный и т. д.
Владелец файла Текущий владелец
Создатель файла Идентификатор пользователя, создавшего файл
Пароль Пароль для получения доступа к файлу
Время Создания, последнего доступа, последнего изменения
Текущий размер файла Количество байтов в записи
Максимальный размер Количество байтов, до которого можно увеличивать размер файла
Флаг «только чтение» 0 – чтение-запись, 1 – только чтение
Флаг «скрытый» 0 – нормальный, 1 – не показывать в перечне файлов каталога
Флаг «системный» 0 – нормальный, 1 – системный
Флаг «архивный» 0 – заархивирован, 1- требуется архивация
Флаг ASCII/двоичный 0 – ASCII, 1 – двоичный
Флаг произвольного доступа 0 – только последовательный доступ, 1 – произвольный доступ
Флаг «временный» 0 – нормальный, 1 – удаление после окончания работы процесса
Позиция ключа Смещение до ключа в записи
Длина ключа Количество байтов в поле ключа

байт (ОС UNIX).

Модель 2. Структурированный файл : смешанный, последовательный,

индексно-последовательный, индексированный, прямого доступа.

Смешанный файл

Поле 1

Поле 2

Поле 3

Поле 1

Поле 1

Поле 2

Поле 2

Поле 3

Последовательный файл

Поле 1

Поле 1

Поле 1

Поле 2

Поле 2

Поле 2

Поле 3

Поле 3

Поле 3

Достоинства: рациональное использование дискового пространства, хорошо подхо-дят для полного перебора

Недостатки: сложность встав-ки и обновления записей

Достоинства: оптимальный вариант для пакетных приложений, записи хранятся в ключевой последовательности, возможно хранение на диске и МЛ. Возможна организация в виде списка, что упрощает вставку новых записей.

Каждое поле описывает само себя (имя, длина, значение). Доступ – полный перебор.

Записи имеют одну длину, одни и те же поля и хранят только значения полей (одно поле – ключевое). Атрибуты файловой структуры: имя и длина каждого поля.

Недостатки: малоэффективен для диалоговых приложений

на файл переполнения
Файл переполнения
1
2
3
Главный файл
Достоинства: сокращение времени доступа при

увеличении уровней индексации. Недостатки: 1. Эффективная работа с файлом ограничена работой с ключевым полем. 2. Дополнительные затраты времени на периодическое слияние с файлом переполнения.

содержит по одному элементу для каждой записи главного файла.
2.

Частный индекс содержит элементы для записей, в которых имеется интересующее пользователя поле.
3. При добавлении новой записи в главный файл необходимо обновлять все индексные файлы.
4. Индексы организуются в виде последовательных файлов.
Достоинство: быстрый доступ. Недостатки: большая избыточность данных, неэффективность обработки всех записей файла.

Полный индекс 1

Полный индекс 2

Частичный индекс

Основной файл (записи переменной длины)

Файл прямого доступа

1. Обеспечивает прямой доступ к любой записи фиксированной длины по известному адресу (ключу) при хранении файлов на диске.
2. Достоинства: быстрый доступ к любой записи, простота вставки, удаления и модификации записей.
3. Недостатки: записи фиксированной структуры и длины.

3
ДЕРЕВО
Корневой каталог








User 1
User 1
User 2
User 3
СЕТЬ
Один файл – одно

полное имя

Один файл – много полных имен

Файловый каталог является связующим звеном между системой управления файлами и набором файлов

после монтирования
Обычный файл
Каталог
Специальный файл-устройство
Монтирование
/ (root)
/ (root)
/ (root)
dev
dev
t

t
t

r
r
r
user
user
home
home
bin
bin
man
man
loc
loc
man1
man1
man2
man2
f1
f1
f2
f2

дорожки, цилиндры, секторы, кластеры.
Низкоуровневое форматирование – создание дорожек и

секторов.

Высокоуровневое форматирование – создание разделов и кластеров для определенной файловой системы или нескольких файловых систем.

A:

Р А З Д Е Л Ы (первичные и расширенные)

Загрузочный блок

MBR

Таблица разделов

С:

D:

E:

Суперблок –таблица параметров

Карта дискового пространства

i-узлы

Каталоги и файлы

Корневой каталог

Системная область

Область данных

З

С

NSB

NSB (Non –System Bootstrap) – внесистемный загрузчик

h - s

с – номер цилиндра, h – номер головки, s – номер сектора

2 способ: LBA A = (c * H + h) * S + s – 1 H – число рабочих поверхностей в цилиндре, S – количество секторов на дорожке

Структура элемента таблицы разделов

Системные идентификаторы: 06h – FAT16, 07h – NTFS, 0Bh – FAT32

Boot Record
Загрузочный сектор диска C:
Карта дискового пространства

Данные

Первичный раздел (диск

C:)

Данные

Карта дискового пространства

Secondary Master Boot Record

Загрузочный сектор диска D:

Secondary Master Boot Record

Загрузочный сектор диска D:

Карта дискового пространства

Данные

Логический диск D:

Логический диск E:

Расширенный раздел

Логический диск D:

Логический диск E:

Адрес таблицы для диска E:

0 – конец цепочки

Не использован

Не использован

Не использован

Не использован

Первая таблица логического диска

Вторая таблица логического диска

Разбиение диска на разделы

организации файла:
скорость доступа к данным;
объем адресной информации

файла;
степень фрагментированности дискового пространства;
максимально возможный размер файла.
Возможные схемы размещения файлов:
- непрерывное размещение (непрерывные файлы);
- связный список блоков (кластеров) файла;
- связный список индексов блоков (кластеров) файла;
- перечень номеров блоков (кластеров) файлов;
- структуры, называемые I-узлами (index-node – индекс-узел).

объем адресной информации, нет ограничений на размер файла.
Недостатки: нет

возможностей для изменения размера файла, высокая степень возможной внешней фрагментации

Область применения – компакт-дики

Достоинства: минимальная адресная информация, отсутствие внешней фрагментации, возможность изменения размеров файла.

Недостатки: медленный доступ, сложность доступа к произвольному блоку файла, некратность блока файла степени двойки.

Непрерывное размещение

Связный список кластеров

А)

Б)

4, 5
В)
Г)
Все достоинства варианта А), быстрый доступ к произвольному

кластеру файла, полное заполнение кластера, кратное степени двойки

Достоинства: высокая скорость доступа к произвольному кластеру благодаря прямой адресации, отсутствие внешней фрагментации.
Недостаток: длина адреса зависит от размера файла и может быть значительной.

Недостаток: рост адресной информации с увеличением емкости диска

Файл 1, 3, 5, 6

3
I- узел (index node)
Адрес кластера указателей

Кластер, содержащий дополнительные дисковые

адреса

Достоинства: I-узел находится в памяти только при открытии файла, что сокращает объем адресной информации; объем адресной информации не зависит от емкости диска, а лишь от числа открытых файлов; высокая скорость доступа к произвольному кластеру файла благодаря прямой адресации.
Недостатки: фиксированного количества адресов может оказаться недостаточным для адресации файла, отсюда необходимость сочетания прямой и косвенной адресации

2 3 4

5 6 7 8 9 10 11 12 13 14

2048 записей

2048 записей

2048 записей

2048 записей

2048 записей

2048 записей

2048 записей

2048 записей

2048 записей

2048 записей

2048 записей

Непосредственная адресация

Простая косвенная адресация

Двойная косвенная адресация

Тройная косвенная адресация

Максимальный размер файла 7,0403*10 13 байт
Объем адресной информации – 0,05 % от адресуемых данных

Файловая система ОС UNIX ufs

А д р е с н а я и н ф о р м а ц и я ф а й л а

Размер кластера 8 Кбайт

2 3
FAT 1
FAT 2 (копия)



Запись

каталога (32 байт)

Root directory (512 записей)

0 1 2 3

Data

Индексные указатели, связанные с кластерами принимают значения:
кластер свободен (0000h); последний кластер файла (fff8h – ffffh); кластер поврежден (fff7h); резервный кластер (fff0h - fff6h)

Физическая организация FAT

Формат каталога

Длина поля Описание

8 байт Имя файла
3 байт Расширение файла
1 байт Атрибуты файла
1 байт Зарезервировано
3 байт Время создания
2 байт Дата создания
2 байт Дата последнего доступа
2 байт Зарезервировано
2 байт Время последней модификации
2 байт Дата последней модификации
2 байт Начальный кластер
4 байт Размер файла

1
Элементы, указывающие на кластеры файла 2
Пример FAT - таблицы

Разрядность Число

Максимальный Максимальный Имя файла

указателя кластеров объем кластера размер раздела

FAT12 12 4096 4 Кбайт 16 Мбайт 8.3
FAT16 16 65536 64 Кбайт 4 Гбайт 8.3 255.3
FAT 32 32 4 Г 32 Кбайт 232 по 32 Кбайт 255.3
NTFS 64 264 4 Кбайт 264 по 4 Кбайт 255.3

Программа Fdisk автоматически определяет размер кластера на основе выбранной файловой системы и размера раздела. Существует недокументированный параметр команды Format, позволяющий явно указать размер кластера:
Format /z:n, где n – размер кластера в байтах, кратный 512.

Win32 API

UNIX Описание

CreateDirectory mkdir Создать новый каталог
RemoveDirectory rmdir Удалить пустой каталог
FindFirstFile opendir Инициализация для начала чтение записей каталога
FindNextFile readdir Прочитать следующую запись каталога
MoveFile rename Переместить файл из одного каталога в другой
SetCurrentDirectory chdir Изменить текущий рабочий каталог
CreateFile open Создать (открыть) файл, вернуть дескриптор файла
DeleteFile unlink Удалить существующий файл
CloseHandle close Закрыть файл
ReadFile read Прочитать данные из файла
WriteFile write Записать данные в файл
SetFilePointer lseek Уст-вить указатель в файле в определенную позицию
GetFileAttributes stat Вернуть атрибуты файла
LockFile fcntl Заблокировать файл для взаимного исключения
Unlock File fcntl Отменить блокировку области файла

символьному имени файла найти его характеристики, которые хранятся в

файловой системе на диске.

2. Скопировать характеристики файла в оперативную память, поскольку только в этом случае программный код может их использовать.

3. На основании характеристик файла проверить права пользователя на выполнение запрошенной операции (чтение, запись, удаление и т. п.).

4. Очистить область памяти, отведенную под временное хранение характеристик файла.

open

open

open

open

close

close

close

close

Read 1

Read 2

Read 3

Read 1

Read 2

Read 3

Примеры системных вызовов для работы с файлами:

fd = create (“abc”, mode); fd = open (“file”, how); read (fd, buffer, nbytes); write(fd, buffer, nbytes);

Стандартные файлы ввода – вывода, перенаправление вывода

read (stdin, buffer, nbytes); write(stdout, buffer, nbytes); < file - перенаправление ввода, > file – перенаправление вывода на файл

= creat (“name”, mode) – файла с заданным режимом

защиты; fd = open (“name”, how) – открыть файл для чтения, записи или и того и другого; s = close (fd) – закрыть открытый файл; n = read (fd, buffer, nbytes) – прочитать данные из файла в буфер; n = write (fd, buffer, nbytes) – записать данные из буфера в файл; position = lseek (fd, offset, whence) – переместить указатель в файле; s = fstat | stat (fd | “name”, &buf) - получить информацию о состоянии файла.
При выполнении программы стандартным образом файлы с дескрипторами 0, 1 и 2 уже открыты для стандартного ввода, стандартного вывода и стандартного потока сообщений об ошибках.
n = read (stdin, buffer, nbytes); n = write (stdout, buffer, nbytes)

stdin = 0; stdout =1; stderr = 2.