Я бы хотел посвятить статью обзору API, предоставляемых разными ОС для слежения за изменениями в директории. Статья появилась как результат моей работы над демонами слежения за изменениями для утилиты dklab_realsync ( , github репозиторий) и своей собственной, которую я пока что не хочу анонсировать.

Windows, ReadDirectoryChangesW

Для операционной системы Windows есть замечательная функция ReadDirectoryChangesW , которая возвращает набор изменений для директории, в том числе содержит флаг для работы рекурсивно (bWatchSubtree). Таким образом, реализация слежения за изменениями в директории не представляет особого труда и в том же dklab_realsync реализация занимает 80 строк кода или 3.5 Кб. Интересно, что в Windows эти события поддерживаются даже через SMB!

Тем не менее, существуют определенные подводные камни:

• конечный размер буфера изменений, после которого очередь событий переполнится и эти события будут потеряны
• согласно документации к watchdog package , событие перемещения посылается раньше, чем изменения становятся видны в ФС
• размер буфера ограничен в 64 Кб для сетевой ФС

Вывод: Функция ReadDirectoryChangesW позволяет легко узнавать обо всех событиях в файлах, но, очередь событий может переполниться и тогда нужно будет выполнять полное сканирование ФС. Также, возможна доставка событий до того, как они станут актуальны.

Mac OS X, FSEvents

В Mac OS X также есть удобный и простой API для слежения за изменениями в файловой системе под названием FSEvents . С использованием этого API простейшая реализация демона составляет 50 строк кода или 1.8 кб. Очередь не может переполниться (!), но полное сканирование все же может потребоваться, если демон fseventsd «упадет». Стоит отметить, что этот API до версии 10.7 не предоставляет изменения по файлам, он сообщает только директории, в которых что-то изменилось. Поскольку события никуда не деваются и пишутся в лог (FSEvents service stores events in a persistent, per-volume database), детализация с точностью для директории позволяет сэкономить место на диске.

Вывод: FSEvents API для Mac OS X является самым необычным из всех подобных API. Очередь не переполняется и даже имеется возможность получить события из прошлого. Тем не менее, детализация событий дается с точностью до директории (до версии 10.7), что означает меньшую эффективность демона для синхронизации файлов.

Linux, inotify

В linux vanilla kernel существует один способ слежения за изменениями в директории - это inotify . Для этого API существует хорошая и подробная документация, но нет поддержки рекурсивного слежения за изменениями! Также, у inotify есть ограничение на максимальное количество объектов, за которыми можно следить. Простейшая реализация демона занимает уже 250 строк кода или 8 кб. Статическая сборка с использованием dietlibc занимает примерно 14 кб. Другим неприятным моментом является то, что приложение должно само поддерживать соответствия между watch descriptor (в нашем случае это всегда директория) и именем. Есть функция inotify_add_watch , которой передается путь до отслеживаемой директории, но нет обратной - inotify_get_path, которая бы возвращала этот самый путь по переданному дескриптору. События же содержат только watch descriptor и относительный путь до изменившегося файла внутри директории.

Подводные камни рекурсивного слежения за директорией через inotify:

• Возможность переполнения очереди (длина очереди задается в /proc/sys/fs/inotify/max_queued_events)
• Ограничение на максимальное количество объектов слежения (задается в /proc/sys/fs/inotify/max_user_watches)
• Отсутствие возможности рекурсивного слежения за директорией
• Необходимость отдельно обрабатывать случай, когда создается директория (например mkdir -p a/b/c). Вы получите событие о том, что создана директория «a», но пока вы навешиваете обработчик на эту директорию, в ней уже могут создать ещё одну директорию и событие об этом вам уже не придет.
• Теоретическая возможность целочисленного переполнения watch descriptor (wd), так как он задается uint32

FreeBSD, Mac OS X, kqueue

FreeBSD и Mac OS X позволяют отслеживать за изменениями с помощью kqueue, который аналогичен inotify по своим характеристикам и также не имеет возможности рекурсивного слежения за директориями. Также, kqueue принимает в качестве аргументов дескрипторы открытых файлов (директорий), поэтому при использовании этого API ограничения на количество отслеживаемых директорий ещё более строгие.

Итого:

Как можно видеть, у всех API существуют свои достоинства и недостатки. Наименее удобными являются механизмы kqueue и inotify, но они же являются самыми эффективными и надежными. Коммерческие ОС предоставляют более удобные механизмы слежения за изменениями, но у них тоже есть свои особенности. Надеюсь, теперь вы имеете больше представления о том, как тяжела участь Dropbox и подобных программ, которым требуется со всем этим уживаться и осуществлять надежную и эффективную синхронизацию данных:).

* Картинка взята с

Если вы не единственный пользователь компьютера или просто хотите узнать, какие изменения произошли с вашими папками и файлами за определенный период времени, можно воспользоваться полезной утилитой .

Эти разработчики вообще предлагают массу замечательных бесплатных приложений, а самое главное, не обвешивают установщик тоннами бесполезных дополнительных панелей и программ «в нагрузку», как любят делать другие компании.

Что такое FolderChangesView?

FCV – это маленькая портативная утилита от Nirsoft Labs, позволяющая отслеживать содержимое папок или всего жесткого диска на наличие изменений. Программа выдает полный список созданных, измененных и удаленных файлов за весь период наблюдения. Можно следить не только за локальными дисками, но и за сетевыми (при наличии прав на их чтение).

Скачать FolderChangesView можно с . Ссылка для загрузки ZIP-архива с исполняемым файлом находится внизу страницы. Скачав программу, создайте на рабочем столе папку «FCV» (или с любым другим подходящим названием) и извлеките в нее содержимое архива.

Запуск и использование FolderChangesView

Поскольку FCV – портативная утилита, устанавливать ее не требуется. Просто откройте папку, в которую распаковали архив, и дважды щелкните на файле «FolderChangesView.exe». Возможно, потребуется подтвердить запуск приложения в окне контроля учетных записей.

После запуска выберите, за какой папкой хотите наблюдать, и нажмите «OK». После этого утилита начнет следить за папкой и всеми ее подпапками в соответствии с заданными параметрами. Например, мы решили понаблюдать за папкой «Downloads». Для этого мы указали ее адрес, как показано на скриншоте ниже.

После выбора папки можно изменить параметры мониторинга, показанные на скриншоте выше. Мы решили ничего не менять, но вы можете потом поэкспериментировать с настройками самостоятельно. И не волнуйтесь: настройки операционной системы от этого никак не изменятся, поэтому можно не бояться что-нибудь напортить.

Внесение изменений

Итак, мониторинг настроен, теперь можно изменить пару-тройку файлов и посмотреть, как это отразится в приложении. Мы, например, удалили из папки «Downloads» один файл, создали новую подпапку и переместили в нее существующие файлы.

Вот что FCV сообщает нам об этих изменениях:

Файл «Paragon Partition Ma…» удален.
Папка «New Folder» создана и изменена (изменение – это переименование папки).
Файл «VirtualBox-4.3.20-9699…» удален и создан. Другими словами, он был перемещен – то есть, удален из оригинальной папки «Downloads» и добавлен в папку «New Folder».
Файл «Oracle_VM_VirtualBox…» удален и создан – тоже по причине перемещения в другую папку.

Информация о файлах

Утилита показывает не просто сведения об операциях, но и исчерпывающую информацию об измененных файлах в папке (все столбцы можно посмотреть, прокручивая окно мониторинга вправо). Вот какие данные сообщает приложение:

1. Имя файла (Filename).
2. Количество изменений (Modified Count).
3. Количество созданий (Created Count).
4. Количество удалений (Deleted Count).
5. Полный путь к файлу (Full Path).
6. Расширение измененного файла (Extension).
7. Владелец файла (File Owner).
8. Время первого изменения (First Time Event).
9. Время последнего изменения (Last Time Event). Эти два столбца пригодятся в том случае, когда нужно узнать, сколько времени было потрачено, например, на редактирование документа Word.
10. Размер файла (File Size).
11. Время изменения (Modified Time). Этот столбец немного отличается от №№8 и 9: здесь указано время переименования или изменения различных атрибутов файла, а не время его открытия и сохранения.
12. Время создания (Created Time).
13. Атрибуты (Attributes).

Для удобства можно нажать на любом файле правой кнопкой мыши и выбрать пункт «Properties» («Свойства») – тогда всю эту информацию можно будет посмотреть в одном окне. Только не перепутайте с пунктом «File Properties» («Свойства файла»).

Материалы

Мы 4 друга, работающие над проектом. Каждый работает отдельно на компьютере (Windows), и все файлы хранятся на общем сетевом диске на одном из ПК.

Мы хотим отслеживать изменения, внесенные в файлы / папки на этом диске. Изменения как:

• Новый файл / папка
• Удаление файла / папки
• Переименование файла / папки
• Редактирование / изменение файла

и с этими параметрами:

• Дата / время изменения
• Пользователь (который внес изменение)

Я гуглил по этой проблеме и нашел много приложений. Есть проблемы почти со всеми из них:

Некоторые из этих приложений не записывают изменения прошедшего времени в автономном режиме. Например, представьте, что я не в офисе (и, следовательно, на моем компьютере не запущено программное обеспечение для мониторинга файлов / папок). Но мои друзья работают и вносят изменения в некоторые файлы / папки на общем сетевом диске. Я иду в офис и хочу точно знать, какие файлы / папки были изменены во время моего отсутствия (с момента последнего запуска программного обеспечения для мониторинга). У большинства этих приложений есть журналы, но они только регистрируют изменения событий, сделанные после запуска программного обеспечения. Они не отслеживают прошлое.

Мы хотим знать, какие изменения были сделаны с каким пользователем / процессом / ПК. Большинство из этих приложений мониторинга файлов / папок только отслеживают изменения и не распознают пользователя, особенно через общую сеть.

Единственное программное обеспечение, которое я нашел для этой цели - это DirectoryMonitor . Но его бесплатная версия не обнаруживает пользователя / процесс!

Знаете ли вы другое программное обеспечение?

Иззи ♦

Если вы открыты для веб-решения и монтируете ресурсы через WebDAV: ownCloud имеет встроенный протокол активности и даже сохраняет резервные копии измененных файлов (что-то вроде простого управления версиями). Проверяя «журнал активности» моей простой установки, он показывает «кто» сделал «что» и «когда» (например, «userX создал / изменил / удалил fileY в timestampZ»). Поскольку это записывается «сервером», не имеет значения, была ли ваша рабочая станция «в сети», когда один из ваших друзей вызвал изменение.

Omid1989

Спасибо @Izzy за ваш комментарий. Это хорошо, но я не хочу ограничиваться веб-отчетами. Потому что большинство наших данных хранятся локально.

Иззи ♦

Да я вижу. Еще одна грубая идея: Apache + WebDAV + SVN будет выполнять управление версиями на «общем диске» (опять же WebDAV). SVN - это система контроля версий, и при использовании ее через Apache с WebDAV и автоматической фиксацией у вас снова были версии, а также история, и вы могли запросить последнюю через CLI или GUI. Не уверен, что Apache + WebDAV + X имеет другой X-компонент, такой как Git или Mercurial, работающий таким же образом. Это было бы лучше?

Omid1989

Спасибо @Izzy за ваш комментарий. Это звучит как хорошее решение, но слишком сложное для меня!

Ответы

Стив Барнс

Похоже, что вам нужна полная VCS, система контроля версий , из которых есть несколько бесплатных. Точнее, вам нужен, DVCS, Распределенный VCS .

С такой системой у каждого из вас был бы локальный клон «мастер» для работы в вашей собственной системе (ах), он вносил бы ваши изменения, фиксировал их с сообщением о том, почему вы сделали текущий набор изменений, и нажимал ваши изменения обратно в мастер-копию.

Лично для людей, не слишком знакомых с системами контроля версий, я бы настоятельно рекомендовал Mercurial, поскольку он не так сложен, как многие другие системы, но все же очень хорош, не должен иметь выделенного центрального сервера, является бесплатным и кроссплатформенным. Для интерфейса с графическим интерфейсом Windows для Mercurial есть TortoiseHG .

Вы можете точно увидеть, что изменили другие, когда и почему они сказали, что сделали изменения, могут отменить изменения в случае необходимости и т. Д. Как из командной строки, так и из различных клиентов графического интерфейса.

Основной набор команд, если вы используете hg, показан ниже:

Одним из больших преимуществ такой системы является то, что даже если вы не находитесь в офисе, вы можете работать над проектом, вносить изменения, добавлять файлы, каталоги и т. Д., А также фиксировать различные этапы своей работы, а затем, когда вы находитесь Вернувшись в офис, отодвиньте ваши изменения, чтобы они были объединены с историей проекта, и вы будете предупреждены о любых конфликтах между вашими изменениями и изменениями, сделанными другими.

Иззи ♦

Согласитесь, это также будет хорошим вариантом (назовите альтернативу: то, что вы написали на Mercurial, в основном соответствует Git 1: 1), но кроме «обычного файлового сервера», используемого в качестве «общего диска», нужно явно зарегистрируйтесь и нажмите, что может быть забыто.

Стив Барнс

@ Иззи - многие из тех, с кем я имею дело, считают, что hg менее запутан, чем git, поэтому я рекомендовал его, а не git.

Omid1989

Спасибо @SteveBarnes за подробный ответ. Я попробую TortoiseHG и посмотрю, как это работает.

В случае, если вы являетесь не единственным пользователем ПК, то после долгого неиспользования машины вам может понадобиться выяснить, какие именно произошли изменения за этот промежуток времени. Также могут быть ситуации, при которых жесткий диск показывает активность, но на самом деле не разобрать, занят он обработкой полезных процессов или это работает вредоносное ПО. Отследить изменения в файлах и получить актуальные данные обо всех изменениях в файловой системе вам поможет программа FolderChangesView.

FolderChangesView – это небольшая по размерам утилита, которая создана специально для отслеживания всех изменений, которые происходят с файлами и папками. Программа отображает в режиме реального времени все изменения, происходящие с файлами, а весь полученный результат показывается пользователю в удобной таблице. Скачать саму программу можно с официального сайта разработчика по ссылке (там же возможно скачать русификатор, который устанавливается простым перемещением в папку с приложением): http://www.nirsoft.net/utils/folder_changes_view.html

Настройка программы

Утилита не требует установки, ведь в архиве находится один лишь файл.exe. Рекомендуется создать отдельную папку для программы, скачать русификатор и закинуть эти два файла в нее. После запуска перед вами будет открываться меню конфигурации (если завершить работу с программой и открыть ее вновь, то меню снова появится перед вами).

Здесь вам необходимо выбрать диск, папки или целый раздел жесткого диска, который необходимо анализировать. При выборе папки оставляйте отмеченным пункт «Сканировать также подкаталоги». Вы также имеете возможность указать папки, мониторить которые нет необходимости: нужно указать путь к папке и поставить галочку напротив «Exclute the following folders».
Ну и в заключение из полезных настроек вы можете установить размер файлов, за которыми необходимо следить. После выбора этих основных настроек просто нажимайте «Ок» и процесс мониторинга за выбранными папками начнется.

Если вы не единственный пользователь вашего компьютера и вам необходимо выяснить, какие изменения произошли с вашими файлами и папками за определенный период времени, вы можете воспользоваться специальными программами которые помогут вам отследить изменение файлов и получить точную информацию о всех изменениях файловой системы Windows.

Как отследить изменения файла и папки?

В рамках данной статьи я познакомлю вас с двумя программами. С программой FolderChangesView и с утилитой Disk Pulse. Обе программы являются бесплатным. Программа FolderChangeView полностью бесплатна. Disk Plus имеет бесплатную и платную версию (различий немного)

FolderChangesView: Отслеживание изменения папок и файлов

FolderChangesView — маленькая бесплатная утилита для отслеживания всех изменений происходящих с файлами в определенной папке и разделе жесткого диска.

Утилита в реальном времени сканирует заранее заданную папку или группу папок и отображает подробную информацию о всех изменениях. Весь результат представляется в удобной таблице.

Для начала необходимо скачать программу. Скачать FolderChangesView бесплатно с сайта разработчика вы можете по этой ссылке . Там же можно скачать русификатор, который необходимо разархивировать и бросить в папку с программой.

Настройка FolderChangesView

Программа не требует установки. После запуска программы появится окно настроек.

Отслеживание изменения файлов программой FolderChangesView

В окне настроек необходимо указать папку, несколько папок или раздел жесткого диска, который вам необходимо мониторить. В данном случае я выбрал папку — spysoftnet и отметил галочкой Сканировать также подкаталоги

В второй строке окна настроек вы можете установить папки, которые вы не хотите чтоб программа отслеживала. К примеру, я не хочу чтоб приложение следило за изменениями в папке — tmp. После того как вы установили папку, не забудьте отметить галочкой Exclude the folowing folders .

Также, вы можете установить минимальный и максимальный размер файла. После того как все настройки выбраны нажимаем на OK

Disk Pulse: Программа мониторинга файлов и папок

DiskPulse - еще одна программа мониторинга файлов, папок и жестких дисков, которая может показывать изменения в файловой системе Windows в режиме реального времени.

DiskPulse: Как отследить изменения файла и папки

В программе есть очень интересная, на мой взгляд, возможность отправки уведомлений по электронной почте или выполнения пользовательских команд (действий), в случае обнаружения всевозможных опасных критических изменений в системе.

Если вы оставите все настройки, которые установлены по умолчанию как есть, то будете получать информацию обо всех изменениях всей системы. Но если немного поковыряться в опциях, то сможете уменьшить количество данных. На картинке внизу вы видите как с легкостью с помощью нескольких кликов можно это сделать.

DiskPulse: Выбор папки или жесткого диска

В последней версии добавлена диаграмма, отображающая количество файлов, их типы и другую полезную информацию.

DiskPulse: Программа мониторинга файлов и папок

Скачать DiskPulse бесплатно с сайта разработчика вы можете по этой ссылке .

Подведем итоги. Обе программы отлично работаю и справляются с основной функцией мониторинга файлов и папок и достойны внимания. Программа «FolderChangesView » программа мне понравилась больше. Хотя вторая программа более функциональна. Программы бесплатны и не содержат вирусов, поэтому попробуйте обе и решите сами какую использовать.

Данные утилиты помогут отследить активность пользователей, а также выявить и анализировать скрытую работу вредоносных программ. О том какие вредоносные программы существуют мы писали в статье — .

В этот обзор не вошли еще 2 программы мониторинга файлов и папок. На которые я сделаю обзор в следующей статье. Поэтому, чтобы не пропустить обновления, подписывайтесь на наш паблик вконтакте и других социальных сетях.

Видео: Обзор Disk Pulse