DB Feeder¶

• Table of contents
• DB Feeder

Приложение для автоматического добавления информации в БД.

Основные требования

1. Функционирование в виде сервиса, не имеющего пользовательского интерфейса.
2. Необслуживаемое функционирование в течении многих месяцев
3. Модульный принцип - сборщиками информации различного типа являются сборки-плагины. Собственной функциональности по сбору информации хост не имеет.
4. Хост имеет собственную настройку обработки информации для каждого подключенного плагина, в т.ч.
   1. соответствие входных полей полям элемента
   2. настройки фильтрации и выполнения действий, базирующееся на значениях входных полей
      1. формирование значение полей элементов на основе фильтров
      2. формирования эвентов, с передачей в них части поступившей информации
      3. настройка поведения 
         1. удаление
         2. добавление
         3. изменение
5. Опциональное наличие собственных окон настройки плагинов, в виде отдельных компонент
6. Настройкой занимается то же приложение, которое работает в виде сервиса, но запущенное с другими параметрами. При этом для настройки доступны параметры работы самого приложения и параметры плагинов.
7. Графический модуль состояния, отображающий состояние модуля в реальном времени. Не требует для работы плагинов. Возможные пути реализации:
   1. анализ логов (файловая система)
   2. мониторинг событий (IP)

Основные возможности

1. Замена DB_Import в автоматическом режиме. Для этого нужны плагины:
   1. чтения POP3
   2. импорт из файлов в файловой структуре
   3. Чтения информации из CSV
2. Типовые плагины
   1. чтение RSS (XML over HTTP)
   2. FTP
3. Наличие настраиваемой гибкой системы фильтрации, позволяющей автоматически формировать метаданные элемента перед занесением его в БД.
4. Возможность обработки хостом звуковых, видео и пр. файлов,  перед или в процессе занесения в МБД - нормализация, тримминг, и пр.
5. Ведение единого лога работы всего приложения, содержащего информацию о всех плагинах.
6. Хост обеспечивает работу плагина по расписанию, с заданной периодичностью или интервалами работы.

Особенности

1. Минимальные требования к плагину - формирование множества значений, именованного или нет, и передача их хосту. Хост, используя настройку соответствия входных данных полям элемента формирует эл-ты, после чего производит фильтрацию.
2. Транзакная система обмена с плагинами. В одну транзакцию передается набор данных для одного или более элементов. После завершения транзакции плагин считает элементы 100% переданными, а хост гарантирует информации в МБД.