Проблемы Индустрии Миграции Данных
Проблемы и вопросы с которыми приходится сталкиваться при миграции данных далеко не тривиальны. Существует и статистика:
По известному анализу Standish Group ("Migrate Headaches") для больших миграционных проектов цифры следующие:
- 50% бюджета в среднем тратится на изучение и понимание данных
- 20% на процессы перемещения данных
- 30% на разработку технического решения
При этом
- 83% проектов по миграции либо заканчиваются позже графика либо выбегают за рамки бюджета
- 50% всех проектов хранилищ данных и интеграций CRM систем - либо останавливаются, либо не соответствуют приемным условиям
Конкретные проблемы и вопросы:
Проблемы знаний
- 1. Документация и эксперты со знанием систем источников заняты, недоступны, ограничены, не существуют или несовременны
- 2. Специалисты имеющие опыт в нетривиальных проектах миграции данных очень редки
Проблемы данных и источников данных
- 3. Сложная структура данных в системах-источниках и/или целевых системах
- 4. Множество источников данных, данные пересекаются. Кроме того, источники данных в разных форматах (реляционные базы данных, электронные таблицы, и т.д.)
- 5. Данные могут быть: неполны, противоречивы, ложны или неактуальны, в неправильном формате, дуплицированы
- 6. Разные структуры хранения данных в системах-источниках и целевых системах
- 7. Неформализованные данные (изображения, неформатированные данные, Visio-диаграммы) необходимо преобразовать в формализованные структуры (базы данных)
Проблемы контроля за процессом и документации
- 8. Как правильно описать процесс миграции, какие аспекты должны быть в документации, в каком формате?
- 9. Данные потерялись? Как это проконтролировать?
- 10. Как понять насколько успешно проведен процесс миграции данных?
Проблемы IT в миграции
- 11. Какие програмные продукты могут помочь?
- 12. Возможно необходимы загрузки данных по частям (структурным частям или количественным частям)
- 13. Возможно необходима последующая синхронизация данных (например, если система-источник продолжает работать после финальной миграции)
- 14. Данных много, поэтому необходимо сделать быстрый процесс. Как достичь требуемой производительности?
- 15. Данные постоянно обновляются в системе-источнике, как добиться актуальности данных в целевой системе?
Проблемы организации и планирования процесса миграции
- 16. Дизайн целевой системы еще не завершен, как построить процесс миграции?
- 17. Как спланировать процесс? Какие риски и как их снизить? Какие оценки по затратам и ресурсам?
Смотрите далее, на предлагаемые нами решения