Тестирование ETL-процесса
Олег Соловьев 14.10.2009
Тестирование ETL-процесса одна из самых сложных задач при построении хранилища данных. Как правило, документация на источники данных отсутствует, и разработчик не знает ни точное кол-во записей в таблицах источника, ни условия, по которым отбираются и объединяются данные.
SAS в банке Кредит Европа
Олег Соловьев 12.10.2009
На сайте INT-BANK.ru появилась статья о применении SAS в Кредит Европа Банке. В тексте есть интересные идеи, которые мне захотелось прокомментировать. Итак, попорядку, в каждом разеделе первый абзац — цитата из статьи:
Результаты марк. кампании
Олег Соловьев 11.10.2009
Недавно изучал сайт университета Калифорнии в поисках таблицы с данными для будущих статей. Сайт содержит множество данных для изучения/тестирования математических алгоритмов, которые в англоязычной науке относят к разделу Machine Learning. Кстати, до того как выражение Data Mining стало модным, все использовали словосочетание Machine Learning для обозначения того же самого.
Технология Data Mining
Олег Соловьев 10.10.2009
Я регулярно бываю на форуме SQL.ru и периодически оставляю свои комментарии. Недавно, один из посетителей задал вопрос о выборе ПО для Data Mining.
Проработав в нескольких компаниях, я постоянно задаю себе вопросы, почему так так много IT-проектов, в том числе и с Data Mining выполняются с большим трудом и часто на грани провала. Спасибо коллеге за вопрос, потому что он помог мне связать и сформулировать несколько идей, над которыми я думал в последнее время. Мой комментарий приведен ниже без изменений.
Base SAS. Динамический код
Олег Соловьев 9.10.2009
Иногда на Base SAS приходится писать код, текст которого, будет зависеть от результатов выполнения предыдущего участка кода. В последний раз я писал динамический код при чистке данных. Нужно было вывести в отчет названия столбцов и кол-во пустых значений во всех столбцах таблицы. При этом, названия полей и их кол-во в таблице могли произвольно меняться. Структура кода должна была быть такой:
