Информационные массивы растут как на дрожжах. Общество возлагает огромные надежды на «большие данные» — ожидается, что они помогут отыскать лекарство от рака, подтолкнут экономический рост, искоренят бюрократию и заложат фундамент для новых отраслей.
Информационное изобилие открывает новые горизонты в науке, бизнесе и общественной жизни. Но сами по себе данные ничего не значат. Нам придется самим обозначить круг вопросов и применить соответствующие инструменты для анализа информации, чтобы успешно на них ответить.
Прежде чем обрабатывать большие объемы данных, надо разобраться с технической стороной манипуляции ими: как организовать поиск, сортировку, индексацию, группировку, установление внутренних связей, компоновку нескольких массивов и т. д. Возникают также проблемы применения методов статистического вывода: для огромного массива информации даже небольшие единичные отклонения являются статистически значимыми. И в то же время среди большого количества значений гораздо вероятнее натолкнуться на случайно затесавшиеся фантомные точки, так называемую ошибку отбора. Усложняет задачу и то, что зачастую, перед тем как увидеть новый результат, нужно провести тысячи тестов, при этом даже не предполагая, что среди них найдется что-то необычное. Выходит, что такие научные открытия всё еще совершаются по воле случая.
Вопросы возникают и на стадии формирования «больших данных», ведь часто, изучая один процесс, мы попутно собираем информацию, которая позднее может стать новым объектом нашего внимания.
Качество данных остается центральной проблемой, ведь наибольший интерес представляют выделяющиеся из общего ряда и не всегда поддающиеся объяснению значения, при обнаружении которых трудно не поддаться соблазну списать их на ошибки в многотысячной выборке.
Не стоит забывать, что любой большой набор значений можно разбить на множество меньших и анализировать каждый из них в отдельности, что дает еще больший простор для научного творчества.
Бесспорно, в изучении «больших данных» таится огромный потенциал, но, чтобы раскрыть его, человечеству придется изрядно попотеть.