Главной отличительной особенностью новой системы будет возможность находить информацию, распространенную с помощью скрытых сетей. Например, таких, как Tor. Проект получил название Memex и создавался специалистами DARPA специально для разоблачения структур, занимающихся торговлей людьми и шпионажем.
Этот поисковик сможет отображать даже те сайты, которые предназначались для работы исключительно в анонимном режиме. Memex способен индексировать страницы, которые расположены в так называемом темном Интернете. Такие ресурсы и содержащийся на них контент игнорируют известные поисковики, в том числе и Google.
Темным Интернетом обычно называют ту область, к которой нельзя получить доступ с помощью обычного программного обеспечения. Для этих целей используют дополнительные программные средства, например, браузер Tor. Изначально аналогичные программы создавались для того, чтобы обезопасить пользователей и обеспечить им полную конфиденциальность. Но со временем эту особенность начали использовать злоумышленники для осуществления незаконной деятельности.
Существует еще такое понятие, как глубокий Интернет. Это часть открытого сегмента, информация в котором не индексируется поисковиками. Сюда можно отнести базы данных различных сайтов, сообщения на форумах и пр. На эту область приходится практически 95% всей информации, содержащейся в Интернете.
По предварительным данным, в тени сегодня работает примерно 40 тысяч сайтов, которые для сохранения своей анонимности используют луковую маршрутизацию.
Новая поисковая система Memex не может обнаружить IP-адрес или контакты пользователя, но зато с помощью этого поисковика можно проследить связи между различными сайтами, которые могут помочь в расследовании сложных уголовных дел.
Как заявили в Министерстве обороны США, поисковик Memex создавался в первую очередь для борьбы с преступностью, а не для того, чтобы правоохранители могли следить за пользователями. Но некоторые общественные организации, отстаивающие свободу Интернета, высказывают серьезную обеспокоенность тем, что DARPA предоставило очень мало информации о специфике работы нового продукта.