А почему поисковики гиганты индексируют лишь до 16 % сайтов, …

Что такое Deep Web и Dark Web
Просто потому, что не все владельцы и создатели сайтов объявляют поисковым системам о существовании сайтов. К примеру, какой-нибудь домашний сервер, у которого даже нет доменного имени и обращение к нему происходит по ip-адресу. Который еще и меняется время от времени. Он может быть доступен для мира, но о нем никто не знает кроме узкого круга лиц. Так вот, deep web — это как раз и есть миллионы таких ресурсов. Есть также много сайтов, у которых стоит запрет индексации в файле robots — их мы тоже не сможем найти через гугл, и.т.д. ПС просто еще не настолько развиты, чтобы проиндексировать все, что существует.