Похоже, что есть компании, которые продают списки доменных имен, но их списки неполные, и каждая компания имеет разное количество записей для определенного TLD.
Зачем так много заговоров о полном списке существующих / зарегистрированных / активных доменных имен? Почему он не доступен онлайн для всех (конечно, без дополнительных данных, только доменные имена)?
И главный вопрос - есть ли правильный технический способ составить такой список самостоятельно?
Если я правильно понимаю, регистраторы аккредитованы для каждого TLD, а затем они несут ответственность за размещение файлов зоны.
Итак, если нужно составить полный список, им нужно будет получить полный список от всех регистраторов и объединить их вместе.
Звучит просто, но таких списков нет. Так почему это так и как правильно с технической точки зрения это сделать самостоятельно?
В некотором смысле можно было бы возразить, что «правильный» технический подход - это перепрыгнуть через все препятствия, которые требуются соответствующим реестрам для получения доступа к данным своей зоны TLD, или, если у них нет такой программы, просто не делать этого.
Что касается gTLD, ICANN предоставляет центральный репозиторий:
В Централизованная служба данных зоны предоставляет централизованную точку для заинтересованных сторон, чтобы запросить доступ к Файлы зоны предоставляется участвующими реестрами доменов верхнего уровня. Эта услуга представляет собой решение для масштабирования передачи данных по зонам, поскольку в Интернет добавляются сотни новых gTLD.
Реестр каждого нового рДВУ должен предоставлять данные зоны утвержденным лицам, запрашивающим (например, сотрудникам правоохранительных органов, адвокатам по интеллектуальной собственности, исследователям) при техническом делегировании своего рДВУ.
Новым реестрам будут предоставлены инструкции по использованию централизованной службы данных зоны после подписания соглашения о реестре рДВУ.
В течение гораздо более длительного времени отдельные зоны были доступны отдельно. Например, зоны com и net были предоставлено Verisign (управление этими зонами от имени ICANN).
Для ccTLD нет такого удобства, как центральный репозиторий, и каждый реестр может иметь или не иметь программу, которая позволяет получить доступ ко всем данным зоны.
Регистраторы не размещают файлы зон, серверы имен для TLD работают от имени реестра. Регистраторы передают данные в реестр.
Никакого заговора нет, просто список ОГРОМНЫЙ (133 182 309 доменов обрабатываются только VeriSign (.net и .com) на момент написания этой статьи, предполагая, что в среднем 13 байтовых символов на домен, это почти 2 ГБ только доменных имен. , не говоря уже о связанной информации, прикрепленной к записи домена), а пропускная способность стоит денег.
Вы можете запросить файл зоны или зарегистрироваться в качестве регистратора (чтобы получить лучший доступ к файлу зоны) для отдельного спонсора зоны. Продолжая пример VeriSign, вы можете найти здесь .net и .com: http://www.verisigninc.com/en_US/channel-resources/domain-registry-products/zone-file/index.xhtml и http://www.verisigninc.com/en_US/channel-resources/become-a-registrar/index.xhtml
Вы также можете зарегистрироваться для доступа к API базы данных whois (обычно это будет стоить денег, потому что пропускная способность не дешевая) или загрузить файл зоны с сайта, который предоставляет доступ к их кэшированным копиям, например http://www.premiumdrops.com/zones.html.
Опять же, доступ к указанному списку для каждого TLD потребует отдельного процесса.
Наконец, эта информация становится устаревшей в момент ее загрузки, поскольку домены постоянно регистрируются / обновляются / истекает срок действия. Эта проблема снижает ценность поддержки такого списка, доступного для загрузки.
Дополнение: это не касается случая, когда DNS-серверы, которые вы (или ваши предполагаемые клиенты) настроены НЕ для обслуживания всех записей DNS, поскольку они зарегистрированы у своих регистраторов, или многих других случаев, которые сделали бы такой список бесполезным. .
Ни один из операторов TLD не поддерживает (больше), но технический механизм, обеспечиваемый протоколом DNS, установленным в RFC 833 (и уточняется в последующих RFC) является зона передачи для корневой зоны TLD с AXFR запрос.