FetchNodes

FetchNodes — это Python-скрипт для сбора, обработки и сохранения конфигураций прокси-серверов из различных источников. Скрипт получает данные по списку URL, фильтрует строки с нужными протоколами, нормализует записи, удаляет дубли, сортирует по типу протокола и добавляет последовательную нумерацию. Итоговый результат записывается в файл fetchNodes/All_Subs.txt.

Возможности

• Параллельное получение данных:
  Используется ThreadPoolExecutor для одновременного получения данных с множества URL, что ускоряет процесс сбора.

• Фильтрация по протоколам:
  Скрипт отбирает только те строки, которые начинаются с заданных префиксов (например, vless://, trojan://, hy2://).

• Нормализация строк:
  Перед обработкой строки нормализуются — удаляются лишние пробелы и комментарии (текст после символа #), что помогает точно сравнивать записи.

• Удаление дублирующихся записей:
  Благодаря использованию конструкции dict.fromkeys с нормализованными строками, гарантируется, что дубли не попадут в итоговый файл.

• Логирование:
  Используется модуль logging для отслеживания успешных запросов, ошибок при получении данных и других событий в процессе выполнения.

Установка

1. Клонирование репозитория:

   git clone https://github.com/yourusername/fetchnodes.git
   cd fetchnodes

2. Установка зависимостей:

   Скрипт требует Python версии 3.6+ и следующих библиотек:

   • requests
   • pybase64

   Установите их с помощью pip:

   pip install requests pybase64

Конфигурация

В коде можно настроить следующие параметры:

• Список ссылок (LINKS):
  Переменная LINKS содержит URL-адреса, откуда будут получаться данные. Вы можете добавлять или удалять ссылки по мере необходимости.

• Протоколы для фильтрации:
  Списки PROTOCOLS и ALLOWED_PROTOCOLS_PREFIXES задают протоколы (например, vless, tuic, hy2), по которым производится фильтрация строк.

• Формат нумерации:
  Функция rename_profiles использует параметры number_format и separator для настройки отображения нумерации. Например, при значениях number_format="{:02d}" и separator=" " итоговая строка будет иметь вид:

  vless://example.com (01)
  

• Путь сохранения:
  Результаты записываются в файл fetchNodes/All_Subs.txt. При необходимости вы можете изменить путь, отредактировав переменные OUTPUT_FOLDER и OUTPUT_FILENAME.

Использование

Запустите скрипт командой:

python script.py

После завершения работы в каталоге fetchNodes появится файл All_Subs.txt с обработанными и пронумерованными записями.

Пример содержимого итогового файла:

vless://example.com (01)
tuic://another.example.com (02)
...

Логирование

Скрипт выводит логирование на уровень INFO. Вы увидите сообщения об успешном получении данных из источников, а также ошибки, если возникнут проблемы при подключении.

Вклад в проект

Мы приветствуем вклад сообщества! Если у вас есть идеи по улучшению функциональности, предложения по изменению кода или вы обнаружили баг, пожалуйста:

• Создавайте Issues для обсуждения.
• Отправляйте Pull Requests с вашими изменениями.

Лицензия

Этот проект распространяется под лицензией MIT. Подробности смотрите в файле LICENSE.