Initial commit: PteraPyManager v2.5 with modular architecture, auto venv, python downloader, and resource quotas
This commit is contained in:
+330
@@ -0,0 +1,330 @@
|
||||
import time
|
||||
import threading
|
||||
from typing import Dict, Optional, List, Tuple
|
||||
from core.models import AppConfig, TaskConfig, TaskStatus, TaskMetrics
|
||||
from core.config import ConfigManager
|
||||
from core.notifier import Notifier
|
||||
from core.process import ManagedTask
|
||||
from core.git_updater import GitUpdater
|
||||
from core.logger import log_info, log_warn, log_err, log_debug
|
||||
|
||||
|
||||
class ProcessManager:
|
||||
"""Главный оркестратор задач, процессов, квот и автообновлений"""
|
||||
|
||||
def __init__(self, config_manager: ConfigManager, notifier: Notifier):
|
||||
self.config_mgr = config_manager
|
||||
self.notifier = notifier
|
||||
self.app_config = AppConfig()
|
||||
|
||||
self._tasks: Dict[str, ManagedTask] = {}
|
||||
self._lock = threading.RLock()
|
||||
self.shutdown_event = threading.Event()
|
||||
|
||||
self.git_updater = GitUpdater(self.app_config.git, self.notifier, self)
|
||||
|
||||
self._monitor_thread: Optional[threading.Thread] = None
|
||||
self._watcher_thread: Optional[threading.Thread] = None
|
||||
|
||||
def initialize(self):
|
||||
"""Первоначальная загрузка конфигурации и старт фоновых потоков"""
|
||||
cfg = self.config_mgr.load(exit_on_fail=True)
|
||||
if cfg:
|
||||
self.apply_config(cfg, initial=True)
|
||||
|
||||
self._monitor_thread = threading.Thread(target=self._monitor_loop, daemon=True, name="MonitorThread")
|
||||
self._watcher_thread = threading.Thread(target=self._watcher_loop, daemon=True, name="ConfigWatcherThread")
|
||||
|
||||
self._monitor_thread.start()
|
||||
self._watcher_thread.start()
|
||||
|
||||
if self.app_config.git.enabled:
|
||||
self.git_updater.start()
|
||||
|
||||
def get_all_tasks(self) -> Dict[str, ManagedTask]:
|
||||
with self._lock:
|
||||
return dict(self._tasks)
|
||||
|
||||
def get_task(self, name: str) -> Optional[ManagedTask]:
|
||||
with self._lock:
|
||||
return self._tasks.get(name)
|
||||
|
||||
def start_task(self, name: str) -> bool:
|
||||
with self._lock:
|
||||
task = self._tasks.get(name)
|
||||
if not task:
|
||||
log_err(f"Задача '{name}' не найдена в менеджере")
|
||||
return False
|
||||
|
||||
if task.is_running():
|
||||
log_warn(f"Задача '{name}' уже запущена")
|
||||
return False
|
||||
|
||||
success = task.start()
|
||||
if success:
|
||||
self.notifier.send(
|
||||
f"🚀 <b>Задача запущена:</b> <code>{name}</code> (PID: {task.proc.pid})",
|
||||
title="Задача запущена",
|
||||
level="success",
|
||||
fields={"Задача": name, "PID": str(task.proc.pid)}
|
||||
)
|
||||
return success
|
||||
|
||||
def stop_task(self, name: str, force: bool = False) -> bool:
|
||||
with self._lock:
|
||||
task = self._tasks.get(name)
|
||||
if not task:
|
||||
log_warn(f"Задача '{name}' не найдена")
|
||||
return False
|
||||
|
||||
if not task.is_running():
|
||||
log_warn(f"Задача '{name}' уже остановлена")
|
||||
return True
|
||||
|
||||
success = task.stop(force=force)
|
||||
if success:
|
||||
self.notifier.send(
|
||||
f"🛑 <b>Задача остановлена:</b> <code>{name}</code>",
|
||||
title="Задача остановлена",
|
||||
level="warning",
|
||||
fields={"Задача": name}
|
||||
)
|
||||
return success
|
||||
|
||||
def restart_task(self, name: str, force: bool = True) -> bool:
|
||||
with self._lock:
|
||||
task = self._tasks.get(name)
|
||||
if not task:
|
||||
log_err(f"Задача '{name}' не найдена")
|
||||
return False
|
||||
|
||||
task.stop(force=force)
|
||||
task.restart_count += 1
|
||||
success = task.start()
|
||||
if success:
|
||||
self.notifier.send(
|
||||
f"🔄 <b>Задача перезапущена:</b> <code>{name}</code> (PID: {task.proc.pid})",
|
||||
title="Задача перезапущена",
|
||||
level="info",
|
||||
fields={"Задача": name, "PID": str(task.proc.pid), "Рестарт №": str(task.restart_count)}
|
||||
)
|
||||
return success
|
||||
|
||||
def start_all(self):
|
||||
with self._lock:
|
||||
for name, task in self._tasks.items():
|
||||
if not task.is_running():
|
||||
self.start_task(name)
|
||||
|
||||
def stop_all(self, force: bool = False):
|
||||
with self._lock:
|
||||
for name, task in self._tasks.items():
|
||||
if task.is_running():
|
||||
self.stop_task(name, force=force)
|
||||
|
||||
def restart_all(self):
|
||||
with self._lock:
|
||||
for name in list(self._tasks.keys()):
|
||||
self.restart_task(name)
|
||||
|
||||
def pull_git(self, manual: bool = True) -> Tuple[bool, str]:
|
||||
"""Ручной запуск проверки и обновления из Git"""
|
||||
return self.git_updater.check_and_pull(manual=manual)
|
||||
|
||||
def apply_config(self, new_config: AppConfig, initial: bool = False):
|
||||
"""Применение новой конфигурации"""
|
||||
with self._lock:
|
||||
self.app_config = new_config
|
||||
self.notifier.update_configs(new_config.telegram, new_config.discord)
|
||||
self.git_updater.update_config(new_config.git)
|
||||
|
||||
if new_config.git.enabled:
|
||||
self.git_updater.start()
|
||||
|
||||
existing_names = set(self._tasks.keys())
|
||||
new_names = set(new_config.tasks.keys())
|
||||
|
||||
# 1. Задачи, которых больше нет в конфиге
|
||||
for name in (existing_names - new_names):
|
||||
log_info(f"Задача '{name}' удалена из конфига. Остановка...")
|
||||
task = self._tasks.pop(name)
|
||||
task.stop(force=True)
|
||||
|
||||
# 2. Обновление или создание задач
|
||||
for name, task_cfg in new_config.tasks.items():
|
||||
if name in self._tasks:
|
||||
self._tasks[name].update_config(task_cfg)
|
||||
else:
|
||||
managed = ManagedTask(task_cfg, logs_dir=new_config.logging.dir)
|
||||
self._tasks[name] = managed
|
||||
if (initial or task_cfg.autostart) and task_cfg.autostart:
|
||||
managed.start()
|
||||
if managed.is_running():
|
||||
self.notifier.send(
|
||||
f"🚀 <b>Автозапуск задачи:</b> <code>{name}</code> (PID: {managed.proc.pid})",
|
||||
title="Автозапуск задачи",
|
||||
level="success",
|
||||
fields={"Задача": name, "PID": str(managed.proc.pid)}
|
||||
)
|
||||
|
||||
def _monitor_loop(self):
|
||||
"""Фоновый цикл проверки состояния процессов, памяти, ротации логов и расписания"""
|
||||
while not self.shutdown_event.is_set():
|
||||
interval = self.app_config.monitoring.interval if self.app_config.monitoring else 5.0
|
||||
self.shutdown_event.wait(timeout=interval)
|
||||
|
||||
if not self.app_config.monitoring.enabled:
|
||||
continue
|
||||
|
||||
with self._lock:
|
||||
tasks_snapshot = list(self._tasks.values())
|
||||
|
||||
max_log_bytes = int(self.app_config.logging.max_size_mb * 1024 * 1024)
|
||||
backup_count = self.app_config.logging.backup_count
|
||||
|
||||
now = time.time()
|
||||
|
||||
for task in tasks_snapshot:
|
||||
# 1. Ротация логов при необходимости
|
||||
task.rotate_logs_if_needed(max_log_bytes, backup_count)
|
||||
|
||||
# 2. Проверка задач по расписанию (Interval)
|
||||
if task.status == TaskStatus.SCHEDULED:
|
||||
if now >= task.next_run_time:
|
||||
log_info(f"[{task.cfg.name}] Запуск запланированной задачи по расписанию...")
|
||||
task.start()
|
||||
continue
|
||||
|
||||
# 3. Сброс счетчика рестартов при стабильной работе
|
||||
task.check_stable_run()
|
||||
|
||||
# 4. Проверка превышения квоты памяти (RAM limit)
|
||||
over_mem = task.check_memory_limit()
|
||||
if over_mem is not None:
|
||||
limit = task.cfg.max_memory_mb
|
||||
action = task.cfg.memory_limit_action
|
||||
log_warn(
|
||||
f"⚠️ Задача '{task.cfg.name}' превысила лимит RAM: {over_mem} MB > {limit} MB. Действие: {action}"
|
||||
)
|
||||
self.notifier.send(
|
||||
f"⚠️ <b>Превышение квоты памяти!</b>\n"
|
||||
f"• <b>Задача:</b> <code>{task.cfg.name}</code>\n"
|
||||
f"• <b>Использование:</b> {over_mem} MB (Лимит: {limit} MB)\n"
|
||||
f"• <b>Действие:</b> {action.upper()}",
|
||||
title="Превышение лимита памяти",
|
||||
level="warning",
|
||||
fields={"Задача": task.cfg.name, "RAM": f"{over_mem} MB", "Лимит": f"{limit} MB"}
|
||||
)
|
||||
|
||||
if action == "restart":
|
||||
self.restart_task(task.cfg.name)
|
||||
continue
|
||||
elif action == "kill":
|
||||
self.stop_task(task.cfg.name, force=True)
|
||||
continue
|
||||
|
||||
# 5. Проверка завершения процесса
|
||||
exit_code = task.poll_exit()
|
||||
if exit_code is not None and task.status != TaskStatus.STOPPED and task.status != TaskStatus.STOPPING:
|
||||
self._handle_task_exit(task, exit_code)
|
||||
|
||||
# 6. Логирование метрик (если включено в конфиге)
|
||||
if self.app_config.monitoring.log_metrics and task.is_running():
|
||||
m = task.collect_metrics()
|
||||
log_debug(
|
||||
f"[{task.cfg.name}] CPU: {m.cpu_percent}% | RAM: {m.memory_mb} MB | "
|
||||
f"Uptime: {m.uptime_sec / 60:.1f} мин | Restarts: {m.restart_count}"
|
||||
)
|
||||
|
||||
def _handle_task_exit(self, task: ManagedTask, exit_code: int):
|
||||
uptime = round(time.time() - task.start_time, 1) if task.start_time else 0
|
||||
|
||||
# Если это задача по расписанию и завершилась успешно (код 0)
|
||||
if task.cfg.schedule_type == "interval" and exit_code == 0:
|
||||
log_info(f"[{task.cfg.name}] Периодическая задача успешно выполнена. Следующий запуск через {task.cfg.schedule_interval} сек.")
|
||||
task.status = TaskStatus.SCHEDULED
|
||||
task.next_run_time = time.time() + task.cfg.schedule_interval
|
||||
return
|
||||
|
||||
err_snippet = task.read_last_error(max_lines=8)
|
||||
|
||||
log_err(
|
||||
f"Задача '{task.cfg.name}' завершилась с кодом {exit_code} (Uptime: {uptime} сек)"
|
||||
)
|
||||
if err_snippet:
|
||||
log_err(f"Последняя ошибка '{task.cfg.name}':\n{err_snippet}")
|
||||
|
||||
# Alert
|
||||
tg_text = (
|
||||
f"⚠️ <b>Задача завершилась аварийно!</b>\n"
|
||||
f"• <b>Задача:</b> <code>{task.cfg.name}</code>\n"
|
||||
f"• <b>Код выхода:</b> {exit_code}\n"
|
||||
f"• <b>Время работы:</b> {uptime}s\n"
|
||||
)
|
||||
if err_snippet:
|
||||
clean_err = err_snippet[:400].replace("<", "<").replace(">", ">")
|
||||
tg_text += f"\n<pre>{clean_err}</pre>"
|
||||
|
||||
self.notifier.send(
|
||||
tg_text,
|
||||
title="Аварийное завершение задачи",
|
||||
level="error",
|
||||
fields={"Задача": task.cfg.name, "Код выхода": str(exit_code), "Uptime": f"{uptime}s"}
|
||||
)
|
||||
|
||||
# Автоперезапуск с задержкой (backoff)
|
||||
if task.cfg.autorestart:
|
||||
if 0 < task.cfg.max_restarts <= task.restart_count:
|
||||
task.status = TaskStatus.CRASHED
|
||||
log_err(
|
||||
f"Задача '{task.cfg.name}' превысила лимит рестартов ({task.cfg.max_restarts}). "
|
||||
f"Автоперезапуск остановлен."
|
||||
)
|
||||
self.notifier.send(
|
||||
f"❌ <b>Лимит рестартов исчерпан:</b> <code>{task.cfg.name}</code> ({task.cfg.max_restarts})",
|
||||
title="Лимит рестартов исчерпан",
|
||||
level="error",
|
||||
fields={"Задача": task.cfg.name, "Попыток": str(task.cfg.max_restarts)}
|
||||
)
|
||||
return
|
||||
|
||||
task.status = TaskStatus.BACKOFF
|
||||
log_warn(
|
||||
f"Автоперезапуск '{task.cfg.name}' через {task.cfg.restart_delay} сек... "
|
||||
f"(Попытка {task.restart_count + 1}/{task.cfg.max_restarts or '∞'})"
|
||||
)
|
||||
|
||||
def _delayed_restart():
|
||||
time.sleep(task.cfg.restart_delay)
|
||||
if not self.shutdown_event.is_set() and task.status == TaskStatus.BACKOFF:
|
||||
task.restart_count += 1
|
||||
task.start()
|
||||
|
||||
threading.Thread(target=_delayed_restart, daemon=True, name=f"Restart-{task.cfg.name}").start()
|
||||
else:
|
||||
task.status = TaskStatus.STOPPED
|
||||
|
||||
def _watcher_loop(self):
|
||||
"""Отслеживание изменений файла config.yaml без падений процесса"""
|
||||
while not self.shutdown_event.is_set():
|
||||
self.shutdown_event.wait(timeout=2.0)
|
||||
|
||||
if self.config_mgr.check_modified():
|
||||
log_info("Обнаружено изменение конфигурационного файла. Применение...")
|
||||
new_cfg = self.config_mgr.load(exit_on_fail=False)
|
||||
if new_cfg is not None:
|
||||
self.apply_config(new_cfg)
|
||||
log_info("Конфигурация успешно обновлена на лету!")
|
||||
else:
|
||||
log_warn("Конфигурация не была применена из-за ошибок валидации.")
|
||||
|
||||
def shutdown(self):
|
||||
"""Полная остановка всех процессов, git-апдейтера и менеджера"""
|
||||
log_info("Остановка всех задач и завершение работы менеджера...")
|
||||
self.shutdown_event.set()
|
||||
self.git_updater.shutdown()
|
||||
with self._lock:
|
||||
for task in self._tasks.values():
|
||||
task.stop(force=True, timeout=3.0)
|
||||
self.notifier.shutdown()
|
||||
log_info("Все задачи завершены.")
|
||||
Reference in New Issue
Block a user