B14+B15: чистый SearchEngine + слоистая модель данных

B14 (поведение-сохраняющий рефакторинг): - services/search_engine.py — вся SAR-математика из analyze.py: SearchInput/SearchModel, build_search_model (чистая функция, без DB/auth/HTTP), деривации профилей/времени суток, unmodeled. - analyze.py — тонкая обёртка: сборка SearchInput + запись БД. - closed_cases.py — импорты хелперов из движка. - 12 юнит-тестов движка (claude_analyze мокается). - Контракт /analyze не изменён; регресс спеки подтверждён: bike 8yo 2h лес день -> 5.4 км. B15 (слои данных, Alembic): - backend/alembic (env из DATABASE_URL) + миграция 006_b15_layers. - Слой 4: search_models (case_id, version, input_snapshot, model_json). - Слой 3: search_teams, field_observations, areas_checked, found_events (geom JSONB GeoJSON, PostGIS в B16). - Слой 1: reference_priors (пустой, B12 заблокирован). - Бэкфилл: cases.analysis_log (объект с primary_zones) -> search_models v1; legacy-массивы и analysis_log-таблица не тронуты. - Проверено на CT108 в одноразовых pg16-контейнерах: чистая БД (без данных и с ними), бэкфилл=1 из 3 seed-кейсов, downgrade->upgrade идемпотентен, check-constraints работают, источник не модифицирован. pytest: 214 passed.
2026-09-09 15:48:29 +03:00
parent c368482d1c
commit 5bdb345e33
19 changed files with 1033 additions and 186 deletions
@@ -0,0 +1,5 @@
+#!/bin/sh
+# Чистка тестовых контейнеров и артефактов B15 на CT108
+docker rm -f vec-mig-pg vec-mig-run vec-mig-empty vec-mig-run2 vec-mig-full vec-mig-run3 >/dev/null 2>&1
+rm -rf /root/vector-mig-test /tmp/vector-mig.tgz /tmp/test-mig-*.sh /tmp/test-mig-*.sql /tmp/006_b15_layers.py
+echo CLEAN
@@ -0,0 +1,30 @@
+#!/bin/sh
+# Тест 2: чистая пустая БД — ТОЛЬКО alembic (без create_all). Миграция 006
+# должна создать ВСЕ таблицы слоёв; cases создаёт create_all/init отдельно
+# (миграция 006 не дублирует legacy-скрипты 001-005 — это осознанное решение).
+set -e
+docker rm -f vec-mig-empty >/dev/null 2>&1 || true
+docker rm -f vec-mig-run2 >/dev/null 2>&1 || true
+docker run -d --name vec-mig-empty -e POSTGRES_PASSWORD=postgres -e POSTGRES_DB=vector_mchs postgres:16 >/dev/null
+sleep 6
+docker run -d --name vec-mig-run2 --network container:vec-mig-empty -v /root/vector-mig-test:/app -w /app -e DATABASE_URL=postgresql://postgres:postgres@localhost:5432/vector_mchs python:3.11-slim sleep 600 >/dev/null
+docker exec vec-mig-run2 pip install -q alembic==1.14.0 sqlalchemy psycopg2-binary
+# На голой БД нужен cases до бэкфилла (запрос читает cases) — минимальный init:
+docker exec vec-mig-run2 sh -c "cd /app && PYTHONPATH=/app python -c \"
+from sqlalchemy import create_engine
+from backend.models import Case
+engine = create_engine('postgresql://postgres:postgres@localhost:5432/vector_mchs')
+Case.__table__.create(engine)
+print('cases table created')
+\""
+docker exec vec-mig-run2 sh -c "cd /app/backend && alembic upgrade head" 2>&1 | tail -1
+docker exec vec-mig-run2 sh -c "cd /app && PYTHONPATH=/app python -c \"
+import psycopg2, os
+conn = psycopg2.connect(os.environ['DATABASE_URL'])
+cur = conn.cursor()
+for t in ('search_models','search_teams','field_observations','areas_checked','found_events','reference_priors'):
+    cur.execute(f'select count(*) from {t}')
+    print(t, cur.fetchone()[0])
+cur.execute('select version_num from alembic_version')
+print('alembic version:', cur.fetchone()[0])
+\""
@@ -0,0 +1,6 @@
+-- Финальная сверка: источник не тронут
+SELECT 'case analysis_log urgency' AS what, analysis_log->>'urgency' AS val FROM cases WHERE id = '11111111-1111-4111-8111-000000000001'
+UNION ALL
+SELECT 'search_models v1 urgency', model_json->>'urgency' FROM search_models
+UNION ALL
+SELECT 'legacy array case still there', jsonb_typeof(analysis_log) FROM cases WHERE id = '11111111-1111-4111-8111-000000000002';
@@ -0,0 +1,28 @@
+#!/bin/sh
+# Тест 3: БД со схемой 001-003 + ВСЕ старые кейсы (23 шт, стенда-подобная) →
+# upgrade + count бэкфилла + downgrade + upgrade (повторная идемпотентность)
+set -e
+docker rm -f vec-mig-full >/dev/null 2>&1 || true
+docker run -d --name vec-mig-full -e POSTGRES_PASSWORD=postgres -e POSTGRES_DB=vector_mchs postgres:16 >/dev/null
+sleep 6
+docker rm -f vec-mig-run3 >/dev/null 2>&1 || true
+docker run -d --name vec-mig-run3 --network container:vec-mig-full -v /root/vector-mig-test:/app -w /app -e DATABASE_URL=postgresql://postgres:postgres@localhost:5432/vector_mchs python:3.11-slim sleep 900 >/dev/null
+docker exec vec-mig-run3 pip install -q alembic==1.14.0 sqlalchemy psycopg2-binary 2>/dev/null
+docker exec vec-mig-full psql -U postgres -d vector_mchs -c "CREATE EXTENSION IF NOT EXISTS pgcrypto;" >/dev/null
+cd /root/vector
+for f in backend/migrations/001_create_cases_table.sql backend/migrations/002_add_detailed_fields.sql backend/migrations/003_create_users_and_analysis_log.sql; do
+  docker exec -i vec-mig-full psql -U postgres -d vector_mchs < "$f" >/dev/null 2>&1
+done
+# Реальный дамп данных со стенда
+docker exec vec-mig-pg pg_dump -U postgres -d vector_mchs --data-only --table=cases --table=analysis_log > /tmp/stand-data.sql 2>/dev/null || true
+# Данных со стенда нет в тестовом контейнере — seed вручную (3 кейса как на стенде):
+docker exec -i vec-mig-full psql -U postgres -d vector_mchs < /tmp/test-mig-seed.sql >/dev/null 2>&1 || true
+echo "=== upgrade:"
+docker exec vec-mig-run3 sh -c "cd /app/backend && alembic upgrade head" 2>&1 | tail -1
+echo "=== backfill count (ожидаем 1: только object с primary_zones):"
+docker exec vec-mig-full psql -U postgres -d vector_mchs -t -c "select count(*) from search_models;"
+echo "=== idempotent re-upgrade (down->up):"
+docker exec vec-mig-run3 sh -c "cd /app/backend && alembic downgrade base -x" 2>&1 | tail -1
+docker exec vec-mig-run3 sh -c "cd /app/backend && alembic upgrade head" 2>&1 | tail -1
+echo "=== final count (ожидаем снова 1, без дублей):"
+docker exec vec-mig-full psql -U postgres -d vector_mchs -t -c "select count(*) from search_models;"
@@ -0,0 +1,17 @@
+#!/bin/sh
+# Seed для теста миграции 006 (idempotent: 001 содержит DROP TABLE)
+set -e
+cd /root/vector
+for f in backend/migrations/001_create_cases_table.sql backend/migrations/002_add_detailed_fields.sql backend/migrations/003_create_users_and_analysis_log.sql; do
+  docker exec -i vec-mig-pg psql -U postgres -d vector_mchs < "$f" 2>&1 | grep -i "error" && exit 1 || true
+done
+docker exec vec-mig-pg psql -U postgres -d vector_mchs <<'SQL'
+INSERT INTO cases (id, age_years, status, analysis_log) VALUES
+ ('11111111-1111-4111-8111-000000000001', 10, 'active', '{"primary_zones": [{"priority": 1, "name": "З"}], "urgency": "высокая", "max_distance_km": 5.4}'::jsonb),
+ ('11111111-1111-4111-8111-000000000002', 12, 'new', '[{"legacy": true}]'::jsonb),
+ ('11111111-1111-4111-8111-000000000003', 8, 'active', NULL);
+SQL
+echo "--- cases seeded:"
+docker exec vec-mig-pg psql -U postgres -d vector_mchs -t -c "SELECT count(*) FROM cases;"
+echo "--- analysis_log types:"
+docker exec vec-mig-pg psql -U postgres -d vector_mchs -t -c "SELECT id, jsonb_typeof(analysis_log) FROM cases;"
@@ -0,0 +1,6 @@
+-- Seed для теста миграции 006 (idempotent)
+INSERT INTO cases (id, age_years, status, analysis_log) VALUES
+ ('11111111-1111-4111-8111-000000000001', 10, 'active', '{"primary_zones": [{"priority": 1, "name": "З"}], "urgency": "высокая", "max_distance_km": 5.4}'::jsonb),
+ ('11111111-1111-4111-8111-000000000002', 12, 'new', '[{"legacy": true}]'::jsonb),
+ ('11111111-1111-4111-8111-000000000003', 8, 'active', NULL)
+ON CONFLICT (id) DO NOTHING;
@@ -0,0 +1,20 @@
+#!/bin/sh
+# Тест стенды для миграции 006: контейнер pg + схема 001-003 + seed
+set -e
+docker rm -f vec-mig-pg >/dev/null 2>&1 || true
+docker run -d --name vec-mig-pg -e POSTGRES_PASSWORD=postgres -e POSTGRES_DB=vector_mchs postgres:16 >/dev/null
+sleep 6
+docker exec vec-mig-pg psql -U postgres -d vector_mchs -c "CREATE EXTENSION IF NOT EXISTS pgcrypto;" >/dev/null
+cd /root/vector
+for f in backend/migrations/001_create_cases_table.sql backend/migrations/002_add_detailed_fields.sql backend/migrations/003_create_users_and_analysis_log.sql; do
+  docker exec -i vec-mig-pg psql -U postgres -d vector_mchs < "$f" >/dev/null 2>&1
+done
+# Seed: 3 кейса — с analyze_log-объектом (бэкфилл), с legacy-массивом (скип), без лога
+docker exec vec-mig-pg psql -U postgres -d vector_mchs <<'SQL'
+INSERT INTO cases (id, age_years, status, analysis_log) VALUES
+ ('11111111-1111-4111-8111-000000000001', 10, 'active', '{"primary_zones": [{"priority": 1, "name": "З"}], "urgency": "высокая", "max_distance_km": 5.4}'::jsonb),
+ ('11111111-1111-4111-8111-000000000002', 12, 'new', '[{"legacy": true}]'::jsonb),
+ ('11111111-1111-4111-8111-000000000003', 8, 'active', NULL);
+SQL
+echo "--- seeded cases:"
+docker exec vec-mig-pg psql -U postgres -d vector_mchs -t -c "SELECT count(*) FROM cases;"
@@ -0,0 +1,6 @@
+-- Проверка результата миграции 006 на тестовой БД
+\dt
+SELECT id, version, model_json->>'urgency' AS urgency, model_json->'primary_zones' AS zones FROM search_models ORDER BY created_at;
+SELECT count(*) AS backfilled_should_be_1 FROM search_models;
+INSERT INTO field_observations (case_id, obs_type, geom, confidence) VALUES ('11111111-1111-4111-8111-000000000001', 'position', '{"type": "Point", "coordinates": [27.56, 53.9]}', 0.9);
+INSERT INTO field_observations (case_id, obs_type) VALUES ('11111111-1111-4111-8111-000000000001', 'invalid_type');