# Источники данных — результаты разведки

Проверено фактически **2026-07-27** (curl, User-Agent `Mozilla/5.0`). Небольшие
образцы записей — в `docs/samples/`. Полные скачанные файлы разведки в репо не
хранятся (до 126 МБ) — пайплайн скачивает их сам.

Обозначения: ✅ проверено скачиванием · ⚠️ ограничение/нюанс · ❌ не работает.

---

## 1. ЦБ РФ

### 1.1 Реестр кредитных организаций

Одного файла со всеми нужными полями нет — реестр собирается из трёх выгрузок:

| Выгрузка | URL | Что даёт |
|---|---|---|
| ✅ Полный список КО (XLSX) | `https://cbr.ru/Queries/UniDbQuery/DownloadExcel/98547?FromDate=<MM/DD/YYYY>&ToDate=<MM/DD/YYYY>&posted=False` (экспорт со страницы `cbr.ru/banking_sector/credit/FullCoList/`; query ID 98547 стабилен, даты — текущие) | лист `RC`, ~1893 строки (реестр исторический): `rn, bnk_type, cregnum` (рег.№), `ogrn, bnk_name, opf, reg_date, lic_status, bnk_addr`. Действующих — 358. **Нет ИНН и БИК.** |
| ✅ Справочник БИК ЕД807 | `https://cbr.ru/s/newbik` → 302 (нужен `-L`) → zip → `YYYYMMDD_ED807_full.xml`, windows-1251, обновляется ежедневно | `BICDirectoryEntry@BIC` → `ParticipantInfo@NameP,@RegN,@PtType,@ParticipantStatus`, `SWBICS@SWBIC` (SWIFT BIC!), корсчета. ⚠️ Есть не только КО (УФК, филиалы — фильтр по PtType); **ИНН отсутствует**. |
| ✅ **Карточка КО (первичный источник ИНН и типа лицензии)** | `https://www.cbr.ru/finorg/foinfo/?ogrn={ОГРН}` — HTML, парсится по меткам «ИНН» и «Статус кредитной организации» | Указание заказчика (27.07.2026): карточка ЦБ первична. Даёт ИНН (есть у всех 358 действующих КО) и тип лицензии («Банк с универсальной/базовой лицензией», тип НКО). 358 запросов ≈ 7 мин, раз в месяц. |
| ✅ ИНН↔БИК (фолбэк) | `https://cbr.ru/scripts/XML_bic.asp` — XML windows-1251, 712 записей `<Record><ShortName/><Bic/><Inn/></Record>` | ⚠️ Кумулятивный и грязный: у 20 действующих банков ИНН расходится с карточкой (дубли БИК с чужими ИНН — так ЮниКредиту доставался ИНН Росгосстраха). Используется только если карточка недоступна. |

Бонус: в пакете формы 123 (см. 1.3) файл `*_123B.dbf` содержит готовую связку
`REGN, OGRN, BIC, NAME_B` по всем отчитывающимся банкам — удобен для сверки join'а.

⚠️ `cbr.ru/opendata/` — **404** (раздел недоступен). SOAP-сервисы
(`CreditInfoWebServ`, `DailyInfoWebServ`) живы, но не понадобились.

### 1.2 Активы — форма 0409101

- ✅ Каталог пакетов: `https://cbr.ru/banking_sector/otchetnost-kreditnykh-organizaciy/` (ссылки с 2004 г.).
- URL-паттерн: `https://cbr.ru/vfs/credit/forms/101-YYYYMM01.rar` — **RAR v5** (распаковывать `bsdtar`, macOS ок). Ежемесячно; последний на дату разведки — `101-20260701.rar` (данные на 01.07.2026, опубликован ~24.07 → лаг ~3.5 недели).
- Внутри DBF, **кодировка cp866**, суммы в тыс. руб.:
  - `MMYYYYB1.dbf` — остатки: `REGN, PLAN` (глава А/Б/В/Г + ITGAP-итоги), `NUM_SC` (счёт), `A_P`, `VITG` (вход. остаток), `OITGA/OITGP` (обороты), `IITG` (исход. остаток), `DT`.
  - `MMYYYYN1.dbf` — 354 банка: `REGN, NAME_B`.
  - `NAMES.dbf` — справочник счетов.
- Структура пакета (выяснено на Этапе 2): счета первого порядка (3 знака) + сгруппированные строки с точкой (`45.0`, `60.0`…) + строка-итог `ITGAP`; вместе (без ITGAP) они образуют полное разбиение валюты баланса.

**Методика активов (зафиксирована на Этапе 2, согласована с заказчиком 27.07.2026):**

Активы = **оценка нетто-активов** из главы А публикуемого пакета 101-й формы:
сумма активных остатков МИНУС активные стороны парных/технических счетов
(303 внутрибанковские, 706/707/708 доходы-расходы, 610/612 выбытие, 105/106
контр-капитальные) МИНУС контрарные пассивные остатки на счетах активной
природы (резервы, амортизация, переоценка: 203, 320–325, 441–473 и группы
44.x–47.x включая 474 с резервами 47425, 501–519, 604/607/608/609/619/620/621).
Полный список префиксов — `_EXCLUDE_ACTIVE` / `_CONTRA_PASSIVE` в `app/pipeline/cbr.py`.

⚠️ Это **оценка**: точное официальное «Всего активов» (ф. 0409806) из
публикуемого пакета невоспроизводимо — ЦБ сводит баланс по счетам второго
порядка, а пакет агрегирован до первого. Калибровка против ф.806 на 01.04.2026:
Сбербанк +0.26%, ВТБ −0.67%, Райффайзенбанк −0.77%, Совкомбанк −1.48%;
у платёжных НКО ошибка может достигать десятков процентов (внутренние
взаимозачёты второго порядка) — РНКО «Платёжный Центр» +31%. В UI цифры
активов помечаются как оценка. Сверка аудита против ф.806 на 01.07.2026: Сбербанк
+0.70%, ВТБ −0.43%, Альфа −0.11%, Газпромбанк −1.84%, Райффайзенбанк −1.66%,
Совкомбанк −1.14%, ДОМ.РФ −1.25% — у крупных банков ошибка до ~2%. Эталон для квартальной сверки — ф.806
(`cbr.ru/banking_sector/credit/coinfo/f806/?regnum={N}&dt={YYYY-MM-DD}`).

Перекрёстная проверка (Этап 2): единого определения «нетто-активов» не
существует — на 01.04.2026 по Сбербанку: наша оценка 65.31 трлн ₽,
официальная ф.806 65.14 трлн, «агрегированный баланс» по алгоритму ЦБ для
30 крупнейших (analizbankov.ru) 67.93 трлн, методика banki.ru (пары
«актив−пассив» с floor 0 по PDF-методике 01.2024) — ещё один вариант.
Наша оценка калибруется на официальную ф.806 — это осознанный выбор эталона.
kuap.ru мёртв (домен захвачен спам-сайтом, страницы 404) — не использовать.

Пробел SWIFT: у нескольких банков (Совкомбанк, РФК-банк) нет SWIFT в ЕД807;
ИНН теперь есть у всех из карточек finorg.
Не раскрываются 18+ мес (активы/капитал = прочерк): БЭНК ОФ ЧАЙНА (2309),
АйСиБиСи Банк (3475), МОСОБЛБАНК (1751) и ещё 3–4 КО — это норма, не ошибка.

### 1.3 Капитал — форма 0409123

- URL-паттерн: `https://cbr.ru/vfs/credit/forms/123-YYYYMM01.rar` (RAR v5, ежемесячно; последний — `123-20260701.rar`, данные на 01.07.2026).
- Внутри DBF cp866: `*_123D.dbf` — данные `REGN, C1` (код строки), `C3` (тыс. руб.); `*_123N.dbf` — справочник строк; `*_123B.dbf` — реквизиты банков.
- **Итог капитала — строка `C1='000'`** («Собственные средства (капитал), итого»). Пример: REGN=1 (ЮниКредит) → 369 763 728 тыс. руб.

### 1.4 Курсы валют

- ✅ `https://cbr.ru/scripts/XML_daily.asp[?date_req=DD/MM/YYYY]` — XML windows-1251.
- USD: `ID=R01235`, Nominal=1. JPY: `ID=R01820`, **Nominal=100** (курс за 100 иен — брать `VunitRate` или Value/Nominal).
- ⚠️ Десятичный разделитель — запятая. Если на дату курса нет, возвращается ближайший предыдущий — читать атрибут `Date` из ответа, не предполагать.

---

## 2. US — OFAC

### 2.1 Файлы списков

| Файл | URL | Размер | Назначение |
|---|---|---|---|
| ✅ SDN.XML | `https://sanctionslistservice.ofac.treas.gov/api/PublicationPreview/exports/SDN.XML` | ~29 МБ | классический SDN (19 254 записи) |
| ✅ SDN_ADVANCED.XML | `.../exports/SDN_ADVANCED.XML` | ~126 МБ | + designation dates, кириллические имена |
| ✅ CONSOLIDATED.XML | `.../exports/CONSOLIDATED.XML` | ~1 МБ | non-SDN (SSI, CAPTA, …), 481 запись |
| ✅ cons_advanced.xml | `https://www.treasury.gov/ofac/downloads/sanctions/1.0/cons_advanced.xml` | ~4.5 МБ | advanced-вариант non-SDN (см. ⚠️) |

⚠️ Механика SLS: ответ `302` на подписанный S3-URL (TTL 1 час) — обязателен
`curl -L` / follow_redirects; докачка после истечения подписи невозможна.
⚠️ `CONS_ADVANCED.XML` на SLS — 400; `CONSOLIDATED_ADVANCED.XML`/`NONSDN_ADVANCED.XML`
отдают **200 с пустым телом** — не использовать; advanced-консолидированный брать
только с легаси-URL treasury.gov (редиректит в тот же S3).
⚠️ SDN и Consolidated публикуются с разными датами — свежесть проверять по
`Publish_Date`/`DateOfIssue` каждого файла.

### 2.2 Структура и идентификаторы (классический формат)

`<sdnEntry>`: `uid`, `lastName` (название), `sdnType=Entity`, `programList`
(`RUSSIA-EO14024`, `UKRAINE-EO13662`, …), `idList` — там всё нужное:

- ОГРН → `idType="Registration Number"`, ИНН → `"Tax ID No."`, **BIC → `"SWIFT/BIC"`**, LEI → `"Legal Entity Number"`.
- Директивы — псевдо-id: `"Executive Order 13662 Directive Determination -"` → `"Subject to Directive 1"`; `"Listing Date (EO 14024 Directive 3):"` и т.п.
- Образец: `docs/samples/ofac_sdn_sberbank.xml` (Сбербанк, uid 17018: SDN + SSI одновременно).

### 2.3 Типы (SDN / SSI / CAPTA) и даты включения

- Классический Consolidated **не содержит** явного поля типа списка. Надёжное различение — advanced-формат: `SanctionsEntry@ListID`: `1550`=SDN, `91507`=SSI, `91763`=CAPTA, `92052`=Non-SDN CMIC; `SanctionsTypeID`: 91505–91514 = 13662 Directives 1–4, 92087/92093 = EO 14024 Directive 3/2.
- **Designation dates — только в advanced**: `SanctionsEntry → EntryEvent(EntryEventTypeID=1) → Date` (+ `LegalBasisID` → справочник EO). У одного банка несколько дат — по одной на каждый список (Сбербанк: SDN 06.04.2022, SSI 12.09.2014).
- ⚠️ Один банк может быть и в SDN, и в SSI (одинаковый uid/ProfileID в обоих файлах) — тип привязывать к списку-источнику, дедупликация по uid.
- В advanced есть кириллические названия (ScriptID=220) — полезно для матчинга.

### 2.4 Триггер обновлений

- **Лучший**: ✅ `https://sanctionslistservice.ofac.treas.gov/changes/latest` — дельта-XML (`<entity action="add|modify|delete">`, `datePublished` — элемент, не атрибут). Значение триггера с 17.11.2026 — `datePublished` плюс отпечаток записей (`app/pipeline/triggers.py`). Образец: `docs/samples/ofac_changes_latest.xml`.
- ✅ `https://ofac.treasury.gov/recent-actions` — HTML (Drupal), блоки `.views-row`, ссылки `/recent-actions/YYYYMMDD[_NN]`; RSS-фида у раздела нет (❌ `/recent-actions/feed` — 404).

---

## 3. EU — FSF + EUR-Lex

### 3.1 Consolidated Financial Sanctions File (FSF)

**EU Login / персональный токен НЕ нужен.** Официальный публичный RSS
✅ `https://webgate.ec.europa.eu/fsd/fsf/public/rss` (без авторизации) публикует
прямые ссылки с общим токеном `dG9rZW4tMjAxNw`:

- ✅ XML 1.1: `https://webgate.ec.europa.eu/fsd/fsf/public/files/xmlFullSanctionsList_1_1/content?token=dG9rZW4tMjAxNw` (~25 МБ, 6017 записей; также CSV/XSD/PDF/XML 1.0).
- ⚠️ Токен общий и теоретически может ротироваться — **на каждом прогоне брать актуальные ссылки из RSS**, токен не хардкодить. Переменная `EU_FSF_TOKEN` остаётся как опциональный override.
- ⚠️ Без токена: `.../content` → 403, кривой токен → 500, PDF без токена → **200 с пустым телом** — мониторить по контенту, не по коду ответа.
- В RSS у item есть `pubDate` и `guid` с SHA1-чексуммой файла — готовый детектор изменений.

Структура XML (`xmlns=http://eu.europa.ec/fpi/fsd/export`): `sanctionEntity
@euReferenceNumber @designationDate` → `regulation @numberTitle @publicationDate
@programme` (+`publicationUrl` на EUR-Lex), `subjectType@code=enterprise`,
`nameAlias@wholeName`, `identification@identificationTypeCode`:
**`swiftbic`, `regnumber`, `taxid`** и др. Программа России — `UKR` (регламент
269/2014), 2745 записей. Образец: `docs/samples/eu_fsf_sberbank.xml`.

### 3.2 Секторальные меры Reg. 833/2014 — парсер `eu833.py`

**Изменение периметра (заказчик, 27.07.2026):** меры ст. 5h / Annex XIV
включены в дашборд отдельным типом (ключ данных `eu_swift`, бейдж **TranBan**).
⚠️ Уточнение 28.07.2026: исходно ст. 5h была запретом SWIFT/спецсообщений,
но поправкой ▼M37 расширена до **транзакционного запрета** («запрещены любые
операции», + правило дочек >50%) — бейдж и описания обновлены, ключ в данных
сохранён для стабильности истории. 21-й пакет (Reg. 2026/1848 от 23.07.2026)
добавил в Annex XIV 33 банка (применяется с 13.08.2026); список сверен с
независимым источником заказчика — совпадение 33/33.

Механика: SPARQL CELLAR → последняя консолидация `02014R0833-*` → XHTML →
парсинг Annex III (`eu_capital`) и Annex XIV (`eu_swift`, пары «имя — дата»);
поправки новее консолидации (из RSS OJ L) парсятся отдельно («following
entries are added») и объединяются. Названия в приложениях — переводы/бренды
(«Credit Bank of Moscow», «T-bank») — ~50 ручных матчей в overrides.
⚠️ Даты «Date of application» могут быть в будущем (вступление в силу).

### 3.2-старое Секторальные меры (ст. 5 Reg. 833/2014) — для overrides

Консолидированный 833/2014 доступен программно через CELLAR (Publications Office):
✅ `http://publications.europa.eu/resource/celex/02014R0833-20260717` с заголовками
`Accept: application/xhtml+xml` + **`Accept-Language: en` (без него 400)**.
Дату последней консолидации получать через SPARQL
`http://publications.europa.eu/webapi/rdf/sparql` (STRSTARTS по CELEX `02014R0833`).
**Annex III** (Art 5(1)(a)): Sberbank, VTB, Gazprombank, VEB, Rosselkhozbank;
рядом Annex V/VI (Art 5(3)). Это источник ручных записей в `overrides/matches.json`.

### 3.2a Свежие заморозки из актов OJ (парсер `eu269.py`, добавлено 28.07.2026)

FSF-файл отстаёт от публикации пакетов на дни (акт 2026/1843 от 23.07 с
~171 юрлицом, из них ~90 банков, не попал в FSF от 20.07, хотя заморозка уже
действует). Поэтому designations по 269/2014 берутся и напрямую из актов OJ:
таблицы приложений (имя + кириллица + ИНН/ОГРН в колонке идентификаторов,
физлица отсеиваются по DOB/Gender), матчинг в основном по ИНН. Когда FSF
догоняет, записи дублируются с FSF-шными — это принято (двойной аудиторский
след). Реестр известных актов — `data/latest/eu_acts.json` (коммитится):
RSS-лента OJ держит ~100 позиций (около недели) и акты из неё ВЫПАДАЮТ —
реестр обязателен (ночной сбой 28.07.2026: акт выпал из ленты → KeyError в
матчинге; исправлено и мягкой деградацией overrides без цели). С 11.2026 новые
акты берутся прежде всего из CELLAR (SPARQL, `app/pipeline/eu_acts.py`) с даты
самого старого акта реестра — так догружаются и акты, выпавшие из RSS, пока
сервис спал (2026/1844 — правка статей регламента; 2184, 2281, 2292, 2333 — банков
нет; 2026/1779 старше реестра, его юрлица уже в FSF).

Разбор приложений (с 17.11.2026): раздел определяется по фразе-инструкции перед
таблицей — «are added» (новая заморозка, дата — дата акта; в таблицах «Date of
listing» совпадает с ней), «are replaced by the following» (действующая запись:
дата из «Date of listing», если юрлицо добавил более ранний акт реестра — его
запись обновляется на месте) и «are deleted» (снимает записи более ранних актов;
сверяются имя и номер в Annex I — лица и юрлица нумеруются отдельно). Таблица без
понятной инструкции или непрочитанная строка удаления — ошибка разбора, то есть
сбой источника с фолбэком. Лица и юрлица различаются по колонке идентификаторов и
подзаголовку «Persons»; строки-заголовки и шапка OJ отсекаются; одноимённые юрлица
различаются по ИНН/ОГРН (в 2281 — четыре пары), при совпадении slug — суффикс с
номером Annex I. Пересмотр 2026/2160 — 7 удалений и 71 замена юрлиц (банков нет).

Когда FSF «догнал» акт: FSF ссылается на решение CFSP пакета, а не на регламент
(все 168 юрлиц пакета 1843 — на 2026/1845), поэтому «догнал» определяется по банку:
есть FSF-запись EU с теми же типами — запись акта помечается `superseded_by` и
берёт дату FSF. Записи актов не удаляются: удаление дало бы «delisted» в диффе.
Проверка правок: `tools/replay_matching.py --refetch-eu-acts`.

### 3.3 Триггеры

- ✅ **CELLAR SPARQL** (`https://publications.europa.eu/webapi/rdf/sparql`) — акты Совета, в английском заголовке которых «amending/implementing Regulation (EU) No 269/2014 | 833/2014». Акт виден там сразу после публикации в OJ: 2026/2574 — в 10:47 UTC 16.11.2026, а в RSS ниже его ещё не было в 11:45 (бот пропустил пакет до следующего дня). Основной триггер ЕС и источник реестра актов с 11.2026.
- ✅ RSS EUR-Lex «Acts of the OJ L»: `https://eur-lex.europa.eu/EN/display-feed.rss?rssId=165` — фильтровать по «restrictive measures» / 269/2014 / 833/2014. ⚠️ Отстаёт от публикации на часы и держит 100 записей (около недели) — запасной.
- ✅ FSF RSS (см. выше) — детект обновления самого файла.
- ❌ HTML-страницы EUR-Lex — AWS WAF JS-challenge (HTTP 202); ❌ пресс-релизы Совета ЕС — Cloudflare challenge. В кроне не использовать.
- ⚠️ data.europa.eu: датасет FSF существует, но поле `modified` отстаёт на годы — не индикатор свежести.

---

## 4. UK — UK Sanctions List (FCDO)

Старый OFSI Consolidated List закрыт с 28.01.2026; единственный источник:

- ✅ `https://sanctionslist.fcdo.gov.uk/docs/UK-Sanctions-List.xml` — ~21.7 МБ, 6315 `<Designation>`, из них 3450 по режиму Russia. Отдаёт `Last-Modified`/`ETag` (условные запросы работают). Параллельные форматы: `.csv/.ods/.html/...` по тому же пути.
- Структура записи: `UniqueID` (RUS0256=Sberbank, RUS0250=VTB, RUS1072=Gazprombank), `DateDesignated` / `LastUpdated` (**формат DD/MM/YYYY**), `Names/Name6`, `NonLatinNames` (кириллица — полезно для матчинга), `RegimeName`, `OFSIGroupID` (мост к старому OFSI-списку). Образец: `docs/samples/uk_designation_sberbank.xml`.
- Типы мер — два представления: строка `SanctionsImposed` (токены через `|`, регистр непоследователен) и **`SanctionsImposedIndicators` — 15 boolean-элементов (надёжнее)**: `AssetFreeze`, `TrustServicesSanctions`, `DirectorDisqualificationSanction`… ⚠️ Часть мер (Correspondent banking) есть только в строке — парсить оба.
- ⚠️ **«Investment ban» в списке не существует как мера** — инвестиционные запреты UK секторальные (reg. 16 Russia Regulations 2019, «persons connected with Russia») и к записям списка не привязаны. Бейдж `uk_invban` из этого источника не выводится → вести через overrides либо исключить из MVP (решение на Этапе 3).
- ⚠️ Идентификаторы: SWIFT/BIC у российских банков отсутствует; ИНН/ОГРН — грязный свободный текст в `BusinessRegistrationNumber` (у Sberbank — голый ОГРН; **у VTB и Gazprombank отсутствуют вовсе**) → матчинг по названиям + NonLatinNames.
- Триггер: ✅ gov.uk Content API `https://www.gov.uk/api/content/government/publications/the-uk-sanctions-list` — JSON с `public_updated_at` и полным `change_history` (457 записей) + актуальными URL вложений. Дешёвая проверка — HEAD на XML (`ETag`). ❌ Atom-фида нет.

---

## 5. JP — Минфин Японии (MOF)

### 5.1 Asset freeze (сводный список)

- ✅ Страница: `https://www.mof.go.jp/policy/international_policy/gaitame_kawase/gaitame/economic_sanctions/list.html` (UTF-8 **с BOM**; отдаёт `Last-Modified`/`ETag`). Дата актуальности в заголовке — японской эрой: `(令和8年7月15日現在)` (令和8 = 2026).
- Файлы (имена содержат дату и **меняются при каждом обновлении** — извлекать из HTML, не хардкодить): регэксп `href="\./(shisantouketsu\d{8})\.(xlsx|csv)"`.
  - ✅ `shisantouketsu20260715.xlsx` (1.2 МБ, 44 листа) и **CSV-версия (удобнее)**: плоская таблица, UTF-8 с BOM; колонки: `区分` (категория: **30 = банки РФ**, 28 = юрлица РФ, 36 = банки третьих стран), `番号` (ID вида `030-000008`), `告示日付` (дата включения, формат `2022.4.12`), `氏名(日本語)`, `氏名(英語)` (латиница — ключ матчинга), алиасы, адрес.
- Лист 30 «ロシア連邦(特定銀行)» — 16 банков (Sberbank, VTB Bank, VEB.RF, Alfa-bank, Sovcombank, Otkritie, Rosbank, Tinkoff…). ⚠️ **Газпромбанка в asset freeze нет** — только в секторальном PDF (см. 5.2).
- ⚠️ Данные грязные: полноширинная латиница (`VEB.RF`), хвостовые пробелы (`JSC Tinkoff Bank `), имя листа 30 с хвостовым пробелом, хвостовые пустые строки, смешанные скобки ()/(). Excel помечен 暫定版 (предварительная версия; юридически первичны 告示 МИД).

### 5.2 Capital markets (ценные бумаги)

На той же странице — два PDF (не обновлялись с 26.02.2022):
- ✅ `ukraine_list_russiabank_20220226.pdf` — запрет выпуска/размещения ценных бумаг: Sberbank, VTB, VEB, **Gazprombank** и др. (5 банков; действует с 09.2014).
- ✅ `ukraine_list_russiagov_20220226.pdf` — то же для госорганов.
- Паттерн ссылок: `href="\./(ukraine_list[a-z_]*)_(\d{8})\.pdf"`. Источник бейджа `jp_capital` — вести через overrides (файл статичен с 2022 г.).

### 5.3 Триггер

- ✅ Сама страница `list.html`: условный GET по `ETag`/`Last-Modified` + детект смены имени файла `shisantouketsu\d{8}` и строки `(令和…現在)`.
- ❌ **MOFA (mofa.go.jp) недоступен не из Японии** — Akamai 403 на всё (проверено многократно, включая браузерные заголовки). Пресс-релизы МИД как триггер использовать нельзя; страница MOF надёжнее (секторальные PDF тоже хостятся у MOF).

---

## 6. Сводка по матчингу (что реально есть в источниках)

| Идентификатор | ЦБ | OFAC | EU FSF | UK | JP |
|---|---|---|---|---|---|
| SWIFT BIC | ✅ ЕД807 `SWBIC` | ✅ `SWIFT/BIC` | ✅ `swiftbic` | ❌ | ❌ |
| ИНН | ✅ XML_bic.asp | ✅ `Tax ID No.` | ✅ `taxid` | ⚠️ грязный текст, не у всех | ❌ |
| ОГРН | ✅ реестр XLSX | ✅ `Registration Number` | ✅ `regnumber` | ⚠️ | ❌ |
| Название (латиница) | ⚠️ нет (нужен overrides/names_en) | ✅ + кириллица в advanced | ✅ | ✅ + кириллица NonLatinNames | ✅ 英語表記 |

Вывод: US/EU матчатся надёжно по BIC/ИНН/ОГРН; UK — по названиям (кириллица
в NonLatinNames поможет); JP — только по латинице + ручной маппинг в overrides.

## 5a. Дочки нерезидентов (фильтры, добавлено 27.07.2026)

- Официальная серия ЦБ «Информация о действующих КО с участием нерезидентов»
  (`cbr.ru/analytics/bnksyst/ITM_41321/`): актуальный срез 01.01.2026 содержит
  **только агрегаты** (47 КО с долей >50%); именные списки прекращены после
  среза 01.01.2021 (`PUB_210101.pdf` — приложения 2 и 3). Страна материнской
  группы отсутствует во всех официальных источниках ЦБ.
- Поэтому `data/overrides/foreign.json` — **курируемый файл** (как overrides):
  база — список 01.01.2021, владение сверено по публичным данным 27.07.2026
  (источники в файле). Покрытие: 38 действующих КО из ~47 по агрегату ЦБ;
  непроверенные кейсы перечислены в `_meta.unverified_2026`. Ушедшие из
  иностранного контроля (Ситибанк→РенКап, Голдман→Ориджин, РН→Авто Финанс,
  ХКФ, Росбанк и др.) исключены. Поддержка — модератором.

## 6a. Ловушки матчинга (выявлены на Этапе 3)

1. **Дубли в XML_bic.asp**: у одного БИК бывают две записи с разными ИНН
   (у БИК ЮниКредита вторая запись содержит ИНН Росгосстраха) — берём первую.
2. **Иностранные дочки в OFAC**: украинские Sberbank/VTB (BIC SABRUAUK/VTBRUAUK)
   матчились по имени → для матчей по имени введён гейт по стране адреса записи
   (нужна Russia); id-матчи не ограничиваются.
3. **JP-список использует переводы, а не транслитерацию** (Credit Bank of
   Moscow = МКБ) и бренды (Bank Rossiya) → ручные матчи в overrides.
4. **Переименования**: Промсвязьбанк → «Банк ПСБ», Тинькофф → «ТБанк» —
   старые названия в списках, новые в реестре → overrides.
5. **Похожие имена ≠ тот же банк**: СГБ(Севергазбанк)≠Сургутнефтегазбанк,
   ТКПБ(Тамбов)≠Транскапиталбанк, БМВ Банк≠БМ-Банк, ВБ Банк≠VTB,
   МБ Банк(Иран)≠MRB(Цхинвал) — в exclusions.json с пояснениями.
6. Не действующие КО (Открытие, Росбанк, РНКБ, СМП — присоединены; ВЭБ.РФ —
   не КО) корректно остаются несматченными — это не пропуск.
7. **Слияния и переименования (требование заказчика, реализовать на Этапе 5):**
   санкционные списки продолжают нести старые названия/ИНН после слияний.
   Дифф обязан различать причины изменения матчей: (а) запись удалена из
   списка → алерт «снятие санкций»; (б) запись на месте, но банк исчез из
   реестра действующих (отзыв/реорганизация) → алерт модератору «проверьте
   правопреемника, возможен override» (+статус из карточки finorg);
   (в) смена названия при том же ОГРН (Тинькофф→ТБанк) → алерт модератору.
   Санкции автоматически НЕ переносятся на правопреемника — только через
   overrides решением модератора.

## 6b. Правила матчинга (с 17.11.2026, `app/pipeline/matching.py`)

- **По имени (точно и fuzzy) — только записи, похожие на кредитную организацию**:
  банк/bank/banca/banque, НКО/RNKO, кредит/credit (не «аккредит…»), расчётн/settlement,
  клиринг/clearing, депозитар/depository, платёж/payment; JP — категории 30 и 36 (банки),
  категория 28 (юрлица-небанки) — только по ID или ручной правке. «KB/CB/КБ» признаком
  не считаются: так же сокращается «конструкторское бюро» (44 записи небанков).
- **ИНН и ОГРН — из любых полей ID**, только с верной контрольной суммой (FSF кладёт ИНН
  в `regnumber`, КПП — в `taxid`; неверные ИНН Абсолюта и НРБанка в FSF и акте 1843
  проверку не проходят — у них ручные сопоставления).
- **Нормализация**: латиница внутри кириллических слов («AO AКБ “НРБанк”»), полные
  ОПФ и их транслит сводятся к сокращениям; кириллические алиасы сравниваются с
  кириллическим ключом; имена через «;» разбиваются (JP — 305 ячеек).
- **Английские названия банков** (`overrides/names_en.json`) участвуют в точном
  совпадении; текст в скобках — отдельным именем, только если похож на название банка.
- **/pending**: не предлагается запись, уже сопоставленная с другим банком, и запись
  с тем же названием, что у пары, которую модератор уже отклонил.
- Эталон — `tests/test_matching.py` (41 банк, фикстура `tests/data/matching_reference.json.gz`).

## 7. Открытые вопросы к следующим этапам

1. **Методика активов по 101-й форме** — зафиксировать на Этапе 2 после сверки с публичными цифрами (и проверить 3- vs 5-значные счета в пакете).
2. **`uk_invban`** — меры нет в UK-списке; решить на Этапе 3: вести вручную в overrides или исключить бейдж из MVP.
3. **JP/EU capital markets** — статичные приложения; подтверждена схема ведения через `overrides/matches.json` со ссылками на первоисточники.
4. **SDN_ADVANCED.XML 126 МБ** — на Render free tier (512 МБ RAM) парсить потоково (`iterparse`), не DOM.