Похожие презентации:
Sleep-EDF-Defense-Final-Kaggle
1.
Защита проекта Sleep-EDFРаспознавание
стадий сна
Классификация ЭЭГ и ЭОГ с помощью U-Sleep
2.
Команда и порядок выступленияАмирхан Сахапов
Слайды 3–7. Задача, эксперименты и подготовка сигнала
Михаил Кручинин
Слайды 8–13. Выбор U-Sleep, архитектура и объединение прогнозов
Никита Ламзенков
Слайды 14–19. Запуск на Kaggle, проверка CSV и результат
02
3.
Амирхан СахаповЗадача и метрика
Одна эпоха занимает 30 секунд
По двум отведениям ЭЭГ и одному каналу ЭОГ определяем W, N1, N2, N3 или REM.
Ночь состоит из последовательности эпох
На входе 100 Гц, то есть 3 000 отсчётов на канал. На выходе одна метка для каждого ID.
Macro-F1 усредняет F1 пяти стадий
Каждая стадия вносит одинаковый вклад. На val стадий W 28 763, а N1 всего 1 884.
03
4.
Амирхан СахаповКак менялись решения
Модель
Что она использует
Val macro-F1
CatBoost
Спектральные признаки и соседние эпохи
0,74619
TCN
Свёртки по последовательности признаков
0,77302
TinySleepNet
Предобученный CNN, дообученные LSTM и
классификатор
0,82311
U-Sleep
Сырые ЭЭГ и ЭОГ, две пары, фиксированные веса
0,93106
U-Sleep выбрали по официальной валидации до запуска этой модели на test.
04
5.
Амирхан СахаповПроверка входного сигнала
sleep_pipeline.py / read_record
fs = np.asarray(archive["fs"])
if fs.size != 1 or float(fs.reshape(-1)[0]) != 100:
raise ValueError(f"{path}: expected fs=100")
if tuple(strings(archive["channel_names"])) != CHANNELS:
raise ValueError(f"{path}: channel names/order do not match {CHANNELS}")
ids = strings(archive["ids"])
raw_epochs = np.asarray(archive["epoch_index"]).reshape(-1)
Форма массива и порядок каналов должны совпасть с тем, что ожидает модель.
05
6.
Амирхан СахаповПочему сигнал делится на участки
usleep_candidate.py / predict_record
boundaries = np.r_[0, np.flatnonzero(np.diff(epoch_index) != 1) + 1, len(x)]
mean, fpz, pz = [np.empty((len(x), 5), np.float32) for _ in range(3)]
for begin, end in zip(boundaries[:-1], boundaries[1:]):
result = predict_run(model, x[begin:end], device)
mean[begin:end], fpz[begin:end], pz[begin:end] = result
Индексы 7, 8, 11 образуют участки [7, 8] и [11]. Фильтр и модель обрабатывают их по
отдельности.
06
7.
Амирхан СахаповЗачем преобразуем сигнал
usleep_candidate.py / preprocess_run
values = x[:, :, channel].astype(np.float64).reshape(-1) * 1e-6
values -= values.mean()
values = signal.resample_poly(values, 128, 100)
sos = signal.butter(2, .1, btype='highpass', fs=128, output='sos')
values = signal.sosfiltfilt(sos, values)
values = RobustScaler().fit_transform(values.reshape(-1, 1)).reshape(-1)
threshold = np.subtract(*np.percentile(values, [75, 25])) * 20
values = np.clip(values, -threshold, threshold)
output[channel] = values.astype(np.float32)
Переход 100 → 128 Гц даёт 3 840 отсчётов на эпоху. Медиана и размах вычисляются по
каждому каналу участка.
07
8.
Михаил КручининПочему выбрали предобученный U-Sleep
Модель рассчитана на пары ЭЭГ и ЭОГ
Можно использовать оба отведения ЭЭГ с одним каналом ЭОГ через два прохода сети.
Сеть видит непрерывный сигнал
Свёртки используют контекст соседних отсчётов и эпох. Классификатор выдаёт метку на
каждые 30 секунд.
Проверили опубликованные веса
Использовали checkpoint U-Sleep-for-RBD-PD. Официальная val дала macro-F1 0,93106 с
фиксированными весами.
08
9.
Михаил КручининЭнкодер, декодер и классификатор
usleep_candidate.py / USleep.forward
def forward(self, x):
encoded, shortcuts = self.encoder(x)
return self.classifier(self.dense(self.decoder(encoded, shortcuts)))
Энкодер
12 уровней постепенно уменьшают временное разрешение. Признаки сохраняются для
связей с декодером.
Декодер и классификатор
Декодер восстанавливает временную шкалу. Усреднение 3 840 отсчётов и свёртки дают
пять логитов на эпоху.
09
10.
Михаил КручининКак модель остаётся замороженной
usleep_candidate.py / load_frozen
assert metadata['class_order'] == list(range(5))
assert sha(Path(pipeline.__file__)) == metadata['pipeline_source_sha256']
assert sha(directory / 'frozen_state.pt') == metadata['model_sha256']
assert sha(directory / 'config.json') == metadata['config_sha256']
assert sha(Path(__file__)) == metadata['source_sha256']
assert json.loads((directory / 'config.json').read_text()) == CONFIG
SHA-256 сверяет файлы и конфигурацию. После загрузки eval включает сохранённые
статистики BatchNorm.
10
11.
Михаил КручининДва прохода и среднее вероятностей
usleep_candidate.py / predict_run
for channels in CONFIG['pair_indices']:
batch = torch.from_numpy(values[channels].copy())[None].to(device)
logits = model(batch)
assert logits.shape == (1, 5, len(x)) and torch.isfinite(logits).all()
outputs.append(torch.softmax(logits, dim=1)[0].transpose(0, 1).cpu().numpy())
mean = (outputs[0] + outputs[1]) / 2
Fpz–Cz + ЭОГ и Pz–Oz + ЭОГ имеют одинаковый вес. Argmax применяется после усреднения.
11
12.
Михаил КручининЧто дало объединение каналов
Вход U-Sleep
Val macro-F1
Fpz–Cz + ЭОГ
0,92463
Pz–Oz + ЭОГ
0,91233
Среднее вероятностей двух пар
0,93106
Прибавка к лучшей одиночной паре составила 0,00643 macro-F1.
По стадиям на val: W 0,994, N1 0,849, N2 0,944, N3 0,889, REM 0,980.
12
13.
Михаил КручининПроисхождение весов и оценка
Опубликованный checkpoint
Весам соответствует зафиксированный коммит. Сверены размер файла и хэш Git-объекта.
В предобучение входил Sleep-EDF
Точное пересечение с записями курса неизвестно. В отчёте и ноутбуке это раскрыто.
Кандидат выбран на открытой val
Macro-F1 на val использовали для выбора. Оценку на скрытых метках вычисляет Kaggle.
13
14.
Никита ЛамзенковТри запуска на Kaggle
365562390 / валидация
Загрузка и проверка опубликованного checkpoint, метрики val и сохранение frozen_state.pt.
365566643 / эталон
Обработка 24 тестовых записей с выключенным интернетом. Сохранены CSV и
контрольные суммы.
365570472 / финальный повтор
Датасет v1, сохранённые веса и эталон подключены как Inputs. Новый CSV сверен с
эталоном.
14
15.
Никита ЛамзенковПроверка повторного инференса
usleep_final_inference.py / infer
x,record_ids,epochs=pipeline.read_record(path)
first=candidate.predict_record(MODEL,x,epochs,device)[0].argmax(1)
repeat=candidate.predict_record(MODEL,x,epochs,device)[0].argmax(1)
assert np.array_equal(first,repeat),'Full preprocessing/model repeat differs'
assert candidate.fingerprint(MODEL)==frozen,'Parameters/BN changed'
Для каждой записи повторяем предобработку и оба прохода сети. Сравниваем все классы и
состояние модели.
15
16.
Никита ЛамзенковСборка файла отправки
usleep_final_inference.py / infer
assert set(predictions)==set(ids)
with (W/'submission.csv').open('w',newline='') as stream:
writer=csv.writer(stream);writer.writerow(['id','label'])
writer.writerows((identifier,predictions[identifier]) for identifier in ids)
Одна строка на эпоху. Набор ID и порядок строк задаёт sample_submission.csv.
16
17.
Никита ЛамзенковСверка независимых запусков
final_kaggle.ipynb / финальная ячейка
reference=json.loads(refs[0].read_text())
assert source_hashes==reference['source_hashes']
assert actual_runtime==reference['runtime'],'Numerical environment changed'
assert loaded['model_sha256']==reference['model_sha256']
assert loaded['config_sha256']==reference['config_sha256']
manifest['reference_csv_identical']=True
candidate.dump(W/'final_run.json',manifest)
Полный SHA-256 нового submission.csv совпал с эталонным файлом. Итог записан в
final_run.json.
17
18.
Никита ЛамзенковВремя работы на Kaggle
Что измеряли
Время
Валидация, весь код
222,2 с
Эталон, весь код
319,5 с
Финальный повтор, весь код
328,3 с
Финальный повтор, время Kaggle
349,1 с
Tesla T4, cuda:0 из T4 ×2. Числа для кода включают чтение, обработку, повторы и
проверку.
18
19.
Никита ЛамзенковИтог команды на Kaggle
0,87242
Private macro-F1
Public macro-F1 0,88308
Предобученный U-Sleep, два отведения ЭЭГ с ЭОГ, среднее вероятностей 50/50.
19
20.
Приложение. Финальная ячейка KaggleВходы и проверка среды
Ячейка загружает сохранённые веса, сверяет исходники и проверяет настройки запуска.
Инференс и результат
Ячейка запускает обработку test, сверяет CSV с эталоном и сохраняет время и
контрольные суммы.
20
21.
Полный код / строки 1–22final_kaggle.ipynb
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
↳
20
↳
21
22
import time
START=time.perf_counter()
import os
os.environ['CUBLAS_WORKSPACE_CONFIG']=':4096:8'
from pathlib import Path
import json,shutil,sys,hashlib
W=Path('/kaggle/working');I=Path('/kaggle/input')
paths=[p for p in I.rglob('labels.csv') if 'sleep-edf-full-psg-course-data' in str(p)]
assert len(paths)==1
DATA=paths[0].parent
models=[p.parent for p in I.rglob('metadata.json') if p.parent.name=='usleep_validation']
assert len(models)==1,'Attach U-Sleep validation v1 script365562390 only'
SAVED=models[0]
for name in ['usleep_candidate.py','sleep_pipeline.py']:
shutil.copyfile(SAVED/name,W/name)
sys.path.insert(0,str(W))
import usleep_candidate as candidate
import sleep_pipeline as pipeline
assert candidate.sha(W/'usleep_candidate.py')=='241ed0ea72cea90f1b33428a82e8ef12feaf81d41364b090686b8
f073ed2c2e6'
assert candidate.sha(W/'sleep_pipeline.py')=='820bef9982a3daa8e7e67904cb17a96d0bb67f5f990a1b322800715
5c5fe110f'
metrics=json.loads((SAVED/'metrics.json').read_text())
assert abs(metrics['macro_f1']-.9310643663880679)<1e-12
21
22.
Полный код / строки 23–45final_kaggle.ipynb
23
↳
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
assert metrics['repeated_component_and_ensemble_labels_identical'] and not metrics['test_read'] and n
ot metrics['fit_called']
metadata=json.loads((SAVED/'metadata.json').read_text())
assert metadata['original_checkpoint']['integrity']['git_blob_sha1']==candidate.GIT_BLOB_SHA1
candidate.configure()
assert candidate.torch.cuda.is_available()
device=candidate.torch.device('cuda:0')
assert candidate.torch.cuda.device_count()==2 and 'T4' in candidate.torch.cuda.get_device_name(0)
model,loaded=candidate.load_frozen(SAVED,device)
actual_runtime=candidate.runtime(device)
source_hashes={name:candidate.sha(W/name) for name in ['usleep_candidate.py','sleep_pipeline.py']}
for name in ['config.json','metadata.json','source_provenance.json','LICENSE_PROVENANCE.txt']:
shutil.copyfile(SAVED/name,W/name)
refs=list(I.rglob('reference_manifest.json'))
refs=[p for p in refs if json.loads(p.read_text()).get('research_script_version_id')==365562390]
assert len(refs)==1,'Attach exactly completed U-Sleep reference output'
REF=refs[0].parent
reference=json.loads(refs[0].read_text())
assert source_hashes==reference['source_hashes']
assert actual_runtime==reference['runtime'],'Numerical environment changed'
assert loaded['model_sha256']==reference['model_sha256']
assert loaded['config_sha256']==reference['config_sha256']
assert candidate.sha(SAVED/'metadata.json')==reference['metadata_sha256']
shutil.copyfile(REF/'usleep_final_inference.py',W/'usleep_final_inference.py')
22
23.
Полный код / строки 46–55final_kaggle.ipynb
46
47
48
49
↳
↳
↳
↳
↳
50
↳
51
52
53
54
↳
55
assert candidate.sha(W/'usleep_final_inference.py')==reference['inference_source_sha256']
import usleep_final_inference as final
result=final.infer(DATA,model,device,W,candidate,pipeline)
manifest={**result,'all_code_seconds':time.perf_counter()-START,'source_hashes':source_hashes,'infere
nce_source_sha256':candidate.sha(W/'usleep_final_inference.py'),'model_sha256':loaded['model_sha256']
,'config_sha256':loaded['config_sha256'],'metadata_sha256':candidate.sha(SAVED/'metadata.json'),'runt
ime':actual_runtime,'research_script_version_id':365562390,'official_mirror_version':1,'internet_off'
:True,'selection':'Fixed published two-pair probability mean selected using official val0.93106436638
80679; no test feedback','pretraining_disclosure':candidate.CONFIG['pretraining']}
assert manifest['submission_sha256']==reference['submission_sha256']==candidate.sha(REF/'submission.c
sv'),'Full clean replay CSV differs'
manifest['reference_csv_identical']=True
manifest['all_code_seconds']=time.perf_counter()-START
candidate.dump(W/'final_run.json',manifest)
assert time.perf_counter()-START<7200,'All imports/loading/transforms/repeats/verification/output exc
eeded2h'
print('MEASURED_USLEEP_FROZEN_REPLAY',json.dumps(manifest),flush=True)
23