Событийный потенциал: обзор – PMC
1. Блэквуд Д.Х.Р., Мьюир В.Дж. Когнитивные потенциалы мозга и их применение. Британский журнал психиатрии. 1990; 157: 96–101. [PubMed] [Google Scholar]
2. Bramon E, Rabe-Hesketh S, Shama P, et al. Метаанализ сигналов Р300 и Р50 при шизофрении. Исследования шизофрении. 2004; 70: 315–329. [PubMed] [Google Scholar]
3. Клеменц Б. А., Гейер М. А., Брафф Д. Л. Супрессия P50 у больных шизофренией и нормальных субъектов сравнения: методологический анализ. Биологическая психиатрия. 1997;41:1035–1044. [PubMed] [Google Scholar]
4. Clementz B.A., Geyer M.A., Braff D.L., et al. Плохая супрессия Р50 у больных шизофренией и их биологических родственников первой степени родства. Американский журнал психиатрии. 1998; 155:1691–1694. [PubMed] [Google Scholar]
5. De Pascalis V, Strippoli E, Riccardi P, et al. Личность, потенциал, связанный с событиями (ERP) и частота сердечных сокращений (HR) в эмоциональной обработке текста.
Перс. Индивид. Дифф. 2004; 36: 873–891. [Google Scholar]
6. Hansenne M, Pitchot W, Gonzalez-Moreno A, et al. Суицидальное поведение при депрессивном расстройстве, потенциальное исследование, связанное с событием. Биологическая психиатрия. 1996;40:116–122. [PubMed] [Google Scholar]
7. Kornhuber H.H, Deecke L. Электрический признак участия мезиальной «дополнительной» моторной коры в произвольных движениях пальцев человека. Исследования мозга. 1978; 159: 473–476. [PubMed] [Google Scholar]
8. Кутас М., Линдамуд Т., Хиллард С. Корнблюм С., Рекуин Дж. В подготовительных состояниях и процессах. Хиллсдейл, Эрлбаум: 1984. Вероятность слов и связанные с событиями потенциалы при обработке предложений; стр. 217–238. [Академия Google]
9. Лайт Г. А., Брафф Д. Л. Дефицит сенсорных ворот при шизофрении. Можем ли мы проанализировать эффекты лекарств, употребления никотина и изменения клинического состояния? Клинические неврологические исследования. 2003; 3:47–54. [Google Scholar]
10.
Metzger L.J., Orr S.P., Lasko N.B., et al. Доказательства уменьшения амплитуды P3 при посттравматическом стрессовом расстройстве. Энн Н.Ю. Академия наук. 1997; 821: 499–503. [PubMed] [Google Scholar]
11. Miltner WHR, Krieschel S, Gutberlet I. P300 — сигнатура для обработки угроз у фобических субъектов. Психофизиология. 2000;37:71. [Академия Google]
12. Милован Д.Л., Барибо Дж., Рот Р.М., и соавт. ERP-исследование предвнимательной слуховой обработки при рефрактерной к лечению шизофрении. Познание мозга 2004;55(2):355–7. [PubMed] [Google Scholar]
13. Näätänen R, Tiitinen H. Обработка слуховой информации, индексированная негативностью несоответствия. В: Сабурин М., Крейк Ф.И.М., Роберт М., редакторы. Достижения в области психологии. Биологические и когнитивные аспекты, 2, Psychology Press/Erlbaum (UK) Taylor and Francis, Hove, UK. 1998. С. 145–170. [Академия Google]
14. Neylan T.C, Fletcher D.J, Lenoci M, et al. Сенсорный шлюз при хроническом посттравматическом стрессовом расстройстве: снижение слухового подавления P50 у ветеранов боевых действий.
Биол психиатрия. 1999;46(12):1656–1664. [PubMed] [Google Scholar]
15. O’Donnell S, Hesselbrock V, Tasmann A, et al. Амплитуда P3 в двух разных задачах снижена у молодых мужчин с отцовским алкоголизмом в анамнезе. Алкоголь. 1987; 4: 320–330. [PubMed] [Google Scholar]
16. O’Donnell B. F, Vohs J. L, Hetrick W. P, et al. Потенциальные аномалии, связанные со слуховыми событиями, при биполярном расстройстве и шизофрении. Международный журнал психофизиологии. 2004; 53:45–55. [PubMed] [Академия Google]
17. Олинси А., Мартин Л. Уменьшенное подавление слухового вызванного потенциала P50 у субъектов с биполярным расстройством с психозом в анамнезе. Американский журнал психиатрии. 2005; 162:43–49. [PubMed] [Google Scholar]
18. Остерхаут Л., Холкомб П. Дж. Потенциалы мозга, связанные с событиями, вызванные синтаксической аномалией. Журнал памяти и языка. 1992; 31: 785–786. [Google Scholar]
19. Патрик С. Дж., Бернат Э. М., Мэлоун С. М., Яконо В. Г., Крюгер Р.
Ф., МакГью М. Дж., Бернат Э. М. 2006; 43(1):84–9.2. [Бесплатная статья PMC] [PubMed] [Google Scholar]
20. Peterson N.N, Schroeder C.E, Arezzo J.C, et al. Нейронные генераторы ранних корковых соматосенсорных вызванных потенциалов у бодрствующей обезьяны. Электроэнцефалография и клиническая нейрофизиология. 1995; 96: 248–260. [PubMed] [Google Scholar]
21. Salisbury D. F, Shenton M. E, McCarley R. W. Топография P300 отличается при шизофрении и маниакальном психозе. Биологическая психиатрия. 1999; 45: 98–106. [PubMed] [Google Scholar]
22. Schulze K.K., Hall M.H, McDonald C. et al. P50 подавление слуховых вызванных потенциалов у пациентов с биполярным расстройством с психотическими чертами и их здоровых родственников. Биол психиатрия. 2007;62(2):121–8. [PubMed] [Академия Google]
23. Симлаи Дж., Низами С.Х. Потенциалы, связанные с событиями-P300, CNV, MRCP при шизофрении, ранее не получавшей и не получавшей лекарств. Диссертация представлена в Университет Ранчи, в частичном выполнении требования степени доктора медицины в области психиатрии.
1998 [Google Scholar]
24. Skinner R.D., Rasco L.M., Fitzgerald J, et al. Снижение сенсорного порога потенциала P1 у жертв изнасилования и ветеранов боевых действий с посттравматическим стрессовым расстройством. Подавить тревогу. 1999;9(3):122–30. [PubMed] [Академия Google]
25. Sutton S, Braren M, Zubin J, et al. Вызванные потенциальные корреляты неопределенности стимула. Наука. 1965; 150: 1187–1188. [PubMed] [Google Scholar]
26. Turan T, Esel E, Karaaslan F, et al. Слуховые потенциалы, связанные с событиями, при панических и генерализованных тревожных расстройствах. Биологическая психиатрия. 2002; 26: 123–126. [PubMed] [Google Scholar]
27. Уолтер В. Г. Медленные потенциальные волны в человеческом мозгу, связанные с ожиданием, вниманием и принятием решений. Arch Psychiatr Nervenkr. 1964;206:309–322. [PubMed] [Google Scholar]
28. Винклер И., Кармос Г., Няэтэнен Р. Адаптивное моделирование необслуживаемой акустической среды, отраженное в несоответствии отрицательного событийного потенциала.
Исследования мозга. 1996; 742: 239–252. [PubMed] [Google Scholar]
YouTokenToMe: инструмент для быстрой токенизации текста от команды ВКонтакте | by VK Team
Чтение: 3 мин.·
19 июля 2019 г.Мы хотим представить наш новый инструмент для токенизации текста: YouTokenToMe. Он работает в 7–10 раз быстрее, чем другие популярные инструменты для алфавитных языков, и в 40–50 раз быстрее для логографических языков. Здесь мы расскажем вам о YouTokenToMe и поделимся с вами этим инструментом с открытым исходным кодом на GitHub. Ссылку на него вы найдете в конце статьи.
Сегодня большинство задач, решаемых нейронными сетями, связаны с обработкой текста. Однако нейронные сети работают с числами, поэтому текст необходимо предварительно обработать, прежде чем его можно будет передать в модель.
Следующие методы являются популярными способами сделать это:
- Разделение по пространству
- Токенизация на основе правил, например, в SpaCy, NLTK
- Лемматизация, стемминг
Каждый из них имеет некоторые недостатки.
- Размер словаря, от которого напрямую зависит размер слоя встраивания модели, контролировать нельзя.
- Информация о связях слов, различающихся суффиксами или префиксами (пример: вежливо и невежливо), не используется.
- Они зависят от языка.
Алгоритм кодирования байтовой пары был популярен в последнее время. Первоначально он был изобретен для сжатия текста, но несколько лет назад его начали использовать для токенизации текста для машинного перевода. Сейчас он используется для многих целей, в том числе в таких моделях, как BERT и GPT-2.
Наиболее эффективными реализациями алгоритма BPE оказались SentencePiece, разработанная инженерами Google, и fastBPE, созданная исследователем из Facebook AI Research. Однако нам удалось доказать, что токенизацию можно провести гораздо быстрее. Мы оптимизировали алгоритм BPE, опубликовали код на GitHub и загрузили пакет в PyPI.
Сравнение скорости нашего алгоритма с другими версиями показано ниже.
В качестве примера мы взяли первые 100 МБ из базы Википедии на русском, английском, японском и китайском языках.
Графики показывают, что скорость алгоритма сильно зависит от языка. Это можно объяснить большим количеством символов, используемых в азиатских языках, и слов, не разделенных пробелами. YouTokenToMe работает в 7-10 раз быстрее для алфавитных языков и в 40-50 раз быстрее для логографических языков. Токенизация была ускорена как минимум в 2 раза, а в некоторых тестах и более чем в 10 раз.
Эти результаты были достигнуты новым алгоритмом благодаря следующим двум ключевым характеристикам:
- Линейное время выполнения, зависящее от размера обучающего корпуса. SentencePiece и fastBPE асимптотически менее эффективны.
- Эффективное использование нескольких потоков как для обучения, так и для токенизации. Это увеличивает скорость в несколько раз.
YouTokenToMe можно использовать через интерфейс командной строки и непосредственно из Python.