Htms: Использование HTMS для хранения и применения нейронных сетей / Хабр

Использование HTMS для хранения и применения нейронных сетей / Хабр

Новый подход к моделированию нейронных сетей в таблично-сетевых базах данных.

[Это перевод статьи, которую я опубликовал на www.medium.com в серии постов о таблично-сетевой модели данных. Смотрите ссылки на все посты здесь.]

Система управления HyperTable Management System — HTMS разработана для универсального использования. Одной из предметных областей, где признаки базовой для HTMS — таблично-сетевой модели данных соответствуют ей максимально адекватно, являются нейронные сети¹. Нейронная сеть представляет собой направленный, взвешенный граф.

В качестве базовой модели нейросети я буду использовать многослойный персептрон MultyLayer Percehtron— MLP² с одним скрытым слоем.

Теория и практика MLP превосходно представлена в серии статей Роберта Кейма об основной теории и структуре известной топологии нейронных сетей (см. перевод на рус. ). Он также содержит текст программы Python Python Code for MLP Neural Networks.py, которая реализует два основных этапа обучения нейронной сети — собственно обучение, которое заключается в подборе весов для активации скрытого слоя и активации выходного узла (векторная задача нелинейной оптимизации) и валидации (проверки) — определение вероятности того, что нейронная сеть выдаст правильное выходное значение для произвольной комбинации входных значений.

Программа Python Code for MLP Neural Networks.py была мной использована в качестве прототипа для создания программного обеспечения (также на Python), использующего систему HTMS в качестве СУБД. Программа содержит следующие основные компоненты:

1. Основная программа — mlp.py

2. create_db.py — модуль, который определяет основные классы для хранения MLP-моделей в табличной сетевой СУБД. Модуль использует API HTMS среднего уровня. Содержит описание двух гипертаблиц:

   mlp — база данных (гипертаблица) для хранения моделей персептронов со следующими таблицами:

• Start — каталог персептронов в базе данных;

• Input — хранение входных узлов;

• Hidden — хранение узлов скрытого слоя;

• Output — хранение выходных узлов персептронов.

  train — база данных (гипертаблица) для хранения образцов данных для обучения и валидации, т.е. наборов данных входных и выходных значений:

• Training — таблица выборочных данных для обучения;

• Validation — таблица образцов данных для валидации

3. load_train_valid.py — модуль с функцией загрузки образцов входных данных для обучения и валидации нейронной сети — из таблиц Excel в таблицы СУБД (как экземпляров классов для обучения и валидации), а также для создания пустых таблиц для хранения значений атрибутов экземпляров классов Start, Input, Hidden и Output. Модуль использует HTMS API среднего уровня.

4. mlp_train_valid.py — функция, которая считывает данные из таблиц Training и Validation, обучает нейронную сеть, проверяет ее и записывает полученный MLP в базу данных. В модуле для обучения и валидации используется HTMS API объектного уровня, а для сохранения перцептрона в базе данных используется API HTMS среднего уровня.

5. mlp_load_exec.py представляет собой модуль (MID-level HTMS API) с двумя функциями:

6. mlp_par.py представляет собой модуль с параметрами и логистической функцией и производной от логистической функции. Ниже приведены скриншоты из гипертабличного редактора HTMS, который является частью программной системы.

Ниже приведены скриншоты из гипертабличного редактора HTMS, который является частью программной системы.

Общая структура базы данных для хранения персептронов (нейронных сетей). База данных имеет 4 таблицы (Start, Input, Hidden и Output) и 13 атрибутов:

Таблица Start представляет собой каталог персептронов, хранящихся в базе данных. В примере — 5 нейронных сетей с 3 входными и 3 скрытыми узлами. Поле StoI — хранит набор простых ссылок на строки в таблице Input, где каждая строка соответствует одному входному узлу. Помимо входных узлов, каждый персептрон имеет специальный узел-смещение — BiasI, поэтому каждому персептрону присваивается по 4 строки. Поле Correctness содержит результаты валидации перцептрона:

В этой форме редактор показывает подробное содержимое всего поля для одной из строк таблицы. В частности, здесь можно увидеть, что поле ссылок StoI в 1-й строке таблицы Start содержит 4 ссылки — на 1-ую, 2-ую, 3-ю и 4-ую строку таблицы Input:

Содержимое таблицы для хранения входных узлов всех перцептронов. Поле ItoH содержит набор взвешенных (пронумерованных) ссылок на строки в таблице Hidden, где каждая строка соответствует одному узлу в скрытом слое:

Подробное содержимое всего поля для одной из строк в таблице Input. В частности, здесь можно увидеть, что поле ссылок ItoH в 1-й строке таблицы содержит 3 взвешенные ссылки — на 1-ую, 2-ую и 3-ю строки таблицы Hidden — с весами -0,03, +0,8 и -0,07 соответственно:

Содержимое таблицы для хранения скрытых узлов всех персептронов. Поле HtoO содержит взвешенную (нумерованную) ссылку на строку в таблице Output, где каждая строка соответствует одному выходному узлу:

Подробное содержимое всего поля для одной из строк в таблице Hidden. В частности, здесь можно увидеть, что поле ссылок HtoO в 1-й строке таблицы содержит взвешенную ссылку — на 2-ю строку таблицы Output — с весом -0,60:

В качестве дополнительного примера другой базы данных персептронов (с 3 входными узлами и 5 узлами в скрытом слое) показано содержимое ее таблицы Start:

Пример многослойного персептрона с 3 входными узлами и 3 узлами в скрытом слое в табличной сетевой базе данных HTMS. Изображение сгенерировано HTMS редактором (с пакетом визуализации Graphviz):

Поскольку алгоритмы и структуры данных фрагментов программного кода для валидации в модуле mlp_train_valid.py и для использования персептрона в модуле mlp_load_exec.py практически полностью совпадают, этот пример показывает, как инструменты HTMS могут использоваться на среднем уровне и объектном уровне для решения одной и той же задачи.

Хранение нейронных сетей в таблично-сетевой СУБД HTMS имеет очевидные преимущества.
Во-первых, возможность хранения большого количества подобных нейронных сетей, отличающихся параметрами, используемыми в обучении — количеством эпох, скоростью обучения и значением смещения и, соответственно, весовыми коэффициентами, что позволяет выбрать лучший после набора действий по их проверке.
Во-вторых, в одной базе данных HTMS могут храниться разные нейронные сети, выбор которой осуществляется в зависимости от быстро меняющейся среды при решении подобных задач. HTMS благодаря своей высокой производительности, которая, в свою очередь, является следствием табличной сетевой модели данных, обеспечит быструю загрузку в оперативную память необходимой в данный момент нейронной сети.
В-третьих, использование адекватной СУБД может помочь в научных и образовательных целях.
В четвертых, Особенности табличной сетевой модели данных и ее реализация в HTMS дают возможность эффективно хранить в базе данных и читать из нее нейронные сети с десятками тысяч входных и скрытых узлов. например, приблизительный объем базы данных на 1 МСП с 1 тыс. входных узлов и 1 тыс. узлов скрытого слоя будет:

len_Start=105 # length of one Start table row (hereinafter in bytes)
len_Input=57 # length of one Input table row
len_Hidden=57 # length of one Hidden table row
len_Link_Discriptor=20# length of descriptor for a block of simple links (data type "*link")
len_Link=4 # memory for one simple link
len_Weight_Descriptor=20 # length of descriptor for numbered links block (data type "*weight")
len_Weight=8 # memory for one numbered (weighted) link
input_Dimension=1000 # number of input layer nodes
hidden_Dimension=1000 # number of hidden layer nodes
# Formula for calculating the total amount of memory in the database
memory = len_Start + len_Link_Discriptor + input_Dimension*(len_Link + len_Input + len_Weight + hidden_Dimensionlen_Weight) + hidden_Dimension(len_Hidden + len_Weight_Descriptor + len_Weight)
print("\n "+ str( int(memory/1000)/1000. )+"Mb" )

Получается примерно 8.154 Mb.

Объем базы данных на сеть с 100 тыс. входных узлов и 100 тыс. узлов скрытого слоя будет примерно 80.0154 Gb.

Нетрудно понять, что сеть с 1 млн. входных и 1 млн. скрытых узлов будет занимать примерно 8 Тбайт.

Ссылки
[1]: Philipp Petersen. 2022. Neural Network Theory. University of Vienna
[2]: Frank Rosenblatt. 1962. Principles of Neurodynamics: Perceptrons and the Theory of Brain Mechanisms. Spartan Books

Боевой корабль HTMS Phuket прибыл нести службу на Пхукете

Военно-морской флот Таиланда произвел плановую ротацию боевых кораблей, несущих службу в Андаманском море. В зону ответственности базирующегося на Пхукете третьего регионального командования прибыл названный в честь острова быстроходный ударный корабль HTMS Phuket (номер 333), а также легкие (и безымянные) катера с номерами T271, T272, T273 и T274.

HTMS Phuket прибыл для несения службы в Андаманском море. HTMS Chonburi возвращается в Саттхахип. Фото: RTN NAC 3

HTMS Phuket прибыл для несения службы в Андаманском море. HTMS Chonburi возвращается в Саттхахип. Фото: RTN NAC 3

HTMS Phuket прибыл для несения службы в Андаманском море. HTMS Chonburi возвращается в Саттхахип. Фото: RTN NAC 3

HTMS Phuket прибыл для несения службы в Андаманском море. HTMS Chonburi возвращается в Саттхахип. Фото: RTN NAC 3

HTMS Phuket прибыл для несения службы в Андаманском море. HTMS Chonburi возвращается в Саттхахип. Фото: RTN NAC 3

Эскадра во главе с HTMS Phuket (номер 333) вышла из Саттхахипа в провинции Чонбури в марте, прошла через Сиамский залив до Сингапура, а оттуда через Малаккский пролив добралась до Пхукета, говорится в двух сообщениях пресс-службы третьего регионального командования от 1 и 5 апреля соответственно.

Данные сервисов, занимающихся слежением за морским трафиком, подтверждают эту информацию. Также Минобороны Малайзии сообщало 22 марта о том, что HTMS Phuket заходил в местный порт Лумут, который тоже находится на маршруте Чонбури-Пхукет.

HTMS Phuket и его эскадра прибыли в пункт назначения 1 апреля, сменив ударные корабли HTMS Laem Sing и HTMS Chonburi, судно снабжения HTMS Matra и легкие катера T229, T232, T233 и T234. Флот не пояснил, с чем связана неравнозначность замены. Также неизвестно, как долго HTMS Phuket будет нести службу на острове и не планируется ли пополнение в лице одного из его одноклассников, как было с HTMS Laem Sing и HTMS Chonburi.

HTMS Phuket – быстроходный ударный корабль класса Chonburi, построенный в 1983 году итальянской верфью Cantiere Navale Breda. «Википедия» относит его к патрульным судам, а по российской классификации он должен считаться катером.

Корабль имеет водоизмещение более 400 тонн и длину более 60 метров. Он предназначен для патрульных миссий, сопровождения судов других классов и борьбы с подводными лодками.

Экипаж HTMS Phuket – 49 человек. Вооружение включает две универсальные 76-миллиметровые артиллерийские установки OTO Melara, одну 40-миллиметровую зенитную автопушку Bofors и два пулемета калибра 12,7 мм.

О том, как тайский флот присваивает имена своим кораблям, можно узнать здесь.

Новости | Средняя школа Хелен Тайсон

Национальное географическое общество и организация Lindblad Expeditions выбрали Бриттани Берри для участия в 15-й группе стипендиатов Grosvenor Teacher Fellows. Берри, центр EAST средней школы Хелен Тайсон…

ПОДРОБНЕЕ >

Мэри Джордан Государственные школы Спрингдейла В Музее американского искусства Crystal Bridges будет представлена ​​фреска учениц средней школы Хелен Тайсон в рамках выставки «Америка Диего Риверы…

ПОДРОБНЕЕ >

Ассоциация школьных консультантов штата Арканзас признала Хизер Бэррон лучшим школьным консультантом региона. Бэррон — консультант седьмого класса в Helen Tyson.

..

ПОДРОБНЕЕ >

Все учащиеся 6-х классов, заинтересованные в том, чтобы попробовать себя в команде поддержки HTMS 2023–2024 годов, должны запланировать посещение этой встречи со своими родителями. Пожалуйста, смотрите листовку для получения дополнительной информации. Кон…

ПОДРОБНЕЕ >

Три школы Спрингдейла вошли в число 300 финалистов ежегодного конкурса Samsung Solve for Tomorrow, получив призовой пакет в размере 2500 долларов. Неполная средняя школа Лейксайд и…

ПОДРОБНЕЕ >

Не забудьте приобрести ежегодник HTMS 22-23! Ежегодники стоят 35 долларов США и могут быть приобретены онлайн на Ybpay.com, идентификационный код Ежегодника: 12869823 или наличными/чеком (на имя Хелен Тайсон М…

). ПОДРОБНЕЕ >

11 ноября 2022 г.

ПОДРОБНЕЕ >

Springdale Регистрация на план защиты Chromebook открыта до понедельника, 3 октября. ЕСЛИ ваш ребенок не заплатил 20 долларов за страховку Chromebook, самое время! Покрытие хорошее.

..

ПОДРОБНЕЕ >

Доктор Джаред Кливленд, суперинтендант государственных школ Спрингдейла, был назван суперинтендантом 2023 года. Он был удивлен во время сентябрьского заседания школьного совета. «…

ПОДРОБНЕЕ >

Помогите нам поболеть за нашу футбольную команду HTMS!!

ПОДРОБНЕЕ >

В среду, 17 августа, состоялось первое собрание совместной группы для профессионального развития всех учителей округа. Совместные групповые встречи будут проводиться е…

ПОДРОБНЕЕ >

Если вы не смогли посетить день открытых дверей или выполнить все шаги из контрольного списка, вот ссылки на онлайн-элементы. Нажмите здесь, чтобы подать заявку на бесплатные и льготные обеды. …

ПОДРОБНЕЕ >

Начните сегодня!! Заполните онлайн-форму 22-23 Signage для вашего учащегося HTMS, по одной на каждого учащегося. https://forms.gle/RopE4FJxpjYE… Используйте онлайн-школу. ..

ПОДРОБНЕЕ > Опубликованы списки команд

на 2022-2023 учебный год! Нажмите на свой уровень ниже, чтобы увидеть список команд. 6 класс 7 класс

ПОДРОБНЕЕ >

Программы EAST государственных школ Спрингдейла в средней школе Хелен Тайсон, средней школе Юго-Запада и средней школе Спрингдейла, Медицинском университете Арканзаса …

ПОДРОБНЕЕ >

Компания HTMS была удостоена чести принять участие судьи Джозефа Вуда перед нашими студентами и сотрудниками в пятницу, 6 мая. Его послание было сосредоточено на преодолении невзгод. Судья Вуд был подкидышем при рождении в …

ПОДРОБНЕЕ >

Студенческая команда по горным велосипедам Springdale Trailblazers ищет новых гонщиков на сезон 2022 года. Наша команда открыта для всех учащихся Springdale 6-12 классов, все учащиеся приглашаются…

ПОДРОБНЕЕ >

Во вторник, 12 апреля 2022 г., школьный совет государственных школ Спрингдейла проголосовал 7–0 за утверждение времени профессионального развития еженедельных собраний совместной группы для всех учителей округа. ..

ПОДРОБНЕЕ >

2022 Green Bench Challenge

ПОДРОБНЕЕ >

HTMS Book Drive

ПОДРОБНЕЕ >

Солнцезащитные очки с поляризацией HTMS VISION

Новые поступления

HTMS Винтаж Круглый HT108

IntroducesHTMS занимается созданием высококачественных и недорогих продуктов. Сочетайте ретро-стиль с современными высокотехнологичными материалами. Уникальный стиль дизайна делает вас более заметным. …

16,99 $

• Черный

• Синий

• темно-зеленый

• Серебро

• + 2

HTMS квадратный алюминий магний

ХАРАКТЕРИСТИКИ Ножки солнцезащитных очков из алюминиево-магниевого материала Пружинные шарниры Wayfarer дизайн поляризованные линзы ПРЕИМУЩЕСТВА Алюминиево-магниевые ножки обладают характеристиками долговечности, приятной для кожи и легкой, вы едва чувствуете это на своем лице. Они являются лучшим выбором для спорта, вождения, бега, рыбалка, езда на велосипеде, скалолазание, гольф и другие виды активного отдыха…

$19,99

• Синий

• Черный

• Розовый

• Коричневый

HTMS Спорт Алюминий Магний

ОСОБЕННОСТИ Алюминиево-магниевый материал Ножки солнцезащитных очков Поляризованные линзы Защита UV400 ПРЕИМУЩЕСТВА Алюминиево-магниевые ножки прочны, приятны для кожи и легки, а также удобны в носке. Поляризованные линзы из-за своей поляризующей природы могут эффективно уменьшать резкие блики, вызванные. ..

19,95 $

• Синий

• Серебро

• Пистолет

• Красный

• + 1

HTMS Sports Поляризованный алюминий Магний

ОСОБЕННОСТИ Алюминиево-магниевый материал Ножки солнцезащитных очков Поляризованные линзы Защита UV400 ПРЕИМУЩЕСТВА Алюминиево-магниевые ножки прочны, приятны для кожи и легки, а также удобны в носке. Поляризационные линзы из-за своей поляризационной природы могут эффективно уменьшать резкие блики, вызванные…

$21,99

• Черный

• Синий

• Коричневый

HTMS Прямоугольный Al-Mg

ОСОБЕННОСТИ Ножки солнцезащитных очков из алюминиево-магниевого материала Пружинные шарниры с поляризованными линзами ПРЕИМУЩЕСТВА Алюминиево-магниевые ножки обладают характеристиками долговечности, приятной для кожи и легкой, вы едва чувствуете это на своем лице. Они являются лучшим выбором для спорта, вождения, бега, рыбалка, езда на велосипеде, скалолазание, гольф и другие виды активного отдыха…

$19,99

• Черный

• Синий

• Белый

• темно-зеленый

• + 1

HTMS без оправы ретро

Торговая марка HTMS предоставит вам лучшие продукты по лучшей цене. Классические солнцезащитные очки в винтажной оправе в стиле wayfarer — идеальное сочетание моды и классики. Поляризованные солнцезащитные очки HD, способные защитить ваши глаза от вредных солнечных лучей и. ..

$20.99

• Черный

• Золото

• Синий

• Серебро

• + 1

Пружинные петли HTMS Sports

ХАРАКТЕРИСТИКИ Оправа из материала TR90 Пружинные шарниры Поляризованные линзы Защита от ультрафиолетового излучения Конструкция wayfarer ПРЕИМУЩЕСТВА Солнцезащитные очки в оправе из материала TR90 прочны, гибки и легки. Их настолько удобно носить, что вы вообще забудете надеть очки. Пружинные шарниры позволяют…

21,99 $

• Черный

• Синий

HTMS Бамбуковое дерево

ХАРАКТЕРИСТИКИ Эта оправа для солнцезащитных очков изготовлена ​​из древесины скейтборда, которая является одним из самых прочных материалов для деревянной оправы. Солнцезащитные очки с бамбуковыми ножками экологичны, прочны, легки и удобны. Мы предлагаем пару ножек для очков с уникальной гравировкой и…

34,99 $

HTMS HD ночное видение

Вы когда-нибудь попадали в глаза ярким светом во время вождения, Вы все еще боитесь снежных и дождливых дней? Вы все еще ищете модные очки, подходящие для любого времени года?

Черный

• Серебро

• Леопард

• Желтая линза/оправа

HTMS кошачий глаз HT112

Солнцезащитные очки с зеркальным эффектом «кошачий глаз» Htms созданы в итальянском стиле, который в настоящее время является одним из самых модных и популярных стилей солнцезащитных очков. Высококачественный материал оправы, ультратонкий и легкий плоский дизайн линз позволяют вам иметь более высокий уровень вкуса и…

8,98 $

• Серебряная линза/серебряная оправа

• Фиолетовые линзы/золотая оправа

• Розовые линзы/золотая оправа

• Серые линзы/золотая оправа

• + 2

HTMS круглый тонированный TR90

Htms Солнцезащитные очки с круглыми поляризационными линзами произошли от итальянского дизайна, который в настоящее время является одним из самых модных и популярных стилей солнцезащитных очков. Качественный материал оправы, ультратонкая и легкая конструкция линз позволяют иметь более высокий уровень вкуса, а…

от 12,99 $

• Коричневые линзы/леопардовая оправа

• Синие линзы/черная оправа

• Темно-зеленые линзы/черная оправа

• Серые линзы/черная оправа

• + 3

HTMS без оправы

Полуободковые поляризованные солнцезащитные очки Htms созданы в итальянском стиле, который в настоящее время является одним из самых классических и популярных стилей солнцезащитных очков.