Искусственный Интеллект

В области обработки естественного языка (NLP) и искусственного интеллекта технологии машинного перевода, автоматического реферирования текстов и ведения диалога претерпели настоящую революцию. В основе этой трансформации лежит архитектура Sequence-to-Sequence (Seq2Seq) и новаторский механизм внимания (Attention Mechanism). До появления современных трансформеров эти два нововведения решили одну из сложнейших задач глубокого обучения: сопоставление входных последовательностей с выходными при несовпадении их длины.