Google Colab Ошибка: буферизацией данные были усечены после достижения предельного размера выходного

Вопрос задан: 9 месяцев назад Последняя активность: 9 месяцев назад
up 3 down

Проблема

Я готовлю простую искусственную нейронную сеть (ИНС) на Google Colaboratory и получаю сообщение об ошибке:

"«Буферизация данные усечены после достижения предельного размера выходного».

Это сообщение об ошибке возникает в конечном блоке кода, когда GridSearch называется.

Ссылка на ноутбук: https://colab.research.google.com/drive/1TDYumLOoKA1VhrDlW38ztSbBPFmijIDz

Эта ссылка содержит полный код запускаемый.

симптомы

Я первый попробовал выполнение шага 1 (Импорт данных) к шагу 6 (оценка ИНС) и результатом было то, что Chrome разбился, предположительно, из-за недостатка ресурсов. Я исследовал и нашел нить здесь о предельном выходе лесозаготовок:

Google Colab Не хватает памяти, чтобы открыть эту страницу

После погуглить, как сделать это, я вставил «Шаг 0» в записной книжке, которая, казалось, решить Chrome сбой.

Обучение ИНС в настоящее время происходит в течение нескольких часов и достигает стадии 6, где я получаю следующий результат (пожалуйста, выполните прокрутку вправо на последней строке, чтобы увидеть ошибку):

Epoch 105/500
7200/7200 [==============================] - 0s 56us/step - loss: 0.4021 - acc: 0.8353
Epoch 106/500
7200/7200 [==============================] - 0s 59us/step - loss: 0.4019 - acc: 0.8351
Epoch 107/500
7200/7200 [==============================] - 0s 59us/step - loss: 0.4019 - acc: 0.8354
Epoch 108/500
7200/7200 [==============================] - 0s 58us/step - loss: 0.4019 - acc: 0.8347
Epoch 109/500
7200/7200 [==============================] - 0s 58us/step - loss: 0.4019 - acc: 0.8351
Epoch 110/500
1825/7200 [======>.......................] - ETA: 0s - loss: 0.3930 - acc: 0.8400Buffered data was truncated after reaching the output size limit.

Что я пробовал?

Помимо вставки Шага 0, ограничение выходного протоколирования, я попытался найти на Google и StackOverflow, но безрезультатно. Единственная связанная нить это:

Буферизация данные усечены после достижения предельного размера выходного

Автор, однако, не ответил и единственный совет, который дается не применяется, потому что обучение на Google Colab и не местные. Таким образом, «закрыть программу и повторно запустить его» на самом деле не работает, и это не представляется возможным, что я продолжаю закрытие и повторное приложение, несколько раз.

И, наконец, если Google не удается Colab при обучении этой простой ИНС, как мы должны использовать его для чего-нибудь еще, кроме выполнения «привет мир» примеры -типа на Deep Learning?

Заключение

Я до сих пор застрял на ограничение предела выходного размера. Мне не нужно, чтобы увидеть всю продукцию, предпочтительно только первые 5 и последние 5 строк или около того...

1 ответ

Возможно, для Вашего проекта будут необходимы бесплатные векторные карты. На нашем сайте представлены карты для всех стран.

Реклама

up 1 down

Что завершает является отображением буферизации данных, который должен отображаться, а не само вычисление, так что в любом случае не влияет на вашу модель, вы можете носить с вашей моделью и продолжить, не заботясь слишком много об этом.

Если вы скептически относятся к незнакомцам в Интернете и хотели бы, чтобы убедиться, что для себя вы можете сделать этот простой эксперимент.

Вы можете ограничить количество эпох и использовать несколько операторы поездов, так как вы используете GridSearchCV, он не будет удерживать лучшие hyperparamters на несколько трасс, так что вам придется справиться с этим вручную, вы можете использовать список для хранения всех гиперпараметры и магазина их значение, или вы можете создавать локальные оптимумы для каждого запуска, а затем из них выбрать глобальный оптимум, вы можете сравнить это результат вы получите, как вы работаете сейчас.

Ограничение выходного протоколирования или любой другой подобный механизм не будет работать, не будет перезагрузка ноутбука, как проблема не с тем, что она вычисляет, но то, что он отображает. А если выходной буфер переполняется, то в следующий раз он должен отображать выход, он обрабатывает это автоматически.