В данном примере показано, как можно ускорить препроцессинг данных на GPU, используя библиотеки Rapids и Dask.
Для запуска примера создайте или подключитесь к уже существующему Jupyter Server.
После подключения к Jupyter Server необходимо загрузить файлы через веб-интерфейс Jupyter Server внутри ML Space:
-
rapids_preprocessing.ipynb (отправка задач на суперкомпьютер Christofari)
-
cupy_cudf_example.py (сравнение скорости выполнения операций
groupby,merge,applyна GPU и CPU) -
dask_example.py (использование до 16 GPU внутри одного DGX-2)
-
Запускайте пример для препроцессинга данных с использованием библиотеки Rapids в образе jupyter-rapids.