Зато теперь можно в едином ключе одной строчкой запускать, например, LGB или XGB над одним обработанным набором данных. В кернелах обычно все эти задачи собраны в единый код, что и понятно, но очень рекомендую для каждой из этих подзадач завести kaggle что это отдельный ноутбук и отдельный модуль (набор модулей). Все дальнейшее описание будет основано на работе с табличными и текстовыми данными. Картинки, которых сейчас очень много на Kaggle — это отдельная тема с отдельными фреймворками.
Участвуйте в соревнованиях, чтобы отточить свои навыки
После каждого соревнования, читая описание решений, смотрите — что вы не сделали, что можно было сделать лучше, что вы упустили, ну или где вы конкретно лажанулись, как у меня случилось в Toxic. Шел достаточно хорошо, в подбрюшье золота, а на private улетел вниз на 1500 позиций. Обидно до слез… но успокоился, нашел ошибку, написал пост в слаке — и выучил урок. На самом деле много еще зависит и от количества данных, в TalkingData, например, пришлось идти через memmap, чтобы обойти нехватку памяти при создании датасета для lgb. И есть те, кто пытается совместить jupyter с какой-либо IDE, например pycharm.
Kaggle: платформа для соревнований по анализу данных и машинному обучению
Как меня этот момент расстраивал в первых соревнованиях, аж руки опускались, вот ты в серебре — и вот ты в … низу лидерборда. Ничего, надо просто собраться, понять где и что ты упустил — переделать свое решение — и вернуться на место. Для каждого соревнования на Kaggle создается своя отдельная страничка на которой есть раздел с данными, с описанием метрики — и самое для нас интересное — форум и кернелы.
ТОП-15 книг по Python: от новичка до профессионала
Сделаем эту операцию как для обучающей выборки, так и для тестовой. В нашем примере, алгоритм выдал правильные ответы для комментариев 1,2,3,5, т.е. Для примера будет рассматривать задачу предсказания токсичности комментариев. Имеем задачу бинарной классификации, где 0 – комментарий нетоксичен, 1 – комментарий токсичен. Возьмем для простоты пять комментариев и сведем все в таблицу. Еще одна особенность метрики MAE — она более устойчива к выбросам, чем RMSE.
Лучшие дата-сайентисты из России по версии Kaggle
При всех имеющихся возможностях главная задача Kaggle — проведение соревнований. Каждый участник, независимо от статуса, может раскрыть свой потенциал в конкурсной деятельности. На платформе есть Kaggle Learn — мини-курсы для ознакомления с Data Science. Короткие образовательные программы ориентированы на получение навыков и их практическое закрепление.
Как подготовиться к обучению на платформе Kaggle?
Сообщество позволяет совершенствовать свои навыки людям разного уровня подготовки, обучаться новому и закреплять знания на практике. Начинающие специалисты могут смотреть, как работают продвинутые пользователи. Это прекрасная возможность перенять знания и опыт у лучших дата-сайентистов.
Чтение других ядер также поможет нам ознакомиться с данными и понять, какие переменные важны. Воспользуйтесь преимуществом их опыта и постарайтесь быть активным участником сообщества! Можно как поделиться своими наработками ядра, так и задать вопрос в ветке обсуждений. Конечно, перспектива выложить свою работу в общий доступ пугает, но это позволит получить отзыв на свою работу и исправить существующие ошибки, а также не совершать их в будущем.
Я планирую провести весь конкурс на Kaggle, и ядро (Python Jupyter Notebook) для этой статьи можно посмотреть здесь. Чтобы получить от этой статьи максимум, скопируйте ядро, создав учётную запись Kaggle, а затем нажмите голубую кнопку с надписью «Fork Notebook». В июле 2020 года, компания объявила о 5 миллионах зарегистрированных пользователях [2].
На Kaggle можно найти множество курсов и туториалов, которые помогут новичкам освоить основы анализа данных и машинного обучения. Соревнования на Kaggle это всегда отличное место, чтобы узнать что-то новое. Тем не менее, лучшее решение на Kaggle не гарантирует лучшее решение проблемы бизнеса.
Одна из важных фишек Kaggle — участники могут публиковать краткое описание своего решения, так называемое kernel («ядро»). На практике в Data Science для большинства задач (исследовательский анализ, очистка данных, A/B-тестирование, классические алгоритмы) уже есть проверенные решения и фреймворки. Компании выкладывают на Kaggle самые сложные и запутанные проблемы, которые не решить за один день. В реальном Data Science они могут быть простыми, да и бизнес диктует требование выбирать более лёгкие задачи с быстрым результатом.
- Перед участниками соревнования поставили задачу предсказать, какие из предложенных пар вопросов являются дубликатами.
- Это ускорит погружение в тему и сделает процесс более осознанным.
- Ее можно продлить, чтобы предсказывать значения y для неизвестных x.
- Используя .style.background_gradient с цветовой палитрой, вы можете легко определить, какие комбинации встречаются чаще всего.
- Высокий рейтинг на платформе помогает легко устанавливать контакты со многими известными участниками Kaggle, у вас появляется огромное количество друзей по всему миру.
Участие в них предоставляет как новичку, так и профессионалу много возможностей, включая как профессиональный рост, так и возможность проверить собственные силы. А конкретно — так называемый исследовательский (разведочный) анализ данных. Пригодятся навыки загружать и визуализировать данные, свободно в них ориентироваться. Все необходимые инструменты есть в Python-библиотеках Pandas и Seaborn. А потренироваться в преобразовании данных из таблицы Excel в формат датафреймов Pandas можно с помощью нашей статьи. Обратите внимание, что понимание методологии и концепции будет более полезным для вас, чем простое копирование кода.
@yorko и компания (~ 60 чел.) демонстрируют, что классные навыки можно получить и вне стен университета и даже абсолютно бесплатно. Основная идея курса — оптимальное сочетание теории и практики. Нельзя не отметить соревновательную природу курса — ведется общий рейтинг студентов, что сильно мотивирует.
В том, что будет описано дальше, нет никакого know-how, все техники, методы и приемы — очевидны и предсказуемы, но это не умаляет их эффективности. По крайней мере, следуя им, автору удалось взять плашку Kaggle Competition Master за полгода и три соревнования в соло режиме и, на момент написания данной статьи, входить в top-200 мирового рейтинга Kaggle. Кстати, это отвечает на вопрос, почему автор вообще позволил себе смелость написать статью такого рода. Оба очень интересные, в них неплохо работает построение признаков. Первое — идентификация пользователя по последовательности посещенных сайтов.
Неудивительно, что экстраординарный Gradient Boosting Machine (использовалась библиотека LightGBM) отработал лучше всего. Последняя вкладка Versions позволяет посмотреть предыдущие коммиты. Мы можем смотреть изменения в коде, просматривать лог-файлы запуска, видеть notebook, сгенерированный при запуске, и загружать выходные данные прогона. Чтобы активировать систему, нажмем на значок Play слева от верхней ячейки ноутбука. Система будет запущена и в результате, под ячейкой увидим пути до csv файлов. Здесь я покажу всего несколько самых базовых, а остальные вы сможете найти самостоятельно, пройдя по рекомендованным ссылкам в конце.
В результате большинству новичков трудно практиковаться и изучать теории и концепции из-за нехватки данных и ресурсов. Однако с Kaggle for Data Science вы можете решить эту проблему практически без стресса. Это практически тепловая карта без использования функции Seaborn heatmap. Здесь мы подсчитываем каждую комбинацию огранки и чистоты алмаза с помощью pd.crosstab. Используя .style.background_gradient с цветовой палитрой, вы можете легко определить, какие комбинации встречаются чаще всего.
Как только вы осознаете, что здесь главное — не превзойти других, а улучшить свои навыки, вы получите от соревнований максимальную пользу. Когда вы регистрируетесь на Kaggle, вы получаете не только доступ ко всем ресурсам, но и возможность стать частью сообщества экспертов по аналитическим данным. Принадлежит Google и в настоящее время является крупнейшей в мире коллективной веб-платформой для специалистов по данным и специалистов по машинному обучению. Таким образом, Kaggle дает вам доступ ко многим профессионалам в вашей области, с которыми вы можете обмениваться идеями, конкурировать и решать реальные проблемы.
IT курсы онлайн от лучших специалистов в своей отросли https://deveducation.com/ here.