Поиск сообщества

Показаны результаты для тегов 'otus'.

  • Поиск по тегам

    Введите теги через запятую.
  • Поиск по автору

Тип контента


Форумы

  • Авторы и издательства
    • GeekBrains
    • Like-Центр (Аяз Шабутдинов)
    • OTUS
    • ХАКЕР
    • Нетология
    • Lynda
    • Convert Monster
    • Бизнес Молодость
    • WebForMyself
    • Udemy
    • Андрей Парабеллум
    • Skillbox
    • Наталья Закхайм
    • Роман Пузат
    • SalesHub
    • Радислав Гандапас
    • Андрей Захарян
    • Лилия Нилова
  • Инфопродукты и другие приватные материалы
    • Бизнес, финансы, схемы заработка
    • Арбитраж трафика | Товарка
    • SMM - все по работе с соц.сетями
    • SEO-оптимизация
    • Сайтостроение
    • Фото и Видео
    • Графика и Дизайн
    • Программирование и Администрирование
    • Копирайтинг
    • Психология
    • Саморазвитие, познание себя
    • Соблазнения | Пикап | Знакомства
    • Иностранные языки
    • Разное
    • Библиотека
    • Программы и скрипты
    • Базы данных
    • Ищу контент
  • Площадка статей и обсуждений
    • BlackRussia Geek (статьи, обзоры, обсуждения)
    • Флудильня | Оффтоп
    • Раздачи | Конкурсы
  • Рынок
    • Рыночная площадь
    • Работа / Вакансии
  • Технический раздел Black Russia
    • FAQ / Правила
    • Новости проекта
    • Вопрос / Ответ (Тех. поддержка)

Блоги

Без результатов

Без результатов

Категории

  • Авторы и издательства
    • GeekBrains
    • Like-Центр (Аяз Шабутдинов)
    • OTUS
    • ХАКЕР
    • Нетология
    • Lynda
    • Convert Monster
    • Бизнес Молодость
    • WebForMyself
    • Udemy
    • Андрей Парабеллум
    • Skillbox
    • Наталья Закхайм
    • Роман Пузат
    • SalesHub
    • Радислав Гандапас
    • Андрей Захарян
    • Лилия Нилова
  • Инфопродукты и другие приватные материалы
    • Бизнес, финансы, схемы заработка
    • Арбитраж трафика | Товарка
    • SMM - все по работе с соц.сетями
    • SEO-оптимизация
    • Сайтостроение
    • Фото и Видео
    • Графика и Дизайн
    • Программирование и Администрирование
    • Копирайтинг
    • Психология
    • Саморазвитие, познание себя
    • Соблазнения | Пикап | Знакомства
    • Иностранные языки
    • Разное
    • Библиотека
    • Программы и скрипты
    • Базы данных

Поиск результатов в...

Поиск результатов, которые содержат...


Дата создания

  • Начало

    Конец


Дата обновления

  • Начало

    Конец


Фильтр по количеству...

Регистрация

  • Начало

    Конец


Группа


Обо мне

Найдено: 19 результатов

  1. Темы первого модуля: Введение в алгоритмы, RAM-модель Студенты смогут оценивать сложность алгоритмов, ознакомятся с эмулятором RAM-машины. Порядок роста функций, нотации для обозначения порядка роста Студенты освоят нотации о малое, о большое, омега малое, омега большое, тета, научатся применять полученные знания на практике при оценке сложности реальных алгоритмов. Простейшие структуры данных: массив, динамический массив, стек, очередь, списки, кучи Студенты ознакомятся с использованием и реализацией простейших структур данных. Алгебраические алгоритмы: алгоритм Евклида, быстрое возведение в степень, решето Эратосфена, быстрое вычисление чисел Фибоначчи Студенты ознакомятся с использованием и реализацией некоторых популярных алгебраических алгоритмов. Сортировка вставками, сортировка Шелла, сортировка выбором, пузырьковая сортировка Студенты освоят алгоритмы сортировки вставками, выбором, пузырьком, сортировку Шелла. По окончании занятия студенты смогут реализовывать и правильно применять данные алгоритмы. Сортировка слиянием, timsort Студенты освоят и смогут реализовать алгоритмы сортировки слиянием и timsort. Пирамидальная сортировка (heap sort), tree sort, очередь с приоритетами Студенты смогут реализовывать и применять пирамидальную сортировку, tree sort, очередь с приоритетами. Быстрая сортировка Студенты освоят алгоритм быстрой сортировки. Сортировка подсчетом, поразрядная сортировка, блочная сортировка (bucket sort) Студенты освоят и смогут реализовать сортировку подсчетом, поразрядную сортировку, блочную сортировку. Медианы и порядковые статистики Студенты научатся реализовывать алгоритмы для нахождения медианы и порядковых статистик.
  2. Программа курса:Первый модульДля разработки в области анализа данных необходимо понимать, как устроены основные алгоритмы, какая у них сложность и скорость работы, сколько требуется ресурсов для их успешной работы, область применимости.В первом модуле программы разбираются все базовые алгоритмы машинного обучения. Изучение проходит на сгенерированных данных, не требующих времени на преобразование и доработку. Разъясняется значение и влияние параметров алгоритмов на результат. Каждый этап обучения сопровождается наглядной визуализацией.Будут рассмотрены алгоритмы: линейная регрессия, логистическая регрессия, деревья решений, knn, SVM, k-means, EM, иерархическая кластеризация, DBScanВ результате слушатели уверенно освоят базовые алгоритмы анализа данных и инструменты для базового анализа данных на PythonЗанятие 1: Базовые инструменты анализа данных в Python. Подготовка к курсу. Git, окружение Python. Обзор курса.Введение в Python, Numpy, Pandas, Sklearn. API Sklearn.Что такое DS, ML, классы решаемых задач.ДЗРеализация библиотеки. Реализация библиотеки для подсчета статистик и преобразования датасетов в формате csv. Отработка инструментов для преобразования данных в pandas и sklearn.Занятие 2: Вводная в математические операции. Интеграл, производная, их свойства, вероятность, плотность вероятности, мат.ожидание, дисперсия, ковариация, матричные вычисления, определитель, обратная матрица и т.п.Занятие 3: Визуализация Визуализация на matplotlib, seaborn, plotlyДЗПостроение визуализаций по даннымЗанятие 4: Линейная регрессия Математика линейной регрессии. Проблема многомерных пространств и переобучения на примере регрессии. Проблема разреженных данных. Регуляризация.Простая линейная регрессия на Python. Оценка качества регресcии. Проверка точности модели: обучающая и тестовая выборки. Обучающая и тестовая выборка, кросс-валидация.Занятие 5: Логистическая регрессия Математика логистической регрессии. Мультиклассовая регрессия. Оценка качества логистической регрессии.Теория вероятностей: условные вероятности, теорема Байеса.Обучение регрессии, градиентный спуск. Регуляризация: L1, L2.ДЗРеализация алгоритма логистической регрессии. Реализация алгоритма логистической регрессии на простых данных. Оценка качества, подбор параметров модели.Занятие 6: KNN, наивный байес Метрики и расстояния между объектами: евклидова и другие.Обучение модели kNN. Ограничения.Метрики качества: accuracy, precision, recall, др.Алгоритм наивного байеса. Байесовский классификатор, Принцип Maximum A-PosterioriЗанятие 7: kMeans, EM Обучение без учителя. Алгоритмы кластеризации, области применения. k-means. Оценка качества обучения, ограничения и подбор алгоритма для задачи.Байесов подход к вероятности. Алгоритмы с lower-bound. Em алгоритм.ДЗРеализация EM-алгоритма. Реализация EM-алгоритма на простых данных. Оценка качества кластеризации.Занятие 8: Иерархическая кластеризация, DB-Scan Иерархическая кластеризация, DB-Scan. Optics. Спектральная кластеризация.Занятие 9: Feature engineering Feature engineering. Статистический анализ данных, выбор фич на основе корреляции.ДЗПреобразование набора данных и подбор фич.Занятие 10: Поиск выбросов в данных
  3. Вы узнаете:• Как мотивировать людей и вовлечь их в работу• Что такое команда и как повысить её производительность• Какой результат управленческой деятельности можно считать выдающимся• Как этого результата достичь• Чем должен заниматься руководитель, а чем нет• Как сокращать издержки в коммуникациях
  4. JeyLie

    otus Реляционные СУБД (2018)

    Описание:Что даст вам этот курсЦель курса — научить слушателя эффективно работать с любой реляционной базой данных с помощью языка структурированных запросов SQL.На курсе будут подробно раскрыты следующие темы:1. Как устроены и работают реляционные СУБД?2. Как решать вопросы оптимального хранения и выборки данных?3. Как пользоваться SQL-командами?4. Как писать корректные оптимальные запросы?
  5. JeyLie

    otus Разработчик Python (2019)

    Курс Разработчик Python создан для программистов, желающих приобрести дополнительные знания для повышения своего текущего уровня программирования на языке Python. Чтобы стать слушателем данного курса у вас должен быть определенный опыт разработки на этом языке. Курс научит вас создавать уникальные подходы к решению различных задач, а Python будет лишь неким инструментом, благодаря которому вы сможете реализовывать свои идеи.Курс ставит своей целью погрузить вас в современную “промышленную” разработку в широком смысле, как в теории, так и на практике. При этом сам язык Python является лишь инструментом, с помощью которого мы будем препарировать различные области программерских знаний. Во главу угла же поставлено освоение основных software engineering компетенций через призму конкретного языка, а также формирование прагматичного подхода к решению задач.Особенности курса: практикоориентированность и охват. На курсе много домашних заданий, некоторые из которых будут представлять настоящий challenge, а опциональные задания позволят самым смелым капнуть еще глубже и “потрогать” еще более продвинутые вещи. При этом области, в которых вы будете испытывать свои способности, имеют весьма широкий спектр: курс охватывает и web, и анализ данных и вопросы создания высоконагруженных систем. В конце курса вы реализуете проект на свободную тему.Курс универсальный, рассматриваются и 2 и 3 версии Python. Домашние работы и проект можно выполнять на любой версии, примеры на занятиях чаще работают под обе версии, но большинство писались на 2ой версии, запущен процесс их переделывания на Python 3. Все необходимые отступления и обсуждения разницы в версиях делаются.По окончании курса вы получите понимание структуры современной разработки ПО и место Python и прочих инструментов в ней, ответите на вопросы: “как писать простой и идиоматичный код, за который не будет мучительно стыдно?“, “как тестировать и поддерживать код на Python?“, “как написать приложение, которое не умрёт под нагрузкой?“Будет сложно: Придется много кодить, быстро разбираться в темах и выдерживать сроки сдачи домашних заданий. А за последний месяц вам предстоит написать полноценный выпускной проект!Мы не учим тех, кто только начинает разбираться в основах:После регистрации вы проходите тестирование, чтобы определить, сможете ли вы попасть в группу или нет. Если вам не хватает знаний, то вам нужны курсы попроще.Программа курса:Первый месяц Advanced basics. Unicode. Floating point numbers. Itertools, functional programming, recursion, lambda, closures. Decorators. HW1: Advanced Python Exercises. Internals. CPython, source structure, basic types implementation. Memory model, allocation, reference counting, garbage collection. GIL. Algorithms, Python time complexity, classic algorithms, graph algorithms. HW2: Adding new statement to Python language. OOP. Object model. Descriptors. Magic methods. ABC. Metaprogramming. HW3: Design Patterns. Automatization. Databases, networking, daemons. Deployment. Setup tools, distribution. packaging, containers. HW4: Asynchronous HTTP server. Второй месяц WSGI. Fast CGI, uWSGI, Gunicorn. Django. MVC\MTV, environment setup. HW5: uWSGI microservice daemon. ORM. CRUD, Query sets, Object managers, Transactions, Migrations. SQLAlchemy. Schema, Types, CRUD, Exceptions, Transactions. HW6: Django App I Views, Function/Class based views. Forms, validation. Pagination. Templates. Filters, tags, Jinja2. HW7: Django App II Middleware. Django Admin. Testing. Unit tests, CI. HW8: Django App III Третий месяц REST API. Architecture, frameworks, rate limiting, documentation. Queues, Celery. Twisted. Tornado. Flask. HW9: Django App IV IPython. SciPy, NumPy. Basics, arrays, linear algebra, advanced usage. HW10: Logistic Regression. Pandas. Basics, data loading and storage, data wrangling, aggregation, time series. HW11: Open data analysis. Visualization. matplotlib, seaborn, pandas, d3.js, Apache Zeppelin. Python and Hadoop. Hadoop basics, streaming, ETL. HW12: MapReduce task with visualization. Четвертый месяц Profiling. Linux tools, CPU, Memory, Tracing. Concurrency, Parallelism. Multithreading, multiprocessing, gevent. HW13: Concurrent file processing. C extensions, C API, ctypes, cffi. Cython, Pypy. HW14: Protobuf (un)packer extension. Clustering. Parallel Python, IPython Parallel, Queues. Memory optimization. RAM usage, probabilistic data structures. Golang. HW15: Concurrent file processing in Go. Python 3. Overview, migration, features. HW16: Python 3 Exercises. Пятый месяц Monitoring system Flask REST API Django Web App Data pipeline Custom project
  6. JeyLie

    otus Data Scientist. Модуль 2 (2018)

    Курс предназначен для программистов и аналитиков, которых интересует область машинного обучения и анализа данных.Цель прохождения курса — освоение алгоритмов машинного обучения и логических методов, позволяющих находить ценную информацию в крупных массивах данных и эффективно внедрять эту информацию для решения реальных бизнес-задач.Курс дает комплексные ответы на следующие вопросы:- когда и зачем нужно анализировать данные?- какую пользу приносит анализ данных?- какие бывают данные?- каковы принципы работы алгоритмов машинного обучения?- как работать с неструктурированными (текстовыми) данными?- как работать с большими данными?После обучения вы сможете:- использовать методы машинного обучения в практически полезных приложениях и исследованиях;- выбирать подходящие алгоритмы и метрики;- разбираться в математических основаниях алгоритмов машинного обучения;- проводить предварительную обработку данных (очистка, работа с пропусками, определение типа шкал);- проводить статистические исследования и интерпретировать их результаты;- создавать предсказательные модели для качественных и количественных данных;- применять методы обучения без учителя (кластеризация, снижение размерности);- работать с ограниченными датасетами, структурированными и неструктурированными данными;- проектировать архитектуру нейросетей и обучать их;- самостоятельно реализовывать весь процесс: от поиска полезной информации в массивах данных до построения схемы обработки данных в боевом окружении.Особенность курса — сбалансированное сочетание теоретического изучения и практических действий, плюс высокая степень свободы при создании проекта. Это тот случай, когда технические возможности машинных алгоритмов будут использованы для решения реальных проблем бизнеса и общества. Вы научитесь видеть за моделями практический смысл и делать обобщения с учетом особенностей данных и специфики предметной области.В результате обучения вы не только расширите свой инструментарий в области анализа данных, но и улучшите навыки в следующих технологиях: Python, Pandas, Sklearn, Keras, нейросети, SQL, логистическая регрессия, предсказательные модели, машинное обучение, математическая статистика, Natural language processing, Deep learning.После прохождения курса в вашем распоряжении останутся:- презентации и видеозаписи занятий, все сопутствующие материалы;- собственные уникальные исследования, которые можно показывать при устройстве на работу;- один большой проект, решающий конкретную практическую проблему;- сертификат о прохождении обучения.
  7. Курс предназначен для для разработчиков уровня Junior и Middle, которые имеют общее представление и опыт работы с Web и хотят узнать больше о мире современного JavaScript.По окончании курса вы сможете:- Понимать принципы работы современных JavaScript фреймворков и библиотек- Применять паттерны проектирования (Event Loop, Flux, Immutable, Virtual DOM, Dependency Injection, Observables)- Знать подходы при проектировании, организации, контроля состояния и тестирования серверных и клиентских приложений- Выбирать подходящие инструменты для проекта- Тестировать проект unit-тестами на разных уровнях- Создавать веб-приложения с использованием современных технологий
  8. Данный курс позволит вам овладеть базовым набором знаний и навыков, необходимых для старта карьеры разработчика на Python и подготовки к основному курсу «Разработчик Python».Материалы курса представляют собой предварительно записанные в студии лекции с теоретической частью и наглядной практической работой. После каждой лекции вам будет предложен тест для проверки усвоенного материала.Курс состоит из 12 блоков, в рамках которых рассмотрены следующие темы:— Базовые типы и структуры данных;— Функциональное программирование и работа с данными;— Организация кода в модули. Исключения и классы;— Файлы и сеть. HTTP;— Django;— NumPy;— Pandas;— Shell, virtualenv, git.ПРОГРАММА КУРСА:Модуль 1Основы языка программирования PythonЗанятие №1: «Базовые типы и структуры данных»Учащийся изучит понятие "типы данных", узнает базовые типы данных, научится управлять потоком (логикой работы), узнает основные операторы.Тест к занятию 1Занятие №2: «Функциональное программирование и работа с данными»Учащийся получит знания о следующем: замыкания, сomprehensions, generators (в т.ч. как создавать генераторы), циклы for и while, функции Map, Filter and Reduce, декораторы (как применять и как создавать), менеджеры контекста, возврат значения из функции, распаковка list / tuple, Default Argument Values.Тест к занятию 2Занятие №3: «Организация кода в модули. Исключения и классы»Учащийся изучит возможности ООП, научится создавать свои классы, изучит возможности наследования, сможет обрабатывать исключения, научится организовывать код в модули с логической структурой.Тест к занятию 3Занятие №4: «Файлы и сеть. HTTP»Учащийся научится:— работать с файлами;— Ознакомится с протоколами TCP/IP;— Создавать простейший сервер и клиента;— Работать с HTTP.Тест к занятию 4Модуль 2DjangoЗанятие №5: «Django 1. Знакомство, URLs и functional based views»Учащийся ознакомится с общей философией Django и научится:— создавать проект;— обрабатывать запросы от пользователей при помощи FBV;— обрабатывать HTML шаблоны (необходимо базовое знание html);— познакомится с Bootstrap.Тест к занятию 5Занятие №6: «Django 2. more built-in template tags and filters, Class-Based Views»Студент научится:— создавать проект;— обрабатывать запросы от пользователей при помощи FBV;— обрабатывать HTML шаблоны (необходимо базовое знание html);— познакомится с Bootstrap.Тест к занятию 6Занятие №7: «Django 3. Models, DB + ORM, Class-Based Views, FormsСтудент научится:— создавать модели;— создавать миграции;— выполнять миграции;— работать с Django Admin;— создавать формы;— обрабатывать формы.Тест к занятию 7Занятие №8: «Django 4. Raw SQL, индексы, нормализация данных»Студент научится:— создавать отношения видов один к одному, многие к одному и многие ко многим;— выполнять запросы в базу данных при помощи Django ORM;— выполнять чистый SQL через Django ORM.Тест к занятию 8Занятие №9: «Django 5. Модели и сигналы. Тестирование. Кастомизация settings»Студент научится:— обрабатывать сигналы django;— создавать unit тесты для моделей;— создавать unit тесты для views.Тест к занятию 9Модуль 3Продвинутый PythonЗанятие №10. «NumPy»Студент познакомится с библиотекой NumPy:— научится создавать ndarray.— узнает основные атрибуты ndarray: ndim, shape, size, itemsize, dtype.— познакомится с базовыми функциями numpy и основными методами ndarray.— научится изменять массивы и создавать новые на основе существующих.Тест к занятию 10Занятие №11. «Pandas: анализ данных на Python»Студент познакомится с библиотекой Pandas и научится основам работы с ней:— узнает, зачем нужна библиотека Pandas— узнает про Series и DataFrame, и научится создавать их— научится создавать индексы Series и индексировать— научится создавать Series и изменять их по индексам и срезам— научится создавать и изменять DataFrame— научится сравнивать DataFrame между собой .— научится загружать данные из файла и сохранять DataFrame обратно на диск.— познакомится с основными атрибутами и методами DataFrame .— научится группировать данные и делать сводные таблицы.Тест к занятию 11Занятие №12. «Shell, virtualenv, git»Студент познакомится с bash, научится работать с python virtual environment и освоит:— пакетный менеджер;— перемещение по директориям;— работу с файлами и папками;— применение виртуального окружения в python разработке;— git, от веток до конфликтов и cherry-pick.
  9. JeyLie

    otus Data Scientist. Модуль 3 и 4 (2018)

    Цель прохождения курса — освоение алгоритмов машинного обучения и логических методов, позволяющих находить ценную информацию в крупных массивах данных и эффективно внедрять эту информацию для решения реальных бизнес-задач.Курс дает комплексные ответы на следующие вопросы:- когда и зачем нужно анализировать данные?- какую пользу приносит анализ данных?- какие бывают данные?- каковы принципы работы алгоритмов машинного обучения?- как работать с неструктурированными (текстовыми) данными?- как работать с большими данными?После обучения вы сможете:- использовать методы машинного обучения в практически полезных приложениях и исследованиях;- выбирать подходящие алгоритмы и метрики;- разбираться в математических основаниях алгоритмов машинного обучения;- проводить предварительную обработку данных (очистка, работа с пропусками, определение типа шкал);- проводить статистические исследования и интерпретировать их результаты;- создавать предсказательные модели для качественных и количественных данных;- применять методы обучения без учителя (кластеризация, снижение размерности);- работать с ограниченными датасетами, структурированными и неструктурированными данными;- проектировать архитектуру нейросетей и обучать их;- самостоятельно реализовывать весь процесс: от поиска полезной информации в массивах данных до построения схемы обработки данных в боевом окружении.Особенность курса — сбалансированное сочетание теоретического изучения и практических действий, плюс высокая степень свободы при создании проекта. Это тот случай, когда технические возможности машинных алгоритмов будут использованы для решения реальных проблем бизнеса и общества. Вы научитесь видеть за моделями практический смысл и делать обобщения с учетом особенностей данных и специфики предметной области.В результате обучения вы не только расширите свой инструментарий в области анализа данных, но и улучшите навыки в следующих технологиях: Python, Pandas, Sklearn, Keras, нейросети, SQL, логистическая регрессия, предсказательные модели, машинное обучение, математическая статистика, Natural language processing, Deep learning.
  10. Программа курса:Чаще всего в окружении, в котором приходится работать, данные не готовы для анализа, у них произвольный формат и много ошибок. Например, это данные из баз знаний, открытых API, данные из различных информационных систем партнеров.В третьем модуле рассматриваются вопросы сбора и очистки данных, разбираются типичные задачи бизнеса. Например, это предсказание ctr, ltv. Дополнительно рассмотрим специальные алгоритмы анализа данных - это работа с временными рядами, рекомендательными системами, текстами, графами.Занятие 19: Рекомендательные системы Типы рекомендательных систем. Векторное пространство (тот же TF-IDF) и content-based модели, повторение стандартных метрик корреляций: Пирсон, косинусная мера, Джаккарт. Offline метрики и метрики ранжирования. Построение простой content-based модели. Item(user)-based CF. Использование CF для implicit feedback. Построение CF модели (item-based или MF)ДЗПрименение алгоритма рекомендаций для датасета фильмов.Занятие 20: Временные ряды Что такое временные ряды и простые модели построения прогнозов. Разложение временного ряда на компоненты: тренд, сезонность, цикл, ошибка. Стационарность ряда. Модели класса AR, MA, ARMA, ARIMA. Построение прогноза на примере данных. Модели ARIFMA. Нелинейные модели, библиотека Prophet от Facebook. Векторные моделиЗанятие 21: Latent Dirichlet Allocation ДЗПрименение LDA для категоризации текстов.Занятие 22: Алгоритмы на графах Социальные сетиЗанятие 23: Нейронные сети, обучение нейронных сетей Основы: перцептрон и синапсы, функция активации, примеры задач. Обучение: функция потерь, обратное распространение ошибки, стохастический градиент.ДЗРеализация алгоритма обратного распространения ошибки и применение простой сети на mnist.Занятие 24: Сверточный слои, каскады, визуализация признаков Сверточный слои, каскады, визуализация признаков. Нормализация и регуляризация: batchnorm, dropout. Архитектуры нейросетей: обзор архитектур AlexNet, ResNet, GoogLenet.
  11. JeyLie

    otus Data Scientist. Модуль 1 (2018)

    Цель прохождения курса — освоение алгоритмов машинного обучения и логических методов, позволяющих находить ценную информацию в крупных массивах данных и эффективно внедрять эту информацию для решения реальных бизнес-задач.Курс дает комплексные ответы на следующие вопросы:- когда и зачем нужно анализировать данные?- какую пользу приносит анализ данных?- какие бывают данные?- каковы принципы работы алгоритмов машинного обучения?- как работать с неструктурированными (текстовыми) данными?- как работать с большими данными?После обучения вы сможете:- использовать методы машинного обучения в практически полезных приложениях и исследованиях;- выбирать подходящие алгоритмы и метрики;- разбираться в математических основаниях алгоритмов машинного обучения;- проводить предварительную обработку данных (очистка, работа с пропусками, определение типа шкал);- проводить статистические исследования и интерпретировать их результаты;- создавать предсказательные модели для качественных и количественных данных;- применять методы обучения без учителя (кластеризация, снижение размерности);- работать с ограниченными датасетами, структурированными и неструктурированными данными;- проектировать архитектуру нейросетей и обучать их;- самостоятельно реализовывать весь процесс: от поиска полезной информации в массивах данных до построения схемы обработки данных в боевом окружении.Особенность курса — сбалансированное сочетание теоретического изучения и практических действий, плюс высокая степень свободы при создании проекта. Это тот случай, когда технические возможности машинных алгоритмов будут использованы для решения реальных проблем бизнеса и общества. Вы научитесь видеть за моделями практический смысл и делать обобщения с учетом особенностей данных и специфики предметной области.В результате обучения вы не только расширите свой инструментарий в области анализа данных, но и улучшите навыки в следующих технологиях: Python, Pandas, Sklearn, Keras, нейросети, SQL, логистическая регрессия, предсказательные модели, машинное обучение, математическая статистика, Natural language processing, Deep learning.После прохождения курса в вашем распоряжении останутся:- презентации и видеозаписи занятий, все сопутствующие материалы;- собственные уникальные исследования, которые можно показывать при устройстве на работу;- один большой проект, решающий конкретную практическую проблему;- сертификат о прохождении обучения.
  12. О курсеВ настоящее время каждый сервис или устройство генерируют огромное количество данных. С помощью методов машинного обучения из данных стало возможным извлекать полезные знания. По этой причине данные становятся самым ценным ресурсом в бизнесе, а умение извлекать из данных информацию - одним из самых востребованных умений. Для того, чтобы внедрять использование данных в бизнесе, необходимо обладать набором специальных знаний и навыков. Цель курса - освоить основные темы и инструменты, позволяющие находить полезную информацию в данных и внедрять ее использование в боевое окружение. В нашем курсе мы научим основам анализа данных: расскажем о предобработке данных, типичных задачах и основных алгоритмах машинного обучения, а также научимся обрабатывать объемы данных, для обработки которых недостаточно одной машины. Все задачи будут проработаны на практике как на учебных, так и на реальных данных. Также будут рассмотрены типичные задачи, встречающиеся в разных видах компаний. В результате прохождения курса слушатель сможет самостоятельно реализовывать весь процесс от поиска знаний в данных до построения процесса по обработке данных в боевом окружении, будет обладать знаниями, необходимыми для изучения более сложных методов машинного обучения. Программа курса:Большую часть времени любого разработчика процессов анализа данных занимает разработка самого процесса по преобразованию данных на разных этапах. Предполагаются этапы сбора, очистки, агрегации данных, построения модели и предсказания характеристик.В четвертом модуле рассматриваются возможности построения надежных процессов преобразования данных.В более крупных компаниях данные превышают возможности одной типичной разработческой машины. Появляется потребность работы с алгоритмами, обрабатывающими данные в потоке, а также с кластером.В четвертом модуле разбираются процессы преобразования данных, слои данных, потоки данных и различные способы хранения и преобразования таких данных на кластере. Разберем возможности построения моделей на кластере. К концу модуля слушатели смогут уверенно использовать стек технологий Hadoop: писать задачи на MapReduce с использованием Java или Hadoop Streaming, использовать Hive и Spark для быстрого преобразования данных, расчета статистик, построения моделей на кластере.Занятие 25: Процесс CRISP-DM. Выбор хранилища, запросы к базе (Реляционная, нереляционная). Большие данные и параллельные вычисления. Кластер, hdfs, запросы к hdfs. Map Reduce, Java, Python, Необходимость в кластерных вычислениях. Парадигма MapReduce. Инструменты работы с большими данными. Hadoop, Spark, обзор других компонентов экосистемы. Развертывание кластера Hadoop локально для выполнения учебных примеров. Выполнение учебных примеров на кластере.ДЗНастройка окружения для локальной работы с кластером. Выполнение на локальном кластере набора учебных задач.Занятие 26: Vowpal Wabbit для обучения линейных моделей на одной машинеЗанятие 27: MapReduce на Java, Hadoop Streaming - MapReduce на Python, bash ДЗРеализация алгоритма с использованием MapReduce.Занятие 28: Пайплайны. Способы выстроить поток задач, обеспечить выполнение. Отказоустойчивость, мониторинг.Занятие 29: Слои данных для оптимизации процессов использования данных. Hive. ДЗРеализация алгоритма с использованием Hive.Занятие 30: Организация хранения данных для решения задач машинного обученияЗанятие 31: Spark Spark как инструмент быстрого доступа к данным. Spark как инструмент для машинного обучения.ДЗРеализация алгоритма с использованием Spark.Занятие 32: Обзор решений для аналитики больших данных Vertica, Clickhouse. Основные преимущества и недостатки, для хранения и обработки данных.Агрегация, управление, эксперименты, анализ, визуализация и BI
  13. JeyLie

    otus Backend разработчик на PHP (2018)

    По окончании курса слушатели получат полное представление о разработке больших и высоконагруженных веб-приложений, полученные знания позволят слушателю уверенно решать задачи разработки коммерческих приложений.Более 80% сайтов всего мира используют PHP, что позволяет сказать, что он является лидирующим языком программирования для реализации веб-приложений. Высокая скорость разработки и простота эксплуатации, но при этом высокая производительность, позволяют использовать его в проектах любой степени сложности от простого сайта-визитки до крупной социальной сети. Для реализации больших и долгосрочных проектов, современному PHP-разработчику необходимо заботиться об архитектуре кода, применять паттерны проектирования, писать код в соответствии с принципами SOLID и поддерживать высокий code coverage своих unit-тестов. Но профессия PHP Backend Developer требует знаний не только языка PHP, а ещё знаний инструментов, таких как базы данных, очереди, кеш-сервера, без которых немыслимо современное веб-приложение.Содержание:Модуль 1. General Knowledge1. Подготовка к курсуПодготовимся к прохождению курса, вспомним Git и GitHub. Поговорим об истории развития PHP от PHP/FI до PHP7, узнаем, куда делся PHP6 и перейдём к внутреннему устройству интерпретатора. Затронем zval и garbage collector.2. Менеджеры пакетовПродолжим узнавать устройство интерпретатора PHP, обсудим подходы к его конфигурированию. После этого перейдём к модулям и менеджерам пакетов, в частности, обсудим Zend Extensions, работу с PEAR и PECL, научимся собирать свой собственный PHAR. Отдельное внимание уделим менеджеру зависимостей composer. Поговорим об autoloading и SEMVER.3. LinuxПеред запуском PHP сценариев в режиме CLI, обсудим необходимый минимум устройства Linux. Узнаем, что такое процессы и потоки, и чем они отличаются друг от друга. Поговорим о FHS, пользователях, группах и привилегиях. Начнём разбираться с утилитами из GNU Coreutils.4. PHP in CLIНемного коснёмся языка bash. Продолжим разбираться с утилитами из GNU Coreutils. Научимся использовать grep и xargs. Начнём запускать PHP скрипты из командной строки, научимся демонизировать процессы, а также использовать для запуска cron, screen и supervisord. Поговорим о IPC (pipe, shared memory, signals, unix sockets).5. Виртуализация и контейнеризацияПоговорим о подходах к виртуализации и паравиртуализации. Посмотрим на xen, kvm/qemu и перейдём к контейнеризации. Научимся работать с Docker и посмотрим как он работает внутри.6. NetworkingКоснёмся нужных нам в работе тем о сетях. В частности, поговорим об OSI, остановимся на TCP/IP. Посмотрим, как устроена маршрутизация и коммутация, как работает ARP. Поговорим о DNS и SMTP и детально изучим HTTP.7. FastCGIРассмотрим способы запуска PHP-сценариев для web. В частности, изучим протокол FastCGI. Детально обсудим возможности nginx и научимся его использовать. А также посмотрим, как устроены JavaServlets и WSGI.8. PHP WebServersИзучим php-fpm и его связку с nginx. Поговорим о моделях обработки запросов веб-серверами (синхронно, асинхронно) и напишем свой маленький асинхронный web-сервер.9. Алгоритмы. НачалоПоговорим об алгоритмах и структурах данных. Детально рассмотрим асимптотический анализ. Рассмотрим алгоритмы сортировки, в частности: сортировка Шелла, быстрая сортировка и сортировка слиянием. Изучим стек и очередь на примере реализаций из SPL. Детально рассмотрим связанные списки и способы их обхода.10. Алгоритмы. ПродолжениеПродолжим говорить об алгоритмах. Рассмотрим такие структуры данных как двоичные и сбалансированные деревья поиска. Обсудим хеш-таблицы и способы борьбы с коллизиями. Закончим алгоритмами на графах - поиск в ширину и алгоритм Дейкстры.Модуль 2. Databases11. Основные понятия баз данныхОбсудим модели данных и ранние подходы к организации данных, в частности, иерархические и сетевые базы данных. Научимся описывать концептуальные схемы предметной области при помощи ER-модели. Остановимся на реляционной модели и погрузимся в реляционную алгебру. Поговорим о SQL, его истории, стандартах и совместимости.12. PostgreSQL для администратораПолное погружение в PostgreSQL. Поговорим об администрации кластера, ролях, атрибутах, привилегиях, схемах, табличных пространствах и системном каталоге. Для всего этого изучим DDL.13. RedisПоговорим о Redis как о базе данных. Изучим типы данных и способы работы с ними из кода на PHP. Сравним Redis с Memcached.14. MongoDBРассмотрим not only SQL-решения на примере MongoDB. Познакомимся с CRUD операциями. Поговорим о Aggregation Pipeline и MapReduce. Поработаем с MongoDB из кода на PHP.15. PostgreSQL для разработчикаПродолжим изучение PostgreSQL, но уже в качестве клиентского разработчика. Изучим DML, поговорим о типах данных, функциях и операторах. Узнаем как устроены индексы и работают транзакции. Обсудим ACID, MVCC и уровни изоляции.16. Как устроен PostgreSQLПерестанем бояться чудодейственной магии PostgreSQL и детально разберём как база данных работает “под капотом”. В этом занятии будет буферный кеш, журнал упреждающей записи, контрольная точка, страницы и версии строк, LRU, снимки и блокировки, а также Vacuum. Используя EXPLAIN, посмотрим как PostreSQL выполняет запрос и попытаемся оптимизировать его выполнение.17. Другие SQL-решенияПосмотрим на другие SQL-решения, в частности, сделаем детальный обзор возможностей MySQL и SQLite. Поговорим о колоночных базах данных на примере ClickHouse.18. PHP и базы данныхИзучим все способы работы кода на PHP с изученными базами данных. Как дань истории будут показаны устаревшие драйверы, но остановимся на PDO. Рассмотрим ООП-подход для работы с базами данных. Научимся реализовать и применять такие паттерны как DAO, ActiveRecord, ORM, ODM. Поговорим об их плюсах и минусах.Модуль 3. Developing19. Парадигмы программированияКогда мы пишем код - мы придерживаемся какой-то парадигмы. В этом занятии мы обсудим различные парадигмы программирования и увидим, что не ООП-единым, на примере использования функциональной парадигмы. Посмотрим на функции высшего порядка, каррирование, замыкания и монады. После чего детально остановимся на ООП.20. Архитектура кодаПогрузимся в архитектуру кода. UML, SOLID, SoC, DRY, KISS, YAGNI, DI и DI-контейнеры.21. Design patternsРассмотрим часто встречающиеся проблемы при проектировании ООП-программ и, как способ их решения, шаблоны проектирования. Обсудим порождающие, структурные, поведенческие шаблоны, а также коснёмся шаблонов GRASP.22. Практики хорошего кодаПоговорим о том, как писать хороший код, о принципах CQRS и Fluent interface. Обсудим coding styles и необходимость документирования кода. Рассмотрим PHP the Right way и стандарты из PHP-FIG.23. Введение в тестированиеПоговорим о тестировании - его видах и какие проблемы призван решить каждый вид. В частности, обсудим acceptance, integration и unit тестирование. Узнаем, что такое test case и как он должен выглядеть. Научимся писать интеграционные тесты на codeception.24. Unit-тестированиеПоговорим о том, что такое тестируемый код и как его писать. Научимся писать Unit-тесты с использованием PHPUnit. Поговорим об A-TRIP, TDD и Red-Green-Refactor. Рассмотрим идеологии CI/CD и запустим автоматический прогон наших тестов в Travis.25. БезопасностьПоговорим о безопасности. В частности, рассмотрим симметричные и ассиметричные алгоритмы шифрования AES, RSA, Blowfish. Digest-алгоритмы sha и md5. И детально рассмотрим TOP10 видов уязвимостей web-приложений по OWASP (в частности SQL-injections, XSS, CSRF).Модуль 4. Architecture & HighLoad26. КешированиеПоговорим зачем приложению нужен кеш. Рассмотрим Redis и Memcached в качестве кеш-серверов. Поговорим о кеш-тегах и инвалидации кеша.27. ОчередиРассмотрим асинхронный подход обработки данных на основе очередей. Разберём несколько стандартных сценариев использования очередей (отправка уведомлений, инвалидация кеша). Реализуем работу с очередями, используя различные инструменты (очереди на базе, Redis Pub/Sub, Gearman, Beanstalkd). Детально изучим протокол AMPQ и одну из его прикладных реализаций - RabbitMQ.28. РепликацияПолучим полное представление о репликации: о её видах (Master-Slave, Master-Master), о способе синхронизации изменений (sync, async), о формате изменений (SBR, RBR), о модели передачи изменений (push, pull) и о том, как с этим работать на уровне PHP кода.29. Профилирование и логированиеСкрипт тормозит? Научимся находить узкие места, используя инструменты профилирования. Также детально обсудим логирование, чтобы понимать что делает наш скрипт. Затронем уровни логирования (по PSR-3), библиотеку Monolog и сбор логов в ELK.30. Проектирование APIНаучимся проектировать API для web и mobile используя Rest и RPC-протоколы. Обсудим JSON, XML, Protocol Buffers. Детально остановимся на Rest и способе его описания, используя RAML. Получим представление о WebSockets.
  14. JeyLie

    otus Разработчик full-stack на Python (2018)

    ОписаниеКурс «WEB разработчик» готовит к работе на позиции middle web developer.Основные темы курса:- Стиль кода: как писать код и не быть битым коллегами;- Питон: как использовать фишки языка;- Автотесты: как сделать так, чтобы ничего не ломалось;- Кодревью: как реагировать, что делать;- CI: как доставлять фичи, а не проблемы;- SQL/noSQL/ORM: как хранить данные и что делать, если их много;- API: как сделать REST, что такое GraphQL.А вот базворды, с которыми будут работать студенты курса: python, unittest, PostgreSQL, MongoDB, Redis, SQLAlchemy, git, gitflow, Flask, Django, Django REST Framework, aiohttp, Fabric, Docker, Bootstrap, Materialize, pep8, prospector, HTTP, REST, GraphQL.Программа1 месяц Стиль кода (чистые функции, сложность, читаемость, функциональность, поддерживаемость, статический анализ) ДЗ: зарефакторить существующую кодовую базу. Питон (tuples/list, память, контекст менеджеры, генераторы, итераторы, декораторы, MRO) ДЗ: зарефакторить существующий проект: экономить ресурсы, сделать код читаемее, избавиться от копипасты. HTTP, Flask, как экономить время в консоли (поиск по истории, хоткеи, ssh-конфиги) ДЗ: реализовать АПИ на Фласке. Django, нагрузочные тесты Я.Танком ДЗ: собираем и оптимизируем новостной портал. 2 месяц API: DRF, GraphQL, apiary/swagger ДЗ: реализуем удобное АПИ для фронтенда, параллелим разработку с помощью прототипов API. Devops (fabric, docker), git, gitflow ДЗ: заворачиваем проект в контейнер, деплоим в облако. Frontend (вёрстка на bootstrap/material) ДЗ: верстаем простой интерфейс для API с предыдущего задания. Проектирование схемы БД, ORM, автотесты ДЗ: спроектировать БД, оптимизировать использование ORM. 3 месяц Подробнее про устройство Посгри, введение в Mongo, немного про Redis ДЗ: оптимизируем сервис под большое количество данных, допиливаем БД. Мультипроцессинг, мультитрединг, ГИЛ ДЗ: оптимизируем ELT-скрипт. Асинхронность, aiohttp ДЗ: реализуем асинхронное АПИ, сравниваем нагрузку с синхронным вариантом. Оптимизация сайта: профилирование, запросы, кеш. ДЗ: собрать сайт на DjangoCMS, оптимизировать под большую нагрузку. 4 месяц Проект на одну из рассмотренных в курсе тем ПреподавательИлья Лебедев – программист на Python с семилетним стажем промышленной разработки.
  15. Программа курса:• Типы данных, базовые типы данных• Преобразование типов• Битовые операторы, битовые маски• Логические и математические операторы, приоритеты• Операторы управления логикой работы приложения• Циклы• Структура консольного Java-приложения
  16. JeyLie

    otus Администратор Linux (2018)

    Описание:Наиболее полный курс администрирования систем на базе Linux, преподаваемый специалистами с большим стажем работы в крупнейших проектах рунета. Курс формирует знания и навыки для построения и обслуживания высоконадёжных высокодоступных систем на базе Linux.В результате выпускники смогут:– развернуть платформу на базе Linux по ТЗ или предложить конфигурацию, наиболее подходящую под задачу;– развернуть большинство типов онлайн-систем и обеспечить их бесперебойное функционирование;– участвовать в разработке ПО и предлагать инструменты разработчикам;– составлять исчерпывающий отчёт по сбоям для разработчиков, а в некоторых случаях и предлагать исправления.Курс будет полезен системным администраторам и практикующим администраторам SMB, которые хотели бы пробить хрустальный потолок своего сектора рынка и вступить в игру онлайн-гигантов.В процессе обучения мы ответим на следующие вопросы:– что случилось с системой и как это понять?– перезагрузил сервер после трёх лет аптайма и не загружается, что делать?– loadAvg 50 это нормально или надо что-то делать?– Apache повис и не реагирует ни на что, что делать?– надо срочно поставить 50 машин, что делать?!– как настраивать хостинг без регистрации и SMS?
  17. Программа курсаОт сгенерированных данных переходим к данным в табличном виде. Такие данные встречаются в конкурсах по анализу данных, а также могут быть собраны, например, напрямую из баз данных. Для применения алгоритмов машинного обучения обычно такие данные требуют дополнительных преобразований.Во втором модуле рассматриваются задачи преобразования и отбора признаков, вопросы подготовки данных для использования в машинном обучении.Также будут рассмотрены более сложные алгоритмы в анализе данных - понижение размерности, определение выбросов в данных, построение ансамблей моделей.Занятие 11: Уменьшение размерности Principle component analysis, t-sne. Поиск подмножества фич (subset selection).ДЗПрименение снижения размерности для использования в модели.Занятие 12: Методы оптимизации SGD, модификации SGDЗанятие 13: Деревья решений Ограничения и недостатки деревьев решений. Классификация и регрессия с помощью деревьев решений. Выбор оптимального сплита, суррогатный сплит.ДЗРеализация алгоритма дерева решений на простых данных. Реализация некоторых эвристик в деревьях решений.Занятие 14: Ансамбли моделей Случайный лес. Обзор методов ансамблирования: бустинг, бэггинг, стекинг, случайные подпространства.Занятие 15: Бустинг Xgboost, catboost, lightgbm, Стекинг, блендингДЗПрименение бустинга для построения лучшей модели.Занятие 16: SVM, Support vector machine Разделяющая поверхность с максимальным зазором. Формулировка задачи оптимизации для случаев линейно-разделимых и линейно-неразделимых классов. Сопряженная задача. Опорные векторы. SVM для задач классификации и регрессии. Kernel trick. Теорема Мерсера. Примеры функций ядра.Занятие 17: Анализ текстовых данных Сбор данных из открытых источников. Очистка данных, подготовка данных для анализа.Задача обработки текста. Введение, обзор задач, токенизация, лемматизация. Python + sklearn для обработки текстов. Понятие мешка слов, TF.IDF и когда они могут быть нужны, feature selection для NLP.ДЗРеализация процесса сбора данных через API. Преобразование текста, подготовка текста для анализа. Применение машинного обучения для предсказания характеристики в собранных данныхЗанятие 18: Анализ текстовых данных Выделение объектов в тексте (named entity recognition, named entity linking)Неструктурированные данные. Структурированные данные. Сбор текстов (scraping)Word2vec для извлечения похожих слов, sentiment analysis
  18. Программа курсаЗанятие 1: Что такое DevOps и история его развития. Как DevOps меняет жизнь и работу компаний. DevOps как профессия. Обзор курса.Занятие 2: DevOps как система. Практики и методики. DevOps компетенции.Занятие 3: Система контроля версий как основа разработки и поставки ПО. Знакомство с Git.ДЗРабота с локальным и удаленным репозиториями, исправление комитов, решение конфликтов, работа с ветками и практика Code Review..Занятие 4: Локальное окружение инженера. ChatOps и визуализация рабочих процессов.ДЗНастройка локального окружения и практика ChatOps..Занятие 5: Знакомство с облачной инфраструктурой и облачными сервисами. Практики безопасного доступа к ресурсам (SSH, Bastion Host, VPN).ДЗЗапуск VM в GCP, управление правилами фаервола, настройка SSH подключения, настройка SSH подключения через Bastion Host, настройка VPN сервера и VPN-подключения..Занятие 6: Основные сервисы Google Cloud Platform (GCP). Способы управления ресурсами в GCP.ДЗПрактика управления ресурсами GCP через gcloud.. Ручной деплой тестового приложения. Написание bash скриптов для автоматизации задач настройки VM и деплоя приложения.Занятие 7: Командная работа с Git. Работа в GitHub. Продвинутые команды GitДЗ:Решение конфликтов, создание шаблонов в репозитрии GitHub, работа по Git Workflow.
  19. JeyLie

    otus Python для WEB разработки (2017)

    Описание:Цель курса “WEB-разработка на Python” – подготовить специалиста, который сможет выполнять рядовые задачи бекенд-разработки: писать поддерживаемый код, выполнять рефакторинг, проектировать схему базы данных и взаимодействие с ней, организовать работу с ошибками и профилирование, проектировать и развивать схему взаимодействие с клиенсайдом, проводить код-ревью и писать тесты.Во время курса будет рассмотрен ряд актуальных на данный момент тем, например:Как разбить код на чистые функции?Когда использовать GraphQL, а когда REST?Когда использовать ORM и когда нет?Как и когда писать автотесты, чтобы не потратить время зря?Что нужно проверить у каждой БД, чтобы избежать распространённых проблем?На курсе будут использованы такие технологии как:Python 3.6 чтобы писать код;Flask, Django и aiohttp чтобы делать веб-сервисы;PostgreSQL, MongoDB и Redis чтобы хранить данные;pytest чтобы писать тесты;Django REST Framework и Graphene чтобы писать API;Fabric и Docker чтобы не ждать админов;Этот список появился из анализа вакансий: все эти технологии реально используются в бою, фигурируют в требованиях и помогают решать задачи быстрее и качественнее.Курс предназначен для тех, у кого уже есть опыт коммерческой разработки от года или большой опыт участия в проектах с открытым исходным кодом: мы ждём от студентов знакомства с Python и понимания основ веб-разработки.