Биг дата- с чего начать?
Я домохозяйка, сто лет назад закончила ВМиК. Чуть поработала в продажах, потом декрет и засела дома. Сейчас брак трещит по швам, надо готовить пути отступления. Искать работу и тому подобное.
Узнала, что бигдатистам-датасаентистам хорошо платят. Как думаете, возьмут тетю 40 лет джуном?
И с чего начать, что учить? Нашла курсы на степике, курсере, вспоминаю матстат, питон начала учить, а что еще надо?
Найдите форум, где они тусят, и задайте эти самые вопросы. 9 Вас пошлют, десятый ответит по сути )))
Вы сначала с этим новомодным течением нас ознакомьте вкратце. В принципе можно и самим в нете почитать, но интересна именно ваша трактовка своими словами...
Биг дата - цифровые, но неструктурированные данные. Транзакции, если на бумаге написаны - то нецифровые, а если в файле набиты - то цифоровые. Делов-то :)
Зависит от первого диплома. Матстат, теорвер, А И ТЧ норм? Пробуйте сразу АI. Больше платят и интересно.
Пробуйте сейчас, как есть, устраиваться в какое-нибудь маркетинговое агентство. Я тоже закончила ВМК, мне друзья, работающие в этом, рассказывают периодически, что нужны надежные грамотные люди, которые могут к сроку делать простые операции с массивами данных. Даже просто в Excel. Но аккуратно. И не такие, что через два месяца уволятся. И проблема их найти, с адекватными запросами. У вас даже преимущество есть.
И проблема есть, приходят соискатели с дипломом "прикладная математика" и не могут тестовую задачку решить.
Начнете работать, по ходу дела проще будет осваиваться и повышать квалификацию.
Но вообще, от этих же друзей я слыхала, что потолок в этой отрасли довольно низкий, по сравнению с другими вариантами для выпускника ВМК
смотря где вы и в какой компании собираетесь работать . Я использую R, octave. Пайтон наверное лучше всех.
Я В Москве. Про компанию не знаю, куда возьмут. Думаю, у нас устроиться немолодой тете в ИТ и в высокооплачиваемую сферу сложно. Подруга работает в Германии, она самая молодая в отделе (ей 44, биг датой и занимается).
Я тоже в Европе и относительно недавно освоила эту тему. Не могу сказать про Москву. У нас Пайтон рулит у всех аналитиков. Но вы ищите, почему нет? тем более, если есть еще какие-то скиллы и сможете совместить их. Я занимаюсь маркетингом, аналитикой и датой. мне нравится очень, я не сижу с утра до ночи кодируя, но визуализирую свои находки и прогнозы.
Просматривайте объявления о работе, что чаще всего встречается в требованиях, то и учите.
Такую тетю возьмут скорее рано, чем поздно ))) Старый ВМК это марка и тетя адекватно оценивает свое положение.
Смотрела сейчас работу ребенку на лето (вакансии 14-17 лет), нашла вот что.
https://hh.ru/vacancy/31141647
Хотя очень странно, почему этот координатор может быть в 14 лет. Nakamoto terminal, судя по всему, реально существует и вполне себе интересная платформа bigdata
Этим никогда не пользовалась. А Python, SQL и Tableau вполне.
Но я и не совсем Data Analytic.
Хайв это такая хрень, которая сидит на хадупе, позволяет вытаскивать из хадупа данные, и язык похож на сиквел.
Если английский знаете, идите на datacamp. Курсы платные, но для меня они показались самыми понятными для обучения (можно в инете поискать купон на 2 мес. бесплатного доступа). Хотя есть куча бесплатных на coursera, udacity, edx.
Это крайне унылая работа.
Большую часть времени ты сидишь и пытаешься сопоставить данные, преобразуешь данные из одного формата в другой, муторно очищаешь их от неправильно введенных значений, пытаешься бороться с источниками данных. Боль и страдание
Большинство думает, что это высокоаналитическая работа, а в итоге бигдатисты занимаются первичной обработкой данных. Один шарит - строит графики, а остальные 10 говна разгребают, подчищают данные для него
И перейти из десятки в того одного аналитика практически невозможно. Разные уровни и они практически не пересекаются
Просто вы оказались на такой работе, к аналитике не имеющей ни малейшего отношения. Но автор с ее отсутствием опыта скорее всего тоже только на такую и сможет претендовать.
Просто я Quant developer в hedgefond, хорошо знаю 4-5 языков, знакома еще с десятком. И знаю, чем в основном занимаются люди по теме топа. Пропорции занятых на интересной работе в этой сфере указала сразу.
Извините, но вы напрасно пальцы растопыриваете. Вы много знаете, но только в своей области. Очень узкой, надо сказать.
Работать интересно - зависит от того, кто хочет работать.
Нет, это вы уже второй раз делаете произвольные выводы, ошибаясь с ними, и даете свою эмоциональную окраску)
Естественно. Я же знаю, чем я занималась до этого, и на какие места с какими задачами регулярно собеседуюсь, чтобы продолжать быть конкурентоспособной.
А вы мой отзыв по теме приравняли к моему основному роду деятельности)
Вокруг бигдата много хайпа, много шума. Многие люди сделали выводы, что там деньги и идут этим заниматься. Другие решают, что им это очень надо, затрачиваются. Хотя часто проще нанять двух индусов и они тихо все сделают ручками
С этим соглашусь. Просто переименовали то, что было всегда, просто расширились возможности. Но интересного и раньше, и сейчас был небольшой процент. При желании к этому небольшому проценту можно подобраться, но с нуля как у автора это практически не возможно.
Да, именно в этом дело, в ситуции автора. Дата аналитики это считай элита. Без опыта, правильного образования и связей в этой сфере туда никто не доберется. Одного профильного образования недостаточно. Нужно знать свою сферу, например, финансы. Я изначально описала то, чем занимаются дата инженеры, я это вижу каждый день
боже мой, я вообще не в курсе что это за работа такая..кроме статистики ничего не поняла
Это не работа. Это буквально много данных. И с ними можно делать работу, разную. Можно даже в экселе считать и это тоже будет работа с биг датой. Можно быть дата сайнтистом и работать с биг датой, использую эксель и /или разные языки программирования. Применяется во всех индустриях почти.
https://t.me/datajobschannel идите туда и читайте, там пасутся русскоязычные спецы по биг дате, из разных стран, городов и весей.
муж в банке возглавляет отдел машинного обучения ( искуственный интеллект). на основе больших данных строят модели. у него в подчинении много датасантистов. если без опыта, то берут студентов определенных ВУЗов после 4 курса. примерно за 3 месяца ( максимум полгода) люди вполне себе неплохо работают. Но у них есть система наставничества. также все проходят курсы ( в банке это бесплатно). знаю точно Питон на курсах есть и тд.
А из каких вузов берут? Сын собирается поступать в Финансовую Академию на факультет IT. Якобы оттуда как раз в банки идут работать. Не могли бы вы спросить у мужа, как у них Финакадемия котируется?
Обрабатывают информацию. Грубо говоря, это прогнозирование основанное ислучительно на измерениях (статистике), а не на теории. Например, рассылая рекламу детективмого романа вы можете делать это двумя способами:
1. Основываясь на теории - те кто любят детективы (или автора романа), купят и этот детектив.
2. Посмотреть положительные отзывы о романе, собрать информацию о книгах которые были куплены людьми оставившими положительные отзывы и разослать рекламу тем кто купил те же книги что и люди оставившие положительные отзывы. Это будет биг дата.
Смысл биг даты в том что она не пытается найти ответ на вопрос "почему", а просто тупо использует доступную информацию.
Представляете, и на вопросы почем тоже прекрасно дает ответы. И вовсе не тупо.
Представляю, потому что с этим работаю. Может дать, а может и не дать. Смысл БД не в этом.
Смысл и в этом тоже. Смысл в том чтобы эти данные дали ответы на вопросы, которые бизнес задает. А не в том, что она может быть может дать.
Ответить на вопрос “Почему?» -это и есть главная задача Data Scientist ))
Нет, я не путаю. ДС это по сути очень продвинутый ДЕ. ДС занимаются именно разработкой методов. А ДЕ выполняют "черную" работу.
Анализом данных занимаются те, кому эти данные предназначаются. Например в моем случае это геологи и геофизики. Моя подруга работает с языками, поэтому в ее случае это переводчики и лингвисты.
Вся идея БД заключается как раз в том, что вам не нужно искать причинно-следственные связи. Это дает возможность быстро и правильно реагировать не углубляясь в проблему. Например, если вы видите что 50% людей купивших в вашем магазине желтые носки, купили еще и красную кепку, вы положите эти носки рядом с кепкой и разошлете рекламу кепки владельцам желтых носков. Почему любителям желтых носков нравятся красные кепки, вас не волнует совершенно.
Анализом данных и занимаются статистики, дата сайнтисты.
А вопрос почему в вашем случае вообще не имеет смысла. А вот вопрос почему любители желтых носков перестали покупать желтые носки - очень даже имеет. И на него можно дать ответ. Это тоже важно.
Анализом КАКИХ данных занимаются статистики? БД активно применяется в медицине, нефтяной и металлургической промышленности, автоматизированных переводах и еще куче областей. Как сайнтисты могут заниматься анализом этой информации?
БД не ответит вам на вопрос почему любители желтых носков их разлюбили. Вы теорию Вообще учили? Определение БД помните? Как только вы отделяете любителей желтых носков от всэ остальных, сортируете их и начинаете строить теории на тему "почему", вы уходите из области БД и перэодите в область анализа данных и статистики.
Не знаю уж, как вам объяснить как они могут заниматься анализом - так вот и занимаются.
"БД не ответит вам на вопрос почему любители желтых носков их разлюбили. " - ответит. Я этим занимаюсь.
"Вы теорию Вообще учили? " - я 15 лет занимаюсь на практике, разрабатываю и применяю.
"вы уходите из области БД и перэодите в область анализа данных и статистики." - когда говорят про биг дату, в том числе подразумевают и анализ этой биг даты. А как там установить хадуб или сиквел сервер - это инженеры и архитекторы, их не называют специалистами по биг дате.
Ну ват я тоже не знаю как ваши ДС занимаются анализом геологических пород, реакций елементарных частиц и переводов стихов. Даже представить себе не могу.
А теорию все-таки почитайте. В той же википедии в англ варианте все овхень хорошо расписано. В том числе про причинно-следственные связи, которые для БД не являются обязательным элементом прогнозирования.
Переводом стихов тоже можно заниматься, кстати. Я могу представить, Вы нет - пока мало опыта и практики.
У меня с теорией все прекрасно. И с практикой тоже. Это моя профессия.
Ну вот как то это совершенно незаметно по вашим ответам, которые упираются в одну единственную отрасль использования БД, а именно - деньги.
Девушка, вам не заметно, потому что я не пытаюсь вам тут показать, как я знаю теорию :). Вы, по-видимому, учитесь, да?
Причем здесь деньги? Вы имеете в виду прибыль? Да, переводить стихи тоже можно с целью прибыли. И ответить на вопрос почему не хотят покупать желтые носки - это прежде всего приводит к прибыли. И это очень важно ответить на этот вопрос.
Нет, я как раз работаю. Конкретно пейчас пытаюсь выжать информацию из акустических данных и измерений температуры, давления и плотности, в то время как наш дата сайнтист пытается придать этим данным удобоваримый вид.
Не. ДС занимается анализом данных ( с применением алгоритмов) чтобы отвечать на подобные вопросы. Это их задача тоже найти ответы, чтобы их потом можно было использовать.
Можно и на прямом потоке данных, можно и на одноразовой выборке. Это все ДС. Раньше это называлось просто Advanced Analytics.
