Биг дата- с чего начать?

Найдите форум, где они тусят, и задайте эти самые вопросы. 9 Вас пошлют, десятый ответит по сути )))

Вы сначала с этим новомодным течением нас ознакомьте вкратце. В принципе можно и самим в нете почитать, но интересна именно ваша трактовка своими словами...

Это старое течение, новое название плюс новые подходы.

Способы получения информации из цифровых данных. Ничего нового

Неверно. Это не только цифровые данные. Это вообще все данные.

Привидите пример нецифровых данных, из которых сейчас без отцифровывания извлекают информацию? И чтобы это называли бигдатой?

Транцакции, например, лет за 5. Онлайновый браузинг. Онлайновое или физическое казино транзакции - это все биг дата, и только одни из примеров.

Это примеры НЕЦИФРОВЫХ данных?

транзакции вы называете digital data? Ну возможно, если формально.

Биг дата - цифровые, но неструктурированные данные. Транзакции, если на бумаге написаны - то нецифровые, а если в файле набиты - то цифоровые. Делов-то :)

Структурированные тоже к ней относятся.

Зависит от первого диплома. Матстат, теорвер, А И ТЧ норм? Пробуйте сразу АI. Больше платят и интересно.

Пробуйте сейчас, как есть, устраиваться в какое-нибудь маркетинговое агентство. Я тоже закончила ВМК, мне друзья, работающие в этом, рассказывают периодически, что нужны надежные грамотные люди, которые могут к сроку делать простые операции с массивами данных. Даже просто в Excel. Но аккуратно. И не такие, что через два месяца уволятся. И проблема их найти, с адекватными запросами. У вас даже преимущество есть.
И проблема есть, приходят соискатели с дипломом "прикладная математика" и не могут тестовую задачку решить.
Начнете работать, по ходу дела проще будет осваиваться и повышать квалификацию.
Но вообще, от этих же друзей я слыхала, что потолок в этой отрасли довольно низкий, по сравнению с другими вариантами для выпускника ВМК

а что такое бигдата?... я походу отстала от жизни)и что такое джун?)

Если вы знаете статистику все ещё и можете писать на питоне то могут и взять. Так что начните с питона. А ещё можете изучить скалу.

смотря где вы и в какой компании собираетесь работать . Я использую R, octave. Пайтон наверное лучше всех.

Смотря для чего.

Я В Москве. Про компанию не знаю, куда возьмут. Думаю, у нас устроиться немолодой тете в ИТ и в высокооплачиваемую сферу сложно. Подруга работает в Германии, она самая молодая в отделе (ей 44, биг датой и занимается).

Я тоже в Европе и относительно недавно освоила эту тему. Не могу сказать про Москву. У нас Пайтон рулит у всех аналитиков. Но вы ищите, почему нет? тем более, если есть еще какие-то скиллы и сможете совместить их. Я занимаюсь маркетингом, аналитикой и датой. мне нравится очень, я не сижу с утра до ночи кодируя, но визуализирую свои находки и прогнозы.

А подруга что-то советует, что учить нужно?

Просматривайте объявления о работе, что чаще всего встречается в требованиях, то и учите.

А потом? Какой резон брать тетю после курсов без опыта?

Тетя не спрашивала, возьмут ее или нет, а спрашивала как максимизировать шансы на то что ее возьмут. Я ответила. Понятно, что без опыта сначала можно претендовать на меньшую зарплату, но где-то же надо начинать.

+ много..
Главное начать.. :)

Такую тетю возьмут скорее рано, чем поздно ))) Старый ВМК это марка и тетя адекватно оценивает свое положение.

Смотрела сейчас работу ребенку на лето (вакансии 14-17 лет), нашла вот что.
https://hh.ru/vacancy/31141647
Хотя очень странно, почему этот координатор может быть в 14 лет. Nakamoto terminal, судя по всему, реально существует и вполне себе интересная платформа bigdata

Я бы еще SQL добавила...

Тогда и джаву, и хайвз.

Этим никогда не пользовалась. А Python, SQL и Tableau вполне.
Но я и не совсем Data Analytic.

Разговор то про биг дату. А это может быть и хадуп, и тогда сиквел не поможет, нужно хайвз запросы писать.

А что такое хайвз?

Хайв это такая хрень, которая сидит на хадупе, позволяет вытаскивать из хадупа данные, и язык похож на сиквел.

Спасибо, покопаюсь на досуге для общего развития

Если английский знаете, идите на datacamp. Курсы платные, но для меня они показались самыми понятными для обучения (можно в инете поискать купон на 2 мес. бесплатного доступа). Хотя есть куча бесплатных на coursera, udacity, edx.

Спасибо огромное!

Легко. Резюме работодателям направьте.

Это крайне унылая работа.
Большую часть времени ты сидишь и пытаешься сопоставить данные, преобразуешь данные из одного формата в другой, муторно очищаешь их от неправильно введенных значений, пытаешься бороться с источниками данных. Боль и страдание
Большинство думает, что это высокоаналитическая работа, а в итоге бигдатисты занимаются первичной обработкой данных. Один шарит - строит графики, а остальные 10 говна разгребают, подчищают данные для него
И перейти из десятки в того одного аналитика практически невозможно. Разные уровни и они практически не пересекаются

Видимо, везде по-разному. У нас этим data engineers занимаются. Data Scientists и Data Analytics уже с готовыми массивами работают.

В итоге 80% времени-багафикс. И так везде:-) Оклад радует,но печааааааль.

Просто вы оказались на такой работе, к аналитике не имеющей ни малейшего отношения. Но автор с ее отсутствием опыта скорее всего тоже только на такую и сможет претендовать.

Просто я Quant developer в hedgefond, хорошо знаю 4-5 языков, знакома еще с десятком. И знаю, чем в основном занимаются люди по теме топа. Пропорции занятых на интересной работе в этой сфере указала сразу.

Извините, но вы напрасно пальцы растопыриваете. Вы много знаете, но только в своей области. Очень узкой, надо сказать.
Работать интересно - зависит от того, кто хочет работать.

Нет, это вы уже второй раз делаете произвольные выводы, ошибаясь с ними, и даете свою эмоциональную окраску)

Просто разный опыт. Но вы априори считаете свой опыт более обширным.

Естественно. Я же знаю, чем я занималась до этого, и на какие места с какими задачами регулярно собеседуюсь, чтобы продолжать быть конкурентоспособной.
А вы мой отзыв по теме приравняли к моему основному роду деятельности)
Вокруг бигдата много хайпа, много шума. Многие люди сделали выводы, что там деньги и идут этим заниматься. Другие решают, что им это очень надо, затрачиваются. Хотя часто проще нанять двух индусов и они тихо все сделают ручками

С этим соглашусь. Просто переименовали то, что было всегда, просто расширились возможности. Но интересного и раньше, и сейчас был небольшой процент. При желании к этому небольшому проценту можно подобраться, но с нуля как у автора это практически не возможно.

Да, именно в этом дело, в ситуции автора. Дата аналитики это считай элита. Без опыта, правильного образования и связей в этой сфере туда никто не доберется. Одного профильного образования недостаточно. Нужно знать свою сферу, например, финансы. Я изначально описала то, чем занимаются дата инженеры, я это вижу каждый день

боже мой, я вообще не в курсе что это за работа такая..кроме статистики ничего не поняла

Это не работа. Это буквально много данных. И с ними можно делать работу, разную. Можно даже в экселе считать и это тоже будет работа с биг датой. Можно быть дата сайнтистом и работать с биг датой, использую эксель и /или разные языки программирования. Применяется во всех индустриях почти.

https://t.me/datajobschannel идите туда и читайте, там пасутся русскоязычные спецы по биг дате, из разных стран, городов и весей.

муж в банке возглавляет отдел машинного обучения ( искуственный интеллект). на основе больших данных строят модели. у него в подчинении много датасантистов. если без опыта, то берут студентов определенных ВУЗов после 4 курса. примерно за 3 месяца ( максимум полгода) люди вполне себе неплохо работают. Но у них есть система наставничества. также все проходят курсы ( в банке это бесплатно). знаю точно Питон на курсах есть и тд.

А из каких вузов берут? Сын собирается поступать в Финансовую Академию на факультет IT. Якобы оттуда как раз в банки идут работать. Не могли бы вы спросить у мужа, как у них Финакадемия котируется?

уточнила: МГУ (мех мат, вмк), МИФИ, вышка и все топовые технические вузы. также их банк курирует несколько кафедр в вузах.

Спасибо!

Умоляю, расскажите в чем заключается эта работа биг дата. Только языком, понятным обыватежю, прям на пальцах. Я столько раз гуглила, но так и не смогла понять что конкретно они делают, какой конечный продукт и кто им пользуется.

Выше все на пальцах объяснено. У вас есть техническое образование?

Обрабатывают информацию. Грубо говоря, это прогнозирование основанное ислучительно на измерениях (статистике), а не на теории. Например, рассылая рекламу детективмого романа вы можете делать это двумя способами:
1. Основываясь на теории - те кто любят детективы (или автора романа), купят и этот детектив.
2. Посмотреть положительные отзывы о романе, собрать информацию о книгах которые были куплены людьми оставившими положительные отзывы и разослать рекламу тем кто купил те же книги что и люди оставившие положительные отзывы. Это будет биг дата.
Смысл биг даты в том что она не пытается найти ответ на вопрос "почему", а просто тупо использует доступную информацию.

Представляете, и на вопросы почем тоже прекрасно дает ответы. И вовсе не тупо.

Представляю, потому что с этим работаю. Может дать, а может и не дать. Смысл БД не в этом.

Смысл и в этом тоже. Смысл в том чтобы эти данные дали ответы на вопросы, которые бизнес задает. А не в том, что она может быть может дать.

Ответить на вопрос “Почему?» -это и есть главная задача Data Scientist ))

Почему что, простите? ДС занимаются алгоритмами сбора и обработки информации. А уж как эта информация будет использована, зависит от типа данных. Смысл БД в возможности использования прямого потока данных вместо теории основаной на выборках.

ДС занимаются алгоритмами сбора и обработки информации - это вы, по-моему, путаете с Data Engineers.
Как варианты задач для Data Scientists - более точное предложение продуктов и услуг для потребителей, поиск причинно-следственных связей в поведении клиентов.

Нет, я не путаю. ДС это по сути очень продвинутый ДЕ. ДС занимаются именно разработкой методов. А ДЕ выполняют "черную" работу.
Анализом данных занимаются те, кому эти данные предназначаются. Например в моем случае это геологи и геофизики. Моя подруга работает с языками, поэтому в ее случае это переводчики и лингвисты.
Вся идея БД заключается как раз в том, что вам не нужно искать причинно-следственные связи. Это дает возможность быстро и правильно реагировать не углубляясь в проблему. Например, если вы видите что 50% людей купивших в вашем магазине желтые носки, купили еще и красную кепку, вы положите эти носки рядом с кепкой и разошлете рекламу кепки владельцам желтых носков. Почему любителям желтых носков нравятся красные кепки, вас не волнует совершенно.

Анализом данных и занимаются статистики, дата сайнтисты.
А вопрос почему в вашем случае вообще не имеет смысла. А вот вопрос почему любители желтых носков перестали покупать желтые носки - очень даже имеет. И на него можно дать ответ. Это тоже важно.

Анализом КАКИХ данных занимаются статистики? БД активно применяется в медицине, нефтяной и металлургической промышленности, автоматизированных переводах и еще куче областей. Как сайнтисты могут заниматься анализом этой информации?
БД не ответит вам на вопрос почему любители желтых носков их разлюбили. Вы теорию Вообще учили? Определение БД помните? Как только вы отделяете любителей желтых носков от всэ остальных, сортируете их и начинаете строить теории на тему "почему", вы уходите из области БД и перэодите в область анализа данных и статистики.

Не знаю уж, как вам объяснить как они могут заниматься анализом - так вот и занимаются.
"БД не ответит вам на вопрос почему любители желтых носков их разлюбили. " - ответит. Я этим занимаюсь.
"Вы теорию Вообще учили? " - я 15 лет занимаюсь на практике, разрабатываю и применяю.
"вы уходите из области БД и перэодите в область анализа данных и статистики." - когда говорят про биг дату, в том числе подразумевают и анализ этой биг даты. А как там установить хадуб или сиквел сервер - это инженеры и архитекторы, их не называют специалистами по биг дате.

Ну ват я тоже не знаю как ваши ДС занимаются анализом геологических пород, реакций елементарных частиц и переводов стихов. Даже представить себе не могу.
А теорию все-таки почитайте. В той же википедии в англ варианте все овхень хорошо расписано. В том числе про причинно-следственные связи, которые для БД не являются обязательным элементом прогнозирования.

Переводом стихов тоже можно заниматься, кстати. Я могу представить, Вы нет - пока мало опыта и практики.
У меня с теорией все прекрасно. И с практикой тоже. Это моя профессия.

Ну вот как то это совершенно незаметно по вашим ответам, которые упираются в одну единственную отрасль использования БД, а именно - деньги.

Девушка, вам не заметно, потому что я не пытаюсь вам тут показать, как я знаю теорию :). Вы, по-видимому, учитесь, да?
Причем здесь деньги? Вы имеете в виду прибыль? Да, переводить стихи тоже можно с целью прибыли. И ответить на вопрос почему не хотят покупать желтые носки - это прежде всего приводит к прибыли. И это очень важно ответить на этот вопрос.

Нет, я как раз работаю. Конкретно пейчас пытаюсь выжать информацию из акустических данных и измерений температуры, давления и плотности, в то время как наш дата сайнтист пытается придать этим данным удобоваримый вид.

Просто у вас так названы должности :).

Не. ДС занимается анализом данных ( с применением алгоритмов) чтобы отвечать на подобные вопросы. Это их задача тоже найти ответы, чтобы их потом можно было использовать.
Можно и на прямом потоке данных, можно и на одноразовой выборке. Это все ДС. Раньше это называлось просто Advanced Analytics.

Теперь понятно откуда берется спам :)

Да, это машин лернинг в действии. Но это только одно из применений.

Если на пальцах, то Бигдата занимается обработкой массивов информации для последующей генерации и рассылки спама, якобы ориентированного на конкретного потребителя.

Нет, это только сегмент, в котором она тоже используется