چه کسی و چرا داده های بزرگ را جمع آوری می کند؟

در پاییز سال 2019، رسوایی با سرویس اپل کارت به راه افتاد: هنگام ثبت نام، محدودیت های اعتباری متفاوتی برای مردان و زنان صادر کرد. حتی استیو وزنیاک هم بدشانس بود:

یک سال قبل، فاش شد که پلتفرم نتفلیکس بسته به جنسیت، سن و ملیت، پوسترها و تیزرهای مختلفی را به کاربران نشان می دهد. برای این، این سرویس به نژادپرستی متهم شد.

در نهایت، مارک زاکربرگ مرتباً به دلیل جمع‌آوری، فروش و دستکاری داده‌های کاربرانش توسط فیسبوک مورد سرزنش قرار می‌گیرد. در طول سال‌ها، او به اتهام دستکاری در انتخابات آمریکا، کمک به سرویس‌های ویژه روسیه، تحریک نفرت و دیدگاه‌های افراطی، تبلیغات نامناسب، افشای اطلاعات کاربران، ممانعت از تحقیقات علیه پدوفیل‌ها متهم و حتی محاکمه شد.

پست فیس بوک توسط zuck

در عین حال، سرویس آنلاین Pornhub سالانه گزارش هایی را منتشر می کند که افراد با ملیت ها، جنسیت و سن مختلف به دنبال چه نوع پورن هایی هستند. و به دلایلی این برای کسی آزار نمی دهد. اگرچه همه این داستان ها شبیه به هم هستند: در هر یک از آنها ما با داده های بزرگ سروکار داریم که در قرن XNUMX "نفت جدید" نامیده می شود.

کلان داده - آنها همچنین داده های بزرگ (eng. Big Data) یا ابرداده هستند - آرایه ای از داده ها است که به طور منظم و در حجم زیاد به دست می آیند. آنها جمع آوری، پردازش و تجزیه و تحلیل می شوند و در نتیجه مدل ها و الگوهای واضحی به دست می آیند.

اما کلان داده در وب تنها آماری برای تحقیقات علمی نیست. از آنها می توان برای ردیابی نحوه رفتار کاربران از گروه ها و ملیت های مختلف، توجه آنها و نحوه تعامل آنها با محتوا استفاده کرد. گاهی اوقات، برای این کار، داده ها نه از یک منبع، بلکه از چندین منبع جمع آوری می شوند و الگوهای خاصی را مقایسه و شناسایی می کنند.

در مورد اهمیت داده‌های بزرگ در شبکه، آن‌ها زمانی شروع به صحبت کردند که واقعاً تعداد زیادی از آن‌ها وجود داشت. در ابتدای سال 2020، 4,5 میلیارد کاربر اینترنت در جهان وجود داشت که از این تعداد 3,8 میلیارد در شبکه های اجتماعی ثبت شده بودند.

طبق نظرسنجی ها، بیش از نیمی از کشورهای ما معتقدند که داده های آنها در شبکه توسط اشخاص ثالث استفاده می شود. در عین حال، بسیاری اطلاعات شخصی، عکس ها و حتی یک شماره تلفن را در شبکه های اجتماعی و اپلیکیشن ها منتشر می کنند.

در اینجا لازم است توضیح داده شود: نفر اول خود کاربر است، که داده های خود را روی هر منبع یا برنامه ای قرار می دهد. در همان زمان، او با پردازش این داده ها موافقت می کند (یک تیک در توافق می گذارد). طرف دوم - یعنی صاحبان منبع. شخص ثالث کسانی هستند که صاحبان منبع می توانند داده های کاربر را به آنها منتقل یا بفروشند. اغلب این در قرارداد کاربر نوشته شده است، اما نه همیشه.

شخص ثالث، سازمان های دولتی، هکرها یا شرکت هایی هستند که داده ها را برای مقاصد تجاری خریداری می کنند. اولی می تواند با تصمیم دادگاه یا مقام بالاتر داده ها را به دست آورد. البته هکرها از هیچ مجوزی استفاده نمی کنند - آنها به سادگی پایگاه های داده ذخیره شده در سرورها را هک می کنند. شرکت‌ها (طبق قانون) تنها در صورتی می‌توانند به داده‌ها دسترسی داشته باشند که خودتان به آنها اجازه داده باشید - با علامت زدن کادر تحت توافقنامه. در غیر این صورت غیرقانونی است.

داده های بزرگ در زمینه تجاری برای دهه ها مورد استفاده قرار گرفته است، اما به شدت فعلی نبود. اینها، برای مثال، سوابق دوربین های نظارتی، داده های ناوبرهای GPS یا پرداخت های آنلاین هستند. اکنون، با توسعه شبکه‌های اجتماعی، خدمات آنلاین و برنامه‌های کاربردی، همه این‌ها می‌توانند به هم متصل شوند و کامل‌ترین تصویر را دریافت کنند: مشتریان بالقوه در کجا زندگی می‌کنند، چه چیزی را دوست دارند تماشا کنند، به تعطیلات کجا می‌روند و چه مارک ماشینی دارند.

از مثال های بالا مشخص است که با کمک داده های بزرگ، شرکت ها قبل از هر چیز می خواهند تبلیغات را هدف قرار دهند. یعنی ارائه محصولات، خدمات یا گزینه های فردی فقط به مخاطبان مناسب و حتی سفارشی کردن محصول برای یک کاربر خاص. علاوه بر این، تبلیغات در فیس بوک و سایر پلتفرم های بزرگ روز به روز گران می شود و نمایش آن به صورت پشت سر هم به همه اصلاً سودآور نیست.

اما وظیفه مهم دیگری وجود دارد که در سال های اخیر با مشکل مواجه شده است: نزدیک شدن به حلال ترین مخاطبان. انجام این کار چندان آسان نیست، اگرچه این کار به طور قابل توجهی توسط خدمات پرداخت و چک های الکترونیکی از طریق یک OFD (اپراتور داده های مالی) تسهیل می شود. به منظور نزدیک شدن هرچه بیشتر، شرکت ها حتی سعی می کنند مشتریان بالقوه را از دوران کودکی ردیابی و "پرورش" کنند.: از طریق بازی های آنلاین، اسباب بازی های تعاملی و خدمات آموزشی.

بزرگ‌ترین فرصت‌ها برای جمع‌آوری داده‌ها از سوی شرکت‌های جهانی است که همزمان چندین سرویس دارند. فیسبوک اکنون بیش از 2,5 میلیارد کاربر فعال دارد. در همان زمان، این شرکت همچنین دارای خدمات دیگری است: اینستاگرام - بیش از 1 میلیارد، WhatsApp - بیش از 2 میلیارد و موارد دیگر.

اما گوگل نفوذ بیشتری دارد: جی میل توسط 1,5 میلیارد نفر در جهان، 2,5 میلیارد دیگر توسط سیستم عامل اندروید موبایل و بیش از 2 میلیارد توسط YouTube استفاده می شود. و این شامل جستجوی Google و برنامه‌های Google Maps، فروشگاه Google Play و مرورگر کروم نمی‌شود. باقی مانده است که بانک آنلاین خود را ببندید - و Google می تواند به معنای واقعی کلمه همه چیز را در مورد شما بداند. به هر حال ، Yandex در حال حاضر در این زمینه یک قدم جلوتر است ، اما فقط مخاطبان روسی زبان را پوشش می دهد.

👍 اول از همه، شرکت ها به آنچه ما در شبکه های اجتماعی پست می کنیم و می پسندیم علاقه مند هستند. به عنوان مثال، اگر بانک ببیند که شما متاهل هستید و فعالانه دختران را در اینستاگرام یا Tinder لایک می کنید، به احتمال زیاد وام مصرفی را تایید می کنید. و وام مسکن خانواده از بین رفته است.

همچنین مهم است که روی چه تبلیغاتی کلیک می کنید، چند وقت یکبار و با چه نتیجه ای.

(به عنوان مثال مرحله بعدی پیام های خصوصی است: آنها حاوی اطلاعات بسیار بیشتری هستند. پیام‌ها در VKontakte، فیس‌بوک، واتس‌اپ و سایر پیام‌رسان‌های فوری لو رفت. به گفته آنها، اتفاقاً به راحتی می توان موقعیت جغرافیایی را در زمان ارسال پیام ردیابی کرد. مطمئناً متوجه شده اید: وقتی در مورد خرید چیزی یا فقط سفارش پیتزا با کسی بحث می کنید، تبلیغات مربوطه بلافاصله در فید ظاهر می شود.

🚕 داده های بزرگ به طور فعال توسط خدمات تحویل و تاکسی استفاده می شود و "نشت می کند". آنها می دانند کجا زندگی می کنید و کار می کنید، چه چیزی را دوست دارید، درآمد تقریبی شما چقدر است. به عنوان مثال، اوبر قیمت را بالاتر نشان می دهد اگر از نوار به خانه رانندگی می کنید و واضح است که زیاده روی کرده اید. و هنگامی که یک دسته جمع‌کننده دیگر روی تلفن خود دارید، برعکس، آنها موارد ارزان‌تری را ارائه می‌کنند.

(به عنوان مثال سرویس هایی وجود دارند که از عکس ها و فیلم ها برای جمع آوری هر چه بیشتر اطلاعات استفاده می کنند. به عنوان مثال، کتابخانه های بینایی کامپیوتری – گوگل یکی دارد. آنها شما و اطرافتان را اسکن می کنند تا ببینند چه اندازه یا قد هستید، چه مارک هایی می پوشید، چه ماشینی سوار می شوید، آیا بچه دارید یا حیوان خانگی.

(به عنوان مثال کسانی که درگاه های پیامکی به بانک ها برای ارسال های خود ارائه می دهند، می توانند خریدهای شما را در کارت پیگیری کنند – دانستن 4 رقم آخر و یک شماره تلفن – و سپس این داده ها را به شخص دیگری بفروشید. از این رو این همه هرزنامه با تخفیف و پیتزا به عنوان هدیه است.

🤷️️ در نهایت، ما خودمان اطلاعات خود را به سرویس‌ها و برنامه‌های کاربردی سمت چپ نشت می‌کنیم. به یاد داشته باشید که تبلیغات در اطراف Getcontact، زمانی که همه خوشحال بودند که شماره تلفن خود را پر می کردند تا بفهمند چگونه توسط دیگران نوشته شده است. و اکنون موافقت آنها را پیدا کنید و آنچه در مورد انتقال داده های شما می گوید را بخوانید (اسپویلر: مالکان می توانند بنا به صلاحدید خود آنها را به اشخاص ثالث منتقل کنند):

شرکت‌ها می‌توانند با موفقیت اطلاعات کاربران را برای سال‌ها جمع‌آوری کرده و حتی آن‌ها را بفروشند، تا زمانی که به دادخواهی برسد - همانطور که در مورد همان فیس‌بوک اتفاق افتاد. و سپس نقش تعیین کننده را نقض GDPR توسط شرکت ایفا کرد - قانونی در اتحادیه اروپا که استفاده از داده ها را بسیار دقیق تر از قانون آمریکایی محدود می کند. یکی دیگر از نمونه های اخیر رسوایی آنتی ویروس Avast است: یکی از سرویس های تابعه این شرکت داده های 100 تا 400 میلیون کاربر را جمع آوری و فروخت.

اما آیا همه اینها برای ما مزیتی دارد؟

بله، یک جنبه روشن نیز وجود دارد.

داده های بزرگ به دستگیری مجرمان و جلوگیری از حملات تروریستی، یافتن کودکان گمشده و محافظت از آنها در برابر خطر کمک می کند.

با کمک آنها ما ما پیشنهادات جالبی از بانک ها و تخفیف های شخصی دریافت می کنیم. با تشکر از آنها ما ما برای بسیاری از خدمات و شبکه های اجتماعی که فقط از طریق تبلیغات درآمد دارند، هزینه ای پرداخت نمی کنیم. در غیر این صورت، اینستاگرام به تنهایی برای ما چند هزار دلار در ماه هزینه خواهد داشت.

در نهایت، گاهی اوقات فقط راحت است: زمانی که خدمات از قبل می‌دانند شما کجا هستید و چه می‌خواهید، و نیازی نیست خودتان به دنبال اطلاعاتی باشید که نیاز دارید.

یکی دیگر از زمینه های امیدوار کننده برای کاربرد داده های بزرگ، آموزش است.

در یکی از دانشگاه‌های آمریکا در ویرجینیا، مطالعه‌ای برای جمع‌آوری داده‌ها در مورد دانشجویان گروه به اصطلاح خطر انجام شد. اینها کسانی هستند که ضعیف درس می خوانند، کلاس را از دست می دهند و در شرف ترک تحصیل هستند. واقعیت این است که در ایالت ها هر سال حدود 400 نفر کسر می شوند. این هم برای دانشگاه‌هایی که رتبه‌شان کاهش یافته و بودجه‌شان کاهش می‌یابد و هم برای خود دانشجویان بد است: بسیاری برای آموزش وام می‌گیرند که پس از کسر، بازپرداخت می‌شوند. نه اینکه به زمان از دست رفته و آینده شغلی اشاره کنیم. با کمک داده های بزرگ، می توان عقب مانده ها را در زمان شناسایی کرد و به آنها یک معلم خصوصی، کلاس های اضافی و سایر کمک های هدفمند ارائه داد.

این، به هر حال، برای مدارس نیز مناسب است: سپس سیستم به معلمان و والدین اطلاع می دهد - آنها می گویند، کودک مشکلاتی دارد، بیایید با هم به او کمک کنیم. Big Data همچنین به شما کمک می کند بفهمید کدام کتاب های درسی بهتر کار می کنند و کدام معلمان مطالب را راحت تر توضیح می دهند.

نمونه مثبت دیگر، پروفایل شغلی است.: این زمانی است که به نوجوانان کمک می شود تا در مورد حرفه آینده خود تصمیم بگیرند. در اینجا، کلان داده به شما امکان می دهد اطلاعاتی را جمع آوری کنید که با استفاده از تست های سنتی نمی توان به دست آورد: کاربر چگونه رفتار می کند، به چه چیزی توجه می کند، چگونه با محتوا تعامل می کند.

در همان ایالات متحده، یک برنامه راهنمایی شغلی وجود دارد - SC ACCELERATE. در میان چیزهای دیگر، از فناوری GPS CareerChoice استفاده می‌کند: آنها داده‌های مربوط به ماهیت دانش‌آموزان، تمایلات آنها به موضوعات، نقاط قوت و ضعف را تجزیه و تحلیل می‌کنند. سپس از داده ها برای کمک به نوجوانان برای انتخاب کالج های مناسب برای خود استفاده می شود.

مشترک شوید و ما را در Yandex.Zen دنبال کنید — فناوری، نوآوری، اقتصاد، آموزش و اشتراک گذاری در یک کانال.