با چند دانشمند داده در مورد شغلشان و چالشهایی که روزانه با آنها سروکار دارند صحبت میکردم. هر کدام مشکلات مشترکی توضیح میدادند که در طول یک پروژه با آنها مواجه میشدند. عدهای از چالش پیدا کردن دادهها میگفتند و عدهای دیگر در مورد امنیت و آمادهسازی دادهها. این چالشها مواردی بودند که در تمام ردههای مختلف شغلی دیتاساینس ممکن بود با آنها مواجه شوید. در ادامه به چالشهای دیتاساینس و روشهای برطرف کردن آنها اشاره کردهام. با مطالعه هر مورد راحتتر دغدغههای کاری خود را پشت سر بگذارید.
۱. چالش پیدا کردن دادهها
با وجود حجم عظیمی از دادهها در عصر دیجیتال، پیدا کردن داده مناسب همچنان کاری دشوار و زمانبر است. در واقع، همین فراوانی دادهها یکی از دلایل اصلی این مشکل محسوب میشود. دادهها در منابع مختلف پراکندهاند و مرحله جمعآوری آنها میتواند زمان زیادی بگیرد. بسیاری از شرکتها برای حل این مشکل، حجم زیادی از داده را بدون گزینش مشخص جمعآوری میکنند؛ اما در نهایت بخش قابلتوجهی از این دادهها بلااستفاده باقی میماند.
راهحل: مراکز داده یکپارچه
سرویسهای ذخیرهسازی ابری مقرونبهصرفه متعددی وجود دارند که دانشمندان داده میتوانند از آنها برای ایجاد یک مرکز داده متمرکز استفاده کنند. به این ترتیب، امکان ذخیره حجم زیادی از دادهها همراه با مستندسازی و دستهبندی مناسب فراهم میشود. این پلتفرم متمرکز همچنین میتواند برای یکپارچهسازی دادههایی که از منابع مختلف به دست میآیند مورد استفاده قرار گیرد. در نتیجه، دادههای موجود در این سیستم بهسرعت در دسترس خواهند بود و زمان بیشتری برای انجام کارهای مهمتر و پربازدهتر باقی میماند.
۲. چالش تأمین امنیت دادهها
ذخیره حجم بسیار زیادی از دادهها روی زیرساختهای داخلی سازمان برای بسیاری از کسبوکارها هزینه بالایی دارد. به همین دلیل، استفاده از پلتفرمهای ابری برای ذخیرهسازی دادهها میتواند یک تصمیم تجاری منطقی باشد. بااینحال، مراکز داده ابری که بهدرستی راهاندازی و پیکربندی نشدهاند، ممکن است بهراحتی هدف حملات سایبری قرار بگیرند؛ اتفاقی که میتواند به اعتبار و منابع مالی یک شرکت آسیب وارد کند.
علاوهبر این، دانشمندان داده معمولاً دادههای موردنیاز خود را از منابع مختلفی استخراج میکنند که برخی از آنها ممکن است قابل اعتماد یا تأییدشده نباشند. این موضوع باعث ایجاد چالش دیگری میشود؛ شناسایی و جداسازی دادههایی که ممکن است به بدافزار یا باجافزار آلوده باشند. در نتیجه، سازمانها با خطر آلوده یا خراب شدن کل مراکز داده خود توسط این برنامههای مخرب مواجه میشوند.
راهحل: امنیت سایبری مبتنیبر هوش مصنوعی
دانشمندان داده باید سرمایهگذاری در ابزارها و نرمافزارهای امنیت داده، مانند آنتیویروسها و فایروالها را جدی بگیرند. همچنین میتوانند از فناوریهای یادگیری ماشین برای بررسی دادههای ورودی از منابع نامعتبر و شناسایی آسیبپذیریها و تهدیدهای امنیتی استفاده کنند.
یک دیدگاه رایج در حوزه امنیت این است که ضعیفترین حلقه در زنجیره امنیت، انسان است. به همین دلیل، تمام اعضای تیم علم داده یک سازمان باید با اصول و شیوههای صحیح امنیت داده آشنا باشند. علاوهبر این، شرکتها باید سیاستها و اقدامات لازم برای حفظ محرمانگی دادههای اختصاصی و سازمانی خود را بهطور جدی اجرا کنند.
شرکت در دوره دیتاساینس به شما کمک میکند راحتتر با چالشهای دیتاساینس مواجه شوید و بتوانید آنها را برطرف کنید.
۳. چالش فیلتر کردن و آمادهسازی دادهها
دانشمندان داده هر روز حجم زیادی از دادههای خام و پر از نویز را از منابع مختلف جمعآوری میکنند. این مجموعهدادهها ممکن است در قالبهای متفاوتی باشند و حتی پس از ساعتها فیلتر و پردازش، نتایج نامعتبر یا نامرتبطی تولید کنند.
طبق گزارش Harvard Business Review، فیلتر کردن، پاکسازی و آمادهسازی دادهها حدود ۸۰ درصد از فرایند کاری یک دانشمند داده را تشکیل میدهد. این بخش بخش عمدهای از زمان متخصصان را به خود اختصاص میدهد و یکی از مهمترین چالشهای آنها محسوب میشود.
راهحل: تحلیل تقویتشده
فیلتر کردن و آمادهسازی دادهها، هرچند ممکن است کاری تکراری و خستهکننده به نظر برسد، یکی از مراحل ضروری در علم داده است. خوشبختانه ابزارهای مختلفی در حوزه Augmented Analytics وجود دارند که میتوانند به دانشمندان داده کمک کنند.
این ابزارها که از هوش مصنوعی استفاده میکنند بخشی از فرایند تحلیل داده را بهصورت خودکار انجام میدهند و در نتیجه باعث صرفهجویی در زمان و افزایش بهرهوری متخصصان علم داده میشوند.
۴. چالش درک دادهها
پس از دستیابی به دادههای پاک و آماده، دانشمند داده باید فرایند ساخت مدلهای پیشبینی را آغاز کند. بااینحال، پایین بودن کیفیت دادهها میتواند باعث شود بهجای رسیدن به پاسخ، پرسشهای بیشتری ایجاد شود.
دانشمندان داده بارها با حجم بزرگی از دادهها روبهرو میشوند که تنها برای فردی که آنها را تهیه کرده قابل درک است. علاوهبر این، ممکن است دادهها فاقد زمینه و توضیحات کافی باشند و در نتیجه بتوان برداشتهای مختلف و حتی متناقضی از آنها داشت. درک دقیق مسئلهای که قرار است با استفاده از دادهها حل شود، برای ایجاد یک راهحل مناسب ضروری است؛ اما مستندسازی ضعیف دادهها میتواند این فرایند را دشوار کند.
راهحل: مستندسازی دادهها
سادهترین راه برای حل این مشکل، مستندسازی مناسب دادهها است. حتی کار سادهای مانند نامگذاری صحیح سطرها و ستونها میتواند زمانی را که برای درک دادهها صرف میشود به میزان قابلتوجهی کاهش دهد. همچنین دانشمندان داده میتوانند از ابزارهای تحلیل خودکار برای ایجاد مستندات خودکار برای مجموعهدادههای مرتبط استفاده کنند.
در کنار این موضوع، شناسایی و درک مسئله کسبوکار نیز اهمیت زیادی دارد. دادههای دنیای واقعی مبهم هستند و از ترکیب چندین زمینه مختلف شکل گرفتهاند. شناخت درست مسئله کسبوکار کمک میکند بتوان از یک مجموعهداده، مدلهای مختلفی متناسب با نیازهای متفاوت ایجاد کرد.
۵. چالش تصورات نادرست درباره دانشمندان داده
یکی دیگر از چالشهای رایج، برداشت نادرست از نقش دانشمند داده در سازمانهاست. گاهی دانشمندان داده با متخصصان هوش مصنوعی اشتباه گرفته میشوند و از آنها انتظار میرود وظایفی را انجام دهند که در حیطه مسئولیت شغلیشان نیست.
همچنین در برخی سازمانها تصور میشود یک دانشمند داده باید بهتنهایی همه کارها را انجام دهد؛ از پیدا کردن داده گرفته تا پاکسازی، آمادهسازی و تحلیل آن. این حجم کاری زیاد میتواند باعث کاهش انگیزه و در نهایت فرسودگی شغلی شود. در چنین شرایطی، ممکن است دانشمند داده تصمیم بگیرد از موقعیت شغلی خود استعفا دهد یا به یکی دیگر از حوزههای شغلی مرتبط با علم داده مهاجرت کند.
راهحل: آگاهسازی ذینفعان درباره نقش دانشمند داده
حوزه فعالیت دانشمند داده تا حد زیادی بر تحلیل داده و ایجاد یک مدل دقیق متمرکز است. استفاده از این مدل در حوزههای کاربردی مختلف برعهده متخصصان دیگر است. بنابراین، کارفرمایان و سایر ذینفعان سازمان باید با نقش و محدوده مسئولیتهای دانشمند داده آشنا باشند و بدانند چه وظایفی در حیطه کاری او قرار میگیرد.
علاوهبر این، سازمانها بهتر است علایق، نقاط قوت و نقاط ضعف هر یک از دانشمندان داده خود را بشناسند و برای استخدام متخصصان بیشتر نیز سرمایهگذاری کنند. در این صورت میتوان حجم کار را بهتر بین اعضای تیم تقسیم کرد و وظایفی را به هر فرد سپرد که هم در آن توانمندتر است و هم علاقه بیشتری به انجام آن دارد.
۶. چالش محدودیت دسترسی به ابزارها و سرویسهای بینالمللی
بخش مهمی از فرایندهای مدرن علم داده به سرویسهای ابری، ابزارهای پردازش داده، APIها و نرمافزارهای آنلاین وابسته است. برای متخصصان ایرانی، استفاده از بعضی از این خدمات ممکن است به دلیل تحریمها و سیاستهای ارائهدهندگان سرویس با محدودیت همراه باشد.
مقررات OFAC ارائه برخی نرمافزارها و خدمات ابری مرتبط با ارتباطات را به ایران مجاز میداند، اما این مجوز همه انواع نرمافزارها و سرویسهای ابری را در بر نمیگیرد. در نتیجه، تیمهای علم داده ایرانی ممکن است هنگام انتخاب زیرساخت و ابزارهای موردنیاز پروژه گزینههای محدودتری در اختیار داشته باشند.
راهحل: استفاده از ابزارهای جایگزین و زیرساختهای قابل دسترس
یکی از راههای مقابله با این مشکل، استفاده از ابزارهای متنباز و سرویسهایی است که امکان استفاده از آنها برای کاربران ایرانی وجود دارد. همچنین بهتر است تیمهای داده تا حد امکان معماری پروژه را به یک سرویس خاص وابسته نکنند.
در نظر گرفتن ابزار یا زیرساخت جایگزین نیز میتواند ریسک ایجاد اختلال در پروژه را کاهش دهد. پیش از انتخاب هر سرویس خارجی، بررسی شرایط استفاده و محدودیتهای آن برای کاربران ایرانی میتواند از مشکلات احتمالی در مراحل بعد جلوگیری کند.
۷. چالش محدودیت دسترسی به برخی از دیتاستها و منابع دادههای خارجی
همه دادههای موجود در اینترنت لزوماً برای متخصصان مستقر در ایران قابل استفاده نیستند. علاوهبر محدودیتهایی که ممکن است خود پلتفرمها اعمال کنند، قوانین برخی کشورها نیز انتقال یا دسترسی به دستههای مشخصی از دادهها را محدود میکنند.
برای مثال، برنامه امنیت داده وزارت دادگستری آمریکا، ایران را در میان «کشورهای مورد نگرانی» قرار داده و برخی تراکنشهایی را که امکان دسترسی به حجم بالایی از دادههای حساس شخصی شهروندان آمریکا یا دادههای مرتبط با دولت آمریکا فراهم میکنند، محدود یا ممنوع کرده است. این مقررات از سال ۲۰۲۵ وارد مرحله اجرا شدهاند.
راهحل: استفاده از دیتاستهای جایگزین و بررسی مجوز دادهها
دانشمندان داده باید پیش از استفاده از دادههای خارجی، شرایط دسترسی، مجوز استفاده و محدودیتهای قانونی آنها را بررسی کنند. درصورتیکه یک مجموعهداده در دسترس نباشد، میتوان از دادههای آزاد مشابه، دادههای مصنوعی یا مجموعهدادههایی با مجوز مناسب استفاده کرد.
همچنین ساخت و انتشار دیتاست بومی باکیفیت میتواند وابستگی پژوهشگران و متخصصان ایرانی به منابع خارجی را کاهش دهد و زمینه توسعه مدلهایی متناسبتر با شرایط ایران را فراهم کند.
۸. چالش زیرساخت اینترنت و استفاده از سرویسهای ابری
بسیاری از پروژههای علم داده برای دریافت دیتاستهای حجیم، استفاده از محیطهای محاسبات ابری، اتصال به APIها و اجرای برخی مدلها به اینترنت وابستهاند. بنابراین دسترسی مناسب به زیرساخت ارتباطی میتواند مستقیماً بر سرعت و سهولت انجام این فعالیتها تأثیر بگذارد.
دادههای اتحادیه بینالمللی مخابرات (ITU) نشان میدهد که همچنان میان سطح دسترسی دیجیتال در مناطق مختلف ایران تفاوتهایی وجود دارد؛ برای نمونه، در دادههای منتشرشده این سازمان، میزان دسترسی خانوارها به اینترنت در مناطق شهری بیشتر از مناطق روستایی گزارش شده است. شاخص توسعه ICT نیز «اتصال فراگیر و معنادار» را بر اساس عواملی مانند دسترسی، کیفیت و استطاعت مالی ارزیابی میکند.
راهحل: طراحی پروژه با وابستگی کمتر به اتصال دائمی
در پروژههایی که امکان آن وجود دارد، میتوان دادهها و ابزارهای موردنیاز را بهصورت محلی نگهداری کرد تا انجام تمام مراحل پروژه به اتصال دائمی به سرویسهای ابری وابسته نباشد. استفاده ترکیبی از زیرساختهای محلی و ابری، ذخیره نسخه محلی دیتاستها و انتخاب ابزارهایی که امکان اجرای آفلاین دارند نیز میتواند پایداری فرایندهای کاری تیم علم داده را افزایش دهد. به این ترتیب، اختلال یا محدودیت دسترسی به یک سرویس آنلاین تأثیر کمتری بر کل پروژه خواهد داشت.
منبع: careerkarma.com
