هربار که برای تحلیل داده سراغ دادههای ذخیرهشده میرفتم با انبوهی از اطلاعات غیرکاربردی مواجه میشدم که تصمیمگیری را برایم سختتر میکرد. باید میتوانستم از این اطلاعات در تصمیمگیریهای استراتژیک استفاده کنم، متوجه شوم که روی چه محصولاتی میتوان سرمایهگذاری کرد و کدام کمیپنهای بازاریابی باید اجرا شوند. دنبال راهی برای عبور از دغدغههایم بودم که با فهرستی از چالشهای تحلیل داده و راهکارهای برطرف آنها مواجه شدم. اگر شما هم با این چالشها مواجه هستید در این مطلب از مجله دانشکار همراه من باشید.
۱. کیفیت داده
یکی از بزرگترین چالشهایی که تحلیلگر داده در بیشتر کسبوکارها با آن روبهرو هستند، اطمینان از قابل اعتماد بودن دادههایی است که جمعآوری میکنند. وقتی دادهها دچار خطا، ناقص بودن، ناسازگاری یا تکرار باشند، میتوانند به برداشتهای اشتباه و تصمیمگیریهای ضعیف منجر شوند. ابزارهای زیادی برای آمادهسازی داده، حذف دادههای تکراری و بهبود کیفیت داده وجود دارد و در حالت ایدهآل، بخشی از این قابلیتها باید در پلتفرم تحلیل داده سازمان وجود داشته باشد.
دادههای استانداردنشده نیز میتوانند مشکلساز باشند؛ برای مثال زمانی که واحدها، ارزها یا فرمتهای تاریخ با هم تفاوت دارند. هرچه استانداردسازی دادهها زودتر و تا حد امکان کاملتر انجام شود، نیاز به پاکسازی داده کمتر میشود و تحلیل دقیقتری امکانپذیر خواهد بود. سازمانها با پیادهسازی راهکارهایی مانند اعتبارسنجی داده، پاکسازی داده و حاکمیت داده مناسب میتوانند مطمئن شوند که دادههایشان دقیق، یکپارچه، کامل، قابل دسترس و امن هستند. چنین دادههای باکیفیتی میتوانند سوخت لازم برای تحلیل مؤثر داده باشند و در نهایت به تصمیمگیری بهتر منجر شوند.
۲. دسترسی به دادهها
در بسیاری از شرکتها، دادهها در سیستمها و واحدهای مختلف پراکندهاند و در قالبهای ساختاریافته، بدون ساختار و نیمهساختاریافته ذخیره میشوند. همین موضوع هم یکپارچهسازی و تحلیل دادهها را دشوار میکند و هم آنها را در برابر استفاده غیرمجاز آسیبپذیرتر میسازد. دادههای نامنظم برای نمونه پروژه تحلیل داده، یادگیری ماشین و هوش مصنوعی چالش ایجاد میکنند؛ زیرا این پروژهها زمانی بهترین عملکرد را دارند که بتوانند از حجم زیادی از داده استفاده کنند.
برای بسیاری از شرکتها، هدف اصلی دموکراتیزهکردن داده است؛ یعنی فراهمکردن دسترسی به داده برای افراد مختلف در سراسر سازمان، فارغ از اینکه در کدام واحد فعالیت میکنند. برای رسیدن به این هدف و در عین حال جلوگیری از دسترسی غیرمجاز، شرکتها باید دادههای خود را در یک مخزن مرکزی، مانند دریاچه داده، جمعآوری کنند یا آنها را با استفاده از APIها و سایر ابزارهای یکپارچهسازی، مستقیم به اپلیکیشنهای تحلیلی متصل کنند.
واحدهای فناوری اطلاعات باید تلاش کنند جریانهای کاری ساده و منظم برای داده ایجاد کنند؛ جریانهایی که در آنها اتوماسیون و احراز هویت بهصورت داخلی در نظر گرفته شده باشد. این کار باعث میشود جابهجایی دادهها کمتر شود، مشکلات مربوط به ناسازگاری یا تفاوت فرمتها کاهش پیدا کند و سازمان بتواند کنترل بهتری روی این داشته باشد که کدام کاربران و سیستمها به اطلاعات دسترسی دارند.
شرکت در دوره تحلیل داده دانشکار به شما کمک میکند با چالشهای این مسیر و روشهای برطرف کردن هر یک آشنا شوید.
۳. تصویرسازی نامناسب دادهها
تبدیل دادهها، در رودمپ یادگیری دیتا آنالیز، به نمودارها و گرافها از طریق تصویرسازی داده، کمک میکند اطلاعات پیچیده به شکلی ملموس، دقیق و قابلفهم ارائه شوند. اما استفاده از روش نامناسب برای نمایش داده یا وارد کردن حجم زیادی از اطلاعات در یک نمودار، میتواند به تصویرسازیهای گمراهکننده و نتیجهگیریهای اشتباه منجر شود. خطا در دادههای ورودی یا سادهسازی بیش از حد نمودارها نیز ممکن است باعث شود گزارش نهایی، واقعیت موجود را بهدرستی نشان ندهد.
سیستمهای مؤثر تحلیل داده باید از تولید گزارش پشتیبانی کنند، برای انتخاب نوع تصویرسازی راهنمایی ارائه دهند و آنقدر ساده و قابلفهم باشند که کاربران کسبوکار هم بتوانند با آنها کار کنند. در غیر این صورت، بار آمادهسازی داده و خروجی گرفتن از گزارشها روی دوش تیم IT میافتد و کیفیت و دقت تصویرسازیها میتواند محل تردید باشد. برای جلوگیری از این مشکل، سازمانها باید مطمئن شوند سیستمی که انتخاب میکنند توانایی کار با دادههای ساختاریافته، بدون ساختار و نیمهساختاریافته را دارد. اما چطور میتوان به تصویرسازی مؤثر داده رسید؟ برای شروع، به این سه اصل توجه کنید:
- مخاطب خود را بشناسید: تصویرسازی داده را متناسب با نیاز و علاقه مخاطبان خود طراحی کنید. از اصطلاحات فنی پیچیده یا نمودارهای دشوار پرهیز کنید و در انتخاب دادههایی که نمایش میدهید گزینشی عمل کنید. اطلاعاتی که مدیرعامل نیاز دارد، با اطلاعات موردنیاز مدیر یک واحد کامل متفاوت است.
- با هدف مشخص شروع کنید: قرار است با دادههای خود چه داستانی بگویید؟ میخواهید مخاطب چه پیام اصلیای را از گزارش دریافت کند؟ وقتی پاسخ این سؤالها را بدانید، میتوانید مناسبترین نوع نمودار را انتخاب کنید. بنابراین همیشه بهصورت پیشفرض سراغ نمودار دایرهای یا میلهای نروید. گزینههای زیادی برای تصویرسازی داده وجود دارد که هرکدام برای هدف خاصی مناسباند. نمودارهای خطی روندها را در طول زمان نشان میدهند، نمودارهای پراکندگی رابطه بین متغیرها را آشکار میکنند و هر نوع نمودار کاربرد خاص خود را دارد.
- ساده نگه دارید: تصویرسازی داده را با عناصر غیرضروری شلوغ نکنید. برای خوانایی بهتر، از برچسبهای واضح، عنوانهای کوتاه و دقیق و یک پالت رنگی محدود استفاده کنید. همچنین از مقیاسهای گمراهکننده، عناصر تحریفشده یا نمودارهایی که ممکن است داده را نادرست نمایش دهند پرهیز کنید.
۴. حریم خصوصی و امنیت داده
کنترل دسترسی به دادهها چالشی همیشگی است و هم به طبقهبندی داده و هم به فناوریهای امنیتی مناسب نیاز دارد. در سطح کلان، باید با دقت مشخص شود چه کسانی اجازه دارند برای دریافت داده به سیستمهای عملیاتی حیاتی سازمان دسترسی داشته باشند؛ زیرا هرگونه آسیب یا سوءاستفاده در این بخش میتواند کل کسبوکار را با بحران جدی روبهرو کند. به همین شکل، کسبوکارها باید مطمئن شوند وقتی کاربران واحدهای مختلف وارد داشبوردهای خود میشوند، فقط دادههایی را میبینند که مجاز به مشاهده آن هستند. سازمانها باید کنترلهای دسترسی قدرتمند ایجاد کنند و مطمئن شوند سیستمهای ذخیرهسازی و تحلیل داده آنها در تمام مراحل جمعآوری، تحلیل و توزیع داده، امن و مطابق با قوانین و مقررات حریم خصوصی داده هستند.
پیش از آنکه بتوانید تصمیم بگیرید هر نقش سازمانی باید به چه نوع داده یا چه مجموعهای از دادهها دسترسی داشته باشد، باید ابتدا بدانید با چه دادههایی سروکار دارید. این کار نیازمند ایجاد یک سیستم طبقهبندی داده است. برای شروع، میتوانید این مراحل را در نظر بگیرید:
- ببینید چه دادههایی دارید: انواع دادههایی را که سازمان شما جمعآوری، ذخیره و پردازش میکند شناسایی کنید. سپس آنها را بر اساس میزان حساسیت، پیامدهای احتمالی نشت اطلاعات و مقرراتی که شامل آنها میشود، مانند HIPAA یا GDPR، برچسبگذاری کنید.
- یک ماتریس طبقهبندی داده ایجاد کنید: یک ساختار مشخص با دستهبندیهای مختلف تعریف کنید؛ مانند داده عمومی، محرمانه و فقط برای استفاده داخلی. سپس معیارهایی تعیین کنید تا مشخص شود هر نوع داده بر اساس حساسیت، الزامات قانونی و سیاستهای شرکت در کدام دسته قرار میگیرد.
- مشخص کنید چه کسانی ممکن است به داده نیاز داشته باشند: نقشها و مسئولیتهای مربوط به طبقهبندی داده، مالکیت داده و کنترل دسترسی را مشخص کنید. برای مثال، سطح دسترسی یک کارمند واحد مالی با یکی از اعضای تیم منابع انسانی متفاوت خواهد بود.
سپس بر اساس سیاست طبقهبندی داده، با مالکان داده همکاری کنید تا دادههای سازمان دستهبندی شوند. وقتی این ساختار ایجاد شد، میتوانید از ابزارهای طبقهبندی داده استفاده کنید؛ ابزارهایی که میتوانند دادهها را بهصورت خودکار اسکن و بر اساس قوانین تعریفشده شما دستهبندی کنند. کنترلهای امنیتی مناسب برای دادهها را پیادهسازی کنید و کارکنان را درباره آنها آموزش دهید. در این آموزشها باید بر اهمیت مدیریت صحیح دادهها و رعایت کنترلهای دسترسی تأکید شود.
۵. کمبود نیروی متخصص
بسیاری از شرکتها نمیتوانند نیروی متخصصی را پیدا کنند که بتواند حجم زیادی از دادههای آنها را به اطلاعات قابل استفاده تبدیل کند. تقاضا برای تحلیلگران داده، دانشمند داده و سایر نقشهای مرتبط با داده، از تعداد نیروهای متخصص و واجد شرایطی که مهارت لازم برای انجام تحلیلهای پیچیده داده را دارند، بیشتر شده است. نشانهای هم وجود ندارد که این تقاضا در آینده نزدیک کاهش پیدا کند. بر اساس پیشبینی اداره آمار کار آمریکا، تا سال ۲۰۲۶ تعداد مشاغلی که به مهارتهای علم داده نیاز دارند، نزدیک به ۲۸ درصد رشد خواهد کرد.
بسیاری از سیستمهای تحلیلی امروزی قابلیتهای پیشرفته تحلیل داده، مانند الگوریتمهای داخلی یادگیری ماشین، را در اختیار کاربران کسبوکار قرار میدهند؛ حتی اگر آن کاربران پیشزمینهای در علم داده نداشته باشند. بهویژه ابزارهایی که قابلیت آمادهسازی و پاکسازی خودکار داده را دارند، میتوانند به تحلیلگران داده کمک کنند کارهای بیشتری را در زمان کمتر انجام دهند.
شرکتها میتوانند روی ارتقای مهارت کارکنان فعلی خود سرمایهگذاری کنند. برای این کار، میتوانند افرادی را که پیشزمینه تحلیلی یا فنی قوی دارند و ممکن است به تغییر مسیر به سمت نقشهای دادهمحور علاقهمند باشند شناسایی کنند و با ارائه برنامههای آموزشی، دورههای آنلاین یا بوتکمپهای داده، مهارتهای لازم را در اختیار آنها قرار دهند.
۶. تعدد بیش از حد سیستمها و ابزارهای تحلیلی
وقتی یک سازمان اجرای استراتژی تحلیل داده را شروع میکند، غیرمعمول نیست که برای هر لایه از فرایند تحلیل، یک ابزار جداگانه خریداری کند. از طرف دیگر، اگر واحدهای مختلف سازمان بهصورت مستقل عمل کنند، ممکن است هرکدام محصول متفاوتی بخرند؛ محصولاتی که قابلیتهای مشابه، همپوشان یا حتی متضاد دارند. این مشکل هنگام ادغام شرکتها نیز میتواند بیشتر دیده شود.
نتیجه این وضعیت، مجموعهای نامنظم و پراکنده از فناوریهاست. اگر این ابزارها بهصورت داخلی و روی زیرساخت سازمان نصب شده باشند، در نهایت یک مرکز داده پر از نرمافزارها و لایسنسهای مختلف خواهیم داشت که همه باید مدیریت شوند. این شرایط میتواند باعث هدررفت منابع برای کسبوکار شود و پیچیدگی غیرضروری به معماری فناوری سازمان اضافه کند.
برای جلوگیری از این مشکل، مدیران فناوری اطلاعات باید یک استراتژی سازمانی برای ابزارهای داده ایجاد کنند و در این مسیر با مدیران واحدهای مختلف همکاری کنند تا نیازها و الزامات آنها را بهتر بشناسند. تهیه یک کاتالوگ از گزینههای مختلف، بهویژه ابزارهای مبتنیبر فضای ابری، میتواند به سازمان کمک کند همه تیمها روی یک پلتفرم استانداردتر و هماهنگتر کار کنند.
۷. هزینه
تحلیل داده به سرمایهگذاری در فناوری، نیروی انسانی و زیرساخت نیاز دارد. اما اگر سازمانها دقیقا ندانند از یک پروژه تحلیل داده چه مزایایی به دست میآورند، تیمهای IT ممکن است برای توجیه هزینه اجرای درست این پروژه با مشکل روبهرو شوند. استقرار یک پلتفرم تحلیل داده بر پایه معماری ابری میتواند بخش زیادی از هزینههای سرمایهای اولیه را حذف کند و در عین حال هزینههای نگهداری را کاهش دهد. این رویکرد همچنین میتواند مشکل استفاده از ابزارهای پراکنده و جداگانه را تا حدی کنترل کند.
از نظر عملیاتی، بازگشت سرمایه سازمان از بینشهایی به دست میآید که تحلیل داده برای بهینهسازی بازاریابی، عملیات، زنجیره تأمین و سایر بخشهای کسبوکار آشکار میکند. برای نشان دادن ROI، تیمهای IT باید با ذینفعان همکاری کنند تا شاخصهای موفقیت مشخصی تعریف شود؛ شاخصهایی که به اهداف کسبوکار متصل باشند. برای مثال، میتوان نشان داد که یافتههای حاصل از تحلیل داده باعث افزایش ۱۰ درصدی درآمد، کاهش ۸ درصدی ریزش مشتری یا بهبود ۱۵ درصدی بهرهوری عملیاتی شدهاند. در چنین شرایطی، هزینه سرویس ابری ناگهان بسیار منطقی و مقرونبهصرفه به نظر میرسد.
با اینکه دادههای قابل اندازهگیری اهمیت زیادی دارند، برخی مزایا ممکن است بهصورت مستقیم قابل سنجش نباشند. بنابراین تیمهای IT باید فراتر از اعداد و ردیفهای هزینهای فکر کنند. برای مثال، یک پروژه داده ممکن است چابکی تصمیمگیری یا تجربه مشتری را بهبود دهد و همین موضوع در بلندمدت به دستاوردهای مهمی منجر شود.
۸. تغییر فناوری
فضای تحلیل داده دائم در حال تغییر است و ابزارها، روشها و فناوریهای جدید بهطور پیوسته وارد این حوزه میشوند. برای مثال، در حال حاضر شرکتها در تلاشاند قابلیتهای پیشرفتهای مانند هوش مصنوعی و یادگیری ماشین را هم در اختیار کاربران کسبوکار و هم در اختیار دانشمندان داده قرار دهند. این یعنی باید ابزارهای جدیدی معرفی شوند که استفاده از این فناوریها را قابل دسترس و کاربردی کنند.
اما برای برخی سازمانها، فناوریهای جدید تحلیل داده ممکن است با سیستمها و فرایندهای قدیمی سازگار نباشند. این موضوع میتواند چالشهایی در یکپارچهسازی داده ایجاد کند؛ چالشهایی که برای حل آنها گاهی به تغییرات بزرگتر یا ساخت اتصالدهندههای اختصاصی با کدنویسی نیاز است.
تغییر مداوم قابلیتها همچنین به این معناست که سازمانها باید پیوسته بررسی کنند کدام محصول یا ابزار با نیازهای خاص کسبوکارشان بهتر سازگار است. در اینجا نیز استفاده از ابزارهای تحلیل داده مبتنیبر فضای ابری میتواند بهروزرسانی قابلیتها و امکانات را سادهتر کند؛ زیرا ارائهدهنده سرویس اطمینان میدهد که جدیدترین نسخه همیشه در دسترس باشد. این وضعیت را با یک سیستم داخلی مقایسه کنید که شاید فقط هر یک یا دو سال یکبار بهروزرسانی شود و همین فاصله زمانی، یادگیری و تطبیق با نسخههای جدید را دشوارتر کند.
۹. مقاومت در برابر تغییر
بهکارگیری تحلیل داده نیازمند سطحی از تغییر است که ممکن است برای برخی افراد و تیمها ناخوشایند یا دشوار باشد. ناگهان تیمها به اطلاعات جدیدی درباره وضعیت واقعی کسبوکار دسترسی پیدا میکنند و گزینههای متفاوتی برای واکنش به شرایط پیش روی آنها قرار میگیرد. مدیرانی که عادت دارند بیشتر بر اساس شهود و تجربه شخصی تصمیم بگیرند تا داده، ممکن است در برابر این تغییر احساس چالش کنند یا حتی آن را تهدیدی برای جایگاه و سبک مدیریتی خود بدانند.
برای جلوگیری از چنین واکنشی، کارکنان IT باید با واحدهای مختلف سازمان همکاری کنند تا نیازهای دادهای آنها را بهتر بشناسند. سپس باید توضیح دهند که نرمافزارهای جدید تحلیل داده چگونه میتوانند فرایندهای کاری آن واحدها را بهبود دهند. در زمان اجرای این تغییر، تیمهای IT میتوانند نشان دهند که پیشرفتهای تحلیل داده چگونه به جریانهای کاری کارآمدتر، بینشهای عمیقتر از دادهها و در نهایت تصمیمگیری بهتر در سراسر کسبوکار منجر میشود.
۱۰. هدفگذاری
بدون اهداف و مقاصد روشن، کسبوکارها در تشخیص اینکه برای یک پروژه باید از کدام منابع داده استفاده کنند، چگونه دادهها را تحلیل کنند، با نتایج بهدستآمده چه کاری انجام دهند و موفقیت را چگونه بسنجند، با مشکل روبهرو خواهند شد. نبود هدف مشخص میتواند باعث شود تلاشهای تحلیل داده پراکنده و بیتمرکز شوند و در نهایت بینش یا بازگشت سرمایه معناداری ایجاد نکنند.
برای کاهش این مشکل، بهتر است پیش از شروع هر پروژه تحلیل داده، اهداف و نتایج کلیدی آن مشخص شود. به این ترتیب، تیمها از ابتدا میدانند قرار است چه مسئلهای را حل کنند، کدام دادهها اهمیت دارند، خروجی تحلیل باید به چه تصمیمی کمک کند و موفقیت پروژه با چه معیارهایی سنجیده خواهد شد.
چالشهای تحلیل داده در ایران
تحلیل داده در ایران فقط به مهارت کار با ابزارهایی مثل اکسل، SQL، پایتون یا Power BI محدود نمیشود. تحلیلگر داده در بازار ایران با شرایطی روبهرو است که در بسیاری از منابع آموزشی جهانی کمتر به آنها اشاره میشود؛ از تفاوت تومان و ریال و تاریخ شمسی گرفته تا دادههای فارسی، فروشهای تلفنی و تلگرامی، اختلال اینترنت و پراکندگی دادهها بین سیستمهای داخلی و خارجی که در این بخش بیشتر به آنها پرداختهایم.
۱. تبدیل واحدهای مالی
دادههای مالی گاهی با واحدهای مختلف ثبت میشوند. گاهی دادهها به تومان، ریال، هزار تومان، میلیون تومان یا حتی بدون عدد هستند. ممکن است در درگاه پرداخت عدد به ریال باشد، در گزارش فروش به تومان، در فایل مالی به میلیون تومان و در داشبورد نهایی بدون توضیح واحد. این خطا میتواند کل تحلیل درآمد، میانگین خرید، نرخ بازگشت سرمایه، ارزش طول عمر مشتری و عملکرد کمپینها را خراب کند.
۲. تاریخ شمسی، میلادی و مناسبتهای ایرانی
اکثر ابزارهای جهانی با تاریخ میلاد کار میکنند درحالیکه بیشتر کسبوکارهای ایرانی با تاریخ شمسی بسته میشوند. این تفاوت در تحلیلهای ماهانه، فصلی و کمپینهای مناسبتی مشکلساز میشود. مثل کمپین نوروز، شب یلدا، مهرماه، بلکفرایدی ایرانی، محرم، رمضان یا بازههای حقوقی پایان ماه با تقویم شمسی که معنا پیدا میکنند. اگر تحلیلگر فقط با تاریخ میلادی گزارش بگیرد، ممکن است رفتار واقعی بازار ایران را درست نبیند.
۳. چندشکلی بودن دادههای فارسی
تحلیل داده فارسی چالشهای خاص خودش را دارد. یک کلمه ممکن است با شکلهای مختلف نوشته شود. مانند تهران که با «ط» هم نوشته میشود. تحلیلگران ایرانی باید زمان زیادی را صرف نرمالسازی متن فارسی کنند.
منبع: oracle.com
