در دنیایی که شرکت‌ها با حجم عظیمی از داده‌های پراکنده، ساختارهای متفاوت پایگاه داده، کانکتورهای اختصاصی و رویدادهای رفتاری پیچیده مشتریان روبه‌رو هستند، یکی از بزرگ‌ترین چالش‌ها این است: چگونه می‌توان داده‌های نامنظم و اختصاصی هر سازمان را به یک ساختار استاندارد، قابل تحلیل و آماده برای هوش مصنوعی تبدیل کرد؟

Minerva با همکاری OpenAI دو سامانه عامل‌محور یا Agentic Systems معرفی کرده است که برای پاسخ به همین مسئله طراحی شده‌اند:

Agentic Data Engineer یا ADE و Agentic Data Scientist یا ADS.

این دو سامانه، به‌جای آنکه صرفاً ابزارهای نرم‌افزاری منفعل باشند، مانند تیمی از مهندسان داده و دانشمندان داده عمل می‌کنند؛ داده‌ها را بررسی می‌کنند، روابط بین جداول را تشخیص می‌دهند، پایپ‌لاین‌های داده می‌سازند، مدل‌های یادگیری ماشین آموزش می‌دهند و در نهایت، به پرسش‌های تجاری در چند ساعت پاسخ می‌دهند؛ کاری که در حالت سنتی ممکن بود هفته‌ها زمان و یک تیم تخصصی کامل نیاز داشته باشد.

مسئله اصلی: داده‌های پراکنده و مدل‌های پیش‌بینی دشوار

بیشتر شرکت‌ها با دو مشکل اساسی مواجه‌اند:

۱. نبود داده یکپارچه

هر کسب‌وکار داده‌های خود را به شکل متفاوتی ذخیره می‌کند. یک برند ممکن است از Shopify و Klaviyo استفاده کند، برند دیگر دیتاورهاوس اختصاصی در BigQuery داشته باشد و یک شرکت دیگر داده‌های مشتریان را در CRM، سیستم فروش، ابزار ایمیل مارکتینگ و اپلیکیشن موبایل پراکنده کرده باشد.

مشکل اینجاست که مدل‌های هوش مصنوعی، داشبوردهای تحلیلی و سیستم‌های بازاریابی هوشمند زمانی ارزشمند می‌شوند که بدانند:

• مشتری دقیقاً کیست؟
• چه تعاملاتی با برند داشته است؟
• چه محصولاتی دیده یا خریده است؟
• در چه مرحله‌ای از قیف فروش قرار دارد؟
• احتمال خرید، ریزش یا تمدید اشتراک او چقدر است؟

بدون یک ساختار داده‌ای استاندارد، پاسخ به این پرسش‌ها دشوار و پرهزینه است.

۲. تفاوت شدید در رویدادها و قیف مشتریان

حتی اگر داده‌ها یکپارچه شوند، مسئله بعدی این است که رفتار مشتریان در هر کسب‌وکار متفاوت است. برای یک برند، «تبدیل» یعنی خرید محصول؛ برای یک شرکت SaaS، رزرو دمو؛ برای یک پلتفرم سفر، ثبت رزرو؛ و برای یک باشگاه ورزشی، خرید بلیت یا تمدید عضویت.

در نتیجه، ساخت مدل‌هایی مانند:

• پیش‌بینی ریزش مشتری
• احتمال خرید مجدد
• احتمال خرید یک محصول خاص
• احتمال عدم حضور در جلسه دمو
• احتمال تمدید اشتراک

برای هر مشتری نیازمند تعریف دقیق جامعه هدف، متغیر هدف، بازه زمانی و ویژگی‌های ورودی است.

اینجا همان جایی است که ADE و ADS وارد می‌شوند.

Agentic Data Engineer یا ADE چیست؟

Agentic Data Engineer یا مهندس داده عامل‌محور سامانه‌ای است که داده‌های پراکنده، نامنظم و اختصاصی هر مشتری را دریافت و آن‌ها را به ساختاری استاندارد، تمیز و قابل استفاده در پلتفرم Minerva تبدیل می‌کند.

ADE با استفاده از OpenAI Agents SDK مانند یک تیم مهندسی داده عمل می‌کند. این سامانه:

• ساختار جداول و ستون‌ها را بررسی می‌کند؛
• روابط پنهان بین داده‌ها را کشف می‌کند؛
• وابستگی‌ها را تشخیص می‌دهد؛
• داده‌های مشتری، محصول، سفارش، رویداد و تعاملات را نرمال‌سازی می‌کند؛
• و در نهایت، داده‌هایی آماده برای تحلیل، مدل‌سازی و استفاده در سیستم‌های هوش مصنوعی تولید می‌کند.

نکته مهم این است که پیچیدگی کار ADE بیشتر به تعداد ستون‌ها و پیچیدگی شِما بستگی دارد، نه الزاماً حجم کل دیتالیک یا دیتاورهاوس. بنابراین، یک دیتاورهاوس بزرگ لزوماً استقرار را سخت‌تر نمی‌کند؛ آنچه اهمیت دارد پیچیدگی ساختار داده و روابط بین ستون‌هاست.

ADE چه مشکلاتی را برای برندها حل می‌کند؟

۱. کانکتورهای رایج اما با پیکربندی متفاوت

حتی اگر دو شرکت از Shopify یا Klaviyo استفاده کنند، نحوه استفاده آن‌ها از این ابزارها یکسان نیست. کمپین‌ها، فیلدهای سفارشی، تاریخچه سفارش‌ها و منطق تجاری ممکن است کاملاً متفاوت باشد.

ADE به‌جای تکیه بر فرضیات عمومی، داده‌های واقعی هر کسب‌وکار را بررسی می‌کند تا بفهمد هر فیلد چه معنایی دارد و چگونه باید در ساختار استاندارد قرار بگیرد.

۲. تحلیل وب و اپلیکیشن

رویدادهای خام، مانند خروجی GA4 در دیتاورهاوس، معمولاً به‌صورت فهرستی طولانی از eventها هستند و مفهوم آماده‌ای از session یا سفر کاربر ندارند.

ADE این رویدادها را باز می‌کند، پارامترهای درون آن‌ها را بررسی می‌کند و با فرآیند Sessionization، تعاملات پراکنده را به سفرهای قابل فهم کاربر تبدیل می‌کند. این کار برای تحلیل قصد خرید، نرخ تبدیل و ریزش مشتری حیاتی است.

۳. دیتاورهاوس‌های کاملاً اختصاصی

در بسیاری از سازمان‌ها، داده‌ها در جداولی ذخیره شده‌اند که فقط تیم داخلی آن شرکت آن‌ها را می‌شناسد. برای مثال، یک شرکت حوزه سفر ممکن است فقط چند جدول در BigQuery داشته باشد: فید رزروها، پروفایل مشتریان و لاگ رویدادهای قیف فروش.

ADE می‌تواند مستقیماً روی همین جداول کار کند، روابط را تشخیص دهد و آن‌ها را به مدل داده استاندارد Minerva تبدیل کند.

۴. کاربرد فراتر از تجارت الکترونیک

این فناوری محدود به فروشگاه‌های آنلاین نیست. برای مثال، باشگاه‌های ورزشی یا فرنچایزهای ورزشی می‌توانند داده‌های تماس، سفارش بلیت و فروش را از Dynamics CRM و سیستم‌های فروش بلیت وارد کنند. ADE این داده‌ها را نیز به همان جداول استاندارد موردنیاز برای تحلیل و مدل‌سازی تبدیل می‌کند.

ADE چگونه کار می‌کند؟

فاز اول: کشف داده و نگاشت روابط

خروجی اصلی ADE چیزی است که Minerva آن را قرارداد داده یا Contract می‌نامد. این قرارداد توضیح می‌دهد داده‌ها چگونه باید از جداول منبع مشتری به جداول استاندارد نهایی منتقل شوند.

در این مرحله، زیرعامل‌ها یا Subagents پایگاه داده مشتری را بررسی می‌کنند، روابط بین جداول را پیدا می‌کنند و آن‌ها را به‌صورت یک گراف وابستگی یا Dependency Graph ثبت می‌کنند.

برای جلوگیری از حدس‌زدن، ADE سه کنترل مهم دارد:

• عامل اجازه ندارد بدون مشاهده داده واقعی تصمیم بگیرد؛
• وابستگی‌ها باید به ترتیب درست حل شوند؛
• اگر ابهام واقعی وجود داشته باشد، موضوع به انسان ارجاع داده می‌شود.

برای مثال، سیستم نمی‌تواند «ارزش کل سفارش مشتری» را تعریف کند، مگر اینکه ابتدا مشخص کند «سفارش» دقیقاً در داده‌های آن شرکت چه معنایی دارد.

فاز دوم: تبدیل لایه‌ای داده

پس از ساخت گراف وابستگی، ADE پایپ‌لاین داده را به‌صورت چند لایه می‌سازد. این لایه‌ها داده خام را دریافت می‌کنند، آن را نرمال‌سازی می‌کنند، موجودیت‌ها را تطبیق می‌دهند و جداول نهایی آماده تحلیل را می‌سازند.

در این مرحله، هر زیرعامل باید ستون‌های منبع را پروفایل کند، منطق خود را با گراف وابستگی تطبیق دهد و قبل از ثبت تغییرات، از اعتبارسنجی عبور کند.

فاز سوم: ممیزی و گزارش نهایی

در پایان، ADE تمام مدل‌های تولیدشده را بررسی می‌کند، خطاهای نحوی را اصلاح می‌کند و یک Report Card تولید می‌کند. این گزارش نشان می‌دهد آیا تبدیل‌های انجام‌شده واقعاً با منطق کسب‌وکار مشتری سازگار هستند یا خیر.

این فرآیند، تولید رکورد طلایی یا Golden Record را که پیش‌تر ممکن بود هفته‌ها یا ماه‌ها زمان ببرد، به یک اجرای تقریباً یک‌ساعته کاهش می‌دهد. از آنجا که اجراها موازی‌سازی‌پذیر هستند، یک Forward Deployed Engineer می‌تواند هم‌زمان حدود ۲۰ استقرار را بررسی کند؛ در حالی که در مدل سنتی، معمولاً برای هر استقرار به یک مهندس داده نیاز بود.

Agentic Data Scientist یا ADS چیست؟

اگر ADE زیرساخت داده را آماده می‌کند، Agentic Data Scientist یا دانشمند داده عامل‌محور از همین داده‌های استاندارد برای پاسخ به پرسش‌های تجاری استفاده می‌کند.

ADS به کاربر اجازه می‌دهد یک سؤال ساده به زبان طبیعی بپرسد، مانند:

• چه کسانی بیشترین احتمال ریزش را دارند؟
• چه کسانی احتمالاً بیش از ۱۰۰ دلار خرید می‌کنند؟
• کدام مشتریان احتمالاً دوباره خرید خواهند کرد؟
• چه کسانی احتمال رزرو ملک ساحلی دارند؟
• چه کسانی احتمالاً پس از رزرو جلسه دمو، حاضر نمی‌شوند؟

ADS سپس در کمتر از ۲۰ دقیقه یک پایپ‌لاین تحلیلی می‌سازد، دیتاست آموزشی تولید می‌کند، کیفیت داده را کنترل می‌کند، مدل یادگیری ماشین را آموزش می‌دهد و خروجی را به‌صورت امتیاز احتمال برای هر لید یا مشتری ارائه می‌دهد.

ADS چه ارزش عملی برای کسب‌وکارها دارد؟

قدرت ADS در این است که پرسش‌های ظاهراً ساده را به مسائل دقیق علم داده تبدیل می‌کند. برای مثال، سؤال «چه کسی احتمالاً ریزش می‌کند؟» نیازمند پاسخ به چند سؤال فنی است:

• ریزش در این کسب‌وکار یعنی چه؟
• جامعه هدف چه کسانی هستند؟
• بازه زمانی پیش‌بینی چقدر است؟
• چه داده‌هایی در زمان پیش‌بینی در دسترس بوده‌اند؟
• کدام ویژگی‌ها بیشترین ارتباط را با خروجی دارند؟

ADS همه این تصمیم‌ها را با تکیه بر داده‌های مشتری و قرارداد تحلیلی مشخص می‌کند.

ADS چگونه کار می‌کند؟

فاز اول: کشف نیازمندی و برنامه‌ریزی

ADS به جداول استاندارد تولیدشده توسط ADE متصل می‌شود و بررسی می‌کند چه داده‌هایی درباره افراد، محصولات، رویدادها و کانال‌های انتساب وجود دارد.

سپس عامل برنامه‌ریز، درخواست طبیعی کاربر را به یک قرارداد شامل سه بخش تبدیل می‌کند:

1. چه کسانی واجد شرایط امتیازدهی هستند؟
2. خروجی مثبت یا Positive Outcome چیست؟
3. بازه زمانی پیش‌بینی چقدر است؟

اگر داده موجود نتواند به سؤال پاسخ دهد، ADS به‌جای ساخت پاسخ جعلی، درخواست را غیرقابل انجام اعلام می‌کند.

فاز دوم: ساخت دیتاست نقطه‌درزمان

در این مرحله، ADS دیتاستی می‌سازد که برای آموزش مدل‌های رگرسیونی و ارزیابی عملکرد قابل استفاده باشد. تمرکز اصلی این مرحله جلوگیری از Data Leakage است؛ یعنی مدل نباید به اطلاعاتی دسترسی داشته باشد که در زمان واقعی پیش‌بینی وجود نداشته‌اند.

این مرحله شامل چهار بخش است:

۱. تشخیص محصول

اگر کاربر بپرسد «چه کسانی احتمال خرید غذای چینی دارند؟»، ممکن است چنین دسته‌ای به‌صورت مستقیم در کاتالوگ وجود نداشته باشد. ADS توضیحات محصولات را تحلیل معنایی می‌کند و مشخص می‌کند کدام محصولات در این دسته قرار می‌گیرند.

۲. تشخیص کوهورت

برای پرسش‌هایی مانند «افرادی که دمو رزرو کرده‌اند»، ADS داده‌های رفتاری را بررسی و جامعه هدف را دقیقاً به همان مرحله از قیف فروش محدود می‌کند.

۳. انتخاب ویژگی

ADS سیگنال‌های رفتاری فرست‌پارتی مشتری را با داده‌های شخص ثالث از دیتالیک Minerva ترکیب می‌کند و سپس ویژگی‌هایی را انتخاب می‌کند که واقعاً با خروجی هدف مرتبط هستند.

۴. ساخت متغیر هدف

در پایان، ADS کوئری SQL لازم برای تعریف خروجی مثبت را تولید می‌کند؛ مثلاً خرید یک محصول خاص، تمدید اشتراک، ریزش، رزرو، تبدیل یا ترکیبی از چند رویداد.

فاز سوم: آموزش و ارزیابی مدل

پس از تولید دیتاست، ADS مدل را آموزش می‌دهد و برای هر لید یا مشتری یک امتیاز احتمال تولید می‌کند. بخشی از داده‌ها به‌عنوان Holdout Set کنار گذاشته می‌شود تا عملکرد مدل با معیارهای ارزیابی بررسی شود.

نتیجه، یک مدل کالیبره‌شده است که می‌تواند روی داده زنده اعمال شود و مشتریان را بر اساس احتمال انجام یک اقدام مشخص رتبه‌بندی کند.

چرا ترکیب ADE و ADS مهم است؟

ADE و ADS در کنار هم دو گلوگاه اصلی پروژه‌های داده و هوش مصنوعی را حل می‌کنند:

1. آماده‌سازی، نرمال‌سازی و یکپارچه‌سازی داده
2. ساخت سریع مدل‌های پیش‌بینی قابل اعتماد

در مدل سنتی، شرکت‌ها برای رسیدن به چنین خروجی‌هایی به تیم‌های مهندسی داده، تحلیلگر داده، دانشمند داده و متخصص یادگیری ماشین نیاز داشتند. اما با سامانه‌های عامل‌محور، بخش زیادی از این فرآیند با عامل‌های هوشمند، قابل اجرا، قابل ممیزی و مقیاس‌پذیر می‌شود.

این موضوع به‌ویژه برای برندهایی اهمیت دارد که می‌خواهند بدون ساخت یک تیم بزرگ داده، از هوش مصنوعی برای تصمیم‌گیری بازاریابی، فروش، حفظ مشتری و رشد درآمد استفاده کنند.

راهکارهای عملی برای فعالان حوزه داده و هوش مصنوعی

اگر سازمان شما نیز با داده‌های پراکنده و مدل‌سازی دشوار روبه‌رو است، تجربه Minerva چند نکته کاربردی دارد:

۱. ابتدا مدل داده استاندارد بسازید

قبل از آموزش هر مدل هوش مصنوعی، باید بدانید مشتری، محصول، سفارش و رویداد در سازمان شما دقیقاً چگونه تعریف می‌شوند.

۲. از قرارداد داده استفاده کنید

تعریف یک Contract برای جریان داده باعث می‌شود منطق تبدیل‌ها شفاف، قابل بررسی و قابل تکرار باشد.

۳. از حدس‌زدن در نگاشت داده جلوگیری کنید

عامل هوشمند یا انسان، هر دو باید تصمیم‌های خود را با مشاهده داده واقعی اثبات کنند.

۴. وابستگی‌ها را به‌صورت گراف مدل کنید

Dependency Graph کمک می‌کند بفهمید کدام تعریف‌ها باید قبل از بقیه ساخته شوند.

۵. در مدل‌سازی، مراقب Data Leakage باشید

اگر مدل در زمان آموزش به داده‌هایی دسترسی داشته باشد که در زمان پیش‌بینی واقعی وجود ندارند، عملکرد آن در محیط عملیاتی افت خواهد کرد.

۶. پرسش‌های تجاری را به قرارداد تحلیلی تبدیل کنید

هر سؤال باید به سه بخش تبدیل شود: جامعه هدف، خروجی مثبت و بازه زمانی.

جمع‌بندی

Minerva با معرفی ADE و ADS نشان می‌دهد آینده مهندسی داده و علم داده به سمت سامانه‌های عامل‌محور در حال حرکت است؛ سامانه‌هایی که فقط پاسخ نمی‌دهند، بلکه کشف می‌کنند، می‌سازند، اعتبارسنجی می‌کنند و از هر مسئله یاد می‌گیرند.

ADE داده‌های پراکنده و اختصاصی هر شرکت را به ساختاری استاندارد تبدیل می‌کند و ADS از همین زیرساخت برای ساخت مدل‌های پیش‌بینی سریع، دقیق و قابل استفاده در عملیات روزانه بهره می‌برد.

برای شرکت‌هایی که می‌خواهند از داده‌های مشتریان، رویدادهای رفتاری و مدل‌های یادگیری ماشین برای رشد کسب‌وکار استفاده کنند، این رویکرد می‌تواند یک مزیت رقابتی جدی باشد:

کاهش زمان اجرا، کاهش وابستگی به تیم‌های بزرگ، افزایش دقت تصمیم‌گیری و امکان پاسخ‌گویی سریع به پرسش‌های پیچیده تجاری.

خلاصه کوتاه :

موضوع اصلی: استفاده از سامانه‌های عامل‌محور Minerva و OpenAI برای اتوماسیون مهندسی داده و علم داده.

موجودیت‌های کلیدی:

• Minerva
• OpenAI
• Agentic Data Engineer
• ADE
• Agentic Data Scientist
• ADS
• OpenAI Agents SDK
• Data Pipeline
• Machine Learning
• Data Standardization
• Predictive Modeling
• Customer Churn
• Golden Record
• Dependency Graph
• Data Leakage

تعریف ADE:

ADE سامانه‌ای عامل‌محور برای کشف، نگاشت، نرمال‌سازی و استانداردسازی داده‌های مشتریان از منابع مختلف مانند Shopify، Klaviyo، BigQuery، Dynamics CRM و سیستم‌های اختصاصی است.

تعریف ADS:

ADS سامانه‌ای عامل‌محور برای تبدیل پرسش‌های تجاری زبان طبیعی به دیتاست آموزشی، تعریف متغیر هدف، انتخاب ویژگی، آموزش مدل یادگیری ماشین و تولید امتیاز احتمال برای مشتریان است.

مسئله‌ای که حل می‌شود:

کاهش زمان و هزینه یکپارچه‌سازی داده و ساخت مدل‌های پیش‌بینی از چند هفته به چند ساعت.

کاربردهای اصلی:

• پیش‌بینی ریزش مشتری
• پیش‌بینی خرید مجدد
• امتیازدهی لیدها
• تحلیل رفتار مشتری
• ساخت مدل احتمال خرید محصول
• تشخیص کوهورت‌های قیف فروش
• نرمال‌سازی داده‌های سازمانی

مزیت کلیدی:

مقیاس‌پذیری با compute به‌جای افزایش نیروی انسانی.

پرسش های متداول (FAQ)

ADE چیست؟

ADE یا Agentic Data Engineer سامانه‌ای مبتنی بر عامل‌های هوشمند است که داده‌های پراکنده و اختصاصی شرکت‌ها را بررسی، نرمال‌سازی و به ساختار استاندارد قابل استفاده برای تحلیل و هوش مصنوعی تبدیل می‌کند.

ADS چیست؟

ADS یا Agentic Data Scientist سامانه‌ای است که از داده‌های استانداردشده برای ساخت خودکار مدل‌های یادگیری ماشین استفاده می‌کند و به پرسش‌هایی مانند احتمال ریزش، خرید یا تمدید مشتری پاسخ می‌دهد.

تفاوت ADE و ADS چیست؟

ADE روی آماده‌سازی و یکپارچه‌سازی داده تمرکز دارد، در حالی که ADS از داده‌های آماده‌شده برای ساخت مدل‌های پیش‌بینی و تحلیل رفتار مشتری استفاده می‌کند.

چرا Agentic AI برای علم داده مهم است؟

زیرا می‌تواند فرآیندهای پیچیده‌ای مانند کشف داده، ساخت پایپ‌لاین، انتخاب ویژگی، تعریف هدف و آموزش مدل را به‌صورت خودکار، قابل ممیزی و مقیاس‌پذیر انجام دهد.

آیا این سامانه‌ها جایگزین کامل تیم داده می‌شوند؟

خیر. این سامانه‌ها بسیاری از کارهای تکراری و زمان‌بر را خودکار می‌کنند، اما همچنان نقش انسان در نظارت، بررسی نهایی، تصمیم‌گیری و رفع ابهام‌های تجاری مهم است