د مسار اصلي پاڼې ته د شا تګ
ډاټا تحلیل او RStudio

د ډیټا حفظ‌الصحې، فارمیټینګ او د غیر معمولي ارزښتونو (Outliers) موندنه

د پوهې تخنیکي کارکوونکو لخوا جون ۲۰۲۶

د دې لوست په اوږدو کې به تاسو د دغې موضوع په اړه مفصل او عملي لارښود ترلاسه کړئ ترڅو خپل مسلکي مهارتونه لوړ کړئ.

مهم ټکي

  • د ډیټا پاکول (Data cleaning) تکراري ریکارډونه، خالي حجرې او د فاصلې غلطۍ له منځه وړي.
  • فارمیټینګ د ډیټا په ټول سیټ کې د نېټې او پیسو د نوټونو معیاري کول ترسره کوي.
  • د غیر معمولي ارزښتونو (Outliers) موندنه هغه ریکارډونه په ګوته کوي چې د نورمال احصایوي حدودو څخه ډیر لرې وي.

سریزه او ارزښت

> 📌 **د لوست خلاصه (Quick Summary):** په دغه درس کې به تاسو د د ډیټا حفظ‌الصحې، فارمیټینګ او د غیر معمولي ارزښتونو (Outliers) موندنه بنسټیز مفاهیم، د کارولو مسلکي اوزارونه او عملي لارې زده کړئ.

د ډیټا تحلیل د خامو شمیرو د بدلولو پروسه ده چې د پرېکړو اخیستلو په کار کې مهارت لرئ. د د ډیټا حفظ‌الصحې، فارمیټینګ او د غیر معمولي ارزښتونو (Outliers) موندنه مهارت په مستقیم ډول په مالي، روغتیايي او تخنیکي سکتورونو کې ستاسو د کاري کچې په لوړولو پورې اړه لري.

دا لوست یو جوړښت لرونکی او څو پوړیز چلند تعقیبوي: موږ د اساساتو او جوړښت څخه پیل کوو ترڅو یو پیاوړی ذهني ماډل جوړ کړو، بیا عملي پړاوونو ته ځو چې تاسو یې سمدستي کارولی شئ، او په پای کې د مسلکي کچې تمرینونو سره پای ته رسوو چې اصلي کاري شرایط ښيي.

د ساحې مسلکي کسان په مسلکي مرکو، فریلانس پروژو او ورځني حلونو کې همدا موضوعات د اساس په توګه پیژني. د وخت پانګونه وکړئ ترڅو نه یوازې پر 'څه' بلکې پر 'ولې' هم پوه شئ — ځکه همدا د یو مسلکي او پیل کونکي ترمنځ توپیر دی.

بنسټیز مفاهیم او جوړښت

خام ډیټاسیټونه (Raw datasets) اکثراً غلطۍ، تکراري توکي او غیر متناسب فارمیټونه لري. د ډیټا پاکول د ډیټا روغتیا (Data hygiene) تضمینوي، او د نېټې، د تلیفون شمیرې او اسعارو معیاري کوي. د غیر معمولي ارزښتونو موندنه له احصایوي میتودونو (لکه Z-score یا Interquartile Range) څخه کار اخلي ترڅو داسې غیر معمولي ټکي ومومي چې ممکن تحلیلي پایلې ګډوډ کړي.

د بنسټیز جوړښت درک کول

د دې لپاره چې په ریښتیا په د ډیټا حفظ‌الصحې، فارمیټینګ او د غیر معمولي ارزښتونو (Outliers) موندنه کې مهارت ترلاسه کړئ، دا مرسته کوي پوه شئ چې ولې دا قواعد شتون لري. دا ډیزاین نمونې د لسیزو ګډې انجینري تجربې څخه رامینځته شوي دي.

فکري موډلونه زده کړه ګړندۍ کوي: کله چې تاسو پر جوړښت پوه شئ، تاسو کولی شئ په نویو شرایطو کې د هغې د چلند اټکل وکړئ او ستونزې په اسانۍ سره حل کړئ.

مهمې اصطلاحګانې تعریف شوې

مسلکي چاپیریال ځانګړي او دقیق لغتونه لري. په درسي مسار کې خپل شخصي قاموس جوړولو ته لومړیتوب ورکړئ او د هر اصطلاح تعریف په سمه توګه زده کړئ.

دا مفهوم په مسار کې چېرته ځای لري

هیڅ مفهوم په یوازیتوب کې شتون نلري. په دې لوست کې ټول بحثونه د دې درسي مسار له نورو لوستونو سره تړلي دي. د وړاندې تګ دمخه ډاډ ترلاسه کړئ چې پر هر مهم ټکي په بشپړ ډول پوه شوي یاست.

flowchart TD A["Raw Spreadsheets Logs"] --> B["Data Hygiene Cleaning"] B --> C["Relational SQL Query"] C --> D["RStudio Statistical Plotting"] D --> E["BI Dashboard Reports"] end

د ډاټا تحلیل او تحلیل کونکي وسایل

د معلوماتو مسلکي تحلیل په ځانګړو کمپیوټري اوزارونو تکیه لري. له ساده پاڼو څخه تر پرمختللي کوډ لیکنې پورې، دا وسایل ډیټا په ارزښتناکو معلوماتو بدلوي.

  • Google Sheets / MS Excel — د ساده ډیټا تحلیل، فورمولونو، فلټرونو او پیوټ ټیبلونو لپاره لومړنۍ او خورا اړینه وسیله.
  • RStudio / R Language — د احصایوي او ریاضیکي تحلیلونو او د ښکلو ګرافونو د جوړولو پرمختللی پروګرام.
  • SQL relational databases — د ډیټابیسونو څخه د اړتیا وړ ډیټا د پلټنې او را ایستلو لپاره تر ټولو مشهوره معیاري ژبه.

د ځانګړې دندې لپاره د سم اوزار غوره کول پخپله یو مسلکي مهارت دی. د مسلک د پرمختګ سره به تاسو پوه شئ چې کله د چمتو شوي پلیټ فارمونو څخه کار واخلئ او کله خپل جوړ شوي حلونه وکاروئ. دا لوست تاسو سره د دې وسیلو په غوره تنظیم او کارولو کې مرسته کوي.

ګام په ګام د پلي کولو لارښود

نظري پوهه د عملي کار پرته نیمګړې ده. لاندې لارښود د اساساتو مفاهیم په عملي پړاوونو بدلوي. هر ګام په دقت سره تعقیب کړئ.

د `TRIM` فارمول په کارولو سره د فاصلو غلطۍ لرې کړئ. د `PROPER` یا `UPPER` فارمیټینګ افعالو په کارولو سره د متن سټرینګونه (Text strings) معیاري کړئ. د کالم اوسط (Averages) او معیاري انحراف (Standard deviations) په محاسبه کولو سره د سپریډ شیټ په کتارونو کې غیر معمولي ارزښتونه وپیژنئ، او هغه کتارونه په نښه کړئ چې د ±3 معیاري انحراف له حدودو څخه بهر وي.

د غلطیو اصلي ځایونه

د ساحې مسلکي کسان پوهیږي چې ځینې کارونه د نورو په پرتله د غلطیو ډیر چانس لري. مخکې له مخکې پر هغو پوهیدل ستاسو وخت خورا سپموي:

  • د کاري محیط تنظیمول — ستاسو د کمپیوټر او اصلي سرور ترمنځ توپیر د غلطیو یو لوی لامل دی.
  • د پروژې په پیل کې د کار پېچلي کول — لومړی تر ټولو ساده نسخه جوړه کړئ او بیا یې پرمخ بوځئ.
  • د اسنادو یا کمنټونو نه لیکل — د کوډ کولو سره جوخت د هغې په اړه توضیحات لیکل خورا مهم دي.

پلي کول او ارزونه

عملي کار هغه وخت بشپړیږي چې پایلې یې تایید شي. د ځان څخه پوښتنه وکړئ: څنګه پوه شم چې دا په سمه توګه کار کوي؟

غوره او مسلکي کړنې

د غوره لارو چارو پوهیدل د ستونزو او خطراتو مخنیوی کوي. د هغو تر شا پر فلسفه او منطق ځان پوه کړئ.

هیڅکله د ډیټا غیر معمولي ارزښتونه (Outliers) پرته له دې چې دلیل یې ثبت کړئ، مه حذف کوئ. خام ډیټا د بیک اپ (Backup) په توګه وساتئ، او د پاکولو پروسې یوازې د ډیټا په نقل شویو کاپیو باندې ترسره کړئ.

د مسلکي او باکیفیته کاري ذهنیت جوړول

د غوره لارو چارو د یادولو تر ټولو غوره لار دا ده چې خپل ځان ته یو چک لیست جوړ کړئ او د کار په پای کې د هغې له مخې هر څه وڅارئ.

لکه څنګه چې ستاسو مهارتونه وده کوي، تاسو به وګورئ چې په یوه برخه کې غوره لارې چارې له نورو برخو سره مرسته کوي.

عملي او رښتیني کوډ بېلګې

لاندې کوډ بېلګه په عملي توګه د لوست اساسات ښيي. دا په غور سره وڅارئ او په خپل عملي کار کې ورڅخه ګټه واخلئ.

یو عام لامل دا دی چې کوډ له پوهېدو پرته کاپي شي. د کاپي کولو پر ځای، لومړی د کوډ په هره کرښه په غور سره فکر وکړئ او پر رول یې پوه شئ.

data_hygiene.xlsx
# Python Pandas dataset cleaning template
import pandas as pd

df = pd.read_csv("raw_data.csv")
# Remove spacing errors and duplicates
df["Name"] = df["Name"].str.strip()
df.drop_duplicates(inplace=True)
# Filter values using standard dev boundary
mean, std = df["Val"].mean(), df["Val"].std()
clean_df = df[df["Val"] <= (mean + 3 * std)]

عملي تمرینونه او ارزونه

زده کړه د عمل په واسطه پیاوړې کیږي. د دې لپاره چې ډاډ ترلاسه کړئ چې تاسو د دې لوست مفاهیم په سمه توګه درک کړي، لاندې درې عملي تمرینونه ترسره کړئ:

  • یو سپریډ شیټ پاک کړئ چې تکراري ریکارډونه او د متن په پیل او پای کې اضافي فاصلې لري.
  • د نېټې یو کالم د YYYY-MM-DD منظم پیټرن سره سم فارمیټ کړئ.
  • د ټرانزیکشن ریکارډونو په لیست کې د غیر معمولي ارزښتونو (Outliers) د موندلو لپاره د معیاري انحراف حدونه (Thresholds) محاسبه کړئ.

ځانګړې ارزونه

خپله پوهه په سمدستي ډول د دې پوښتنې په ځوابولو سره وڅارئ:

کوم سپریډ شیټ فارمول د متن له حجرو څخه د پیل، پای او اضافي فاصلې لرې کوي؟


سرچینې او اضافي لوستل

  • د W3C رسمي ټیکنالوژیکي معیارونه او مشخصات (۲۰۲۶).
  • د ګوګل پرمختیايي اسناد: د فعالیت، سئو (SEO)، او امنیت غوره کړنې.
  • د موزیلا پرمختیايي شبکه (MDN Web Docs) — د ویب معیارونو اصلي سرچینه.
  • د پوهې اکاډمۍ درسي بورډ او د ساحې د مسلکي کسانو د بیاکتنې پینل.