লগ পার্সার

লগ পার্সার

লার্নিং অনুশীলনী

ভূমিকা

রেগুলার এক্সপ্রেশন

Elixir-এ রেগুলার এক্সপ্রেশন PCRE স্পেসিফিকেশন (Perl Compatible Regular Expressions) মেনে চলে, ঠিক যেমন Java, JavaScript বা Ruby-এর মতো অন্যান্য জনপ্রিয় ভাষাগুলো মেনে চলে।

Regex মডিউলটি রেগুলার এক্সপ্রেশন নিয়ে কাজ করার জন্য ফাংশন সরবরাহ করে। String মডিউলের কিছু ফাংশনও রেগুলার এক্সপ্রেশনকে আর্গুমেন্ট হিসেবে গ্রহণ করে।

Note

এই অনুশীলনীটি ধরে নেয় যে আপনি ইতিমধ্যেই রেগুলার এক্সপ্রেশনের সিনট্যাক্স জানেন, যার মধ্যে ক্যারেক্টার ক্লাস, কোয়ান্টিফায়ার, গ্রুপ আর ক্যাপচারও পড়ে।

আপনার রেগুলার এক্সপ্রেশন সম্পর্কে জ্ঞান একটু ঝালিয়ে নিতে চাইলে এই সোর্সগুলোর একটিতে চোখ বুলিয়ে দেখুন: Regular-Expressions.info, Rex Egg, RegexOne, Regular Expressions 101, RegExr.

সিগিল

রেগুলার এক্সপ্রেশন তৈরি করার সবচেয়ে কমন উপায় হলো ~r সিগিল ব্যবহার করা।

~r/test/

মনে রাখবেন, Elixir-এর সব সিগিলই নানা ধরনের ডেলিমিটার সমর্থন করে, শুধু / নয়।

ম্যাচিং

=~/2 অপারেটরটি দিয়ে এমন একটি রেজেক্স ম্যাচ করা যায়, যেটি boolean ফলাফল রিটার্ন করে। বিকল্প হিসেবে Regex মডিউল এবং String মডিউলেও match?/2 ফাংশন আছে।

"this is a test" =~ ~r/test/
# => true

String.match?("Alice has 7 apples", ~r/\d{2}/)
# => false

ক্যাপচার

শুধু বুলিয়ান চেক দিয়ে কাজ না হলে Regex.run/3 ফাংশন ব্যবহার করে সব ক্যাপচারের একটি অ্যারে নিতে পারেন (কোনো ম্যাচ না থাকলে nil)। ফেরত পাওয়া অ্যারেটির প্রথম এলিমেন্টটি সবসময় পুরো রেগুলার এক্সপ্রেশনের একটি ম্যাচ, আর পরের এলিমেন্টগুলো হলো ম্যাচ হওয়া গ্রুপ।

Regex.run(~r/(\d) apples/, "Alice has 7 apples")
# => ["7 apples", "7"]

মডিফায়ার

বিশেষ ফ্ল্যাগ যোগ করে রেগুলার এক্সপ্রেশনের আচরণ বদলানো যায়। সিগিল দিয়ে রেগুলার এক্সপ্রেশন তৈরি করলে দ্বিতীয় ডেলিমিটারের পরে মডিফায়ারগুলো যোগ করবেন।

কমন মডিফায়ারগুলো হলো:

  • i - ম্যাচটিকে কেস-ইনসেনসিটিভ করে তোলে।
  • u - \p-এর মতো ইউনিকোড-ভিত্তিক প্যাটার্ন সক্রিয় করে এবং \w, \s ইত্যাদি ক্যারেক্টার ক্লাসগুলোকে ইউনিকোডও ম্যাচ করাতে সাহায্য করে।
"this is a TEST" =~ ~r/test/i
# => true

নির্দেশনা

সাম্প্রতিক একটি নিরাপত্তা পর্যালোচনার পর আপনাকে প্রতিষ্ঠানের আর্কাইভ করা লগ ফাইলগুলো পরিষ্কার করার দায়িত্ব দেওয়া হয়েছে।

1. বিকৃত লগ লাইন চিহ্নিত করুন

আপনার আর্কাইভে কতগুলো লগ লাইন বর্তমান মানদণ্ড মেনে চলে না, সে সম্পর্কে আপনার কিছুটা ধারণা দরকার। আপনার বিশ্বাস, একটি সহজ পরীক্ষাই বলে দিতে পারে একটি লগ লাইন বৈধ কি না। বৈধ হতে হলে একটি লাইনকে নিচের যেকোনো একটি স্ট্রিং দিয়ে শুরু হতে হবে:

  • [DEBUG]
  • [INFO]
  • [WARNING]
  • [ERROR]

লগ লাইনটি বৈধ হলে true রিটার্ন করার জন্য valid_line?/1 ফাংশনটি ইমপ্লিমেন্ট করুন।

LogParser.valid_line?("[ERROR] Network Failure")
# => true

LogParser.valid_line?("Network Failure")
# => false

2. লগ লাইনটি ভাগ করুন

লগ পার্সিং প্রকল্প শুরু করার কিছুক্ষণ পরেই আপনি বুঝতে পারেন, একটি অ্যাপ্লিকেশনের লগ অন্যগুলোর মতো লাইনে বিভক্ত নয়। এই প্রকল্পে যা আলাদা লাইন হওয়া উচিত ছিল, তা বদলে একটি একক লাইনে থাকে, যা <---> বা <*~*~>-এর মতো চটকদার তীর দিয়ে জোড়া লাগানো।

আসলে, যে স্ট্রিংয়ের প্রথম ক্যারেক্টার <, শেষ ক্যারেক্টার >, আর মাঝে ~, *, = ও - অক্ষরগুলোর যেকোনো সমন্বয় থাকে, সেটিই এই প্রকল্পের লগে সেপারেটর হিসেবে ব্যবহার করা যায়।

একটি লাইন নিয়ে স্ট্রিংয়ের একটি অ্যারে রিটার্ন করার জন্য split_line/1 ফাংশনটি ইমপ্লিমেন্ট করুন।

LogParser.split_line("[INFO] Start.<*>[INFO] Processing...<~~~>[INFO] Success.")
# => ["[INFO] Start.", "[INFO] Processing...", "[INFO] Success."]

3. লগ থেকে আর্টিফ্যাক্ট সরান

আপনি দেখতে পেয়েছেন, লগের কিছু আপস্ট্রিম প্রসেসিং লগজুড়ে "end-of-line" টেক্সট এবং তার পরপর (মাঝে কোনো স্পেস ছাড়া) একটি লাইন নম্বর ছড়িয়ে দিয়েছে।

একটি স্ট্রিং নিয়ে সেখান থেকে সব end-of-line টেক্সট (কেস-ইনসেনসিটিভ) সরিয়ে ফেলে একটি পরিষ্কার লগ লাইন রিটার্ন করার জন্য remove_artifacts/1 ফাংশনটি ইমপ্লিমেন্ট করুন।

যে লাইনগুলোতে end-of-line টেক্সট নেই, সেগুলো অপরিবর্তিত রিটার্ন করা উচিত।

শুধু end-of-line স্ট্রিংটি সরান, হোয়াইটস্পেস ঠিক করার দরকার নেই।

LogParser.remove_artifacts("[WARNING] end-of-line23033 Network Failure end-of-line27")
# => "[WARNING]  Network Failure "

4. ইউজার নাম দিয়ে লাইন ট্যাগ করুন

আপনি লক্ষ্য করেছেন, কিছু লগ লাইনে এমন বাক্য আছে যা ইউজারদের নির্দেশ করে। এই বাক্যগুলোতে সবসময় "User" স্ট্রিংটি থাকে, তারপর এক বা একাধিক হোয়াইটস্পেস ক্যারেক্টার, আর তারপর একটি ইউজার নাম। আপনি সিদ্ধান্ত নেন এই ধরনের লাইন ট্যাগ করবেন।

লগ লাইন প্রসেস করার জন্য tag_with_user_name/1 ফাংশনটি ইমপ্লিমেন্ট করুন:

  • যে লাইনগুলোতে "User" স্ট্রিংটি নেই, সেগুলো অপরিবর্তিত থাকে।
  • যে লাইনগুলোতে "User" স্ট্রিংটি আছে, সেই লাইনের শুরুতে [USER] এবং তার পরে ইউজার নাম যোগ করুন।
LogParser.tag_with_user_name("[INFO] User Alice created a new project")
# => "[USER] Alice [INFO] User Alice created a new project"

আপনি ধরে নিতে পারেন যে:

  • "User" স্ট্রিংটির প্রতিটি উপস্থিতির পরে এক বা একাধিক হোয়াইটস্পেস ক্যারেক্টার এবং ইউজার নাম থাকে।
  • প্রতি লাইনে "User" স্ট্রিংটি সর্বোচ্চ একবার থাকে।
  • ইউজার নাম খালি নয় এমন স্ট্রিং, যাতে হোয়াইটস্পেস নেই।
GitHub-এর মাধ্যমে সম্পাদনা করুন লিংকটি একটি নতুন উইন্ডো বা ট্যাবে খোলে
Elixir Exercism

লগ পার্সার শুরু করতে প্রস্তুত?

Exercism-এ সাইন আপ করুন, Elixir ট্র্যাকের 58টি কনসেপ্ট168টি অনুশীলনী আর সত্যিকারের মানুষের মেন্টরিং দিয়ে শিখুন ও দক্ষ হয়ে উঠুন, সম্পূর্ণ বিনামূল্যে।