AI আমাদের আইটি সেক্টরের জন্য ব্লেসিং

বর্তমানে আমরা AI-এর র‍্যাপিড গ্রোথ লক্ষ্য করছি। এক AI টুল আরেক AI টুলকে টক্কর দেওয়ার জন্য প্রতিযোগিতায় নেমেছে। গত কয়েক দিন আগে আমরা ChatGPT এবং DeepSeek-এর মধ্যে প্রতিযোগিতা দেখলাম, যা এখনও চলমান। AI খুব দ্রুত পাওয়ারফুল হয়ে উঠছে।

আমরা রিসেল্টলি একটি প্রবলেমে ফেইস করতেছি। আমাদের ডেটাবেজে কয়েক হাজার প্রোডাক্ট রয়েছে। আমরা ১০-২০ হাজারের বেশি নতুন প্রোডাক্ট ইম্পোর্ট করবো। তবে ইম্পোর্ট করতে গিয়ে দেখলাম, কিছু কিছু প্রোডাক্ট আমাদের ডেটাবেজে ইতোমধ্যে আছে, কিন্তু তাদের টাইটেলে কিছু পরিবর্তন রয়েছে।

যেমন, আমাদের টেবিলে ‘PS Plus One Month’ নামে একটি প্রোডাক্ট রয়েছে, অথচ আমরা যে নতুন ১ হাজার প্রোডাক্ট ইম্পোর্ট করছি, তাতে ‘PS Plus Monthly Membership’ নামে একটি প্রোডাক্ট আছে।

আমরা চাচ্ছিলাম এই ধরনের ডুপ্লিকেট প্রোডাক্ট অটোমেটিকভাবে ডিটেক্ট করতে।

এর জন্য আমরা একটি ফ্রি Sentence Transformer AI model এবং Milvus Vector ডেটাবেজ ব্যবহার করি। ট্রেইনিং ছাড়াই মেক্সিমাম ডুপ্লিকেট প্রডাক্টি অটো ডিটেক্ট করতে পারতেছে। এটা সত্যিই এমেজিং। আর Milvus Vector ডেটাবেজ ইউজ করার কারন হচ্ছে ১০০ মিলিয়ন+ প্রোডাক্ট থাকলেও দ্রুত সার্চ করে রেসাল্ট দেখাতে পারবে।

আমরা যদি AI না ইউজ করতে করতাম, তাহলে আমাদের অনেক সময় এবং অনেক ম্যানুয়াল রুইলস লিখতে হত। কিন্তু AI ব্যবহারের ফলে, মাত্র একদিনেই আমরা একটি প্রাথমিক ডুপ্লিকেট ডিটেক্টর তৈরি করতে সক্ষম হয়েছি।

আর আমি প্রজেক্টটি ডেভেলপ করতেও AI এর হেল্প নিয়েছি। একই প্রম্পট ব্যবহার করে ChatGPT-o1, DeepSeek R1, এবং Qwen-এ কম্পেয়ার করেছি। DeepSeek R1 এবং Qwen Coder থেকে অনেক ভালো রেসাল্ট পেয়েছি।

ChatGPT লঞ্চের পর থেকে এটি নিয়মিত ব্যবহার করছি। সিম্পল কাজগুলো করতে কোনো সময়ই লাগছে না, প্রোডাক্টিভিটি অনেক বেড়ে গেছে। সত্যিই, AI আমাদের আইটি সেক্টরের জন্য ব্লেসিং।

তবে এর একটি উল্টো দিকও আছে। যারা নতুন, তারা যদি ফান্ডামেন্টাল বিষয়গুলো না শিখে শুধুমাত্র AI-এর ওপর নির্ভরশীল হয়ে পড়ে, তাহলে তা ক্যারিয়ারের জন্য বড় বিপদের কারণ হতে পারে।

বর্তমানে একজন জুনিয়র ডেভেলপারের কাজ AI সহজেই করে দিচ্ছে। ফলে, আগে যে পরিমাণ দক্ষতা থাকলেই একজন জুনিয়র ডেভেলপার হিসেবে সফটওয়্যার কোম্পানিতে যোগ দেওয়া সম্ভব ছিল, ভবিষ্যতে সেটি হয়তো আর সম্ভব হবে না।

নতুনদের জন্য পরামর্শ থাকবে ফান্ডামেন্টাল বিষয়গুলো ভালোভাবে শেখা। শেখার সময় AI ব্যবহার করে সরাসরি প্রবলেম সল্ভ না করে, আগে নিজে চেষ্টা করা। সল্ভ করার পর AI-এর সল্যুশনের সঙ্গে কম্পেয়ার করা এবং নতুন নতুন সল্যুশনের ওয়েগুলো শেখা।

ডুপ্লিকেট প্রোডাক্ট ডিটেক্টর এর রেসাল্ট

এটি কিভাবে কাজ করছে?

Embedding Generation:
Product titles are converted into vector embeddings using a pre-trained Sentence Transformer model (all-MiniLM-L6-v2 by default).

Milvus Integration:
The embeddings are stored in a Milvus collection, and similarity searches are performed to identify duplicates.

Duplicate Detection:
Titles with a similarity score above a specified threshold are flagged as duplicates.

পরিশেষে

বাংলা ও ইংরেজি মিক্স করে পোস্ট করার জন্য দুঃখিত। যদি আপনাদের কাছে ডুপ্লিকেট প্রোডাক্ট সনাক্ত করার জন্য এর চেয়ে ভালো কোনো সমাধান জানা থাকে, তাহলে দয়া করে শেয়ার করবেন। ধন্যবাদ।

2 Likes