راه اندازی کافکا: 4 مرحله

2024 نویسنده: John Day | [email protected]. آخرین اصلاح شده: 2024-01-30 08:54

معرفی:

آپاچی کافکا یک سیستم پیام رسان مقیاس پذیر و با بازده بالا است که توسط بنیاد نرم افزار آپاچی در Scala نوشته شده است. Apache Kafka به گونه ای طراحی شده است که به یک خوشه اجازه می دهد تا به عنوان ستون فقرات داده اصلی برای یک محیط بزرگ عمل کند. در مقایسه با سایر سیستمهای کارگزار پیام مانند ActiveMQ و RabbitMQ ، دارای توان عملیاتی بسیار بالاتری است. این دستگاه قادر است حجم زیادی از داده های زمان واقعی را به طور کارآمد مدیریت کند. می توانید کافکا را روی سرور آپاچی واحد یا در یک محیط خوشه ای توزیع شده مستقر کنید.

امکانات:

ویژگیهای کلی کافکا به شرح زیر است:

پیغامی را که بر روی دیسک کار می کند ثابت نگه دارید.

توان بالا با ساختارهای دیسک که صدها هزار پیام را در ثانیه پشتیبانی می کند.

سیستم توزیع شده به راحتی و بدون خرابی مقیاس بندی می شود.

از چند مشترک پشتیبانی می کند و به طور خودکار مصرف کنندگان را در هنگام خرابی متعادل می کند.

این آموزش نحوه نصب و پیکربندی Apache Kafka در سرور اوبونتو 16.04 را نشان می دهد.

الزامات

سرور اوبونتو 16.04.

حساب کاربری غیر ریشه با امتیاز فوق العاده کاربر در سرور شما تنظیم شده است.

مرحله 1: شروع به کار و نصب جاوا

1) بیایید مطمئن شویم که سرور اوبونتو 16.04 شما کاملاً به روز است

با اجرای دستورات زیر می توانید سرور خود را به روز کنید:-

sudo apt -get update -y

sudo apt -get upgrade -y

2) نصب جاوا

با دستور زیر بررسی کنید که آیا دستگاه شما java دارد که قبلاً نصب شده است یا دارای نسخه پیش فرض java است:-

java -version

حتی اگر جاوا دارید اما نسخه پایین تری دارید ، باید آن را ارتقا دهید.

می توانید جاوا را توسط:

sudo apt-get install default-jdk

یا

می توانید Oracle JDK 8 را با استفاده از مخزن PPA تیم Webupd8 نصب کنید.

برای افزودن مخزن ، دستور زیر را اجرا کنید:-

sudo add-apt-repository -y ppa: webupd8team/java

sudo apt-get oracle-java8-installer -y را نصب کنید

مرحله 2: Zookeeper را نصب کنید

Zookeeper چیست؟

Zookeeper یک سرویس متمرکز برای حفظ اطلاعات پیکربندی ، نامگذاری ، ارائه همگام سازی توزیع شده و ارائه خدمات گروهی است. همه این نوع خدمات به نحوی توسط برنامه های توزیع شده استفاده می شود. هر بار که آنها اجرا می شوند ، کارهای زیادی برای رفع اشکالات و شرایط مسابقه اجتناب ناپذیر انجام می شود. به دلیل دشواری اجرای این نوع خدمات ، برنامه های کاربردی در ابتدا معمولاً از آنها صرف نظر می کنند ، که آنها را در صورت تغییر شکننده می کند و مدیریت آنها دشوار است. حتی اگر به درستی انجام شود ، پیاده سازی های مختلف این خدمات منجر به پیچیدگی مدیریت در هنگام استقرار برنامه ها می شود.

قبل از نصب Apache Kafka ، باید نگهبان باغ وحش را در دسترس داشته باشید و در حال اجرا باشید. ZooKeeper یک سرویس منبع باز برای حفظ اطلاعات پیکربندی ، ارائه همگام سازی توزیع شده ، نامگذاری و ارائه خدمات گروهی است.

1) به طور پیش فرض بسته Zookeeper در مخزن پیش فرض اوبونتو موجود است

با اجرای دستور زیر می توانید آن را نصب کنید:-

sudo apt-get zookeeperd را نصب کنید

پس از اتمام نصب ، به صورت خودکار به صورت یک شیطان شروع می شود. به طور پیش فرض Zookeeper روی پورت 2181 اجرا می شود.

می توانید با اجرای دستور زیر آن را آزمایش کنید:

netstat -ant | grep: 2181

خروجی باید به شما نشان دهد که درگاه 2181 در حال گوش دادن است.

مرحله 3: سرور کافکا را نصب و راه اندازی کنید

اکنون که جاوا و ZooKeeper نصب شده اند ، زمان بارگیری و استخراج کافکا از وب سایت آپاچی فرا رسیده است.

1) برای بارگیری کافکا می توانید از curl یا wget استفاده کنید: (کافکا نسخه 0.10.1.1)

برای بارگیری نصب kafka دستور زیر را اجرا کنید:-

curl -O

یا

wget

2) یک دایرکتوری برای کافکا ایجاد کنید

بعد ، یک دایرکتوری برای نصب کافکا ایجاد کنید:

sudo mkdir /opt /kafka

cd /opt /kafka

3) پوشه بارگیری شده را از حالت فشرده خارج کنید

sudo tar -zxvf /home/user_name/Downloads/kafka_2.11-0.10.1.1.tgz -C/opt/kafka/

*نام کاربری را با توجه به نام کاربری خود تغییر دهید

4) سرور kafka را راه اندازی کنید

مرحله بعدی راه اندازی سرور کافکا است ، می توانید آن را با اجرای kafka-server-start.sh اسکریپت واقع در /opt/kafka/kafka_2.11-0.10.1.1/bin/ با استفاده از دستور زیر شروع کنید:-

sudo /opt/kafka/kafka_2.11-0.10.1.1/bin/kafka-server-start.sh /opt/kafka/kafka_2.11-0.10.1.1/config/server.properties

5) بررسی کنید که سرور کافکا به خوبی کار می کند یا خیر

شما اکنون یک سرور کافکا دارید که روی پورت 9092 کار می کند و گوش می دهد.

اکنون ، ما می توانیم پورت های گوش دادن را بررسی کنیم:

- باغ وحش: 2181

کافکا: 9092

netstat -ant | grep -E ': 2181 |: 9092'

مرحله 4: سرور کافکا خود را آزمایش کنید

اکنون زمان آن رسیده است که بررسی کنیم سرور کافکا به درستی کار می کند.

1) ایجاد یک موضوع جدید

برای آزمایش کافکا ، یک موضوع نمونه با نام "آزمایش" در Apache Kafka با استفاده از دستور زیر ایجاد کنید:

/opt/kafka/kafka_2.11-0.10.1.1/bin/kafka-topics.sh-ایجاد-آزمایش موضوعی-zoookeeper localhost: 2181-پارتیشن 1-تکرار-عامل 1

2) بررسی کنید که آیا موضوع شما با موفقیت ایجاد شده است یا خیر

اکنون ، از Zookeeper بخواهید تا موضوعات موجود در Apache Kafka را با اجرای دستور زیر لیست کند:

/opt/kafka/kafka_2.11-0.10.1.1/bin/kafka-topics.sh-لیست --zookeeper localhost: 2181

3) با استفاده از موضوعی که ایجاد کرده اید پیام ارسال کنید

پژواک "سلام جهان" | /opt/kafka/kafka_2.11-0.10.1.1/bin/kafka-console-producer.sh-بروکر-لیست localhost: 9092-تست موضوع

4) پیام مربوط به موضوع ایجاد شده را دریافت کنید

/opt/kafka/kafka_2.11-0.10.1.1/bin/kafka-console-consumer.sh-bootstrap-server localhost: 9092-تست موضوع-از ابتدا

5) برای ارسال یک فایل با استفاده از kafka در مورد یک موضوع

kafka-console-producer.sh-بروکر-لیست localhost: 9092-تست موضوع