კაფკას დაყენება: 4 ნაბიჯი

2024 ავტორი: John Day | [email protected]. ბოლოს შეცვლილი: 2024-01-30 10:18

შესავალი:

Apache Kafka არის ღია კოდის მასშტაბირებადი და მაღალი გამტარუნარიანობის შეტყობინებების სისტემა, რომელიც შემუშავებულია Apache პროგრამული უზრუნველყოფის ფონდის მიერ, დაწერილი სკალაში. Apache Kafka სპეციალურად შექმნილია იმისთვის, რომ ერთი მტევანი იყოს ცენტრალური მონაცემთა ცენტრი დიდი გარემოსთვის. მას აქვს ბევრად უფრო მაღალი გამტარუნარიანობა სხვა შეტყობინებების ბროკერის სისტემებთან შედარებით, როგორიცაა ActiveMQ და RabbitMQ. მას შეუძლია ეფექტურად გაუმკლავდეს რეალურ დროში დიდი მოცულობის მონაცემებს. თქვენ შეგიძლიათ განათავსოთ კაფკა ერთ Apache სერვერზე ან განაწილებულ კლასტერულ გარემოში.

Მახასიათებლები:

კაფკას ზოგადი მახასიათებლები შემდეგია:

გამყარდეს შეტყობინება დისკზე, რომელიც უზრუნველყოფს მუდმივ დროის მუშაობას.

მაღალი გამტარუნარიანობა დისკის სტრუქტურებით, რომელიც მხარს უჭერს ასობით ათასი შეტყობინებას წამში.

განაწილებული სისტემა ადვილად მასშტაბირდება გათიშვის გარეშე.

მხარს უჭერს მრავალ აბონენტს და ავტომატურად აბალანსებს მომხმარებლებს წარუმატებლობის დროს.

ეს გაკვეთილი გვიჩვენებს, თუ როგორ უნდა დააყენოთ და დააკონფიგურიროთ Apache Kafka Ubuntu 16.04 სერვერზე.

მოთხოვნები

Ubuntu 16.04 სერვერი.

თქვენს სერვერზე დაყენებული არა root მომხმარებლის ანგარიში სუპერ მომხმარებლის პრივილეგიით.

ნაბიჯი 1: დაწყება და ჯავის დაყენება

1) დავიწყოთ იმის დარწმუნებით, რომ თქვენი Ubuntu 16.04 სერვერი სრულად არის განახლებული

თქვენ შეგიძლიათ განაახლოთ თქვენი სერვერი შემდეგი ბრძანებების შესრულებით:-

sudo apt -get განახლება -y

sudo apt -get განახლება -y

2) ჯავის დაყენება

შეამოწმეთ აქვს თუ არა თქვენს კომპიუტერს java უკვე დაინსტალირებული ან აქვს java default ვერსია შემდეგი ბრძანებით:-

java -ვერსია

მაშინაც კი, თუ თქვენ გაქვთ java, მაგრამ ქვედა ვერსია, თქვენ მოგიწევთ მისი განახლება.

თქვენ შეგიძლიათ დააინსტალიროთ Java:

sudo apt-get install default-jdk

ან

თქვენ შეგიძლიათ დააინსტალიროთ Oracle JDK 8 Webupd8 გუნდის PPA საცავის გამოყენებით.

საცავის დასამატებლად შეასრულეთ შემდეგი ბრძანება:-

sudo add-apt-repository -y ppa: webupd8team/java

sudo apt-get დააინსტალირეთ oracle-java8-installer -y

ნაბიჯი 2: დააინსტალირეთ Zookeeper

რა არის ზოოპარკი?

Zookeeper არის ცენტრალიზებული სერვისი კონფიგურაციის ინფორმაციის შესანარჩუნებლად, დასახელებისთვის, განაწილებული სინქრონიზაციის უზრუნველსაყოფად და ჯგუფური სერვისების უზრუნველსაყოფად. ყველა ამ სახის მომსახურება გამოიყენება ამა თუ იმ ფორმით განაწილებული პროგრამებით. ყოველ ჯერზე, როდესაც ისინი ხორციელდება, ბევრი სამუშაოა, რაც მიდის შეცდომების დაფიქსირებასა და რბოლის პირობებში, რომლებიც გარდაუვალია. ამგვარი სერვისების განხორციელების სირთულის გამო, პროგრამები, როგორც წესი, არ იცავენ მათზე, რაც მათ მყიფე ხდის ცვლილებების თანდასწრებით და ძნელია მართვა. მაშინაც კი, როდესაც ეს კეთდება სწორად, ამ სერვისების სხვადასხვა განხორციელება იწვევს მენეჯმენტის სირთულეს, როდესაც პროგრამები განლაგებულია.

Apache Kafka- ს დაყენებამდე, თქვენ უნდა გქონდეთ ზოოპარკი ხელმისაწვდომი და გაშვებული. ZooKeeper არის ღია კოდის სერვისი კონფიგურაციის ინფორმაციის შესანარჩუნებლად, განაწილებული სინქრონიზაციის უზრუნველსაყოფად, დასახელებისათვის და ჯგუფური სერვისების უზრუნველსაყოფად.

1) სტანდარტულად Zookeeper პაკეტი ხელმისაწვდომია Ubuntu– ს ნაგულისხმევ საცავში

თქვენ შეგიძლიათ დააინსტალიროთ იგი შემდეგი ბრძანების შესრულებით:-

sudo apt-get დააინსტალირეთ zookeeperd

ინსტალაციის დასრულების შემდეგ, ის ავტომატურად დაიწყება დემონის სახით. სტანდარტულად Zookeeper იმუშავებს პორტზე 2181.

თქვენ შეგიძლიათ შეამოწმოთ იგი შემდეგი ბრძანების შესრულებით:

netstat -ant | grep: 2181

გაშვებული უნდა აჩვენოს, რომ პორტი 2181 უსმენს.

ნაბიჯი 3: დააინსტალირეთ და დაიწყეთ Kafka სერვერი

ახლა, როდესაც Java და ZooKeeper დაინსტალირებულია, დროა ჩამოტვირთოთ და ამოიღოთ კაფკა Apache– ის ვებ – გვერდიდან.

1) კაფკას გადმოსაწერად შეგიძლიათ გამოიყენოთ curl ან wget: (კაფკას ვერსია 0.10.1.1)

გაუშვით შემდეგი ბრძანება kafka კონფიგურაციის ჩამოსატვირთად:-

დახვევა -O

ან

wget

2) შექმენით დირექტორია კაფკასთვის

შემდეგი, შექმენით დირექტორია კაფკას ინსტალაციისთვის:

sudo mkdir /opt /kafka

cd /opt /kafka

3) გახსენით გადმოწერილი საქაღალდე

sudo tar -zxvf /home/user_name/Downloads/kafka_2.11-0.10.1.1.tgz -C/opt/kafka/

*შეცვალეთ მომხმარებლის სახელი თქვენი მომხმარებლის სახელის მიხედვით

4) დაიწყეთ kafka სერვერი

შემდეგი ნაბიჯი არის Kafka სერვერის დაწყება, თქვენ შეგიძლიათ დაიწყოთ kafka-server-start.sh სკრიპტის გაშვებით, რომელიც მდებარეობს /opt/kafka/kafka_2.11-0.10.1.1/bin/ დირექტორიაში შემდეგი ბრძანების გამოყენებით:-

sudo /opt/kafka/kafka_2.11-0.10.1.1/bin/kafka-server-start.sh /opt/kafka/kafka_2.11-0.10.1.1/config/server.properties

5) შეამოწმეთ მუშაობს თუ არა Kafka სერვერი

ახლა თქვენ გაქვთ კაფკას სერვერი, რომელიც მუშაობს და უსმენს 9092 პორტს.

ახლა ჩვენ შეგვიძლია შევამოწმოთ მოსმენის პორტები:

- ზოოპარკი: 2181

- კაფკა: 9092

netstat -ant | grep -E ': 2181 |: 9092'

ნაბიჯი 4: შეამოწმეთ თქვენი Kafka სერვერი

ახლა დროა შეამოწმოთ Kafka სერვერი სწორად მუშაობს.

1) შექმენით ახალი თემა

კაფკას შესამოწმებლად შექმენით თემის ნიმუში სახელწოდებით "ტესტირება" Apache Kafka– ში შემდეგი ბრძანების გამოყენებით:

/opt/kafka/kafka_2.11-0.10.1.1/bin/kafka-topics.sh-შექმენით-თემატური ტესტირება-Zookeeper localhost: 2181-დანაყოფები 1-გამეორება-ფაქტორი 1

2) შეამოწმეთ წარმატებით შეიქმნა თქვენი თემა

ახლა სთხოვეთ Zookeeper– ს ჩამოთვალოს ხელმისაწვდომი თემები Apache Kafka– ზე შემდეგი ბრძანების შესრულებით:

/opt/kafka/kafka_2.11-0.10.1.1/bin/kafka-topics.sh-სია --zookeeper localhost: 2181

3) გამოაქვეყნეთ შეტყობინება თქვენს მიერ შექმნილი თემის გამოყენებით

ექო "გამარჯობა სამყარო" | /opt/kafka/kafka_2.11-0.10.1.1/bin/kafka-console-producer.sh-broker-list localhost: 9092-თემატური ტესტირება

4) მიიღეთ შეტყობინება შექმნილ თემაზე

/opt/kafka/kafka_2.11-0.10.1.1/bin/kafka-console-consumer.sh-bootstrap-server localhost: 9092-თემატური ტესტირება-თავიდან

5) გაგზავნეთ ფაილი kafka– ს გამოყენებით თემაზე

kafka-console-producer.sh-broker-list localhost: 9092-თემატური ტესტირება