Cara melakukan transfer data menggunakan RSYNC di Centos




Tutorial  Linux Indonesia  --  Ketika   seorang  sysadmin,   ada  kalanya   melakukan   migrasi  server  atau   hanya  melakukan  perpindahan  data  dari satu  server  ke  server lainya. 

Ada  banyak  metode  yang  dapat  digunakan.  Tapi  yang  paling   efektif  untuk  melakukan  migrasi  server   adalah  rsync.

Kenapa   Rsync ??

Menurut   saya  lebih  praktis, efesien dan hemat  waktu.  Jika  menggunakan  metode  seperti  ftp,selain   konfigurasi  ftp server dan disisi client  harus melakukan  dial  atau  koneksi   terlebih  dahulu  ke  ftp server.

Berikut  analogy  dari  rsync,  dapat   kita  bandingkan  menggunakan  metode  rsync   dengan  metode  tradinasional. 

Lebih  simple  mana  ?? 
Metode Rysnc  atau   metode  tradinasional  ??


Cara   melakukan  transfer   data  menggunakan  RSYNC  di  Centos
Cara   melakukan  transfer   data  menggunakan  RSYNC  di  Centos



Yang  saya  maksud   Metode  Tradinasional    merupakan  download  data terlebih  dahulu  dari  server  dan  simpan  di  pc local  mereka.  Lalu   data  yang  sudah  di  download  dari  server,  mereka  melakukan  upload ke  server  tujuan  mereka.

Sedangkan  menggunakan  metode   rysnc  itu  sangat   simple  dan  mudah  digunakan, hanya  melakukan  sinkronisasi  file  atau  folder, sudah selesai  anda  melakukan  migrasi server. 

Artikel  Terkait 


Cara menginstal dan mengkonfigurasi rsyslog untuk server log Linux terpusat

Install Observium di Centos 7

Install Bacula Server di Centos 7


Install NMAP Network Security Scanner Centos 7



Konsep  dalam   penggunaan    rsync    sebenarnya  sangat  mudah, sepeti  ini. 

rsync –a directory_awal   directory_tujuan

ini  merupakan  konsep  dari    rsync  yang  melakukan  sinkronisasi   data  antara    folder  yang  masih  satu  server. 

Lalu   bagaimana    melakukan  sinkronisasi  mengguakan  2  server  yang berbeda  ? 

Ada  2  cara  penggunaanya yaitu   mengirim  dan  mengambil. Tergantung  dari  mana  kita  menggunakan  rsync tersebut.

Mengambil  dari  luar  

#Format  
Rsync  -a  username@remoteserver:direktory_sumber   directory_tujuan_serverlokal 
#contoh  
rsync -a root@10.10.10.2:/home/bagol69/coba2  /home/bagol69/coba1/


Mengirim ke  luar

#format  
rsync –a  direktorysumber _mesinlokal  username@remoteserver :/direktory_tujuan
#contoh 
rsync -a /home/adi/coba1/ root@10.10.10.2:/home/adi/coba2 --delete 

Setelah  melakukan  perintah  di  atas,  akan  diminta   password . Password  disni   adalah password  dari  mesin   yang  ada  di  luar. 

RSYNC    BERBEDA  PORT 

Rsync  berjalan  di atas  ssh.  Secara  default  ssh  menggunakan  port  22.  Secara  praktik  di  lapangan   ssh   ini  cukup  berbahaya   jika  menggunakan  port   default  22. 

Karena  efek  pergantian  port  tersebut  maka ketika  melakukan  perintah   rsync  kita  harus   menyesuaikan  dengan  port     yang  digunakan  oleh  remote  server. 




#Format:
rsync -arvz -e 'ssh -p ' username@remote_host:direktori_sumber  direktori_tujuan_pada_mesin_lokal
#Contoh:
rsync -arvz -e 'ssh -p 21112' adminhosting@hosting1:/backup2 /backup  


 


Read More

Cara Install dan Konfigurasi Apache Oozie Workflow Scheduler Untuk CDH 4.x di CentOS 7


Cara  Install  dan  Konfigurasi  Apache Oozie Workflow Scheduler Untuk   CDH 4.x  di CentOS 7

 

Tutorial  Linux Indonesia --   Ozzie  merupakan    aplikasi java    berbasis    web  open  source.  Untuk   menjadwalkan  apache  hadoop  jobs  di  lingkungan   terdistribusi. 



Cara  Install  dan  Konfigurasi  Apache Oozie Workflow Scheduler Untuk   CDH 4.x  di CentOS 7

Ini dapat  menggabungkan   beberapa  pekerjaan   yang  rumit   untuk  di jalankan  secara  berurutan   untuk mencapai  tugas     yang  lebih  besar. 


Dengan  urutan  tugas  dua  atau  lebih  pekerjaan    dapat  di  program   untuk  berjalan   secara  bersamaan  atau  secara  bergantian  satu  sama  lain. 


Ini   merupakan  tugas   untuk  penjadwalan   alur  kerja  untuk  hadoop.  Terintegrasi  hadoop  stacks  dengan  Yarn  sebagai  pusat  Arsitektual  dan mendukung   pekerjaan  Apache  Map  Reduce, Apache  PIG  dan  Apache  Sqoop.

 

Ini  menjadwalkan  Job  Khusus   seperti  Java  Programs   dan  Shell  Sripting. 

 

Pelajari  lebih  lanjut  tentang   Big  Data  Hadoop    dalam  tutorial    Big   Data  Hadoop  yang  lengkap  sekarang. 

 

Arsitekturs  : 


Cara  Install  dan  Konfigurasi  Apache Oozie Workflow Scheduler Untuk   CDH 4.x  di CentOS 7

Apache   Oozie  terdapat  dua  komponen    terdiri  dari

Work Flow engine:

 Berfungsi  untuk  menyimpan  dan  menjalankan  alur  kerja   dari  pekerjaan  hadoop.  Misalnya; Pig,  Hive  dan  Map  reduce. 


Coordinator Engine : 

Berfungsi  untuk  menjalankan pekerjaan alur  kerja   bedasarkan  waktu  yang telah  di  tentukan  dan   ketersediaan  data. 

 

Perlu  kamu  tau  Apache Ozzie   sangat   fleksibel  dalam  melakukan  tugasnya. 

Seorang  Big  Data  Enginner  dapat  denga  mudah  memulai, menghentikan  dan  menanguhkan  pekerjaan.   Apache  Ozzie   memiliki  fleksibilitas    untuk  memulai,  menghentikan   dan  menjalankan  kembali  pekerjaanya. 

Membuatnya  sangat  mudah    untuk mengulangi  pekerjaan  yang  gagal, bahkan    anda  dapat  melewati  node  gagal  terntentu.


 Baca  Juga  :   Daftar perintah dasar Apache Hadoop


Install  Apache   Oozie  di  CentOS /  Redhat 

Download CDH repository   dari     website  resmi.  Atau  anda  dapat   menggunakan  alternative, dengan  mengikuti  panduan di  bawah  ini. 

 

[root@master ~]# wget http://archive.cloudera.com/cdh4/one-click-install/redhat/6/x86_64/cloudera-cdh-4-0.x86_64.rpm


Setelah  berhasil   download   rpm  package   CDH, install  menggunakan  command  di  bawah  ini. 


[root@master ~]# yum --nogpgcheck localinstall cloudera-cdh-4-0.x86_64.rpm 

Sekarang  install   Ozzie.

[root@master ~]# yum  install   oozie  -y



Konfigurasi   Oozie   CentOS / Redhat

Install  Mysql  untuk  Database  server  dan    buat    database  untuk  Oozie.  Jangan  lupa  untuk  berikan  ijin  dan  hak  akses  terhadap  database Ozzie.  Menggunakan   command  di  bawah  ini.


[root@master ~]# mysql -u  root  -p
Enter password:
Welcome to the MariaDB monitor.  Commands end with ; or \g.
Your MariaDB connection id is 3
Server version: 5.5.60-MariaDB MariaDB Server
Copyright (c) 2000, 2018, Oracle, MariaDB Corporation Ab and others.
Type 'help;' or '\h' for help. Type '\c' to clear the current input statement.
MariaDB [(none)]>
MariaDB [(none)]>create database oozie;
MariaDB [(none)]>grant all privileges on oozie.* to 'oozie'@'localhost' identified by 'oozie';
MariaDB [(none)]>grant all privileges on oozie.* to 'oozie'@'%' identified by 'oozie';
MariaDB [(none)]>exit

Jalankan  perintah  di  bawah  ini  untuk  download  dan  sambungkan  koneksi  Mysql  Connector  ke    Ozzie.  


[root@master ~]# cd /tmp/
[root@mastertmp]# wget http://dev.mysql.com/get/Downloads
/Connector-J/mysql-connector-java-5.1.31.tar.gz

Lakukan   extract   dan   copy   file  mysql  connector  ke   folder  oozie.


[root@master tmp]# tar -zxf mysql-connector-java-5.1.31.tar.gz
[root@master tmp]# cd mysql-connector-java-5.1.31
[root@master mysql-connector-java-5.1.31]# cp mysql-connector-java-5.1.31-bin.jar /var/lib/oozie/

Jalankan  perintah  di  bawah  ini  untuk    membuat    database  schema   oozie. 


[root@master ~]# sudo -u oozie /usr/lib/oozie/bin/ooziedb.sh create -run
  setting OOZIE_CONFIG=/etc/oozie/conf
  setting OOZIE_DATA=/var/lib/oozie
  setting OOZIE_LOG=/var/log/oozie
.
.
.
  setting CATALINA_OPTS=" $CATALINA_OPTS -Doozie.https.keystore.pass=${OOZIE_HTTPS_KEYSTORE_PASS}" 
 
Validate DB Connection
DONE
Check DB schema does not exist
DONE
Check OOZIE_SYS table does not exist
DONE
Create SQL schema
DONE
Create OOZIE_SYS table
DONE


Aktifkan  Ozzie  Console  berbasis  Web  Based, jalankan  perintah  di  bawah  ini  untuk  download  Ozzie  Web  Based  dan  extract  File  yang  sudah  berhasill  anda  download.  



Pindahkan   file   yang  sudah  berhasil  anda    extract  ke  folder   oozie.


[root@master ~]# cd  /tmp/

[root@master tmp]# wget http://archive.cloudera.com/gplextras/misc/ext-2.2.zip
[root@master tmp]#  unzip ext-2.2.zip
[root@master tmp]# mv ext-2.2 /var/lib/oozie/

Lakukan    restart   services   oozie menggunakan  command  di bawah  ini.


[root@master tmp]# service oozie status
not running
[root@master tmp]# service oozie  start
running
[root@master tmp]#

Pastikan     web  console  oozie   sudah    berhasil   running. 


[root@master tmp]# oozie admin -oozie http://localhost:11000/oozie -status
System mode: NORMAL
[root@master tmp]#

 Anda  dapat  mengakses   Apache  Ozzie  Dashboard, menggunakan  tautan  link  

http://alamatipanda:11000/oozie 

atau  

http://domainanda:11000/oozie

Akan  terlihat    tampilan  dashboard  Apache  Ozzie  seperti  gambar  di  bawah ini. 

                            Cara  Install  dan  Konfigurasi  Apache Oozie Workflow Scheduler Untuk   CDH 4.x  di CentOS 7



Anda  sudah  berhasil  instalasi   dan  Konfigurasi  Apache  Oozie,  nantikan   panduan   Big  Data  lainya.  JIka  artikel  ini  bermanfaat  untuk  anda,  silahkan  share  ke teman-teman  anda. 


Read More

Install R dan Rstudio di CentOS 7


Tutorial  Linux Indonesia  -   R  merupakan  bahasa  pemrograman   yang  digunakan  untuk  analisi   stastik  data.  Bahasa  R   dikelola  oleh   R  Foundation.  

RStudio  adalah llingkungan  pengembangan   terintegrasi  ( IDE )  gratis  untuk  bahasa  pemrograman  R.  

Install   R dan   Rstudio di  CentOS  7




Untuk   CentOS 7,  R hanya   tersedia  di   repository  epel-release.  Pertama   yang  anda  lakukan  adalah  install  package   repository  epel-release.  Menggunakan  command  di  bawah  ini. 



[root@bagol69 ~]# yum  install  epel-release  -y


Sekarang  anda  dapat   install  package    R  menggunakan   command  di  bawah  ini. 

[root@bagol69 ~]# yum  install  R

Baca  juga  :   Daftar perintah dasar Apache Hadoop


Anda  dapat  langsung mengunakan     bahasa  pemrograman  untuk  melakukan  analisis  data  stastik  anda.   Melalui   console  server  anda. 

[root@bagol69 ~]# R
R version 3.5.1 (2018-07-02) -- "Feather Spray"
Copyright (C) 2018 The R Foundation for Statistical Computing
Platform: x86_64-redhat-linux-gnu (64-bit)
 
R is free software and comes with ABSOLUTELY NO WARRANTY.
You are welcome to redistribute it under certain conditions.
Type 'license()' or 'licence()' for distribution details.
  Natural language support but running in an English locale
R is a collaborative project with many contributors.
Type 'contributors()' for more information and
'citation()' on how to cite R or R packages in publications.
Type 'demo()' for some demos, 'help()' for on-line help, or
'help.start()' for an HTML browser interface to help.
Type 'q()' to quit R.
[Previously saved workspace restored]
 



Anda  dapat  melakukan  analisis   data   berbasis   WEB  GUI.   Tanpa  perlu   login  terlebih  dahulu ke  console  server  anda.   Langsung  download   Rstudio  Server   versi  terakhir  dan  stabil. 

[root@bagol69 ~]# wget https://download2.rstudio.org/rstudio-server-rhel-1.1.453-x86_64.rpm

Dan  install   package   rstudio  server  yang  sudah  anda  download  sebelumnya. 

[root@bagol69 ~]# yum install rstudio-server-rhel-1.1.453-x86_64.rpm -y

Sekarang anda  restart     services   rstudio-server.  


[root@bagol69 ~]# systemctl start  rstudio-server
[root@bagol69 ~]# systemctl enabled  rstudio-server
[root@bagol69 ~]# systemctl restart  rstudio-server
[root@bagol69 ~]# systemctl status   rstudio-server
● rstudio-server.service - RStudio Server
   Loaded: loaded (/etc/systemd/system/rstudio-server.service; enabled; vendor preset: disabled)
   Active: active (running) since Sun 2018-11-18 07:11:01 EST; 6min ago
  Process: 622 ExecStart=/usr/lib/rstudio-server/bin/rserver (code=exited, status=0/SUCCESS)
 Main PID: 650 (rserver)
   CGroup: /system.slice/rstudio-server.service
           └─650 /usr/lib/rstudio-server/bin/rserver
Nov 18 07:10:59 bagol69 systemd[1]: Starting RStudio Server...
Nov 18 07:11:01 bagol69 systemd[1]: Started RStudio Server.
[root@bagol69 ~]#

Anda   dapat  menggunakan   Rstudio   dengan membuka  port   8787  (  secara default  ).  

Ya  rstudio    dapat  di  akses  menggunakan  link  berikut.

atau
 
 
Nanti  akan   diminta  login   Rstudio,  pastikan  user  untuk   login  sudah  di  buat   sebelumnya.  Secara  default   Rstudio  menggunakan  user   sudo. 



Pada    panduan  ini,  saya  menggunakan   user   bagol69  untuk  login Rstudio.






Tampilan   dashboard Rstudio  Server.   Jika  anda  sudah  berhasil  login  Rstudio. 



Install   R dan   Rstudio di  CentOS  7

 

Kami  telah  berhasil   menginstall  R  dan  bahasa  pemrograman  R ke  server  jauh.   Ini  memngkinkan  anda  untuk  melakukan  analisis  data yang  anda  memiliki. 



Jika  anda  ingin  mempelajari   lebih  lanjut  dan  dalami    bahasa  R  tempat  yang  baik   untuk  memulai  adalah   manual R resmi.   Terimakasih  sudah membaca  panduan    install    R sederhana dari kami. 
 

Read More