As part of the expansion of the connection between the rooms, I decided to implement new technologies that allow communication without modernizing the apartment. Searching for technologies enabling the implementation of the idea, I noticed that the most common option chosen is the wireless network, PLC and thin twisted pair (through the door). Reading various opinions about the PLC I came across many devices that did not meet my expectations. Often in the product description there was information that the maximum speed was 1300Mbps and they actually reached 150 - 200 Mbps. I postponed the topic for a while and temporarily used the bridge between MT cAP AC.

While expanding my small server environment with a 10Gbps network, I noticed that Mikrotik also produces PLC devices. Most of the products available in the company's offer provide a speed of 100Mbps plus wireless technologies and the latest PRO device that will be tested.

What is a PLC?

PLC is short for power line communication.
In non-technical language, Internet via electricity. It is a technology holding as many opponents as supporters and myself to any of them do not belong.

Device

The latest product PWR-LINE PRO, providing LAN connection through the power network, colloquially speaking Network over network. According to the specification within a top speed 600Mbps, which was not a big surprise but more of astonishment, what is the reason for such a low speed? Finding any information about this device is almost impossible, in addition to the manufacturer's website. Let me share with you my opinion about this device and verify information about its performance.

The device is in the "Data over Powerlines" category and is built on the same chipset as the competitor's TP-Link TL-PA8010P device.

The device has two sockets, the first of which connects the power cable, and the second one is for connecting a computer or device with the possibility of power through POE. I tested the POE power supply on Mikrotik CRS109-8G-1S-2HnD-IN device and it worked correctly. Between the sockets, there is a button for resetting and creating a connection between the modules. Lighted diodes inform us that the device is on (blue LED), communicates between modules (orange LED), there is an activity between computers (green LED) and active POE supply (red LED). It also has a manual switch to turn on the POE power.

We do not need anything more, the device is easy to configure. Just turn on, keep synchronization button and there is a connection between computers.

More information about the device on the manufacturer's website or online store.

Tests

Each of the tests was performed with the iperf3 program with the time set for the old apartment of 10 seconds and the new apartment of 30 seconds. I made a single connection between the computers, in most cases, it showed no diametrical difference.

The purpose of the tests was to show reliable results and to present the importance of building a power grid in various locations.
What conclusions should result from the tests performed:
- the impact of the network infrastructure on the speed,
- does the distance matter,
- whether interference devices such as a fridge, washing machine, etc. affect the transmission.

Old apartment - old network without ground

The goal is to show the operation of devices in the old power grid where it is not possible to use the 3-core cable (grounded cable) required for maximum speed.

Legend:
Strip - connection within one strip with grounding.
Room - kitchen - the same circuit with a fridge along the way - greater distance
Room - corridor - the same circuit - smaller distance

Connections under the old network are at a level adequate to the competition. Slight drops at a greater distances caused by other devices.

The network is suitable for Internet use up to 150Mbps, an additional PWR-Line with a wireless transmitter is recommended for larger connections.

New apartment - grounded network

In this scenario, I did more tests with different variants. At the beginning let's look at the chart below.

Legend:
- Room - one circuit - same room
- Corridor - one circuit - corridor on the way to fuses
- Server - separate circuit
- Living room - separate circuit
- Living room - no fridge - separate circuit - fridge off
- Living room - cheap strip - separate circuit

What was the purpose of breaking down the tests into details?

As part of a connection in one room, I wanted to check what I can get the fastest connection between computers on one circuit. I am a bit negatively surprised by the result because I expected the speed of 600Mbps and obtained 370Mbps. It's not bad but it could have been better. It is suitable for connection when we want to use a provider offering over 300 Mbps. Test made on a double socket. It is worth noting that when connecting, for example, a switch to the second socket, the speed drops to 100Mbps and is the equivalent of a connection on a cheap strip.

The test in the corridor had a symbolic purpose, it could be useful when installing an IP camera powered by POE. Transmission at an above-average level.

Server - The most important scenario, the connection from the room to the small server room came out average but better than in the old apartment. The location is in a separate circuit, has a grounding, there are no interference devices and connected to a single power outlet. The solution can be used by patient people because the speed is not suitable for communication with servers. However, the goal was simple - to make quick backups.

Living room - the largest distance between devices. The main goal is to strengthen the wireless network and provide Internet to devices such as the console and TV. In this case, the PLC was to be the main Internet provider and served as a backup link, the bridge between cAP AC works much better. Just like in the case of the Corridor, it can be used as a power supply, for communication for IP cameras or a backup connection.

In addition, I performed two tests in the living room:

Without the fridge - I checked, how the PLC works without one of the biggest enemies like a fridge. Often in various materials available on the Internet, it is said that enemies for PLCs are washing machines and refrigerators. To be honest, I haven't noticed big changes with or without the fridge turned on. Importantly, the fridge is in a separate circuit and is not connected via a strip. The fridge's greater impact on transmissions was in the old network, where the whole devices worked on one circuit.

Cheap strip - a symbolic test to check whether the use of the strip helps or harms. The connection was between rooms, where one of the devices was connected to the so-called cheap strip that has no fuse and only distributes electricity. As can be seen in the chart, it only injure and is the equivalent of a double socket connection.

The subject of the strip in the tests appeared twice, in the scenario with the Living room worsens the results but when solving P2P using the strip, it showed the maximum speed that is possible in connection with grounding (three-core wires).

For comparison, it shows a graph of connections between computers without the use of any switch devices and PLCs.

Summary

Devices worth recommending to ensure transmission and power supply of simple devices such as IP cameras or other IoTs. For less demanding people who do not want to build MESH networks, this is an ideal solution. What is worth mentioning is the increased security compared to a wireless network. As part of the PLC network, we have secure transmission, and using Mikrotik devices, we can easily further encrypt traffic using IPSEC.

The negative side of the device is that it occupies a socket. As compensation, Mikrotik provided POE power supply, which is enough for a camera, IoT, or network devices such as Switch or Access Point.

Equipment for testing has been provided by the store www.wisp.pl

W ramach rozbudowy połączenia pomiędzy pomieszczeniami, zdecydowałem o wdrożeniu nowych technologii pozwalających na komunikacje bez modernizacji mieszkania. Szukając technologii umożliwiających zrealizowanie pomysłu, dostrzegłem, że najczęstszym wybieranym wariantem jest sieć bezprzewodowa, PLC a na końcu cienka skrętka (przez drzwi). Czytając różnie opinie na temat PLC napotkałem wiele urządzeń, które nie spełniały moich oczekiwań. Często w opisie produktu były informację o tym, że maksymalna prędkość to 1300Mbps a rzeczywiście osiągały 150 - 200 Mbps. Temat odłożyłem na później i chwilowo korzystałem z mostu pomiędzy MT cAP AC.

Przy okazji rozbudowywania mojego małego środowiska serwerowego o sieć 10Gbps zauważyłem, że firma Mikrotik również produkuje urządzenia PLC. Większość produktów dostępnych w ofercie firmy, zapewnia prędkość na poziomie 100Mbps plus technologie bezprzewodowe oraz najnowsze urządzenie PRO, które będzie podlegać testom.

Czym jest PLC ?

PLC jest to skrót od power line communication, czyli po polsku komunikacja elektroenergetyczną siecią rozdzielczą.

Mówiąc językiem nie technicznym, Internet przez prąd. Jest to technologia posiadająca tyle samo przeciwników, co zwolenników zaś ja do żadnych z nich nie należę.

Urządzenie

Najnowszy produkt PWR-LINE PRO, zapewniający połączenie LAN przez sieć energetyczną czyli kolokwialnie mówiąc Sieć przez sieć. Według specyfikacji rozwija prędkość w granicach 600Mbps, co nie było wielkim zaskoczeniem a bardziej zdziwieniem, skąd taka niska prędkość. Znalezienie jakikolwiek informacji na temat tego urządzenia graniczy z cudem, oprócz strony producenta. Pozwolę sobie podzielić się z Wami moją opinią dotyczącą tego urządzenia i zweryfikować informację na temat jego wydajności.

Urządzenie znajduje się w kategorii "Data over Powerlines" i jest zbudowane na tym samym chipsecie, co konkurencyjne urządzenie firmy TP-Link TL-PA8010P.

Urządzenie posiada dwa gniazda, do pierwszego z nich podłączamy kabel zasilający, zaś do drugiego komputer lub urządzenie z możliwością zasilania przez POE. Zasilanie POE przetestowałem na urządzeniu Mikrotik CRS109-8G-1S-2HnD-IN i działało prawidłowo. Pomiędzy gniazdami jest przycisk do resetowania i tworzenia połączenia pomiędzy modułami. Zapalone diody informują nas, że urządzenie jest włączone (niebieski LED), komunikuje się pomiędzy modułami (pomarańczowy LED), jest aktywność pomiędzy komputerami (zielony LED) i aktywnym zasilaniu POE (czerwony LED). Posiada również przełącznik manualny do włączania zasilania POE.

Nic więcej nam nie potrzeba, urządzenie jest proste w konfiguracji. Wystarczy podłączyć, przytrzymać sync i następuje połączenie pomiędzy komputerami.

Więcej informacji na temat urządzenia na stronie producenta lub sklepu internetowego.

Testy

Każdy z testów został wykonany programem iperf3 z ustawionym czasem dla starej lokalizacji 10 sekund i dla nowej 30 sekund. Wykonywałem pojedyncze połączenie pomiędzy komputerami, w większej ilości nie wykazało diametralnego różnicy.

Celem testów było ukazanie wiarygodnych wyników i przedstawienie znaczenia budowy sieci energetycznej w różnych lokalizacjach.

Jakie wnioski powinny wyniknąć z wykonywanych testów:
- wpływ infrastruktury sieci na prędkość,
- czy odległość ma znaczenia,
- czy urządzenia zakłócające, takie jak lodówka, pralka itp. wpływają na transmisję.

Stare mieszkanie - stara sieć bez uziemienia

Celem jest pokazanie działania urządzeń w starej sieci energetycznej, gdzie nie ma możliwości skorzystania z trzeciej żyły wymaganej do maksymalnej prędkości.

Legenda:
Listwa - połączenie w ramach jednej listwy z uziemieniem.
Pokój - kuchnia - ten sam obwód z lodówką po drodze - większa odległość
Pokój - korytarz - ten sam obwód - mniejsza odległość

Połączenia w ramach starej sieci są na poziomie adekwatnym do konkurencji. Delikatne spadki przy większej odległości spowodowane innymi urządzeniami.

Sieć nadaje się do korzystania z Internetu do prędkości 150Mbps, przy większym łączu zalecany jest dodatkowy PWR-Line z nadajnikiem sieci bezprzewodowej.

Nowe mieszkanie - sieć z uziemieniem

W tym scenariuszu wykonałem więcej testów z różnymi wariantami. Na początku przyjrzyjmy się poniższemu wykresowi.

Legenda:
- Pokój - jeden obwód - ten sam pokój
- Korytarz - jeden obwód - korytarz po drodze do bezpieczników
- Serwer - osobny obwód
- Salon - osobny obwód
- Salon - bez lodówki - osobny obwód - wyłączona lodówka
- Salon - tania listwa - osobny obwód

Jaki cel miało rozbicie testów na szczegóły ?

W ramach połączenia w jednym pokoju, chciałem sprawdzić jakie mogę uzyskać najszybsze połączenie pomiędzy komputerami w ramach jednego obwodu. Jestem trochę negatywnie zaskoczony wynikiem, ponieważ oczekiwałem prędkości w granicach 600Mbps a uzyskałem 370 Mbps. Nie jest źle ale mogło być lepiej. Nadaje się do połączenia, gdy chcemy skorzystać z dostawcy oferującego ponad 300 Mbps. Test wykonany na podwójnym gnieździe. Warto zauważyć, że w momencie podłączenia na przykład switch do drugiego gniazda, prędkość spada do 100Mbps i stanowi odpowiednik połączenia na taniej listwie.

Test na Korytarzu miał cel symboliczny, mógłby przydać się przy montażu kamery IP zasilanej przez POE. Transmisja na poziomie ponadprzeciętnym.

Serwer - Najważniejszy scenariusz, połączenie z pokoju do małej serwerowni wypadło średnio ale lepiej niż w starym mieszkaniu. Lokalizacja znajduje się w osobnym obwodzie, posiada uziemienie, nie występują urządzenia zakłócające i podpięte do pojedynczego gniazda energetycznego. Rozwiązanie może być stosowane przez ludzi cierpliwych, gdyż prędkość nie nadaje się do komunikacji z serwerami. Jednakże cel był prosty - wykonywanie szybkie kopii bezpieczeństwa.

Salon - największa odległość pomiędzy urządzeniami. Główny cel to wzmocnienie sieci bezprzewodowej i dostarczenie Internetu do urządzeń takich jak konsola i telewizor. W tym przypadku PLC miało być jako główny dostawca Internetu a posłużył jako zapasowe łącze, mostek pomiędzy cAP AC działa dużo lepiej. Tak samo jak w przypadku Korytarza, może posłużyć jako zasilanie, do komunikacji dla kamer IP lub zapasowe łącze kablowe.

Dodatkowo w salonie wykonałem dwa testy:

Bez lodówki - sprawdzenie jak działa PLC bez jednego z największych wrogów czyli lodówki. Często w różnych materiałach dostępnych w Internecie jest mowa o tym, że wrogiem dla PLC są urządzenia takie jak pralka czy lodówka. Powiem szczerze, że nie zauważyłem dużych zmian z włączoną lodówką czy bez. Co ważne, lodówka jest w osobnym obwodzie i nie jest podłączona za pomocą listwy. Większy wpływ lodówki na transmisje było w starej sieci, gdzie całość pracowała na jednym obwodzie.

Tania listwa - symboliczny test w celu sprawdzenia czy stosowanie listwy pomaga albo szkodzi. Połączenie odbywało się pomiędzy pokojami, gdzie jedno z urządzeń było podłączone do tzw. taniej listwy, która nie posiada bezpiecznika i tylko rozdziela prąd. Jak można zauważyć na wykresie, tylko zaszkodziła i jest odpowiednikiem połączenia w podwójnym gnieździe.

Temat listwy w testach występował dwukrotnie, w scenariuszu z Salonem zaszkodził a przy rozwiązaniu P2P za pomocą listwy, ukazał maksymalna prędkość jaka jest możliwa w połączeniu z uziemieniem (trzech żył).

Dla porównania pokazuje wykres połączenia pomiędzy komputerami bez  zastosowania jakichkolwiek urządzeń przełączników i PLC.

Podsumowanie

Urządzenia godne polecenie do zapewnienia transmisji i zasilania prostych urządzeń takich jak kamery IP lub inne IoT. Dla osób mniej wymagających a nie chcących budować sieci MESH jest to rozwiązanie idealne. O czym warto wspomnieć, to zwiększone bezpieczeństwo w porównaniu do sieci bezprzewodowej. W ramach sieci PLC mamy zapewnione bezpieczeństwo transmisji a korzystając z urządzeń Mikrotik, możemy w prosty sposób dodatkowo zaszyfrować ruch za pomocą IPSEC.

Negatywną stroną urządzenia jest to, że zajmuje gniazdo. W ramach rekompensaty Mikrotik zapewnił zasilanie POE, które starczy nam do kamery, IoT lub urządzenia sieciowego takiego jak Switch czy Access Point.

Dziękuje za cierpliwe przeczytanie artykułu.

Urządzenia do testów udostępnił sklep www.wisp.pl

Hadoop FileSystem is one of the primary access methods for data in Azure Data Lake Storage Gen2. Users of Azure Blob Storage have access to ADLS Gen2 by new driver, the Azure Blob File System driver as ABFS.

ABFS driver is part of Apache Hadoop.

How it is possible?

1. Download the newest Hadoop (doesn't work with 3.1.2), extract and move to /opt/:

curl -O http://ftp.man.poznan.pl/apache/hadoop/common/hadoop-3.2.0/hadoop-3.2.0.tar.gz
tar -zxf hadoop-3.2.0.tar.gz
sudo mv hadoop-3.2.0 /opt/

2. You should have the newest Java that you can install by yum or other packages manager:

yum install -y java-1.8.0-openjdk

3. Add to .bashrc file and relogon:

export HADOOP_HOME=/opt/hadoop-3.2.0
export HADOOP_CONF_DIR=$HADOOP_HOME/etc/hadoop
export HADOOP_SHARE=$HADOOP_HOME/share/hadoop
export HADOOP_CLASSPATH=$(find $HADOOP_SHARE -name '*.jar' | xargs echo | tr ' ' ':')
export JAVA_HOME=/usr/lib/jvm/jre-1.8.0
export PATH=$PATH:$HADOOP_HOME/bin

In class path you need using find command because HDFS needs all jar and it can't recursively attach library.

4. It is possible to have two and more authorization access to storage. All authorization must be edit in core-site.xml ($HADOOP_HOME/etc/hadoop/)

SharedKey:

<configuration>
        <property>
                <name>fs.azure.account.key.[ADLSgen2-name].dfs.core.windows.net</name>
                <value>[SharedKey]</value>
        </property>
</configuration>

OAuth 2.0 Client Credentials

<configuration>
<property>
  	<name>fs.azure.account.auth.type</name>
  	<value>OAuth</value>
  	<description>
  	Use OAuth authentication
  	</description>
</property>
<property>
	<name>fs.azure.account.oauth.provider.type</name>
	<value>org.apache.hadoop.fs.azurebfs.oauth2.ClientCredsTokenProvider</value>
	<description>
	Use client credentials
	</description>
</property>
<property>
	<name>fs.azure.account.oauth2.client.endpoint</name>
	<value>https://login.microsoftonline.com/[ServicePrincipal-TenandID]/oauth2/token</value>
  	<description>
  	URL of OAuth endpoint
  	</description>
</property>
<property>
  	<name>fs.azure.account.oauth2.client.id</name>
  	<value>[ServicePrincipal-ID]</value>
  	<description>
  	Client ID
  	</description>
</property>
<property>
  	<name>fs.azure.account.oauth2.client.secret</name>
  	<value>[ServicePrincipal-Secret]</value>
  	<description>
  	Secret
  	</description>
</property>
</configuration>

5. Create first directory by tool:

hdfs dfs -mkdir abfss://[FileSystem]@[YourDataLake].dfs.core.windows.net/[new-directory]

This is simple way to access ADLS files.

If you have a different solution, I invited you to the Microsoft Azure User Group Poland.

When logs are too big it is a perfect timing to thing about something bigger. An ideal place for large amounts of data is Big Data. In this case it will be Hadoop which works well with Syslog-ng.

When you have no power to build BigData environment, a good idea is to use Azure Data Lake Storage Gen2. More information about common features between ADLS Gen2 and Hadoop You can find in the documentation. Michał Smereczyński suggested to me the idea to start sending logs to ADLS by syslog-ng with HDFS.

Preparation of the environment

When you have environment build on something else, for example Graylog or ELK Stack, you need to change it a little bit. Syslog-ng can possibly collect logs and it can be sent to a given localization. Service provider suggests in its post that you can send logs to HDFS. I don't have HDFS but in ABFS (Azure Blob Filesystem) it isn't a problem because Hadoop supports it.

The configuration is very similar to the one available on the provider post:

destination d_hdfs {
        hdfs(
		# directory with Hadoop classes
                client-lib-dir("/opt/hadoop/")
                hdfs-uri("abfs://logs@biglogslinux.dfs.core.windows.net")
                hdfs-file("/user/log/log-$DAY-$HOUR.txt")
		# authorization file with properties like core-site.xml
                hdfs-resources("/opt/hdfs.xml")
                hdfs-append-enabled(true)
        );
};

Authorization file and access to logs will be described next time.

In the next steps you should configure filter and source, for example:

source log_net {
    tcp();
    udp();
};

log {
    source(log_net);
    destination(d_hdfs);
};

After that, you send logs from other servers to BigData.